R语言SVM支持向量机、文本挖掘新闻语料情感情绪分类和词云可视化

支持向量机(SVM)是一种机器学习方法,基于结构风险最小化原则,即通过少量样本数据,得到尽可能多的样本数据。

由Kaizong Ye,Liao Bao撰写

支持向量机对线性问题进行处理,能解决非线性分类问题。

本文介绍了R语言中的 SVM工具箱及其支持向量机(SVM)方法,并将其应用于文本情感分析领域,结果表明,该方法是有效的。

在此基础上,对文本挖掘新闻语料进行情感分类和词云可视化,从视觉上对文本进行情感分析。

语料是从yahoo Qimo上爬的新闻语料,一共49000篇,每篇包含题目、新闻内容、评论、读者投票结果(投票选择依次为:实用,感人、开心、超扯、无聊、害怕、难过、火大)以及总投票个数。

数据概览

image.png
image.png

以第一个预料为例

对其分词提取关键词

library(jiebaR)
cutter = worker(type = "keywords", topn = 10)  
words = "1.txt"

自适应网页宽度的 Bilibili 视频

视频

文本挖掘:主题模型(LDA)及R语言实现分析游记数据

探索见解

去bilibili观看

探索更多视频

image.png

查看工作目录下所有的文件

dir = list.files(".")

获取分类号

xx<-readLines(dir[i],encoding = "UTF-8")

## Warning in readLines(dir[i], encoding = "UTF-8"): 读'1.txt'时最后一行未遂

# xx<-readLines("2.txt",encoding = "UTF-8")  
  
class=strsplit(xx[length(xx)-1],split="#")[[1]][3]

词性分类

for(i in 1:10){
  cutter = worker(type = "keywords", topn = 10)

绘制词汇图

mycolors <- brewer.pal(8,"Dark2")#设置一个颜色系:

wordcloud(cutter_words,as.numeriter_words)),random.order=FAL

图片

NLP自然语言处理—主题模型LDA案例:挖掘人民网留言板文本数据

阅读文章


000003.png


随时关注您喜欢的主题


准备训练集和测试集

ntrain <- round(n*0.8) # 训练集  
tindex <- sample(n,ntrain) # 筛选测试集样本  
xtrain<-textdata[tindex,]  
xtest<-textdata[-tindex,]

#可视化  
plot(textdata[,c("classlist","X1")] ,pch=ifelse(istrain==1,1,2))
image.png

训练SVM

现在我们在训练集上使用来训练线性SVM

 svm(classlist ~ . , textdata)
image.png

预测数据

predictedY <- predict(model, textdata)

预测的数据

image.png

查看分类混淆矩阵

image.png


可下载资源

关于作者

Kaizong Ye拓端研究室(TRL)的研究员。在此对他对本文所作的贡献表示诚挚感谢,他在上海财经大学完成了统计学专业的硕士学位,专注人工智能领域。擅长Python.Matlab仿真、视觉处理、神经网络、数据分析。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文,如需帮助请联系我们!

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498

关注有关新文章的微信公众号


永远不要错过任何见解。当新文章发表时,我们会通过微信公众号向您推送。

技术干货

最新洞察

This will close in 0 seconds