R语言文本挖掘:kmeans聚类分析上海玛雅水公园景区五一假期评论词云可视化

互联网时代,大量的新闻信息、网络交互、舆情信息以文本形式存储在数据库中

由Kaizong Ye,Liao Bao撰写

如何利用数据分析和文本挖掘的算法,将海量文本的价值挖掘出来,成为我们团队近期的一个研究方向,本案例就是我们的一个尝试。

文本聚类其实也就是聚类分析在文本方向上的应用,首先我们要把一个个文档的自然语言转换成数学信息,这样形成高维空间点之后再去计算点与点之间的距离,然后将这些距离比较近的聚成一个簇,这些簇的中心成为簇心。

而我们做的就是保证簇内点的距离足够近,簇与簇的距离足够远。

本文将通过R语言帮助客户来实现文本挖掘、聚类和词云可视化技术,体验一下舆情分析的魅力。

原始评论数据

本文获取上海玛雅水公园景区评论数据共计1692条数据:

image.png

读取数据


 pinglun=read.xlsx("玛雅景区数据5.8.xlsx")

文本预处理

res=pinglun1[pinglun1!=" "];  
#剔除通用标题  
# res=gsub(pattern="[專賣店【未拆封順豐】|<b>|</b>]+"," ",res);   
#剔除特殊词  
res=gsub(pattern="[我|你|的|了|是]"," ",res);       
#清理文本里的回车!否则每个回车就会被识别成一段文本
res=gsub("\n","",res)

分词+频数统计

words=unlist(lapply(X=res, FUN=segmentCN));  

视频

KMEANS均值聚类和层次聚类:R语言分析生活幸福质量系数可视化实例

探索见解

去bilibili观看

探索更多视频


自适应网页宽度的 Bilibili 视频

视频

文本挖掘:主题模型(LDA)及R语言实现分析游记数据

探索见解

去bilibili观看

探索更多视频

过滤掉1个字和词频小于100的记录

d=subset(d, nchar(as.character(d$word))>1 & d$freq>=100)  

输出关键词结果

 write.table(d, file="/worldcup_keyword.txt", row.names=FALSE)  

绘制词汇图

wordcloud(d$word,d$freq,random.order=FALS
image.png

kmeans聚类部分

转换成评价矩阵


rating=matrix(0,length(res1),dim(d)[1])#生成评价矩阵

for(i in 1:length(res1)){
  words=unlist(lapply(X=res1[i], FUN=segmentCN));#对每一条记录分析获得词频  
#输出评价矩阵###############################
write.table(rating, file="评价矩阵.txt", row.names=FALSE)  

对评价矩阵进行k均值聚类

kmeans(rating,5)#对评价矩阵进行k均值聚类

词云可视化

#第一个类别################################
mycolors <- brewer.pal(8,"Dark2")#设置一个颜色系:
wordcloud(colnames(result)[-c(115,116)],freq1[
image.png

图片

文本挖掘:主题模型(LDA)及R语言实现分析游记数据

阅读文章


第二个类别


wordcloud(colnames(result)[-c(115,116)],f


随时关注您喜欢的主题


image.png

第三个类别


wordcloud(colnames(result)[-c(115,116)],freq3[-c(
202003281439369701.png

1.被提及了哪些维度

第一个维度是指开心好玩,可以认为是景点的可玩性程度。 第二个维度是 排队的关键词 另外包含时间,因此可以认为是景点的秩序问题 第三个维度是项目 公园 喇叭 热带 漂流等关键词,可以认为是景点的游玩项目维度.

2.各维度关注度如何(即被提及的频率)

#第一类的关注度 可玩性程度。
guanzhu1=length(which(result$kmeansmod.cluster==1))
#第二类的关注度 景点的秩序问题

guanzhu2=length(which(result$kmeansmod.cluster==4))
#第三类的关注度 游玩项目维度

guanzhu3=length(which(result$kmeansmod.cluster==3))

3.各维度的满意度指数


#第一类的满意度指数 可玩性程度。
manyi1=sum(na.omit(result$pinglun.星级.1.nrow.rating.. [which(result$kmeansmod.cluster==1)])) #第二类的满意度指数 景点的秩序问题 manyi2=sum(result$pinglun.星级.1.nrow.rating.. [which(result$kmeansmod.cluster==4)]) #第三类的满意度指数 游玩项目维度 manyi3=sum(result$pinglun.星级.1.nrow.rating.. [which(result$kmeansmod.cluster==3)])

4.三张图:各维度关注度,各维度满意度,词云

colnames(manyi)=c("可玩性程度","景点的秩序问题","游玩项目维度")
barplot(manyi,ylab="满意度")
image.png
image.png


可下载资源

关于作者

Kaizong Ye拓端研究室(TRL)的研究员。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文,如需帮助请联系我们!

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498

关注有关新文章的微信公众号


永远不要错过任何见解。当新文章发表时,我们会通过微信公众号向您推送。

技术干货

最新洞察

This will close in 0 seconds