R语言Pearson相关性分析降雨量和“外卖”谷歌搜索热度google trend时间序列数据可视化

Google Trends, 即谷歌趋势。

由Kaizong Ye,Liao Bao撰写

谷歌趋势是谷歌旗下一款基于搜索数据推出的一款分析工具。

它通过分析谷歌搜索引擎每天数十亿的搜索数据,告诉用户某一关键词或者话题各个时期下在谷歌搜索引擎中展示的频率及其相关统计数据。

我们为一位客户进行了短暂的咨询工作,他正在构建一个主要基于谷歌搜索词热度和外卖的分析应用程序。

数据准备

我们需要来检验英国下雨量和人们在谷歌上搜索外卖词汇是否有关联。

总共有六个文件,其中三个是英国降雨量,分别是英格兰+威尔士,苏格兰,和北爱尔兰。这三个文件是txt格式的,里面是日数据。

还有三个数据是google检索量,分别是搜索food takeaway, just eat,和domino’s pizza的,是csv格式的,然后是周数据。

image.png

image.png

视频

时间序列分析模型 ARIMA-ARCH GARCH模型分析股票价格数据

探索见解

去bilibili观看

探索更多视频

image.png

数据预处理

我们先把三个降雨量的数据总和,得出整个英国的每日降雨量


EnglandEngland=read.table("rainfall (England+Wales).txt",skip=3) scotland=read.table("rainfall(scotland).txt",skip=3) northern_Ireland=read.table("rainfall(northern Ireland).txt",skip=3) head(pizza)

图片

Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析

阅读文章


image.png

然后再删减到和使用的google检索量数据一样,并且也变成周数据,最后整合在一起。


随时关注您喜欢的主题



sum= EnglandEngland[,-c(1:2)]+scotland[,-c(1:2)]+northern_Ireland[,-c(1:2)] #合并年月 sum=cbind(EnglandEngland

变成类似这样的在Rstudio里



j=1 for(i in week){ yearstart=as.numeric(strsplit(as.character(i),"-")[[1]][1]) if(rowstart==rowend)weeksum[j]= sum( sum[rowstart,(daystart+2):(dayend+2)]) else weeksum[j]= sum( sum[rowstart,(daystart+2):33])+sum( sum[rowend,3:(dayend+2) ])
 rainfall Food takeawayJust eatDomino’spizza
2011-01-02-2011-01-08    
2011-01-09-2011-01-15    
………    
image.png

Pearson’s相关性检验

在统计学中,皮尔逊相关系数,是用于度量两个变量X和Y之间的相关(线性相关),其值介于-1与1之间,其绝对值越大说明该两个变量越相关。

然后分别检验每个和降雨量的联系

用correlation coefficient的方法,得出来3个统计结果。

image.png
image.png
image.png

首先看Y与X是否有显著关系,即P值大小,接着分析相关关系为正向或负向,也可通过相关系数大小说明关系紧密程度。一般相关系数在0.7以上说明关系非常紧密。p<0.05,因而说明外卖搜索热度和降雨量之间有着较显著的正相关关系。达美乐披萨搜索热度和降雨量之间没有显著的正相关关系。

搜索可视化

最后做一张图,纵坐标是降雨量,横坐标是搜索量,三个检索量分别用三个颜色表示。


library(ggplot2)
ggplot(cordata, aes(weeksum)) + 
  geom_line(aes(y = domino.s.pizza, colour =
20200407141144647.png


可下载资源

关于作者

Kaizong Ye拓端研究室(TRL)的研究员。在此对他对本文所作的贡献表示诚挚感谢,他在上海财经大学完成了统计学专业的硕士学位,专注人工智能领域。擅长Python.Matlab仿真、视觉处理、神经网络、数据分析。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文,如需帮助请联系我们!

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498

关注有关新文章的微信公众号


永远不要错过任何见解。当新文章发表时,我们会通过微信公众号向您推送。

技术干货

最新洞察

This will close in 0 seconds