R语言对airbnb数据nlp文本挖掘、词云可视化、回归GAM模型、交叉验证分析

数据量大,数据要进行清洗以及预处理,同时要多方面可视化,要探索多变量对因变量的影响。

用R语言读取数据,对数据进行清洗合并以及预处理,数据可视化,特征工程以及变量选择,建模,交叉验证,模型评价。

Guojiang Zhao撰写

任务/目标

对价格进行预测并且比较

特征转换

处理缺失值(对缺失值进行插值以及取均值进行处理,同时去掉一些缺失较少的数据行)

将因子变量变为数值型变量好做best subset selection来进行特征选择等等

可视化


自适应网页宽度的 Bilibili 视频

视频

文本挖掘:主题模型(LDA)及R语言实现分析游记数据

探索见解

去bilibili观看

探索更多视频


视频

R语言广义相加模型(GAM)在电力负荷预测中的应用

探索见解

去bilibili观看

探索更多视频

运用nlp以及词云可视化

构造

以上说明了如何抽取相关特征,我们大致有如下训练样本(只列举部分特征)。

划分训练集和测试集

训练集70%和测试集30%

变量选择:best subset selection


Python主题建模LDA模型、t-SNE 降维聚类、词云可视化文本挖掘新闻组数据集

阅读文章


选取5个最佳的变量 

建模

预测价格

  1. 多元回归分析
  2. GAM模型(平滑样条,多项式回归,三次样条)
  3. 不同变量通过cross-validation来选择哪一种模型是cv.error最小的


随时关注您喜欢的主题


如图:

最后得到最终的一个模型

回归决策树

剪枝后

预测:

三个模型中分别对price预测

模型比较:

比较预测值和实际值的RMSE,选取最优模型

三个模型price预测值与实际值

比较:

 可以看出,GAM模型是三个模型中最适合的,然后可以依据该模型对price进行预测。


关于作者

在此对Guojiang Zhao对本文所作的贡献表示诚挚感谢,他在卡耐基梅隆大学完成了硕士学位,擅长机器学习,数据挖掘,数理统计,数据分析。


每日分享最新报告和数据资料至会员群

关于会员群

  • 会员群主要以数据研究、报告分享、数据工具讨论为主;
  • 加入后免费阅读、下载相关数据内容,并同步海内外优质数据文档;
  • 老用户可九折续费。
  • 提供报告PDF代找服务

​非常感谢您阅读本文,如需帮助请联系我们!

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498

关注有关新文章的微信公众号


永远不要错过任何见解。当新文章发表时,我们会通过微信公众号向您推送。

技术干货

最新洞察

This will close in 0 seconds