数据量大,数据要进行清洗以及预处理,同时要多方面可视化,要探索多变量对因变量的影响。
用R语言读取数据,对数据进行清洗合并以及预处理,数据可视化,特征工程以及变量选择,建模,交叉验证,模型评价。
任务/目标
对价格进行预测并且比较
特征转换
处理缺失值(对缺失值进行插值以及取均值进行处理,同时去掉一些缺失较少的数据行)
将因子变量变为数值型变量好做best subset selection来进行特征选择等等
可视化
![](https://img-blog.csdnimg.cn/8a503bbbf6b54bb5a8342ea1d8405057.png)
![](https://img-blog.csdnimg.cn/35f6cfe8f8074e5eb102957050196d9c.png)
![](https://img-blog.csdnimg.cn/ec2cd13c7a13467598c17c0499659563.png)
Guojiang Zhao
![](https://img-blog.csdnimg.cn/588a477394964c9a919fda6667754e9d.png)
视频
文本挖掘:主题模型(LDA)及R语言实现分析游记数据
视频
R语言广义相加模型(GAM)在电力负荷预测中的应用
![](https://img-blog.csdnimg.cn/97e528fa6b63408a94ceb08ace4fcc71.png)
运用nlp以及词云可视化
构造
以上说明了如何抽取相关特征,我们大致有如下训练样本(只列举部分特征)。
![](https://img-blog.csdnimg.cn/f087b143fb9c43768d6aa675dc41fa01.png)
划分训练集和测试集
训练集70%和测试集30%
变量选择:best subset selection
![](https://img-blog.csdnimg.cn/846c31f7590c4c958047483d5d972080.png)
选取5个最佳的变量
建模
预测价格
- 多元回归分析
- GAM模型(平滑样条,多项式回归,三次样条)
- 不同变量通过cross-validation来选择哪一种模型是cv.error最小的
随时关注您喜欢的主题
如图:
最后得到最终的一个模型
![](https://img-blog.csdnimg.cn/60d37a107738474da39bc8ceaf8b3036.png)
回归决策树
![](https://img-blog.csdnimg.cn/ec97cbc3500a48d38746186b17cb160b.png)
剪枝后
![](https://img-blog.csdnimg.cn/160cc4862b2549d5b29f60915fb2e624.png)
预测:
三个模型中分别对price预测
模型比较:
比较预测值和实际值的RMSE,选取最优模型
三个模型price预测值与实际值
![](https://img-blog.csdnimg.cn/4fb1a3ce410245a3b9e7e921bb5e684c.png)
比较:
可以看出,GAM模型是三个模型中最适合的,然后可以依据该模型对price进行预测。
关于作者
![](https://img-blog.csdnimg.cn/ec2cd13c7a13467598c17c0499659563.png)
Guojiang Zhao
在此对Guojiang Zhao对本文所作的贡献表示诚挚感谢,他在卡耐基梅隆大学完成了硕士学位,擅长机器学习,数据挖掘,数理统计,数据分析。
每日分享最新报告和数据资料至会员群
关于会员群
- 会员群主要以数据研究、报告分享、数据工具讨论为主;
- 加入后免费阅读、下载相关数据内容,并同步海内外优质数据文档;
- 老用户可九折续费。
- 提供报告PDF代找服务
非常感谢您阅读本文,如需帮助请联系我们!