机器学习在环境监测领域的应用,着眼于探索全球范围内的环境演化规律,人类与自然生态之间的关系以及环境变化对人类生存的影响。
课题着眼于环境科学中的近年来土地面积变化影响的课题,应用机器学习的方法,进行数据处理与分析预测。
数据的处理方法以及机器学习本身算法理论的学习和代码实现在各领域具有相同性
之后同学可以在其他感兴趣的领域结合数据进行分析,利用此课题所学知识举一反三。
本文获取了近年来全球各国土地面积变化数据:
区域或局地尺度的气候变化影响研究需要对气候模式输出或再分析资料进行降尺度以获得更细分辨率的气候资料。
本文通过PCA主成分、lasso、岭回归对数据进行降维分析,既能起到对相关的预报因子限制的作用保证了预测结果的稳定性,又不至于掩盖预报因子的贡献以至于丧失模型预测的准确性。
可下载资源
读取数据
data=read.csv("E:/climate_change_download_0 (1).csv")
data=na.omit(data)
# data[which(data=="..")]=0
x=data[,c(7:ncol(data))]
x[which(x=="..",arr.ind = T)]=0
视频
主成分分析PCA降维方法和R语言分析葡萄酒可视化实例
视频
Lasso回归、岭回归等正则化回归数学原理及R语言实例
数据清洗
x=data.frame(x)
for(j in 1:ncol(x))x[,j]=as.numeric(x[,j])
主成分分析
pca <- x %*% v[,1:2]
scores <- X %*% loadings
biplot(scores[,1:2], loadings[,1:2], xlab=rownames(scores),
发现最优主成分数
lasso 模型
对数据进行lasso模型筛选变量:
转换数据类型
for(i in 1:ncol(X))X[,i]=as.numeric(X[,i])
随时关注您喜欢的主题
找出有强影响的变量
summary(laa)
## LARS/LAR
## Call: lars(x = X, y = Y, type = "lar")
## Df Rss Cp
## 0 1 6505.0 2041.608
## 1 2 6472.4 2000.730
## 2 3 6411.9 1923.292
## 3 4 6056.4 1458.310
## 4 5 6044.3 1444.434
## 5 6 6010.9 1402.454
## 6 7 5660.6 944.328
## 7 8 5594.1 858.944
## 8 9 5334.2 519.497
使用lasso方法排除回归模型中的多重共线性是有必要的。在对lasso模型参数的确定过程中,进行统计降尺度时将df设置为17时,cp值最小,因此我们选择1999-2006年的数据较为合理,既能起到对相关的预报因子限制的作用保证了预测结果的稳定性,又不至于掩盖预报因子的贡献以至于丧失模型预测的准确性。
既能起到对相关的预报因子限制的作用保证了预测结果的稳定性,又不至于掩盖预报因子的贡献以至于丧失模型预测的准确性
使用ridge regression回归模型
plot(lm.rid
选择GCV为100,带入岭回归模型的lambda中
使用岭回归方法排除回归模型中的多重共线性是有必要的。在对岭回归模型参数α的确定过程中,本文认为在使用岭回归模型对地区土地面积进行统计尺度时将GCV设置为100较为合理,当α过小时,正则项起不到作用,回归模型各项系数分散,此时模型如普通最小二乘多元回归模型,出现过拟合现象,预测结果不稳定;当α过大时,模型各项系数收敛到一处,出现欠拟合现象,预测结果不准确;而当α合理确定时,平衡了模型的稳定性和准确性。
可下载资源
关于作者
Kaizong Ye是拓端研究室(TRL)的研究员。在此对他对本文所作的贡献表示诚挚感谢,他在上海财经大学完成了统计学专业的硕士学位,专注人工智能领域。擅长Python.Matlab仿真、视觉处理、神经网络、数据分析。
本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。
非常感谢您阅读本文,如需帮助请联系我们!