R语言广义线性混合模型(GLMM)bootstrap预测置信区间可视化

通过线性模型和广义线性模型(GLM),预测函数可以返回在观测数据或新数据上预测值的标准误差。

由Kaizong Ye,Coin Ge撰写

然后,利用这些标准误差绘制出拟合回归线周围的置信区间或预测区间。


置信区间(CI)的重点在于回归线,其可以解释为(假设我们绘制的是95%的置信区间):“如果我们重复抽样X次,那么回归线将有95%的概率落在这个区间内”。另一方面,预测区间的重点在于单个数据点,其可以解释为(同样假设我们绘制的是95%的置信区间):“如果我们在这些特定的解释变量值上抽样X次,那么响应值将有95%的概率落在这个区间内”。

对于广义线性混合模型(GLMM),预测函数不允许推导标准误差,原因是:“没有计算预测标准误差的选项,因为很难定义一种有效的方法来将方差参数中的不确定性纳入其中”。这意味着目前没有办法将拟合的随机效应标准差的估计(其估计值可能或多或少准确)纳入预测值标准误差的计算中。

× GLMM(generalized linear mixed model)广义线性混合模型中的关键是“mixed”,“mixed”是区别于一般的GLM(generalized linear model)的显著体现。 一般的GLM指的就是要求因变量符合“指数分布族”即可。关于GLM的详细解释可以在stata的help文档中看到,GLM的两个核心是 Family 和 Link。其中Family指的就是因变量的分布函数,常见的几种因变量的分布如下: 连续变量——Gaussian分布/正态分布 binary变量(0,1)——二项分布(一个变量0,1分布是属于伯努利分布,多个伯努利就是二项分布) count/rate变量(1,2,3…计数分布)——possion分布 其中link指的是将因变量进行转化使模型呈线性分布的方法,我们经常使用的logit回归的link就是logit link,它的方法是对因变量进行如下变换:ln(P(Y=1)/P(Y=0))=aX+b。除此之外,还有其他多种不同的回归就是不同的Family和link的组合,logistic回归只是GLM回归的一种特殊情况,这就是为什么GLM被称为广义的线性模型,是所有线性模型的最初模样。 GLMM模型,它的特殊之处在于它的“mixed”,这个”mixed”本质上说的是效应的混合,因为回归模型中同时有固定效应和随机效应的存在,固定效应说的是自变量每次变化一个单位对因变量的影响是一样的,但是随机效应说的是自变量变化一个单位对因变量的影响是不固定的。而这种情况时有发生,如果在一个模型里面,多个不同的自变量对因变量的影响同时存在这两种效应,我们使用到的模型就是所谓的GLMM模型。GLMM引入了连接函数来解决变量非正态分布的问题,同时可以引入随机效应来解决数据间的相关、过度离散和异质性问题。

不过,我们仍然可以推导置信区间或预测区间,但需要注意,我们可能会低估估计值的不确定性。



	library(lme4) # 加载lme4包,用于线性混合效应模型的分析  



	# 第一个案例:简单的线性混合效应模型,从10个组中模拟100个数据点,具有一个连续的固定效应变量  



	x <- runif(100, 0, 10) # 生成100个在0到10之间的均匀分布随机数,作为固定效应变量x  



	# 固定效应系数  

	fixed <- c(1, 0.5) # 设定固定效应系数,这里假设截距为1,x的系数为0.5  



	# 随机效应  

	rnd <- rnorm(10, 0, 0.7) # 生成10个来自均值为0、标准差为0.7的正态分布的随机数,作为随机效应  



	# 模型  



	# 使用类似predict的方法计算第一个置信区间和预测区间

	newdat <- data.frame(x = seq(0, 10, length = 20)) # 生成一个新的数据框newdat,其中x是从0到10的等差序列,长度为20  

这段代码是继续上面的线性混合效应模型(LMM)分析的,它计算了预测值、预测区间和置信区间,并使用bootMer函数进行了自助法(bootstrap)来估计置信区间。接下来,我会逐步解释这段代码的内容:


视频

线性混合效应模型(LMM,Linear Mixed Models)和R语言实现案例

探索见解

去bilibili观看

探索更多视频


视频

R语言LDA线性判别、QDA二次判别分析分类葡萄酒品质数据

探索见解

去bilibili观看

探索更多视频


# 生成新数据框newdat的模型矩阵  

	mm <- model.matrix(~x, newdat)  

	  

	# 根据固定效应计算新数据框的预测值  

	newdat$y <- mm %*% fixef(m)  


	# 使用vcov函数计算模型协方差矩阵,并使用tcrossprod计算其转置和原始矩阵的乘积  

	# 然后与模型矩阵mm相乘,得到预测值的方差  


	  

	# 计算总方差,包括随机效应方差(此处仅考虑随机截距)  

	# 注意:这里假设随机效应只有一个,即随机截距,对于更复杂的模型需要调整  


	  

	# 在newdat数据框中添加预测值、预测区间的下限和上限、置信区间的下限和上限  

	newdat <- data.frame(  

	  newdat,  

	  plo = newdat$y - 1.96 * sqrt(pvar1),  # 预测区间的下限  

	
	  

	# 第二版:使用bootMer进行自助法估计置信区间  

	# 定义一个函数,该函数应用于nsim次模拟,返回拟合值  

	predFun <- function(.) mm %*% fixef(.)  

	  


	# 将自助法得到的置信区间的下限和上限添加到newdat数据框中  

	newdat$blo <- bb_se[1,]  


	  

	# 绘制原始数据、拟合线、预测区间和置信区间  

	plot(y ~ x, data)  

	lines(newdat$x, newdat$y, col="red", lty=2, lwd=3)  



	# 添加图例  

	legend("topleft", legend=c("Fitted line", "Prediction interval", "Confidence interval", "Bootstrapped CI"),  

这段代码的主要功能是:

  1. 使用模型矩阵和固定效应系数来计算新数据点的预测值。
  2. 计算预测值的方差(pvar1),进而得到预测区间。
  3. 计算包含随机效应方差的总方差(tvar1),进而得到置信区间。
  4. 使用bootMer函数进行自助法抽样,估计置信区间。
  5. 最后,绘制原始数据、拟合线、预测区间和置信区间。

需要注意的是,这段代码假设随机效应只有一个随机截距。对于包含其他类型随机效应的模型,计算总方差时需要相应地进行调整。此外,bootMer函数可能需要较长时间来执行,特别是当模型复杂或自助法抽样次数较多时。

在上述代码中,模拟数据的生成和模型的拟合都是基于线性混合效应模型(LMM)的。然而,计算置信区间(CI)和预测区间(PI)的部分并没有给出具体的实现,因为对于线性混合效应模型,这些区间的计算通常比线性模型更复杂。通常,我们会使用自助法(bootstrap)或者基于模型的近似方法来估计这些区间。在R中,可以使用bootMer函数(来自lme4包)或predictInterval函数(来自merTools包)来近似计算这些区间。不过,这些函数的使用通常需要模型对象以及可能的其他参数,并且需要仔细考虑随机效应的影响。

bootglmm1.png

这看起来相当熟悉,预测区间总是比置信区间大。

predict.merMod函数的帮助页面中,lme4包的作者写道,bootMer应该是从广义线性混合模型(GLMM)推导置信区间的首选方法。那里的想法是从模型中模拟N次新数据,然后获取一些感兴趣的统计数据。在我们的案例中,我们感兴趣的是通过推导自举拟合值来获取回归线的置信区间。bb$t是一个矩阵,其中列是观测值,行是不同的自举样本。为了得到拟合线的95%置信区间,我们需要获取排序后的自举值的[0.025N,0.975N]范围的值。


图片

R语言用Rshiny探索lme4广义线性混合模型(GLMM)和线性混合模型(LMM)

阅读文章


即使对每个自举样本都计算了新的随机效应值(因为bootMer中默认use.u=FALSE),自举的置信区间也非常接近“正常”的置信区间。

现在让我们转向一个更复杂的例子,一个具有两个交叉随机效应的泊松广义线性混合模型(Poisson GLMM):


随时关注您喜欢的主题



# 第二个案例,具有两个交叉随机效应和泊松响应的更复杂设计  
  

m <- glmer(y ~ x + (1|f1) + (1|f2), data, family = "poisson")  
  
# 对于广义线性混合模型,我们需要在添加/删除标准误后反变换预测值  
newdat <- data.frame(x = seq(0, 10, length = 20))  

tvar1 <- pvar1 + VarCorr(m)$f1[1] + VarCorr(m)$f2[1]  # 对于更复杂的模型,必须进行调整  
  
  
# 使用bootMer的第二个版本  
bb <- bootMer(m, FUN = predFun, nsim = 200)  

  
# 绘图  
plot(y ~ x, data)  
lines(newdat$x, newdat$y, col = "red", lty = 2, lwd = 3)  
image.png

同样,在这种情况下,自助法置信区间(Bootstrapped CI)与“常规”置信区间非常接近。在这里,我们已经看到了三种不同的方法来推导表示回归线(CI)和响应点(PI)周围不确定性的区间。选择哪种方法取决于您想看到什么(我拟合的线的周围不确定性的程度,或者如果我抽样新的观测值,它们会取什么值),以及复杂模型的计算能力,因为对于具有许多观测值和复杂模型结构的广义线性混合模型(GLMM),bootMer的运行可能需要一些时间。


可下载资源

关于作者

Kaizong Ye拓端研究室(TRL)的研究员。Kaizong Ye拓端研究室(TRL)的研究员。在此对他对本文所作的贡献表示诚挚感谢,他在上海财经大学完成了统计学专业的硕士学位,专注人工智能领域。擅长Python.Matlab仿真、视觉处理、神经网络、数据分析。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文,如需帮助请联系我们!

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498

关注有关新文章的微信公众号


永远不要错过任何见解。当新文章发表时,我们会通过微信公众号向您推送。

技术干货

最新洞察

This will close in 0 seconds