R语言多项式线性模型:最大似然估计二次曲线

“应用线性模型”中,我们打算将一种理论(线性模型理论)应用于具体案例。

通常,我会介绍理论的主要观点:假设,主要结果,并进行示范来直观地解释。这里查看一个真实的案例研究,它包含真实数据,2400个观测值,34个变量。

由Kaizong Ye,Liao Bao撰写

这里只有11个观察值,一个简单的线性模型。让我们对这些数据进行线性回归

回归线(最大程度地减少误差平方和)是红色曲线

我们可以清楚地看到我们的曲线似乎是凹的,开始时增加,结束时减少,可以进行非参数平滑


热门课程

R语言数据分析挖掘必知必会

面对扑面而来的数据浪潮,包含Google、Facebook等国际企业,都已采用R语言进行数据分析

探索课程

我们可以进一步回答“最大数目在哪里吗”,可以建议一个值,找到一个置信区间吗?

我们可以考虑一个二次模型,换句话说,我们的预测将是 抛物线。

我们可以看到,该模型不仅在视觉上看起来更加符合实际,如果我们看一看回归的结果,该模型也更好

现在我们可以证明,对于形式为y =β2×2 +β1x +β0的抛物线,最优值以x⋆=θ= −β1 /2β2来获得。那么θ的自然估计量就是θ= −β 1 /2β2,通过最小化误差平方和。但是如何获得该估计量的方差?通过考虑以下因素,我们自然可以尝试Delta方法

(渐近)方差在这里

然后我们通过用未知量的估计值替换未知值来获得此渐近方差的估计量。

换句话说,如果假设估计量的正态性,我们有以下置信区间

我们还可以尝试另一种策略 。对于我们的二次模型,我们通常在高斯假设下对数似然函数

在这里,第一个方法是引入θ(其中抛物线的最大值是)作为模型参数之一-例如代替β2

如果我们寻找最大似然函数,我们得到

这与我们之前的计算是一致的。第二个方法是分析似然函数:我们说在多元参数中,一个比另一个更重要。在给定θ的情况下,其他函数才最大化。从技术上讲,参数θ的轮廓对数似然是

我们可以绘制结果

在这里达到最大值 

这与我们的计算是一致的。然后,我们可以得到结果的似然比检验

然后我们可以在初始图中绘制置信区间

就像大多数统计技术一样,这些都是渐近结果,仅凭11个观察结果无法保证其有效性

另一个解决方案是使用模拟。我们假设观测值是模型,并且是噪声。我们可以将非参数模型(局部平滑)作为模型并假设高斯噪声。为了生成其他样本,我们将观测值保存在x中,另一方面,对于y,我们将使用y +ε,其中ε将根据正态分布绘制

给定数据的不对称性,我们再次使用非参数模型。并且我们通过数值计算最大值。我们重复10,000次。

在这里,我们有在10,000个模拟样本上观察到的最大值的经验分布。我们可以通过经验分位数来获得置信区间


可下载资源

关于作者

Kaizong Ye拓端研究室(TRL)的研究员。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文,如需帮助请联系我们!

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498