R语言缺失值的处理:线性回归模型插补

在当我们缺少值时,系统会告诉我用-1代替,然后添加一个指示符,该变量等于-1。这样就可以不删除变量或观测值。

我们在这里模拟数据,然后根据模型生成数据。未定义将转换为NA。一般建议是将缺失值替换为-1,然后拟合未定义的模型。默认情况下,R的策略是删除缺失值。如果未定义50%,则缺少数据,将删除一半的行

我们模拟10,000,然后看看未定义的分布,


视频

当然,丢失值的比率较低-丢失的观测值较少,因此估计量的方差较小。

现在让我们尝试以下策略:用固定的数值替换缺失的值,并添加一个指标,

不会有太大变化,遗漏值的比率下降到5%,

(此处缺失值的1/3为红色)。但可以假设缺失值的最大值,例如,

有人可能想知道,估计量会给出什么?

它变化不大,但是如果仔细观察,我们会有更多差异。如果未定义变量会发生什么,

这次,我们有一个有偏差的估计量。

正如我所说的,一种更好的方法是推算。这个想法是为未定义的缺失预测值预测。最简单的方法是创建一个线性模型,并根据非缺失值进行校准。然后在此新基础上估算模型。

在数字示例中,我们得到

这种方法至少能够纠正偏差

然后,如果仔细观察,我们获得与第一种方法完全相同的值,该方法包括删除缺少值的行。

除了进行线性回归外,还可以使用另一种插补方法。

在模拟的基础上,我们获得

如果我们看一下10,000个模拟中的样子,就会发现

这里的偏差似乎比没有插补时要弱一些,换句话说,在我看来,插补方法似乎比旨在用任意值替换NA并在回归中添加指标的策略更强大。


可下载资源

​非常感谢您阅读本文,如需帮助请联系我们!


关于作者

Kaizong Ye拓端研究室(TRL)的研究员。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。


 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498