R语言逻辑回归和泊松回归模型对发生交通事故概率建模

逻辑回归算法是机器学习分类算法中的一种，是广义线性回归模型 。该算法常用于二分类或多分类问题。在数据挖掘、经济预测、医疗疾病的自动诊断等领域经常会被应用。

假定自变量X与因变量Y，逻辑回归用来描述因变量Y与自变量X的关系，最后预测因变量Y。具体步骤如下：

(1) 首先需要找一个合适的预测函数，表示为h函数，该函数是我们要找的分类函数，也是预测输入数据的判断结果 。利用Sigmoid函数和线性回归函数可以得出h函数。

Sigmoid函数：

?(?)=11+e−? $g\left(z\right)=\frac{1}{1+{\text{e}}^{-z}}$(1)

线性回归函数公式为：

?=?0+?1?1+?2?2+⋯+????=?T? $z={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_i{x}_i={\theta }^{\text{T}}x$(2)

利用(1)与(2)式可以得到h函数如下：

ℎ?(?)=11+e−?T? $h_{\theta }\left(x\right)=\frac{1}{1+{\text{e}}^{-{\theta }^{\text{T}}x}}$(3)

(2) 构建能够描述模型预测值  ℎ(?) $h\left(\theta \right)$ 与真实值y之间的偏差函数  ?(?) $C\left(\theta \right)$，称为代价函数。代价函数求平均值记作  $$，一个模型的优劣可以通过  ?(?) $B\left(\theta \right)$ 来行判断，当  ?(?) $B\left(\theta \right)$ 函数越小，表明当前模型与参数更适合训练样本。基于最大似然估计可以达到  ?(?) $B\left(\theta \right)$：

?(?)=−1?[∑?=1?(?(?)logℎ?(?(?)))+(1−?(?))log(1−ℎ?(?(?)))] $B\left(\theta \right)=-\frac{1}{m}\left[{\displaystyle \underset{i=1}{\overset{m}{\sum }}\left(y^{\left(i\right)}\log h_{\theta }\left(x^{\left(i\right)}\right)\right)+\left(1-y^{\left(i\right)}\right)\log \left(1-h_{\theta }\left(x^{\left(i\right)}\right)\right)}\right]$(4)

(3) 求  ?(?) $B\left(\theta \right)$ 的最小值使用梯度下降法，使用梯度下降法来求最小值是常用的方法。各个参数的偏导数就是  ?(?) $B\left(\theta \right)$ 的梯度，机器学习的过程中参数下降的方向就是偏导数的方向，学习率用  ? $\lambda$ 表示，通过偏导数使用梯度下降法求出使  ?(?) $B\left(\theta \right)$ 最小的  ? $\theta$，在对参数进行更新。推导后可得出  ?? ${\theta }_j$ 如下：

??=??−?(1?)∑?=1?(ℎ?(?(?))−?(?))?(?)? ${\theta }_j={\theta }_j-\lambda \left(\frac{1}{m}\right){\displaystyle \underset{i=1}{\overset{m}{\sum }}\left(h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)x_j^{\left(i\right)}}$(5)