理论模型及方法论

 非参数回归模型的一般形式及模型

设Y为因变量  X1,X2,⋯,Xp $X_1,X_2,\cdots ,X_p$ 为自变量，非参数回归模型的一般形式为

Y=η(X1,X2,⋯,Xp)+ε $Y=\eta \left(X_1,X_2,\cdots ,X_p\right)+\epsilon$

其中对p元回归函数只作一些连续性或光滑性的要求。由于非参数回归模型不假定回归函的具体形式而增加了模型的灵活性和适应性。

设  (yi,xi) $\left(y_i,x_i\right)$ Math_12#为来自总体  (Y,X) $\left(Y,X\right)$ 的一个样本容量为n的独立同分布的样本，需要基于观测值  (yi,xi) $\left(y_i,x_i\right)$ Math_15#估计  η(x) $\eta \left(x\right)$ 并进行有关的统计推断。

非参数回归的模型为:

E(Y|X=x)=g(X) $E\left(Y|X=x\right)=g(X)$

数据和模型是统计分析的两个信息来源，数据带有“噪声”，但无偏，而模型实际上是种约束，有助于降低噪声，是响应的。在“偏差–方差”的平衡表上，代表两个极值的分别是标准参数模型和无约束非参数模型。在两个极值之间，存在着大量的非参数或半参数模型，其中大多数被称为平滑方法。非参数估计族可通过惩罚似然法导出各种随机环境下的模型。

三次平滑模型样条

光滑样条回归实际上是一种局部建模方法，是按照一定的光滑性连接起来的分段多项式。首先先介绍多项式样条回归估计，多项式样条估计的最小化式为：

s(f)=∑i=1T(Yi−η(Xi)) $s\left(f\right)={\displaystyle \underset{i=1}{\overset{T}{\sum }}\left(Y_i-\eta \left(X_i\right)\right)}$

在实际生活中，三阶样条比较常用，原理如下：

设某区间  [a,b] $\left[a,b\right]$ 上有实数  t1,t2,⋯,tn $t_1,t_2,\cdots ,t_n$ 且满足  a<t1<t2<⋯<tn<b $a<t_1<t_2<\cdots <t_n<b$ ，  f(x) $f\left(x\right)$ 是定义在区间  [a,b] $\left[a,b\right]$ 的函数，如  f(x) $f\left(x\right)$ 满足以下条件[儿童参考]：

1) 在  [a,t1],(t1,t2],⋯,(tn,b] $\left[a,t_1\right],\left(t_1,t_2\right],\cdots ,\left(t_n,b\right]$ 上，函数  f(x) $f\left(x\right)$ 为三次多项式。

2) 函数  f(x) $f\left(x\right)$ 及其二阶导数在  ti(i=1,2,⋯,n) $t_i\left(i=1,2,\cdots ,n\right)$ 处处连续。

则称这样的分段多项式函数为三次样条函数，  ti $t_i$ 为样条函数的节点。令  t0=a,tn+1=b $t_0=a,t_{n+1}=b$ ，

η(x)=di(x−ti)3+ci(x−ti)2+bi(x−ti)+ai $\eta \left(x\right)=d_i{\left(x-t_i\right)}^3+c_i{\left(x-t_i\right)}^2+b_i\left(x-t_i\right)+a_i$ ,  ti<x<ti+1 $t_i<x<t_{i+1}$

为三次光滑样条的表达式。光滑样条估计的基本思想是寻找一个光滑函数使得残差平方和最小，所以引入惩罚函数，使得惩罚平方和最小，估计方法为惩罚最小二乘估计，表达式为：

mins(f)=∑i=1T{yi−η(xi)}2+λ∫ab{η′′(x)}2dx $\min s\left(f\right)={\displaystyle \underset{i=1}{\overset{T}{\sum }}{\left\{y_i-\eta \left(x_i\right)\right\}}^2}+\lambda {\displaystyle \underset{a}{\overset{b}{\int }}{\left\{{\eta }^{″}\left(x\right)\right\}}^2\text{d}x}$

损失函数  ∑i=1T{yi−η(xi)}2 ${\displaystyle \underset{i=1}{\overset{T}{\sum }}{\left\{y_i-\eta \left(x_i\right)\right\}}^2}$ 是使  η $\eta$ 能很好的拟合数据，而  λ∫ab{η′′(x)}2dx $\lambda {\displaystyle \underset{a}{\overset{b}{\int }}{\left\{{\eta }^{″}\left(x\right)\right\}}^2\text{d}x}$ 则对函数  η $\eta$ 的波动性进行惩罚，二

阶导数  η′′(x) ${\eta }^{″}\left(x\right)$ 对应了斜率的变化程度，衡量的是函数的粗糙度。  λ $\lambda$ 为需要选择的光滑参数也称拉格朗日乘子，此方法可以避免多项式样条估计的节点选择对非参数拟合曲线的光滑程度影响。  λ $\lambda$ 值越大，函数  η $\eta$ 越光滑。

光滑样条基本算法

1) 目标函数均方误差最小

mins(f)=∑i=1T{yi−η(xi)}2+λ∫ab{η′′(x)}2dx $\min s\left(f\right)={\displaystyle \underset{i=1}{\overset{T}{\sum }}{\left\{y_i-\eta \left(x_i\right)\right\}}^2}+\lambda {\displaystyle \underset{a}{\overset{b}{\int }}{\left\{{\eta }^{″}\left(x\right)\right\}}^2\text{d}x}$

2) 写成矩阵形式，其中  η(x)=∑Nj=1Nj(x)θj $\eta \left(x\right)={\displaystyle {\sum }_{j=1}^N{N}_j\left(x\right){\theta }_j}$

s(θ,λ)=(y−Nθ)T(y−Nθ)+λθTΩNθ $s\left(\theta ,\lambda \right)={\left(y-N\theta \right)}^{\text{T}}\left(y-N\theta \right)+\lambda {\theta }^{\text{T}}{\Omega }_N\theta$

其中  {N}ij=Nj(xi) ${\left\{N\right\}}_{ij}=N_j\left(x_i\right)$ ，  {ΩN}ij=∫N′′jN′′kdt ${\left\{{\Omega }_N\right\}}_{ij}={\displaystyle \int {N^{″}}_j{N^{″}}_k\text{d}t}$ 。

3) 运用最小二乘法估计

θˆ=(NTN+λΩN)−1NTy $\hat{\theta }={\left(N^{\text{T}}N+\lambda {\Omega }_N\right)}^{-1}{N}^{\text{T}}y$

4) 带入拟合函数

ηˆ=∑Nj=1Nj(x)θˆj $\hat{\eta }={\displaystyle {\sum }_{j=1}^N{N}_j\left(x\right){\hat{\theta }}_j}$

设B为N*M的矩阵，

ηˆ=B(BTB)−1BTy=Hy $\hat{\eta }=B{\left(B^{\text{T}}B\right)}^{-1}{B}^{\text{T}}y=Hy$

5) 求光滑参数  λ $\lambda$

dfλ=trace(Sλ) $d{f}_{\lambda }=trace(S\lambda )$

Sλ=N(NTN+λΩN)NT=N(NT[I+λN−TΩNN−1]N)−1NT=(I+λN−TΩNN−1)−1 $S_{\lambda }=N\left(N^{\text{T}}N+\lambda {\Omega }_N\right)N^{\text{T}}=N{\left(N^{\text{T}}\left[I+\lambda N-T{\Omega }_N{N}^{-1}\right]N\right)}^{-1}{N}^{\text{T}}={\left(I+\lambda N^{-\text{T}}{\Omega }_N{N}^{-1}\right)}^{-1}$

矩阵  Sλ $S_{\lambda }$ 可以写成  Sλ=(I−λK)−1 $S_{\lambda }={\left(I-\lambda K\right)}^{-1}$

此时  mins(η)=(y−η)T(y−η)+ληTKη→ηˆ=Sλy $\min s\left(\eta \right)={\left(y-\eta \right)}^{\text{T}}\left(y-\eta \right)+\lambda {\eta }^{\text{T}}K\eta \to \hat{\eta }=S_{\lambda }y$

矩阵S具有对称半定性质，对其进行特征分解：

Sλ=∑Nk=1ρk(λ)ukuTK $S_{\lambda }={\displaystyle {\sum }_{k=1}^N{\rho }_k\left(\lambda \right)u_k{u}_K^{\text{T}}}$

其中，  ρk(λ)=11+λdk ${\rho }_k\left(\lambda \right)=\frac{1}{1+\lambda d_k}$ ，这里的  dk $d_k$ 是矩阵K的特征值

6) 估计样条函数

ηˆ=Sλy=∑Nk=1ρk(λ)ukuTKy