Hessian-free 优化方法

对于光滑的非线性函数，一般采用以下方法：局部方法结合直线搜索工作的方案xk+1=xk+tkdk，其中局部方法将指定方向dk，直线搜索将指定步长tk∈R。

基准

为了简化优化方法的基准，我们创建一个函数，用于计算所有优化方法的理想估计方法。

与a和b有关的梯度为

R实现

我们最小化了对数似然的相反数：实现了梯度的相反数。对数似然和它的梯度都不被输出。

---

---

function(par) 
loglikelihood(par, fix.arg ,...) 

样本的随机生成

#(1) beta分布
n <- 200
x <- rbeta(n, 3, 3/4)
lnl(c(3, 4), x) #检验
hist(x, prob=TRUE)

在约束优化的情况下，我们通过使用对数障碍允许线性不平等约束。

使用形状参数δ1和δ2的exp/log变换，来确保形状参数严格为正。

#取起始值的对数
lapply(default(x, "beta"), log)
#为新的参数化重新定义梯度
exp <- function(par,...) beta(exp(par), obs) * exp(par)
fit(x, distr="beta2", method="mle") 

 ​

#返回到原始参数化
expopt <- exp(expopt)

数值调查的结果

结果显示在以下表格中。1）没有指定梯度的原始参数（-B代表有界版本），（2）具有（真实）梯度的原始参数（-B代表有界版本，-G代表梯度），（3）没有指定梯度的对数转换参数，（4）具有（真实）梯度的对数转换参数（-G代表梯度）。

我们可以用bootdist函数来模拟bootstrap 复制的情况。

boot(fit(x, "beta", method="mle", optim.method="BFGS"))

plot(b1)
abline(v=3, h=3/4, col="red", lwd=1.5)

负二项分布的演示

负二项分布的对数似然函数及其梯度

理论值

负二项分布的p.m.f.由以下公式给出

其中Γ表示β函数。存在另一种表示方法，即μ=m(1-p)/p或等价于p=m/(m+μ)。因此，一组观测值（x1,…,xn）的对数似然性是

相对于m和p的梯度是

R实现

我们最小化对数似然性的相反_数_：实现梯度的相反_数_。

  m <- x\[1\]
  p <- x\[2\]
  c(sum(psigamma(obs+m)) - n\*psigamma(m) + n\*log(p),
    m*n/p - sum(obs)/(1-p))

样本的随机生成

#(1) β分布

trueval <- c("size"=10, "prob"=3/4, "mu"=10/3)
x <- rnbinom(n, trueval\["size"\], trueval\["prob"\])

hist(x, prob=TRUE, ylim=c(0, .3))

拟合负二项分布

定义控制参数并做基准。

list(trace=0, REPORT=1, maxit=1000)
fit(x, "nbinom", "mle", lower=0)

在约束优化的情况下，我们通过使用对数障碍允许线性不平等约束。

使用形状参数δ1和δ2的exp/log变换，来确保形状参数严格为正。

#对起始值进行变换
mu <- size / (size+mu)
arg <- list(size=log(start), prob=log(start/(1-start)))

#为新的参数化重新定义梯度
function(x)
  c(exp(x\[1\]), plogis(x\[2\]))

fit(x, distr="nbinom2", method="mle")

#返回到原始参数化
expo <- apply(expo, 2, Trans)

然后，我们提取拟合参数的值、相应的对数似然值和要最小化的函数的计数及其梯度（无论是理论上的梯度还是数值上的近似值）。

数值调查的结果

结果显示在以下表格中。1）没有指定梯度的原始参数（-B代表有界版本），（2）具有（真实）梯度的原始参数（-B代表有界版本，-G代表梯度），（3）没有指定梯度的对数转换参数，（4）具有（真实）梯度的对数转换参数（-G代表梯度）。

我们绘制了真实值（蓝色）和拟合参数（红色）周围的对数似然曲面图。

surface(min.arg=c(5, 0.3), max.arg=c(15, 1), 
         )
points(trueval , pch="x")

我们可以用bootdist函数来模拟bootstrap 复制的情况。

boot(fit(x, "nbinom", method="mle")

plot(b1)
abline(v=trueval)

结论

基于前面的两个例子，我们观察到所有的方法都收敛到了同一个点。

然而，不同方法的函数评价（和梯度评价）的结果是非常不同的。此外，指定对数似然性的真实梯度对拟合过程没有任何帮助，通常会减慢收敛速度。一般来说，最好的方法是标准BFGS方法或对参数进行指数变换的BFGS方法。由于指数函数是可微的，所以渐进特性仍被保留（通过Delta方法），但对于有限样本来说，这可能会产生一个小的偏差。