可下载资源

回顾一下，bagging意味着 “boostrap聚合”。因此，考虑一个模型m：X→Y。让

表示从样本中得到的m的估计

然后抽出许多样本，考虑获得的估计值的一致性，使用多数规则，或使用概率的平均值（如果考虑概率主义模型）。因此

Bagging逻辑回归 

另一种可用于生成bootstrap样本的技术是保留所有的xi，但对其中的每一个，都（随机地）抽取一个y的值，其中有

数据

我们使用心脏病数据，预测急诊病人的心肌梗死，包含变量：

1. 心脏指数
2. 心搏量指数
3. 舒张压
4. 肺动脉压
5. 心室压力
6. 肺阻力
7. 是否存活

其中我们有急诊室的观察结果，对于心肌梗塞，我们想了解谁存活下来了，得到一个预测模型

reg = glm(as.factor(PRO)~., carde, family=binomial)
for(s in 1:1000){
  L\_logit\[s\] = glm(as.factor(PRO)~., my\_s, family=binomial)
}

unlist(lapply(1:100,predict(L_logit\[z\],newdata=d,type="response")}

对于第一个观察，通过我们的1000个模拟数据集，以及我们的1000个模型，我们得到了以下死亡概率的估计。

v_x = p(x)
hist(v_x,proba=TRUE,breaks=seq(,by.05),=",="",
segments(mean(v\_x),0,mean(v\_x,5="=2)

因此，对于第一个观察，在78.8%的模型中，预测的概率高于50%，平均概率实际上接近75%。

histo(23)
histo(11)

我们在此观察到

Bagging决策树

Bagging是由Leo Breiman于1994年在Bagging Predictors中介绍的。如果说第一节描述了这个程序，那么第二节则介绍了 “Bagging分类树”。

for(i in 1:12)
  set.seed(sed\[i\])
idx = sample(1:n, size=n, replace=TRUE)
cart =  rpart(PR~., md\[idx,\])

这个策略其实和以前一样。对于bootstrap部分，将树存储在一个列表中

for(s in 1:1000)
idx = sample(1:n, size=n, replace=TRUE)
  L_tree\[\[s\]\] = rpart(as.(PR)~.)

从bagging到森林

在这里，我们生成了很多树，但它并不是严格意义上的随机森林算法，正如1995年在《随机决策森林》中介绍的那样。实际上，区别在于决策树的创建。当我们有一个节点时，看一下可能的分割：我们考虑所有可能的变量，以及所有可能的阈值。这里的策略是在p中随机抽取k个变量（当然k<p，例如k=sqrt{p}）。这在高维度上是有趣的，因为在每次分割时，我们应该寻找所有的变量和所有的阈值，而这可能需要相当长的时间（尤其是在bootstrap 程序中，目标是长出1000棵树）。