---

可下载资源

---

作者

我们预测棒球运动员的  Salary 。

结果将是一系列划分规则。第一个分支会将数据分割  Years < 4.5 为左侧的分支，其余的为右侧。如果我们对此模型进行编码，我们会发现关系最终变得稍微复杂一些。

Hitters$Salary <- log(Hitters$Salary)
hist(Hitters$Salary)

现在，我们讨论通过对特征空间进行分层来构建预测树。通常，有两个步骤。

剪枝

尽管上面的模型可以对训练数据产生良好的预测，但是基本的树方法可能会过度拟合数据，从而导致测试性能不佳。这是因为生成的树往往过于复杂。具有较少拆分的较小树通常以较小的偏差为代价，从而导致方差较低，易于解释且测试错误较低。实现此目的的一种可能方法是仅在每次拆分导致的RSS减少量超过某个（高）阈值时，才构建一棵树。

---

---

因此，更好的策略是生长一棵大树，然后  剪枝  回去以获得更好的子树。

成本复杂度剪枝算法-也称为最弱链接修剪为我们提供了解决此问题的方法。而不是考虑每个可能的子树，我们考虑由非负调整参数索引的树序列  alpha。

 
trees <- tree(Salary~., train)
plot(trees)
text(trees, pretty=0)

 plot(cv.trees)

prune.trees <- prune.tree(trees, best=4)
plot(prune.trees)
text(prune.trees, pretty=0)

使用修剪的树对测试集进行预测。

实际上，另外两种方法是可取的，尽管它们在数值上非常相似：

__Gini index_是K个  类之间总方差的度量  。

如果给定类别中的训练观测值的比例都接近零或一，则__cross-entropy_的值将接近零。

修剪树时，首选这两种方法，但如果以最终修剪模型的预测精度为目标，则规则分类错误率是优选的。

为了证明这一点，我们将使用  Heart 数据集。这些数据包含AHD 303名胸痛患者的二进制结果变量  。结果被编码为  Yes 或  No 存在心脏病。

dim(Heart)

[1] 303 15

看起来4棵分裂树的偏差最小。让我们看看这棵树是什么样子。同样，我们使用  prune.misclass 分类设置。

prune.trees <- prune.misclass(trees, best=4)
plot(prune.trees)
text(prune.trees, pretty=0)

## Confusion Matrix and Statistics
## 
##           Reference
## Prediction No Yes
##        No  72  24
##        Yes 10  45
##                                       
##                Accuracy : 0.775       
##                  95% CI : (0.7, 0.839)
##     No Information Rate : 0.543       
##     P-Value [Acc > NIR] : 2.86e-09    
##                                       
##                   Kappa : 0.539       
##  Mcnemar's Test P-Value : 0.0258      
##                                       
##             Sensitivity : 0.878       
##             Specificity : 0.652       
##          Pos Pred Value : 0.750       
##          Neg Pred Value : 0.818       
##              Prevalence : 0.543       
##          Detection Rate : 0.477       
##    Detection Prevalence : 0.636       
##       Balanced Accuracy : 0.765       
##                                       
##        'Positive' Class : No          
## 

在这里，我们获得了约76％的精度。

树与线性模型

最好的模型始终取决于当前的问题。如果可以通过线性模型近似该关系，则线性回归将很可能占主导地位。相反，如果我们在特征和y之间具有复杂的，高度非线性的关系，则决策树可能会胜过传统方法。

那么为什么要进行拆分呢？拆分导致节点纯度提高  ，这可能会在使用测试数据时有更好的预测。

优点/缺点

优点：

• 树比线性回归更容易解释。
• 更能反映了人类的决策。
• 易于以图形方式显示。
• 可以处理没有伪变量的定性预测变量。

缺点：

• 树木通常不具有与传统方法相同的预测准确性，但是，诸如  Bagging，随机森林和增强等方法  可以提高性能。

其他例子

树结构中实际使用的变量：“价格”、“ CompPrice”、“年龄”、“收入”、“ ShelveLoc”、“广告”，终端节点数：19，残差平均偏差：0.414 = 92/222，错误分类错误率：0.0996 = 24/241

在这里，我们看到训练误差约为9％。我们  plot() 用来显示树结构和  text() 显示节点标签。

plot(sales.tree)
text(sales.tree, pretty=0)

让我们看看完整的树如何处理测试数据。

## Confusion Matrix and Statistics
## 
##           Reference
## Prediction High Low
##       High   56  12
##       Low    23  68
##                                         
##                Accuracy : 0.78          
##                  95% CI : (0.707, 0.842)
##     No Information Rate : 0.503         
##     P-Value [Acc > NIR] : 6.28e-13      
##                                         
##                   Kappa : 0.559         
##  Mcnemar's Test P-Value : 0.091         
##                                         
##             Sensitivity : 0.709         
##             Specificity : 0.850         
##          Pos Pred Value : 0.824         
##          Neg Pred Value : 0.747         
##              Prevalence : 0.497         
##          Detection Rate : 0.352         
##    Detection Prevalence : 0.428         
##       Balanced Accuracy : 0.779         
##                                         
##        'Positive' Class : High          
## 

约74％的测试错误率相当不错，但是我们可以通过交叉验证来改善它。

在这里，我们看到最低的错误分类错误是模型4的。现在我们可以将树修剪为4模型。

## Confusion Matrix and Statistics
## 
##           Reference
## Prediction High Low
##       High   52  20
##       Low    27  60
##                                         
##                Accuracy : 0.704         
##                  95% CI : (0.627, 0.774)
##     No Information Rate : 0.503         
##     P-Value [Acc > NIR] : 2.02e-07      
##                                         
##                   Kappa : 0.408         
##  Mcnemar's Test P-Value : 0.381         
##                                         
##             Sensitivity : 0.658         
##             Specificity : 0.750         
##          Pos Pred Value : 0.722         
##          Neg Pred Value : 0.690         
##              Prevalence : 0.497         
##          Detection Rate : 0.327         
##    Detection Prevalence : 0.453         
##       Balanced Accuracy : 0.704         
##                                         
##        'Positive' Class : High          
## 

这并不能真正改善我们的分类，但是我们大大简化了模型。

## CART 
## 
## 241 samples
##  10 predictors
##   2 classes: 'High', 'Low' 
## 
## No pre-processing
## Resampling: Cross-Validated (10 fold) 
## 
## Summary of sample sizes: 217, 217, 216, 217, 217, 217, ... 
## 
## Resampling results across tuning parameters:
## 
##   cp    ROC  Sens  Spec  ROC SD  Sens SD  Spec SD
##   0.06  0.7  0.7   0.7   0.1     0.2      0.1    
##   0.1   0.6  0.7   0.6   0.2     0.2      0.2    
##   0.4   0.5  0.3   0.8   0.09    0.3      0.3    
## 
## ROC was used to select the optimal model using  the largest value.
## The final value used for the model was cp = 0.06.

## Confusion Matrix and Statistics
## 
##           Reference
## Prediction High Low
##       High   56  21
##       Low    23  59
##                                         
##                Accuracy : 0.723         
##                  95% CI : (0.647, 0.791)
##     No Information Rate : 0.503         
##     P-Value [Acc > NIR] : 1.3e-08       
##                                         
##                   Kappa : 0.446         
##  Mcnemar's Test P-Value : 0.88          
##                                         
##             Sensitivity : 0.709         
##             Specificity : 0.738         
##          Pos Pred Value : 0.727         
##          Neg Pred Value : 0.720         
##              Prevalence : 0.497         
##          Detection Rate : 0.352         
##    Detection Prevalence : 0.484         
##       Balanced Accuracy : 0.723         
##                                         
##        'Positive' Class : High          
## 

选择了更简单的树，预测精度有所降低。