决策树（decision tree）算法是根据给定的训练数据集构建一个决策树模型，使它能够对实例进行正确地分类，本质是从训练集中归纳出一组分类规则。决策树生成方法包括ID3、C4.5及CART等。

优点：

• 易于理解和解释，决策树可以可视化。

• 几乎不需要数据预处理。其他方法经常需要数据标准化，创建虚拟变量和删除缺失值。决策树还不支持缺失值。

• 使用树的花费（例如预测数据）是训练数据点(data points)数量的对数。 可以同时处理数值变量和分类变量。其他方法大都适用于分析一种变量的集合。

• 可以处理多值输出变量问题。 使用白盒模型。如果一个情况被观察到，使用逻辑判断容易表示这种规则。相反，如果是黑盒模型（例如人工神经网络），结果会非常难解释。

• 即使对真实模型来说，假设无效的情况下，也可以较好的适用。

缺点：

• 决策树学习可能创建一个过于复杂的树，并不能很好的预测数据（过拟合）。

• 决策树可能是不稳定的，因为即使非常小的变异，可能会产生一棵完全不同的树。

• 难以产生一棵全家最优的决策树。对样本和特征随机抽样可以降低整体效果偏差。

• 如果某些分类占优势，决策树将会创建一棵有偏差的树。因此，在训练之前，需要先抽样使样本均衡。

适用数据类型：数值型和标称型。