随机森林

随机森林（RF）使用随机数据样本独立训练每棵树，这种随机性有助于使得模型比单个决策树更健壮。由于这个原因，随机森林算法在训练数据上不太可能出现过拟合现象。

随机森林应用示例

随机森林的差异性已被用于各种应用，例如基于组织标记数据找到患者群$[1]$。 在以下两种情况下，随机森林模型对于这种应用非常实用：

• 目标是为具有强相关特征的高维问题提供高预测精度；

• 数据集非常嘈杂，并且包含许多缺失值，例如某些属性是半连续的；

优点

随机森林中的模型参数调整比XGBoost更容易。在随机森林中，只有两个主要参数：每个节点要选择的特征数量和决策树的数量。此外，随机森林比XGB更难出现过拟合现象。

缺点

随机森林算法的主要限制是大量的树使得算法对实时预测的速度变得很慢。对于包含不同级别数的分类变量的数据，随机森林偏向于具有更多级别的属性。

贝叶斯优化

贝叶斯优化是一种优化函数的技术，其评估成本很高$[2]$。它为目标函数构建后验分布，并使用高斯过程回归计算该分布中的不确定性，然后使用采集函数（acquisition function ）来决定采样的位置。贝叶斯优化专注于解决问题：

$max(_x∈AF(X))$

超参数的维度（$x∈R_d$）一般设置为$d<20$。

通常设置A超矩形（$x∈R^d$：$a_i≤x_i≤b_i$）。目标函数是连续的，这是使用高斯过程回归建模所需的。它也缺乏像凹函数或线性函数这类函数，这使得利用这类函数来提高效率的技术徒劳无功。贝叶斯优化由两个主要组成部分组成：用于对目标函数建模的贝叶斯统计模型和用于决定下一步采样的采集函数。

在根据初始空间初始化实验设计的评估目标后，迭代使用这些目标分配N个评估的预算的剩余部分，如下所示：

1. 观察初始点；

2. 当$n\leqN$ 时，使用所有可用数据更新后验概率分布，并让$x_n$作为采集函数的最大值时的取值。继续观察$y_n=f(x_n)$ ，增大$n$， 直到循环结束；

3. 返回一个解决方案：最大的评估点；

通过上述可以总结到，贝叶斯优化是为黑盒无导数全局优化而设计的，在机器学习中调整超参数中是非常受欢迎的。