一、准确率

定义：预测正确的结果占总样本的百分比

1、几类样本

（1）正样本：在二分类问题中，目标样本是正样本。如在人脸识别问题中，人脸样本就是正样本。

（2）负样本：非目标样本为负样本。如除了人脸样本之外的如窗户、门的样本就是负样本。

• 真正例（True Positive，TP）：被模型预测为正的正样本

• 假正例（False Positive，FP）：被模型预测为正的负样本

• 假负例（False Negative，FN）：被模型预测为负的正样本

• 真负例（True Negative，TN）：被模型预测为负的负样本

2、准确率的缺点

在数据的类别不均衡，特别是有极偏的数据存在时，准确率不能客观评价算法的优劣。如100个预测样本，99个反例，仅1个正例。

二、精确率和召回率

1、精确率

又叫查准率，针对预测结果而言。定义：在所有被预测为正的样本中实际为正的样本的概率。

表示对正样本的预测准确程度。

2、召回率

又叫查全率，针对原样本而言。定义：在实际为正的样本中被预测为正样本的概率。

3、两者的关系

相对关系，此消彼长。在不同问题中，关注点不同，需要结合两个指标，寻找平衡点。

三、F1-Score

F1值是P和R值的加权调和平均，是兼顾精准率和召回率的指标。当F1较高时，模型性能越好。

四、P-R曲线

含义：用以描述精确率和召回率的变化。

定义：根据预测结果（一般为实值或概率），按测试样本为“正例”的可能性由高到低进行排序，每次计算出当前的P值和R值，绘图得到P-R曲线。

评估模型性能的方式

1. 若某一学习器A曲线被另一学习器B的P-R曲线完全包住，则称B的性能优于A。

2. 若A和B的曲线发生交叉，则曲线下面积大的性能更优。

3. 一般而言，曲线下面积难以估算，根据平衡点(BEP，P=R时的取值)，平衡点的取值越高，性能越优。

五、ROC曲线

1、性能指标

灵敏度（sensitivity）和特异度（specificity）的选择使得ROC可以无视样本的不平衡。

真正率 (True Positive Rate , TPR)，又称灵敏度，表示正样本的召回率：

真负率 (True Negative Rate , TNR)，又称特异度，表示负样本的召回率：

假负率 (False Negative Rate , FNR)，FNR=1-TPR：

假正率 (False Positive Rate , FPR)，FPR=1-TNR：

假设总样本中，90%是正样本，10%是负样本。由于TPR只关注90%正样本中有多少是被预测正确的，与10%负样本无关，同理FPR只关注10%负样本中有多少是被预测错误的，也与90%正样本无关。这样就避免了样本不平衡的问题。

2、ROC曲线概念

ROC又称接受者操作特征曲线，ROC曲线以假正率FPR为横坐标，真正率TPR为纵坐标。

评估模型性能的方式

1. 负样本误判的越少越好，正样本召回的越多越好。即TPR 越高，同时 FPR 越低（即 ROC 曲线越陡），那么模型的性能就越好。

2. 若一个模型A的ROC曲线被另一个模型B的ROC曲线完全包住，则称B的性能优于 A。若A和B的曲线发生了交叉，则谁的曲线下的面积大，谁的性能更优。

3、优点

1）阈值问题

ROC 曲线通过遍历所有阈值来绘制整条曲线，在遍历阈值的过程中，预测的正样本和负样本不断变化，在ROC曲线中会沿着曲线滑动。改变阈值仅改变正负样本数，曲线本身不变。

2）无视样本不平衡

当测试集中的正负样本的分布变化的时候，ROC 曲线能够保持不变，消除样本不平衡对指标结果产生的影响。

4、AUC

又称曲线下面积，表示处于ROC曲线下方的面积大小。AUC越大，模型分类效果越好，通常AUC值介于0.5到1之间。

物理意义：AUC 值是一个概率值，表示随机挑选一个正样本以及一个负样本，分类器判定正样本分值高于负样本分值的概率就是 AUC 值。

六、混淆矩阵

定义：每一列表示样本的预测分类，每一行是样本的真实分类（反过来也可以），反映了分类结果的混淆程度。以二分类为例，下图表示分类结果的混淆矩阵。

七、多分类场景

1、问题场景

多分类场景或二分类问题中，多个混淆矩阵的情况。

2、计算方法（以计算F1值为例）

1）宏平均

先算出每个混淆矩阵的P值和R值，然后取得平均P值macro-P和平均R值macro-R，再算出F1值。

2）微平均

计算出混淆矩阵的平均TP、FP、TN、FN，接着进行计算P、R，进而求出F1值。

3、区别

多分类问题中，宏平均的值主要受稀有类别的影响，平等对待每一个类别。微平均的值受到常见类别的影响比较大，平等考虑数据集中的每一个样本。整体而言，宏平均优于微平均。