为什么使用ROC曲线？

1.ROC曲线

ROC曲线全称为受试者工作特征曲线（Receiver Operating Characteristic）。提到ROC曲线就要先说明一下两个概念：FPR（伪正类率），TPR（真正类率），它们都是分类任务的评测指标。

1.1 TPR 、FPR

对于一个二分类任务（假定为1表示正类， 0表示负类），对于一个样本，分类的结果总共有四种：

类别实际为1，被预测为0，FN（False Negative）

类别实际为1，被预测为1，TP（True Positive）

类别实际为0，被预测为1，FP（False Positive）

类别实际为0，被预测为0，TN（True Negative）

FPR（False Positive Rate）= FP /（FP + TN），即负类数据被预测为正类的比例；

TPR（True Positive Rate）= TP /（TP + FN），即正类数据被预测为正类的比例。

1.2 ROC曲线

那什么是ROC曲线呢？我们看一下ROC曲线的图示：

对于样本数据，我们使用分类器对其进行分类，分类器会给出每个数据为正例的概率。我们可以针对此来设定一个阈值，当某个样本被预测为正例的概率大于这个阈值时，认为该样本为正例，小于则为负例。

通过计算我们就可以得到一个(TPR , FPR)对，即图像上的一个点。通过不断调整这个阈值，就得到若干个点，从而画出一条曲线。

可以看出，当这个阈值越大时，会有越多的样本被预测为负例，而这些样本中其实也有正例的存在。这样一来，TPR下降（正例数据被预测为负例了），FPR下降（负类数据更不会被预测为正例，但是影响要比TPR小，所以斜率呈上升趋势）。

当阈值越小时，越多的样本被预测为正例，而这些样本中可能包含是正例，却被预测为负例的样本以及是负例却被预测为正例的样本，这样一来TPR上升（更多的正例样本被预测为正例），FPR上升（更多的负例样本预测为正例，影响更大，所以斜率呈下降趋势）。

1.3 阈值调整

那么该如何调整这个阈值呢？一般来说，分类器会对一批数据的每个样本给出一个是正例的概率，如下图示，共20个样本，class为实际标签，score为分类器判断样本为正例的概率：

对给出的分数进行排序，然后依次使用score作为阈值，这样就得到了20组（FPR， TPR），做出ROC曲线如下：

当阈值为1时就可以到达ROC曲线上（0， 0）点，当阈值为0时就可以到达ROC曲线上（1， 1） 点。当然也不一定就必须使用概率值，也可以使用未经过softmax（或其他类似处理）的结果，使用方法相同，毕竟我们只需要一个次序。

2.AUC

说完ROC，再来说一下AUC。AUC被定义为ROC曲线下的面积（Area Under Curve），显然这个面积小于1。又因为ROC曲线一般都处于y=x这条直线的上方，所以AUC一般在0.5到1之间。

2.1 AUC优点与含义

使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。

AUC的含义为，当随机挑选一个正样本和一个负样本，根据当前的分类器计算得到的score将这个正样本排在负样本前面的概率。

2.2 AUC与分类器优劣

从AUC判断分类器（预测模型）优劣的标准：

AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。

0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。

AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。

AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

3. 为什么使用ROC曲线？

既然已经这么多评价标准，为什么还要使用ROC和AUC呢？因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。

在实际的数据集中经常会出现类不平衡(class imbalance)现象，即负样本比正样本多很多(或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。

下图中，(a)和(c)为ROC曲线，(b)和(d)为Precision-Recal[1]曲线。(a)和(b)展示的是分类其在原始测试集(正负样本分布平衡)的结果，(c)和(d)是将测试集中负样本的数量增加到原来的10倍后，分类器的结果。

可以明显的看出，ROC曲线基本保持原貌，而Precision-Recall曲线则变化较大。

       审核编辑 ：李倩