A.深度学习基础入门篇[二]：机器学习常用评估指标:AUC、mAP、IS、FID、Perplexity、BLEU、ROUGE等详解

A.深度学习基础入门篇[二]：机器学习常用评估指标

1.基础指标简介

机器学习的评价指标有精度、精确率、召回率、P-R曲线、F1 值、TPR、FPR、ROC、AUC等指标，还有在生物领域常用的敏感性、特异性等指标。

在分类任务中，各指标的计算基础都来自于对正负样本的分类结果，用混淆矩阵表示，如 图1.1 所示：

• 准确率

Accuracy=\dfrac{TP+TN}{TP+FN+FP+TN}

即所有分类正确的样本占全部样本的比例。

• 精确率

精准率又叫做：Precision、查准率

• 召回率

召回率又叫：Recall、查全率

Recall=\dfrac{TP}{TP+FN}\quad\text{}

即所有正例的样本中，被找出的比例.

• P-R曲线¶

P-R曲线又叫做：PRC

图2 PRC曲线图

根据预测结果将预测样本排序，最有可能为正样本的在前，最不可能的在后，依次将样本预测为正样本，分别计算当前的精确率和召回率，绘制P-R曲线。

• F1 值

\quad F1=\dfrac{2*P*R}{P+R}\quad\quad

• TPR

TPR=\dfrac{TP}{TP+FN}

真正例率，与召回率相同

• FPR 假正例率

FPR=\dfrac{FP}{TN+FP}\quad

• ROC

根据预测结果将预测样本排序，最有可能为正样本的在前，最不可能的在后，依次将样本预测为正样本，分别计算当前的TPR和FPR，绘制ROC曲线。

• AUC

Area Under ROC Curve，ROC曲线下的面积：

• 敏感性

敏感性或者灵敏度（Sensitivity，也称为真阳性率）是指实际为阳性的样本中，判断为阳性的比例（例如真正有生病的人中，被医院判断为有生病者的比例），计算方式是真阳性除以真阳性+假阴性（实际为阳性，但判断为阴性）的比值（能将实际患病的病例正确地判断为患病的能力，即患者被判为阳性的概率）。公式如下：

sensitivity=\dfrac{TP}{TP+FN}\quad\text{}

即有病（阳性）人群中，检测出阳性的几率。（检测出确实有病的能力）

• 特异性

特异性或特异度（Specificity，也称为真阴性率）是指实际为阴性的样本中，判断为阴性的比例（例如真正未生病的人中，被医院判断为未生病者的比例），计算方式是真阴性除以真阴性+假阳性（实际为阴性，但判断为阳性）的比值（能正确判断实际未患病的病例的能力，即试验结果为阴性的比例）。公式如下：

specificity=\dfrac{TN}{TN+FP}\quad\text{}

即无病（阴性）人群中，检测出阴性的几率。（检测出确实没病的能力）

2. 目标检测任务重：mAP

在目标检测任务中，还有一个非常重要的概念是mAP。mAP是用来衡量目标检测算法精度的一个常用指标。目前各个经典算法都是使用mAP在开源数据集上进行精度对比。在计算mAP之前，还需要使用到两个基础概念：准确率（Precision）和召回率（Recall）

2.1准确率和召回率

• 准确率：预测为正的样本中有多少是真正的正样本。
• 召回率：样本中的正例有多少被预测正确。

具体计算方式如图2.1所示。

如图2.1准确率和召回率计算方式

其中，上图还存在以下几个概念：

• 正例：正样本，即该位置存在对应类别的物体。
• 负例：负样本，即该位置不存在对应类别的物体。
• TP（True Positives）：正样本预测为正样本的数量。
• FP（False Positives）：负样本预测为正样本的数量。
• FN（False Negative）：正样本预测为负样本的数量。
• TN（True Negative）：负样本预测为负样本的数量。

这里举个例子来说明准确率和召回率是如何进行计算的：假设我们的输入样本中有某个类别的10个目标，我们最终预测得到了8个目标。其中6个目标预测正确（TP），2个目标预测错误（FP），4个目标没有预测到（FN）。则准确率和召回率的计算结果如下所示：

• 准确率：6/（6+2） = 6/8 = 75%
• 召回率：6/（6+4） = 6/10 = 60%

2.2 PR曲线

上文中，我们学习了如何计算准确率（Precision）和召回率（Recall），得到这两个结果后，我们使用Precision、Recall为纵、横坐标，就可以得到PR曲线，这里同样使用一个例子来演示如何绘制PR曲线。

假设我们使用目标检测算法获取了如下的24个目标框，各自的置信度（即网络预测得到的类别得分）按照从上到下进行排序后如 图2 所示。我们通过设置置信度阈值可以控制最终的输出结果。可以预想到的是：

1. 如果把阈值设高，则最终输出结果中大部分都会是比较准确的，但也会导致输出结果较少，样本中的正例只有部分被找出，准确率会比较高而召回率会比较低。
2. 如果把阈值设低，则最终输出结果会比较多，但是输出的结果中包含了大量负样本，召回率会比较高而准确率率会比较低。

图2.2 准确率和召回率列表

这里，我们从上往下每次多包含一个点，就可以得到最右边的两列，分别是累加的recall和累加的precision。以recall为自变量、precision为因变量可以得到一系列的坐标点（Recall，Precision）。将这些坐标点进行连线可以得到 图2.3 。

图2.3 PR曲线

而最终mAP的计算方式其实可以分成如下两步：

• AP（Average Precision）：某一类P-R曲线下的面积。
• mAP（mean Average Precision）：所有类别的AP值取平均。

3.GAN评价指标（评价生成图片好坏）

生成器G训练好后，我们需要评价生成图片的质量好坏，主要分为主观评价和客观评价，接下来分别介绍这两类方法：

• 主观评价：人眼去观察生成的样本是否与真实样本相似。但是主观评价会存在以下问题：
  • 生成图片数量较大时，观察一小部分图片可能无法代表所有图片的质量；
  • 生成图片非常真实时，主观认为是一个好的GAN，但可能存在过拟合现象，人眼无法发现。
• 客观评价：因为主观评价存在一些问题，于是就有很多学者提出了GAN的客观评价方法，常用的方法：
  • IS（Inception Score）
  • FID（Fréchet Inception Distance）