放荡的人生|分类器性能评判标准(Recall、P-R、F1、ROC等)你是否真的懂了?( 三 )


那么如何绘制ROC曲线呢?这里也需要我们通过阈值来绘制(与之前一样 , 遍历所有阈值来绘制整条曲线的) 。 当改变阈值时 , 那么预测出正样本和负样本的数目也随之变化 , 如下图:
7AUC值AUC(AreaUnderCurve)指的是ROC曲线下的面积大小 , 该值能够量化地反映基于ROC曲线衡量出的模型性能 。 计算AUC值只需要沿着ROC横轴做积分就可以了 。 由于ROC曲线一般都处于y=x这条直线的上方(如果不是的话 , 只要把模型预测的概率反转成1?p就可以得到一个更好的分类器) , 所以AUC的取值一般在0.5~1之间 。 AUC越大 , 说明分类器越可能把真正的正样本排在前面 , 分类性能越好 。 具体计算方法可参考文献[3] 。
8混淆矩阵混淆矩阵(ConfusionMatrix)也称错误矩阵 , 通过它可以直观地观察到算法的效果 。 它的每一列是样本的预测分类 , 每一行是样本的真实分类(反过来也可以) , 顾名思义 , 它反映了分类结果的混淆程度 。 混淆矩阵i行j列的原始是原本是类别i却被分为类别j的样本个数 , 计算完之后还可以对之进行可视化 , 可看看文献[2]中的混淆矩阵图片演示:
估算模型全局性能的方法有两种:宏平均(macro-average)和微平均(micro-average) 。 综合来看宏平均会比微平均更可靠一些 , 因为微平均受稀有类别影响更大 。 宏平均平等对待每一个类别 , 所以它的值主要受到稀有类别的影响 , 而微平均平等考虑数据集中的每一个样本 , 所以它的值受到常见类别的影响比较大 。


推荐阅读