机器学习中常用的评估指标及其解释

释放双眼,带上耳机,听听看~!
本文介绍了机器学习中常用的评估指标,包括召回率、特异性、精确度、准确性以及F1分数的解释和应用。适合对机器学习评估指标感兴趣的读者阅读。

本文已参与「新人创作礼」活动,一起开启掘金创作之路。

TP,TN,FP,FN,F1,TPR,FPR (一图看懂)

最近又是发现怎么就搜不到一个简单的描述的博客,于是简单的手画了一个图来试图描述一下,应该挺清楚的吧,懂了吗? (逃,如果不懂的话,那么继续往下看。。。。)

机器学习中常用的评估指标及其解释

上面没看懂的话,那么继续看。

下面主要是参考了国外一个大佬的文章。

然而,机器学习的准确性可能意味着完全不同的事情,我们可能不得不使用不同的方法来验证模型。

当我们开发一个分类模型时,我们需要衡量它的预测效果。对于它的评估,我们需要知道好的预测是什么意思。

有一些指标可以衡量和评估模型在实际预测类别的准确性上并对其进行改进。

让我们看一个混淆矩阵,它定义了正确预测快乐、悲伤以及错误预测快乐和悲伤的数量。

机器学习中常用的评估指标及其解释机器学习中常用的评估指标及其解释

召回率或灵敏度或真阳性率

召回率也称为真阳性率,是真阳性与预测真阳性和预测假阴性之和的量度。

机器学习中常用的评估指标及其解释机器学习中常用的评估指标及其解释

它从所有实际的正例中正确地测量预测的正例。当假阴性的成本很高时,这一点很重要。

例如,如果我们想预测欺诈或疾病。

如果必须预测患者的疾病,并且是针对 COVID 等高度传染性疾病。

如果患者(真阳性)被检测为非阳性(错误预测),则通过测试并预测为没有生病(假阴性)。与此相关的成本将非常高且危险,因为他/她可能会感染许多人。

类似的情况是欺诈检测,其中欺诈(True Positive)被预测为不是欺诈(False Negative),如果它在银行中,它的结果可能会产生很大的影响。

它的公式如下:

机器学习中常用的评估指标及其解释机器学习中常用的评估指标及其解释

当假阴性等于 0 时,灵敏度的值将是 1,这是最佳值。

记住它的公式的简单方法是,我们需要像召回图中那样关注实际积极因素。

特异性

特异性或真阴性率是真阴性与预测假阳性和预测真阴性之和的比例的度量。

机器学习中常用的评估指标及其解释机器学习中常用的评估指标及其解释

当误报的测量成本很高时,测量其特异性模型是有利的。

一个例子可以是,允许所有健康人对特定疾病呈阴性的测试是非常具体的。高度特异性的测试将正确排除没有疾病的人并且不会产生任何假阳性结果。

如果测试不准确地将 20%的人识别为患有某种疾病,那么它就不是特定的,并且会有更高的假阳性值。

公式如下:

机器学习中常用的评估指标及其解释机器学习中常用的评估指标及其解释

当误报为零时,特异性将为 1,这是一个高度特异性的模型。

记住其公式的简单方法是,我们需要关注实际负数,如特异性图表中所示。

精确

精度或阳性预测值是真阳性与真阳性和预测假阳性之和的比例的度量。

当误报的成本很高时,它特别有用。

机器学习中常用的评估指标及其解释机器学习中常用的评估指标及其解释

高精度的一个例子可以是电子邮件垃圾邮件或火腿。

在电子邮件垃圾邮件/火腿分类中,如果很少有相关电子邮件被称为垃圾邮件,即假阳性和实际阴性。

在这种情况下,用户可能会丢失电子邮件中的重要信息,该模型精度低,不是一个好的垃圾邮件检测模型。

公式如下:

机器学习中常用的评估指标及其解释机器学习中常用的评估指标及其解释

当误报为零时,精度将为 1,这是一个高精度模型。

记住其公式的简单方法是,我们需要关注Predicted Positives,如Precision图中所示。

准确性

准确度是准确预测的总样本占全部样本总和的比例。

机器学习中常用的评估指标及其解释机器学习中常用的评估指标及其解释

模型的准确性定义了将样本准确识别到其类别的百分比。

但是,它不能用作验证模型的非常好的度量,因为它取决于数据及其类的平衡。如果一个特定的类是少数并且准确率为 99%,这主要是通过预测多数类,我们不能说该模型表现良好。但是,类不平衡是完全不同的主题,我们将在下次讨论。

如果没有类不平衡,则使用准确度模型更好,尽管这不是现实生活中的情况。

F1分数

它被称为 Precision 和 Recall 的调和平均值,它可以为我们提供比 Accuracy Metric 更好的错误分类类别的指标。

机器学习中常用的评估指标及其解释机器学习中常用的评估指标及其解释

如果我们需要在 Precision 和 Recall 之间寻求平衡,它可能是一个更好的衡量标准。此外,如果存在类别不平衡(大量的实际负数和较少的实际正数)。类不平衡在现实生活中总是存在的,因此,使用 F1-Score 总是比准确度更好。

机器学习中常用的评估指标及其解释机器学习中常用的评估指标及其解释

在 F1 分数中,我们使用调和平均值来惩罚极值。

如果 False positive 和 false Positive 值不为零,则 F1 Score 降低,如果这些值为零,则将是一个具有高精度和灵敏度的完美模型。

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

PaddleSeg Matting模型下载与抠图示例

2023-11-30 15:16:14

AI教程

Inception深度卷积神经网络架构在ILSVRC14中的性能分析

2023-11-30 15:22:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索