导语
本文是最新的改进PolyLoss和ASL loss的一篇文章。
- 会议：ICASSP 2023
- 链接：arxiv.org/pdf/2304.05…
1 简介
计算机视觉(CV)和自然语言处理(NLP)的很多任务本质上都是多标签分类任务，例如多标签图片分类任务中每张图片包含多个标签；文本分类任务，每个文本包含多个标签；关系抽取任务中头实体和尾实体之间存在多个关系；多标签分类任务一般用二元交叉熵损失函数（Binary Cross-Entropy, BCE loss）进行优化。
之前的研究大多关注于任务相关的损失函数优化：
- Focal Loss：用于目标检测
- Asymmetric Loss (ASL)：与Focal Loss类似
- Adaptive Thresholding Loss：用于关系抽取
- PolyLoss：只讨论了单标签分类任务
本文提出了一种名为Asymmetric Polynomial Loss（APL）的多标签分类损失函数，旨在应对Binary Cross-Entropy Loss（BCE）的不足，尤其是针对疏有正样本和密集负样本的不平衡问题。作者发现，对于每个独立的二元分类问题，负对数似然损失的 Taylor 展开式的多项式系数是不优的。因此，APL 采用了一种不对称的聚焦机制来提高稀有正样本(Rare Positive)的梯度贡献，从而提高特征学习效果。在实验中，作者通过对四个数据集的测试，证明了 APL 的优越性能，包括 MS-COCO 和 NUS-WIDE 上的最新结果。
2 方法
BCE loss对于多标签分类任务存在局限性：不能对不同的多标签分类任务进行适配；对于不同数据集，单纯使用BCE loss可能得不到最优解。同时，针对数据集的不同统计特征缺乏清晰的调整BCE loss的方向；而且无法处理样本错误标注问题。本文的目标是统一多标签损失函数的框架。
对BCE loss进行泰勒展开：
通过重新调节正负类损失值比例，即参数𝛾^+，𝛾^−调整泰勒级数的幂次。区别于使用相同参数的focal loss，多标签任务中对正负类使用不同的参数；由于大量的负类对模型的学习贡献较小，一般负类的参数大于正类的参数。
在面对大量负类数目处理时，丢弃极容易识别的负类。这里定义极容易被模型识别的负类：𝑝_i<𝑝_(𝑡ℎ ), 其中𝑝_(𝑡ℎ )是丢弃负类的阈值，那么负类的损失值为：
这样可以防止负类中预测概率值小于阈值的类别参与计算。
通过联合调整低次项系数，可以得到APL loss的损失函数定义如下：
其各个参数说明如下：
- 𝛾^+：正类权重调整幅度
- 𝛾^−：负类权重调整幅度，一般大于𝛾^+
- 𝛼_1： 为正类调节多项式〖(1−𝛼_1)〗^1系数
- 𝛼_2： 为正类调节多项式〖(1−𝛼_1)〗^2系数，视调节𝛼_1的情况
- 𝑝_(𝑡ℎ )：丢弃极容易识别的负类的阈值
- 𝛽_(1 )：为负类调节一次多项式的系数
这样定义的APL loss具有对不同多标签分类任务的适配：允许多维度调节，在多项式基底和多项式系数两个维度上可以对不同任务进行调整优化。同时能够处理正负类别不平衡问题：有效调节负类损失的占比；能够丢弃极容易分类的负类， 𝛽_(1 )能够调整负类损失比重。
3 实验
作者在文本分类、关系抽取和图像分类任务上都进行了实验，APL对比ASL效果提升显著。
4 总结
本文提出了一种用于多标签分类的非对称多项式损失算法(APL)。通过对BCE损失进行泰勒展开，APL损失保持了高度的灵活性，可以为各种任务和模型定制多项式系数。此外，APL loss能够利用不对称聚焦机制来缓解正负不平衡问题。多项式系数和非对称聚焦参数在正类和负类中都是高度相关的。大量的实验验证了APL loss的有效性。
