【Asymmetric Loss】不均衡なマルチラベル分類に対するロス 【論文まとめ】

機械学習

不均衡なマルチラベル分類のために2021年に提案されたロス、Asymmetric Loss[1]について調べてみたので、まとめます。

ちなみに、この論文を読んだのはKaggleで開催されたBirdCLEF2022というコンペに参加していた際で、何か不均衡なデータ対策に使えそうな手法がないかと論文を探していて目についたのが理由です。結局、これを使うには至らなかったですが、非常に面白いアイデアの詰まったロスでした。

Asymmetric Loss(ASL)とは

Ben-Baruch, Emanuel, et al. “Asymmetric loss for multi-label classification.” arXiv preprint arXiv:2009.14119 (2020).
より引用

典型的なマルチラベル分類では、ひとつのサンプルに対して正のラベルが少数で、残りの大多数は負のラベルということが多々あります。そのため、この正負のアンバランスが生じてしまい、正のラベルによる学習がうまく進まないという問題が発生します。

そこで、このロスでは正負のラベルに対して異なる挙動をするようにして対処しています。

このロスのポイントは2点。

  • Asymmetric Focusing → Focal Loss[2]の\(\gamma\)を\(\gamma^+, \gamma^-\)に分ける
  • Asymmetric Probability Shifting → 負ラベルに対する予測確率\(p\)を\(max(p-m, 0)\)にする

Asymmetric Focusing

正負のアンバランスさを緩和させるため、Focal Lossにおける係数\(\gamma\)を、正のラベルに対する\(\gamma_+\)と、負のラベルに対する\(\gamma_-\)の二つに分けています。
\(\gamma_->\gamma_+\)とすることにより、予測が容易な負のサンプルの勾配は弱め、正のサンプルを強調するということを狙っています。

Asymmetric Probability Shifting

負のサンプルの確率を0方向にシフトする(\(m\)未満の場合は0とする)ことにより、負のラベルに対する確率がある程度低いときは学習にそのサンプルを使用しないことになります。
また、予測が困難すぎるサンプルの勾配は弱めることもできるので、誤ラベルの排除も可能とのことです。


Ben-Baruch, Emanuel, et al. “Asymmetric loss for multi-label classification.” arXiv preprint arXiv:2009.14119 (2020).
より引用

ASL

以上の2つを合体して、以下のようなロスとなる。
勾配を見ると、たしかに負のサンプルに対して$p$が0に近い場合は勾配がほぼ0となり無視され、予測のうまくいっていないときは勾配が大きくなり、予測が困難すぎる場合には勾配が0となることがわかる。

Ben-Baruch, Emanuel, et al. “Asymmetric loss for multi-label classification.” arXiv preprint arXiv:2009.14119 (2020).
より引用

ちなみに著者の実装コード[3]も公開されています。

References

[1] Ben-Baruch, Emanuel, et al. “Asymmetric loss for multi-label classification.” arXiv preprint arXiv:2009.14119 (2020).
[2] Lin, Tsung-Yi, et al. “Focal loss for dense object detection.” Proceedings of the IEEE international conference on computer vision. 2017.
[3] Asymmetric Lossの著者実装

コメント

タイトルとURLをコピーしました