洛瓦什-Softmax损失：神经网络中交并比度量优化的一个可处理替代方案

马克西姆·伯曼，阿玛尔·兰嫩·特里基，马修·B·布拉什科

比利时鲁汶大学ESAT-PSI实验室。

发表于CVPR 2018。参见项目页面，arXiv论文，CVF开放获取论文。

PyTorch实现的损失层（pytorch文件夹）

包含文件：

• lovasz_losses.py: 独立的PyTorch实现，用于Jaccard指数的洛瓦什铰链损失和洛瓦什-Softmax损失。
• demo_binary.ipynb: Jupyter笔记本，展示了使用洛瓦什铰链损失和洛瓦什-Sigmoid损失对线性模型进行二分类训练的过程。
• demo_multiclass.ipynb: Jupyter笔记本，展示了使用洛瓦什-Softmax损失对线性模型进行多分类训练的过程。

二分类的lovasz_hinge期望输入实数值得分（正分数对应前景像素）。

多分类的lovasz_softmax期望输入类别概率（预测为得分最高的类别）。首先需要在未归一化的得分上应用一个Softmax层。

TensorFlow实现的损失层（tensorflow文件夹）

包含文件：

• lovasz_losses_tf.py: 独立的TensorFlow实现，用于Jaccard指数的洛瓦什铰链损失和洛瓦什-Softmax损失。
• demo_binary_tf.ipynb: Jupyter笔记本，展示了使用洛瓦什铰链损失和洛瓦什-Sigmoid损失对线性模型进行二分类训练的过程。
• demo_multiclass_tf.ipynb: Jupyter笔记本，展示了使用洛瓦什-Softmax损失进行多分类训练的应用。

警告：损失值和梯度已验证与PyTorch中的结果一致（详见笔记本），然而我们尚未在实际训练场景中使用过TF实现。

使用方法

请参阅演示以获得简单的原理验证。

常见问题解答

• 我应该如何使用洛瓦什-Softmax损失？

该损失可以单独优化，但其最优的优化超参数（学习率、动量）可能与交叉熵损失的最佳设置不同。正如论文中所讨论的那样，数据集mIoU（Pascal VOC指标）的优化效果取决于批次大小和类别数量。因此，您可能会先用交叉熵损失进行优化，再用我们的损失进行微调，或者将两者结合使用，从而获得最佳效果。

例如，亚历山大·拉赫林等人在利用U-Net和洛瓦什-Softmax损失进行卫星影像地表覆盖分类一文中，就在CVPR 18 DeepGlobe挑战赛中使用了我们的损失。

• 在TensorFlow中进行推理非常缓慢……

从TensorFlow主分支编译（或使用包含提交tensorflow/tensorflow@73e3215的未来版本）应该可以解决这个问题；详情请参阅issue #6。

引用

请引用以下文献：

@inproceedings{berman2018lovasz,
  title={The Lov{\'a}sz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks},
  author={Berman, Maxim and Rannen Triki, Amal and Blaschko, Matthew B},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  pages={4413--4421},
  year={2018}
}

LovaszSoftmax 快速上手指南

LovaszSoftmax 是一种用于优化神经网络中交并比（IoU/Jaccard Index）指标的可微损失函数，特别适用于图像分割任务。本项目提供了 PyTorch 和 TensorFlow 的实现。

环境准备

• 操作系统: Linux, macOS 或 Windows
• Python: 3.6+
• 前置依赖:
  • PyTorch 用户: 需安装 torch 和 torchvision。
  • TensorFlow 用户: 需安装 tensorflow (建议 1.x 或兼容的 2.x 版本，注意原项目主要针对 TF 1.x 测试)。
  • 演示运行: 需安装 jupyter 和 matplotlib 以运行示例 Notebook。

国内加速安装建议： 推荐使用清华源或阿里源加速 Python 包安装：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple
# 或
pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install jupyter matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

本项目无需通过 pip 安装，直接克隆源码即可使用。

1. 克隆仓库

   git clone https://github.com/bermanmaxim/LovaszSoftmax.git
   cd LovaszSoftmax
   

2. 验证文件 进入对应框架文件夹确认核心文件存在：

   • PyTorch: pytorch/lovasz_losses.py
   • TensorFlow: tensorflow/lovasz_losses_tf.py

基本使用

1. PyTorch 使用示例

将 pytorch/lovasz_losses.py 复制到你的项目中，或直接导入。

二分类任务 (Binary Segmentation) 输入应为未经过 Sigmoid 的实数分数（logits），正分代表前景。

import torch
from pytorch.lovasz_losses import lovasz_hinge

# 假设 outputs 是模型输出的 logits (Batch, H, W)
# 假设 targets 是真实的二值掩码 (Batch, H, W), 值为 0 或 1
outputs = torch.randn(4, 512, 512).cuda()
targets = torch.randint(0, 2, (4, 512, 512)).float().cuda()

# 计算 Lovasz Hinge Loss
loss = lovasz_hinge(outputs, targets)
loss.backward()

多分类任务 (Multiclass Segmentation) 输入应为经过 Softmax 后的类别概率。

import torch
import torch.nn.functional as F
from pytorch.lovasz_losses import lovasz_softmax

# 假设 outputs 是模型输出的 logits (Batch, Num_Classes, H, W)
# 假设 targets 是真实的类别索引 (Batch, H, W)
outputs = torch.randn(4, 21, 512, 512).cuda()
targets = torch.randint(0, 21, (4, 512, 512)).cuda()

# 1. 先应用 Softmax 获取概率
probs = F.softmax(outputs, dim=1)

# 2. 计算 Lovasz Softmax Loss
loss = lovasz_softmax(probs, targets)
loss.backward()

2. TensorFlow 使用示例

将 tensorflow/lovasz_losses_tf.py 复制到你的项目中。

import tensorflow as tf
from lovasz_losses_tf import lovasz_softmax_tf

# 定义占位符或张量
# logits: [batch, height, width, num_classes]
# labels: [batch, height, width] (integer class indices)
logits = ... 
labels = ...

# 应用 Softmax
probs = tf.nn.softmax(logits)

# 计算损失
loss = lovasz_softmax_tf(probs, labels)

# 优化步骤
optimizer = tf.train.AdamOptimizer(learning_rate=1e-4)
train_op = optimizer.minimize(loss)

提示：对于多分类任务，务必先在网络末端添加 Softmax 层，再将结果传入 lovasz_softmax 函数；二分类任务则直接使用 lovasz_hinge 处理原始 logits。