Curve-GCN

这是 Curve-GCN（CVPR 2019）的官方 PyTorch 实现。该仓库允许您训练新的 Curve-GCN 模型。有关技术细节，请参阅：

---

使用 Curve-GCN 进行快速交互式目标标注
Huan Ling* ^1,2, Jun Gao* ^1,2, Amlan Kar^1,2, Wenzheng Chen^1,2, Sanja Fidler^1,2,3
1 多伦多大学 ² Vector Institute ³ NVIDIA
[论文] [视频] [演示即将发布] [补充材料]

CVPR 2019

通过描绘物体边界来手动标注对象是一项繁重的工作。在 Polyrnn 中，作者提出了 Polygon-RNN，它利用 CNN-RNN 架构以递归方式生成多边形标注，并允许通过人机协作进行交互式修正。我们提出了一种新框架，通过使用图卷积网络（GCN）同时预测所有顶点，从而缓解了 Polygon-RNN 的顺序性特征。我们的模型采用端到端训练，可实时运行。它支持使用多边形或样条曲线进行目标标注，从而提高基于线条和曲线对象的标注效率。我们证明，在自动模式下，Curve-GCN 的表现优于所有现有方法，包括强大的 PSP-DeepLab；而在交互式模式下，其效率显著高于 Polygon-RNN++。我们的模型在自动模式下的运行时间为 29.3 毫秒，在交互式模式下的运行时间为 2.6 毫秒，分别比 Polygon-RNN++ 快 10 倍和 100 倍。
(* 表示共同第一作者)

---

代码在哪里？

要获取代码，请在此处 注册。我们还提供了 数据加载器。我们将使用 GitHub 来跟踪代码中的问题，并更新新版本的可用性（也可在网站上查看，并通过电子邮件通知已注册用户）。

如果您使用此代码，请引用：

@inproceedings{CurveGCN2019,
title={Fast Interactive Object Annotation with Curve-GCN},
author={Huan Ling and Jun Gao and Amlan Kar and Wenzheng Chen and Sanja Fidler},
booktitle={CVPR},
year={2019}
}

许可证

本作品采用 GNU 通用公共许可证第 3 版 许可。

环境设置

所有代码均已在 Ubuntu 16.04、Python 2.7.12、Pytorch 0.4.1、CUDA 9.0、TITAN X/Xp 和 GTX 1080Ti GPU 上运行并测试过。

• 进入下载的代码目录

cd <path_to_downloaded_directory>

• 设置 Python 环境

virtualenv env
source env/bin/activate
pip install -r requirements.txt

• 将项目添加到 PYTHONPATH

export PYTHONPATH=$PWD

数据

Cityscapes

• 从官方网站 下载 Cityscapes 数据集（leftImg8bit_trainvaltest.zip） [11 GB]
• 我们的处理后的标注文件包含在您注册后获得的下载文件中。
• 在根目录下，使用适当的路径运行以下命令，以准备适用于您机器的标注文件：

python Scripts/data/change_paths.py --city_dir <path_to_downloaded_leftImg8bit_folder> --json_dir <path_to_downloaded_annotation_file> --out_dir <output_dir>

训练

• 从 这里 下载预训练的 PyTorch Resnet-50。

训练样条 GCN

• 修改 Experiments/gnn-active-spline.json 中的 “exp_dir”、“encoder_reload” 和 “data_dir” 属性。
• 运行脚本：

python Scripts/train/train_gnn_active_spline.py --exp Experiments/gnn-active-spline.json

用于复现论文中结果的检查点位于 “checkpoints/Spline_GCN_epoch8_step21000.pth”

使用可微渲染对样条 GCN 进行微调

• 修改 Experiments/gnn-active-spline.json 中的 “exp_dir”、“encoder_reload” 和 “data_dir” 属性。
• 将 “xe_initializer” 设置为上一步的最佳检查点。
• 运行脚本：

python Scripts/train/train_gnn_active_spline_diffrender.py --exp Experiments/gnn-active-spline-diff-render.json

用于复现论文中结果的检查点位于 “checkpoints/Spline_GCN_diffrender_epoch6_step18000.pth”

预测

生成预测掩码：

python Scripts/prediction/generate_annotation_from_active_spline.py --exp <path to exp file> --output_dir <path to output dir> --reload <path to checkpoint> 

计算 IOU：

python Scripts/get_scores.py --pred <path to output dir> --output  <path to output txt file>

Curve-GCN 快速上手指南

Curve-GCN 是 CVPR 2019 提出的基于图卷积网络（GCN）的交互式物体标注工具，支持多边形和样条曲线标注，推理速度极快。

1. 环境准备

本项目已在以下环境中测试通过，建议参考此配置搭建环境：

• 操作系统: Ubuntu 16.04
• Python: 2.7.12
• PyTorch: 0.4.1
• CUDA: 9.0
• GPU: TITAN X/Xp 或 GTX 1080Ti

前置依赖：

• 需先注册并下载源代码及预处理后的标注文件（访问官方注册页）。
• 需自行下载 Cityscapes 数据集 (leftImg8bit_trainvaltest.zip)。
• 需下载预训练的 ResNet-50 模型。

国内加速提示：由于项目较老且依赖特定版本，若无法直接访问 PyTorch 官网下载 resnet50-19c8e357.pth，可在国内开源镜像站（如 OpenXLab 或百度 AI Studio 社区资源）搜索该文件名下载。

2. 安装步骤

2.1 获取代码与数据

假设已将下载的代码解压至 <path_to_downloaded_directory>，并将 Cityscapes 图片和注册获得的标注文件放置在本地。

2.2 配置 Python 环境

进入项目目录并创建虚拟环境：

cd <path_to_downloaded_directory>
virtualenv env
source env/bin/activate
pip install -r requirements.txt

优化建议：若 pip install 速度慢，可指定国内源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 设置环境变量

将项目路径加入 PYTHONPATH：

export PYTHONPATH=$PWD

2.4 准备数据

运行脚本处理 Cityscapes 数据路径（请替换为实际路径）：

python Scripts/data/change_paths.py --city_dir <path_to_downloaded_leftImg8bit_folder> --json_dir <path_to_downloaded_annotation_file> --out_dir <output_dir>

2.5 下载预训练骨干网络

下载 ResNet-50 预训练权重并放置于合适位置（代码中需引用）： 链接：https://download.pytorch.org/models/resnet50-19c8e357.pth

3. 基本使用

3.1 训练模型 (Spline GCN)

首先修改配置文件 Experiments/gnn-active-spline.json，更新 exp_dir、encoder_reload (ResNet-50 路径) 和 data_dir。

执行训练命令：

python Scripts/train/train_gnn_active_spline.py --exp Experiments/gnn-active-spline.json

注：复现论文结果的检查点位于 checkpoints/Spline_GCN_epoch8_step21000.pth。

3.2 微调模型 (可选，带可微渲染)

若需进行带可微渲染的微调，修改上述 json 文件中的 xe_initializer 为上一步的最佳检查点，并使用新配置文件运行：

python Scripts/train/train_gnn_active_spline_diffrender.py --exp Experiments/gnn-active-spline-diff-render.json

注：复现论文结果的检查点位于 checkpoints/Spline_GCN_diffrender_epoch6_step18000.pth。

3.3 生成预测结果

使用训练好的模型生成标注掩码：

python Scripts/prediction/generate_annotation_from_active_spline.py --exp <path to exp file> --output_dir <path to output dir> --reload <path to checkpoint> 

3.4 评估结果 (计算 IoU)

计算预测结果与真实值的交并比（IoU）：

python Scripts/get_scores.py --pred <path to output dir> --output  <path to output txt file>