EntitySeg 工具箱：迈向开放世界与高质量图像分割

EntitySeg 是一个开源工具箱，致力于实现开放世界和高质量的图像分割。我们团队所有与图像分割相关的工作均在此开源。

截至目前，EntitySeg 实现了以下算法：

• 开放世界实体分割 (TPAMI2022) --- 已发布
• 超高分辨率图像的高质量分割 (CVPR2022) --- 已发布
• CA-SSL：用于检测与分割的类别无关半监督学习 (ECCV2022) --- 已发布
• 高质量实体分割 (ICCV2023 口头报告) --- 已发布
• 重新思考开放词汇分割的评估指标 (Arxiv) --- 已发布
• AIMS：全包容多层级分割 (NeurIPS2023 亮点展示) -- 代码即将发布
• UniGS：图像生成与分割的统一表示 (Arxiv) -- 代码即将发布

使用方法

请参见每个项目的 README.md 文件。所有项目将在近期整合以相互支持。

引用我们的作品

@article{qi2022open,
  title={Open world entity segmentation},
  author={Qi, Lu and Kuen, Jason and Wang, Yi and Gu, Jiuxiang and Zhao, Hengshuang and Torr, Philip and Lin, Zhe and Jia, Jiaya},
  journal={TPAMI},
  year={2022},
}

@inproceedings{shen2021high,
  title={High Quality Segmentation for Ultra High-resolution Images},
  author={Tiancheng Shen, Yuechen Zhang, Lu Qi, Jason Kuen, Xingyu Xie, Jianlong Wu, Zhe Lin, Jiaya Jia},
  booktitle={CVPR},
  year={2022}
}

@inproceedings{qi2022cassl,
  title={CA-SSL: Class-Agnostic Semi-Supervised Learning for Detection and Segmentation},
  author={Qi, Lu and Kuen, Jason and Lin, Zhe and Gu, Jiuxiang and Rao, Fengyun and Li, Dian and Guo, Weidong and Wen, Zhen and Yang, Ming-Hsuan and Jia, Jiaya},
  booktitle={ECCV},
  year={2022}
}

@inproceedings{qi2022fine,
  title={High-Quality entity segmentation},
  author={Qi, Lu and Kuen, Jason and Shen, Tiancheng and Gu, Jiuxiang and Guo, Weidong and Jia, Jiaya and Lin, Zhe and Yang, Ming-Hsuan},
  booktitle={ICCV},
  year={2023}
}

EntitySeg Toolbox 快速上手指南

简介

EntitySeg 是一个面向开放世界和高质量图像分割的开源工具箱。本工具集成了多个前沿算法，支持从开放词汇到超高分辨率图像的分割任务。

环境准备

• 操作系统: 推荐使用 Linux (Ubuntu 16.04+)，Windows 和 macOS 亦可支持。
• 硬件: 强烈建议使用 NVIDIA GPU 以加速训练与推理。
• Python: 建议 Python 3.6 及以上版本。
• 深度学习框架: 需安装 PyTorch 及 CUDA 环境（具体版本请参照各子项目 requirements.txt）。
• 网络加速: 国内用户建议在安装 Python 包时使用国内镜像源（如清华源、阿里源）以提升下载速度。

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone <repository_url>
   cd <repository_name>
   

2. 选择算法模块 根据需求进入对应的算法目录（部分代码尚未发布）：

   # 示例：进入开放世界实体分割模块
   cd Entity
   
   # 示例：进入超高分辨率图像分割模块
   cd High-Quality-Segmention
   
   # 示例：进入高质量实体分割 v2 模块
   cd Entityv2
   

3. 安装依赖 在选定的模块目录下安装所需依赖：

   pip install -r requirements.txt
   

基本使用

由于不同算法的配置独立，具体的运行命令请以各子项目内的 README.md 为准。

• 常用功能模块

  • Open-World Entity Segmentation (TPAMI2022)
  • High Quality Segmentation for Ultra High-resolution Images (CVPR2022)
  • CA-SSL: Class-Agnostic Semi-Supervised Learning (ECCV2022)
  • High-Quality Entity Segmentation (ICCV2023 Oral)

• 运行示例 一般流程为配置数据集路径后运行训练或测试脚本。例如（具体命令请查阅子目录文档）：

  python train.py --config configs/default.yaml
  

• 引用说明 若在使用本工具进行学术研究，请在论文中引用相关文献。主要引用格式如下：

  @article{qi2022open,
    title={Open world entity segmentation},
    author={Qi, Lu and Kuen, Jason and Wang, Yi and Gu, Jiuxiang and Zhao, Hengshuang and Torr, Philip and Lin, Zhe and Jia, Jiaya},
    journal={TPAMI},
    year={2022},
  }