使用 U2NET 进行服装分割

本仓库包含用于从人物肖像中进行服装解析的训练代码、推理代码以及预训练模型。
在此，服装被解析为三类：上半身（红色）、下半身（绿色）和全身（黄色）

该模型在任何背景和几乎所有姿势下都能良好工作。更多示例请访问 samples.md。

技术细节

• U2NET：本项目使用了令人惊叹的 U2NET 作为深度学习模型。与典型的显著性目标检测任务中 U2NET 输出单通道不同，此处输出四个通道，分别代表上半身衣物、下半身衣物、全身衣物和背景。对于给定版本的检查点，仅使用分类交叉熵损失函数。

• 数据集：U2NET 在 4.5 万张图像的 iMaterialist (Fashion) 2019 at FGVC6 数据集上进行训练。为了降低复杂度，我将数据集中原有的 42 个类别合并为 3 个类别（上半身、下半身和全身）。所有图像均被调整为正方形 ¯\_(ツ)_/¯ 768 x 768 像素以供训练。（本次实验采用 768 像素，但如果在其他数据集上重新训练，约 384 像素也能很好地工作）。

训练

• 本项目进行训练所需的依赖包括：

•   PyTorch > 1.3.0
•   tensorboardX
•   gdown

• 从此 链接 下载数据集，并解压所有文件。
• 在 options/base_options.py 中设置包含训练图像的 train 文件夹路径以及标签 CSV 文件 train.csv 的路径。
• 若要移植原始 U2NET 模型除最后一层外的所有层，请运行 python setup_model_weights.py，它将在完成模型检查后在 prev_checkpoints 文件夹中生成权重。
• 您可以在 options/base_options.py 中探索各种选项，例如检查点保存文件夹、日志文件夹等。
• 对于单 GPU，请在 options/base_options.py 中将 distributed = False；对于多 GPU，则将其设置为 True。
• 单 GPU 运行 python train.py。
• 多 GPU 运行：
   python -m torch.distributed.launch --nnodes=1 --node_rank=0 --nproc_per_node=4 --use_env train.py
  此处命令适用于单节点、4 个 GPU 的情况。目前仅在单节点环境下进行了测试。
• 您可以通过在日志文件夹中运行 TensorBoard 命令来查看损失曲线和示例图像。

测试/推理

• 从此 链接（165 MB）下载预训练模型，并将其放置在 trained_checkpoint 文件夹中。
• 将输入图像放入 input_images 文件夹。
• 运行 python infer.py 进行推理。
• 输出将保存在 output_images 文件夹中。

或者

• 在 Colab 中进行推理，点击此处

致谢

• U2NET 模型源自原始 u2net 仓库。感谢 Xuebin Qin 提供的优秀仓库。
• 整个仓库遵循 Pix2pixHD 仓库 的结构。

cloth-segmentation 快速上手指南

本工具基于 U2NET 深度学习模型，用于从人像照片中分割衣物。支持将衣物解析为三类：上身（红色）、下身（绿色）和全身（黄色）。该模型适应各种背景和姿态。

环境准备

• 操作系统: Linux / Windows / macOS
• Python 版本: 3.8 (推荐)
• 核心依赖:
  • PyTorch > 1.3.0
  • tensorboardX
  • gdown

请确保已安装 CUDA（如需 GPU 加速）及对应的 PyTorch 版本。

安装步骤

1. 克隆仓库

   git clone https://github.com/your-repo/cloth-segmentation.git
   cd cloth-segmentation
   

2. 安装 Python 依赖 建议使用国内镜像源加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：若项目中无 requirements.txt，请手动执行：pip install torch tensorboardX gdown -i https://pypi.tuna.tsinghua.edu.cn/simple)

3. 下载预训练模型 将模型文件下载至 trained_checkpoint 文件夹。

   方式一：使用 gdown (需科学上网)

   mkdir -p trained_checkpoint
   gdown --id 1mhF3yqd7R-Uje092eypktNl-RoZNuiCJ -O trained_checkpoint/cloth_segmentation.pth
   

   方式二：手动下载 (推荐国内用户) 访问 Google Drive 链接 下载文件 (约 165 MB)，重命名后放入 trained_checkpoint 目录。

基本使用

1. 准备输入图片

将需要处理的人像图片放入 input_images 文件夹中。

2. 执行推理

运行以下命令进行衣物分割：

python infer.py

3. 查看结果

处理完成后，分割结果图（上身红、下身绿、全身黄）将保存在 output_images 文件夹中。

---

云端体验: 如果本地环境配置困难，可直接在 Google Colab 中运行：