Cloth2Tex 快速上手指南

Cloth2Tex 是一个用于 3D 虚拟试衣的定制化服装纹理生成流水线（3DV 2024）。目前开源版本仅包含第一阶段（Phase I）：粗略纹理生成，用于确定 3D 服装形状及基础纹理。

1. 环境准备

本项目基于以下核心环境构建，请确保您的系统满足要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.8
• PyTorch: 1.13
• CUDA: 11.7

系统级依赖

在安装 Python 包之前，请先安装必要的系统库：

sudo apt-get update -y
sudo apt-get install libgl1
sudo apt-get install libboost-dev

Python 依赖

需要安装以下关键库（部分可能需要编译或下载特定版本的 wheel 文件）：

• pytorch3d
• psbody-mesh
• Kaolin
• torch_geometric 及其扩展包 (pyg_lib, torch_cluster, torch_scatter, torch_sparse)

注意：torch_geometric 相关扩展包需严格匹配 PyTorch 1.13 + CUDA 11.7 + Python 3.8 的版本。

2. 安装步骤

请按照以下顺序安装 Python 依赖。如果您有国内镜像源需求，可在 pip 命令后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 加速下载（注意：特定的 .whl 文件可能需要手动下载后本地安装）。

# 安装基础几何处理库
pip install torch_geometric

# 安装针对 pt113/cu117/py38 编译的扩展包
# 请确保已下载对应的 .whl 文件到当前目录，或替换为有效的远程链接
pip install pyg_lib-0.3.0+pt113cu117-cp38-cp38-linux_x86_64.whl
pip install torch_cluster-1.6.1+pt113cu117-cp38-cp38-linux_x86_64.whl
pip install torch_scatter-2.1.1+pt113cu117-cp38-cp38-linux_x86_64.whl
pip install torch_sparse-0.6.15+pt113cu117-cp38-cp38-linux_x86_64.whl

# 其他依赖建议通过源码或官方渠道安装
# pip install pytorch3d
# pip install git+https://github.com/MPI-IS/mesh.git
# pip install kaolin

3. 基本使用

目前仅支持运行 Phase I (粗略纹理生成)。该阶段将参数化服装网格注册到目录图像上，生成基础 UV 纹理。

运行推理

执行以下命令开始生成（以测试图像 1_wy 为例）：

python phase1_inference.py --g 1_wy --s 1.2 --d "20231017_wy" --steps_one 501 --steps_two 1001

参数说明：

• --g: 输入图像/服装标识 (如 1_wy, 2_Polo 等)。
• --s: 缩放系数 (scale coefficient)。由于自动缩放机制未开源，需手动调整此参数以获得最佳效果。
• --d: 输出实验目录名称。
• --steps_one / --steps_two: 优化步数。

参考缩放系数

针对不同服装类型，推荐的手动缩放系数如下（对应 --s 参数）：

per_scale_dict = {
    "1_wy": 1.1,
    "2_Polo": 0.8, 
    "3_Tshirt": 0.9, 
    "4_shorts": 0.75, 
    "5_trousers": 0.75,
    "6_zipup": 1.1,
    "7_windcoat": 0.65,
    "9_jacket": 1.0,
    "11_skirt": 1.0
}

结果查看

• 输出位置: 结果保存在 experiments/<日期_标识> 目录下。
• 最终纹理: x_texture_uv_1000.jpg 即为生成的最终 UV 纹理图。
• 可视化: 推荐使用 Blender 加载带纹理的网格模型。

  提示: 在 Blender 中查看时，请仅保留一个材质球，并移除其他冗余材质，以确保纹理正确显示。

注意事项

1. 关键点检测: 项目未开源 2D landmarks 检测器。如需高精度结果，请手动标注关键点或使用符合 Cloth2Tex 定义的训练自有检测模型。
2. 第二阶段 (Phase II): 精细纹理补全网络（Inpainting/Completion）暂未开源，待审批完成后更新。