English | 中文

基于动漫角色原画的协同神经渲染

我们的论文已被IJCAI2023特别赛道接收（三篇审稿意见均为“接受”），论文修订版已发布在arXiv。-> 海报

2023年4月18日：数据集现已在CoNR_Dataset中开放！🎉

演示页面 | Colab English/中文 | arXiv | BiliBili | YouTube | CoNR_Dataset

简介

本项目是基于动漫角色原画的协同神经渲染的官方实现，旨在从手绘动漫角色原画（ACS）生成生动的舞蹈视频。^1 更多演示和详细信息请观看我们强烈推荐的BiliBili或YouTube视频。我们在Zhihu上的FAQ（中文）中详细解释了CoNR背后的核心思想。

使用方法

先决条件

• NVIDIA GPU + CUDA + CUDNN
• Python 3.6

安装

• 克隆本仓库

git clone https://github.com/megvii-research/CoNR

• 依赖项

安装所有依赖项，请运行以下命令：

cd CoNR
pip install -r requirements.txt

• 下载权重 从Google Drive下载权重。或者，您也可以从百度网盘下载（提取码：RDxc）。

mkdir weights && cd weights
gdown https://drive.google.com/uc?id=1M1LEpx70tJ72AIV2TQKr6NE_7mJ7tLYx
gdown https://drive.google.com/uc?id=1YvZy3NHkJ6gC3pq_j8agcbEJymHCwJy0
gdown https://drive.google.com/uc?id=1AOWZxBvTo9nUf2_9Y7Xe27ZFQuPrnx9i
gdown https://drive.google.com/uc?id=19jM1-GcqgGoE1bjmQycQw_vqD9C5e-Jm

准备输入

我们提供了两个角色的超密集姿态序列。您可以通过参考我们的论文中的3D模型和动作生成更多UDP，或者使用MMD2UDP（感谢@KurisuMakise004）。 百度网盘（提取码：RDxc）

# 对于短发女孩
gdown https://drive.google.com/uc?id=11HMSaEkN__QiAZSnCuaM6GI143xo62KO
unzip short_hair.zip
mv short_hair/ poses/

# 对于双马尾女孩
gdown https://drive.google.com/uc?id=1WNnGVuU0ZLyEn04HzRKzITXqib1wwM4Q
unzip double_ponytail.zip
mv double_ponytail/ poses/

我们提供了动漫角色原画的示例输入。您也可以自行绘制更多。 角色原画需要从背景中抠出，并保存为PNG格式。 百度网盘（提取码：RDxc）

# 对于短发女孩
gdown https://drive.google.com/uc?id=1r-3hUlENSWj81ve2IUPkRKNB81o9WrwT
unzip short_hair_images.zip
mv short_hair_images/ character_sheet/

# 对于双马尾女孩
gdown https://drive.google.com/uc?id=1XMrJf9Lk_dWgXyTJhbEK2LZIXL9G3MWc
unzip double_ponytail_images.zip
mv double_ponytail_images/ character_sheet/

运行！

• 通过Web UI（由Streamlit提供支持）

streamlit run streamlit.py --server.port=8501

然后打开浏览器访问localhost:8501，按照提示生成视频。

• 通过终端

mkdir {dir_to_save_result}

python -m torch.distributed.launch \
--nproc_per_node=1 train.py --mode=test \
--world_size=1 --dataloaders=2 \
--test_input_poses_images={dir_to_poses} \
--test_input_person_images={dir_to_character_sheet} \
--test_output_dir={dir_to_save_result} \
--test_checkpoint_dir={dir_to_weights}

ffmpeg -r 30 -y -i {dir_to_save_result}/%d.png -r 30 -c:v libx264 output.mp4 -r 30

引用

@inproceedings{lin2023conr,
  title={Collaborative Neural Rendering using Anime Character Sheets},
  author={Lin, Zuzeng and Huang, Ailin and Huang, Zhewei},
  booktitle = {Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence (IJCAI)},
  year={2023}
}

IJCAI2023-CoNR 快速上手指南

本项目是 IJCAI 2023 录用论文《Collaborative Neural Rendering using Anime Character Sheets》的官方实现，旨在从手绘动漫角色设定图（ACS）生成生动的舞蹈视频。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐)
• 硬件: NVIDIA GPU
• 软件依赖:
  • CUDA & CUDNN
  • Python 3.6
• 网络工具: 建议安装 gdown 以便从 Google Drive 下载资源，或使用提供的百度网盘链接。

安装步骤

1. 克隆仓库

git clone https://github.com/megvii-research/CoNR
cd CoNR

2. 安装依赖

pip install -r requirements.txt

3. 下载预训练权重

创建权重目录并下载模型文件。国内用户推荐使用百度网盘加速下载。

方式一：Google Drive (需安装 gdown)

mkdir weights && cd weights
gdown https://drive.google.com/uc?id=1M1LEpx70tJ72AIV2TQKr6NE_7mJ7tLYx
gdown https://drive.google.com/uc?id=1YvZy3NHkJ6gC3pq_j8agcbEJymHCwJy0
gdown https://drive.google.com/uc?id=1AOWZxBvTo9nUf2_9Y7Xe27ZFQuPrnx9i
gdown https://drive.google.com/uc?id=19jM1-GcqgGoE1bjmQycQw_vqD9C5e-Jm
cd ..

方式二：百度网盘 (国内推荐)

• 链接: https://pan.baidu.com/s/1U11iIk-DiJodgCveSzB6ig
• 提取码: RDxc
• 操作：下载后解压，将文件放入项目根目录下的 weights 文件夹中。

4. 准备输入数据

您需要准备两类数据：动作序列 (Poses) 和 角色设定图 (Character Sheets)。项目提供了示例数据。

下载动作序列 (Ultra-Dense Pose sequences):

• 百度网盘链接: https://pan.baidu.com/s/1hWvz4iQXnVTaTSb6vu1NBg (提取码: RDxc)
• 或者使用命令下载示例（短发女孩）：

gdown https://drive.google.com/uc?id=11HMSaEkN__QiAZSnCuaM6GI143xo62KO
unzip short_hair.zip
mv short_hair/ poses/

下载角色设定图 (Character Sheets):

• 注意：图片需为去除背景的 PNG 格式。
• 百度网盘链接: https://pan.baidu.com/s/1shpP90GOMeHke7MuT0-Txw (提取码: RDxc)
• 或者使用命令下载示例（短发女孩）：

gdown https://drive.google.com/uc?id=1r-3hUlENSWj81ve2IUPkRKNB81o9WrwT
unzip short_hair_images.zip
mv short_hair_images/ character_sheet/

基本使用

您可以选择通过 Web 界面或命令行终端运行生成任务。

方式一：Web UI (推荐新手)

基于 Streamlit 的图形界面，操作更直观。

1. 启动服务：

streamlit run streamlit.py --server.port=8501

2. 在浏览器中访问 http://localhost:8501。
3. 按照页面提示上传或选择角色图与动作数据，点击生成视频。

方式二：命令行终端

适合批量处理或服务器环境。

1. 创建输出目录：

mkdir results

2. 执行推理命令（请替换 {dir_to_poses} 等为实际路径）：

python -m torch.distributed.launch \
--nproc_per_node=1 train.py --mode=test \
--world_size=1 --dataloaders=2 \
--test_input_poses_images=poses \
--test_input_person_images=character_sheet \
--test_output_dir=results \
--test_checkpoint_dir=weights

3. 将生成的图片序列合成为视频：

ffmpeg -r 30 -y -i results/%d.png -r 30 -c:v libx264 output.mp4 -r 30