镜像对称性问题指的是在偏航角接近π/2时，刘海方向会突然发生改变。我们提出使用辅助判别器来解决这一问题（详见论文）。

需要注意的是，在训练初期，辅助判别器必须比主判别器更主导生成器。否则，如果主判别器主导生成器，镜像对称性问题仍然会出现。实际上，渐进式训练能够保证这一点。我们已经多次从头开始训练，加入辅助判别器后，镜像对称性问题得到了稳定解决。如果您对这一想法有任何疑问或问题，请提交issue。

git clone --recursive https://github.com/PeterouZh/CIPS-3D.git
cd CIPS-3D

# 创建虚拟环境
conda create -y --name cips3d python=3.6.7
conda activate cips3d

pip install torch==1.8.2+cu102 torchvision==0.9.2+cu102 -f https://download.pytorch.org/whl/lts/1.8/torch_lts.html

pip install --no-cache-dir -r requirements.txt
pip install -I tl2

pip install -e torch_fidelity_lib
pip install -e pytorch_ema_lib

FFHQ: 下载FFHQ数据集images1024x1024（89.1 GB）

# 为加快训练速度，提前对图像进行下采样
python scripts/dataset_tool.py \
    --source=datasets/ffhq/images1024x1024 \
    --dest=datasets/ffhq/downsample_ffhq_256x256.zip \
    --width=256 --height=256

CartoonFaces 下载photo2cartoon数据集

# 准备训练数据集。
python scripts/dataset_tool.py \
    --source=datasets/photo2cartoon/photo2cartoon \
    --dest=datasets/photo2cartoon/photo2cartoon_stylegan2.zip 
    

AFHQ 下载afhq数据集

# 准备训练数据集。
python scripts/dataset_tool.py \
    --source=datasets/AFHQv2/AFHQv2 \
    --dest=datasets/AFHQv2/AFHQv2_stylegan2.zip 
    

注意：

• 为了确保本代码与我最初的原始代码一致，请按照步骤逐步使用本代码复现结果。
• 训练脚本train_v16.py较为粗糙，但我不会对其进行重构。毕竟它仍然能稳定运行。

在 64×64 分辨率下开始训练

训练命令：

export CUDA_HOME=/usr/local/cuda-10.2/
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export PYTHONPATH=.
python exp/dev/nerf_inr/scripts/train_v16.py \
    --port 8888 \
    --tl_config_file configs/train_ffhq.yaml \
    --tl_command train_ffhq \
    --tl_outdir results/train_ffhq \
    --tl_opts curriculum.new_attrs.image_list_file datasets/ffhq/images256x256_image_list.txt \
      D_first_layer_warmup True

调试用的空训练：

export CUDA_HOME=/usr/local/cuda-10.2/
export CUDA_VISIBLE_DEVICES=1
python exp/dev/nerf_inr/scripts/train_v16.py \
    --port 8888 \ 
    --tl_config_file configs/train_ffhq.yaml \
    --tl_command train_ffhq \
    --tl_outdir results/train_ffhq_debug \ 
    --tl_debug \
    --tl_opts curriculum.new_attrs.image_list_file datasets/ffhq/images256x256_image_list.txt \
      num_workers 0 num_images_real_eval 10 num_images_gen_eval 2 

当 64×64 模型的 FID 达到约 16 时，我们开始下一步：在 128×128 分辨率下继续训练。请等待训练完成（大约 2 天或更短）。

复现结果：best_FID=15.27

从 64×64 模型恢复 128×128 分辨率下的训练

训练命令：

export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export PYTHONPATH=.
python exp/dev/nerf_inr/scripts/train_v16.py \
    --port 8888 \
    --tl_config_file configs/train_ffhq.yaml \
    --tl_command train_ffhq_r128 \
    --tl_outdir results/train_ffhq \
    --tl_resume \
    --tl_resumedir results/train_ffhq \
    --tl_opts curriculum.new_attrs.image_list_file datasets/ffhq/images256x256_image_list.txt \
      D_first_layer_warmup True reset_best_fid True update_aux_every 16 d_reg_every 1 train_aux_img True

调试用的空训练：

export CUDA_HOME=/usr/local/cuda-10.2/
export CUDA_VISIBLE_DEVICES=1
python exp/dev/nerf_inr/scripts/train_v16.py \
    --port 8888 \ 
    --tl_config_file configs/train_ffhq.yaml \
    --tl_command train_ffhq_r128 \
    --tl_outdir results/train_ffhq \ 
    --tl_resume \
    --tl_resumedir results/train_ffhq \
    --tl_debug \
    --tl_opts curriculum.new_attrs.image_list_file datasets/ffhq/images256x256_image_list.txt \
      num_workers 0 num_images_real_eval 10 num_images_gen_eval 2 reset_best_fid True

当 128×128 模型的 FID 达到约 16 时，我们开始下一步。

部分超参数可能与原始实验有所不同。希望一切顺利。请等待训练完成（可能需要更长时间）。

从 128×128 模型恢复 256×256 分辨率下的训练

微调 INR 网络