这是以下论文的官方仓库：

• NÜWA：用于神经视觉世界创建的视觉合成预训练。（ECCV 2022）

• NUWA-Infinity：基于自回归生成的无限视觉合成。（NeurIPS 2022）

• NUWA-LIP：无瑕疵VQGAN支持的语言引导图像修复。（CVPR 2023）

• 通过单张图像上的自监督扩散学习3D摄影视频。（IJCAI 2023）

• NUWA-XL：基于扩散模型的超长视频生成。（ACL 2023）

更新于2022年7月13日：NUWA-Infinity

[项目页面] [论文]

NUWA-Infinity 是一种用于无限视觉合成的生成模型，其定义为生成任意尺寸的高分辨率图像或长时长视频的任务。

更新于2021年11月26日：NÜWA

NÜWA 是一个统一的多模态预训练模型，能够生成新的或操纵现有的视觉数据（即图像和视频），以完成8项视觉合成任务（如上所示）。

NUWA 快速上手指南

NUWA 是微软推出的一系列视觉合成预训练模型，支持图像生成、视频生成、图像修复及 3D 摄影等多种任务。本指南基于官方仓库结构，帮助您快速搭建环境并运行基础示例。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 Windows (需配置 WSL2)。
• Python: 版本 3.7 或更高。
• GPU: 推荐使用 NVIDIA GPU (显存建议 16GB 以上以运行视频生成任务)，并安装对应的 CUDA 驱动。
• 前置依赖:
  • PyTorch (建议 1.8.0+)
  • torchvision
  • Apex (可选，用于混合精度加速)

国内加速建议： 安装 Python 依赖时，建议使用清华或阿里镜像源以提升下载速度： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库 获取最新代码库：

   git clone https://github.com/microsoft/NUWA.git
   cd NUWA
   

2. 创建虚拟环境 推荐使用 Conda 管理环境：

   conda create -n nuwa python=3.8
   conda activate nuwa
   

3. 安装核心依赖 首先安装 PyTorch（请根据您的 CUDA 版本选择对应命令，以下为 CUDA 11.1 示例）：

   pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html
   

   接着安装项目所需的其他依赖包：

   pip install -r requirements.txt
   

4. 编译扩展模块 (如需) 部分模型（如 VQGAN 相关组件）可能需要编译 CUDA 扩展。如果 requirements.txt 中包含需要编译的库，请确保已安装 ninja 和 cuda-toolkit：

   pip install ninja
   # 具体编译步骤视子模块文档而定，通常运行 setup.py 即可
   

基本使用

NUWA 包含多个子项目（如 NÜWA, NUWA-Infinity, NUWA-XL 等），每个项目有独立的脚本。以下以基础的 NÜWA 模型进行文本到图像生成的简单示例流程。

注意：运行前请下载对应的预训练权重文件（Checkpoints），通常存放在 pretrained_models/ 目录下。具体权重下载地址请参考各子项目的 README (如 NUWA.md 或 NUWAInfinity.md)。

示例：运行文本到图像生成

假设您已下载好 nuwa.pt 权重文件，并使用默认的配置文件。

1. 准备输入数据 创建一个文本文件 input.txt，写入提示词：

   a beautiful sunset over the ocean
   

2. 执行推理脚本 运行生成脚本（具体脚本名称可能因版本更新略有不同，以下为通用示例）：

   python generate.py \
       --config configs/nuwa_base.json \
       --checkpoint pretrained_models/nuwa.pt \
       --prompt_file input.txt \
       --output_dir outputs/
   

3. 查看结果 生成的图像将保存在 outputs/ 目录中。

针对特定变体的说明

• NUWA-Infinity (无限分辨率/时长): 请参考 NUWAInfinity.md 中的专用脚本，通常涉及 autoregressive 生成逻辑。
• NUWA-XL (超长视频): 需要更大的显存，建议使用多卡推理，参考 configs/xl_*.json 配置。
• 图像修复 (Inpainting): 需同时提供原始图像和 Mask 图像作为输入。

请根据您具体需要的任务，查阅根目录下对应的详细文档（如 NUWA.md, NUWA-LIP.md 等）以获取针对性的参数配置。