cosmos-transfer1-diffusion-renderer
cosmos-transfer1-diffusion-renderer 是一款基于 NVIDIA Cosmos 视频扩散框架打造的高质量视频重照明工具。它核心专注于视频的“去光”与“重光”处理，能够精准移除输入画面中的原有光照影响，并根据用户指令重新布光，从而实现对视频光影效果的自由操控与编辑。
该工具主要解决了计算机视觉和机器人训练中常见的难题：如何在多变的光照条件下提升感知模型与策略模型的鲁棒性。通过生成具有不同光照条件的合成数据，它能有效辅助物理 AI 系统的训练，同时为影视后期制作提供高效的光影调整方案。
这款工具特别适合 AI 研究人员、计算机视觉开发者以及需要高质量合成数据的专业设计师使用。由于其对硬件要求较高（建议显存大于 48GB）且涉及复杂的依赖环境配置，普通用户上手门槛相对较高。
技术层面，cosmos-transfer1-diffusion-renderer 继承了 DiffusionRenderer 的研究成果，并在数据流水线与视觉保真度上进行了显著升级。它不仅能还原真实的物理光照效果，还支持精细化的光影编辑，是目前视频生成与编辑领域兼具学术价值与应用潜力的前沿开源项目。
使用场景
一家自动驾驶仿真团队正在构建用于训练感知模型的合成数据集，需要让同一辆车的行驶视频在不同时间段（如正午强光、黄昏逆光、深夜路灯）下呈现出真实的光照变化。
没有 cosmos-transfer1-diffusion-renderer 时
- 重拍成本极高：为了获取不同光照下的数据，团队必须等待特定天气或时间实地重拍，耗时数周且难以复现完全相同的交通场景。
- 传统渲染失真：使用传统图形引擎强行打光时，车身反射、阴影边缘和全局光照往往显得虚假，导致模型学到错误的视觉特征。
- 去光能力缺失：无法从现有的实拍视频中干净地移除原始环境光，导致新旧光照混合，产生严重的色彩伪影和光晕。
- 数据多样性受限：由于缺乏高效的光照编辑手段，训练数据集中在常见光照条件，模型在极端光影下的鲁棒性严重不足。
使用 cosmos-transfer1-diffusion-renderer 后
- 一键光照迁移：直接输入一段正午视频，即可高质量生成该场景在黄昏或夜间的版本，无需实地重拍，数据生产周期从周缩短至小时。
- 物理级真实感：基于 Cosmos 视频扩散框架，工具能精准重建车漆的高光反射、复杂的动态阴影及环境漫反射，视觉保真度达到电影级。
- 纯净去光与重布光：先将原视频“去光”还原为中性照明状态，再自由叠加任意目标光照，彻底解决了光照混合导致的伪影问题。
- 无限数据增强：可批量生成涵盖各种极端天气和光照角度的合成数据，显著提升了自动驾驶感知模型在复杂光线下的识别准确率。
cosmos-transfer1-diffusion-renderer 通过将视频光照编辑变为可控、高保真的生成过程，从根本上解决了物理 AI 系统对多样化光照训练数据的渴求。
运行环境要求
- Linux (Ubuntu 20.04)
必需 NVIDIA GPU，最低 16GB VRAM，推荐 >=48GB VRAM (测试于 A100 80GB, A6000 48GB)，需 CUDA 12.0+
未说明
快速开始
宇宙-传输1-扩散渲染器
Cosmos-Transfer1-DiffusionRenderer 是一个基于 NVIDIA Cosmos 世界基础模型 的专用视频重打光框架，专为输入图像或视频提供高质量的去打光和重打光功能而设计。 它能够实现对视频光照的可控操作、编辑以及合成数据增强——从而支持物理 AI 系统在不同光照条件下训练出更具鲁棒性的感知与策略模型。 该框架由 NVIDIA 的 Cosmos 框架驱动，并建立在 DiffusionRenderer 研究项目的基础上，同时优化了数据流水线并提升了视觉保真度。
🚀 最新消息
- [2025年6月12日] 🔥 本仓库已发布 Cosmos-Transfer1-DiffusionRenderer 的代码及模型权重！
- [2025年6月11日] 🎬 我们发布了关于 Cosmos-Transfer1-DiffusionRenderer 的 视频演示 和 博客。
- [2025年6月11日] 🔥 发布了 DiffusionRenderer 学术版的代码和模型权重。该版本复现了我们论文中的结果。请查看 GitHub 仓库 和 模型权重。
安装说明
最低要求
- Python 3.10
- 至少配备 16GB 显存的 NVIDIA GPU，建议使用 ≥48GB 显存的显卡
- NVIDIA 驱动程序及 CUDA 12.0 或更高版本
- 至少 70GB 可用磁盘空间
安装已在以下环境中测试通过：
- Ubuntu 20.04
- NVIDIA A100 GPU（80GB 显存）、NVIDIA A6000 GPU（48GB 显存）
Conda 环境
以下命令将创建 cosmos-predict1 Conda 环境并安装推理所需的依赖项：
# 创建 cosmos-predict1 Conda 环境。
conda env create --file cosmos-predict1.yaml
# 激活 cosmos-predict1 Conda 环境。
conda activate cosmos-predict1
# 安装依赖项。
pip install -r requirements.txt
# 修复 Conda 环境中 Transformer Engine 的链接问题。
ln -sf $CONDA_PREFIX/lib/python3.10/site-packages/nvidia/*/include/* $CONDA_PREFIX/include/
ln -sf $CONDA_PREFIX/lib/python3.10/site-packages/nvidia/*/include/* $CONDA_PREFIX/include/python3.10
# 安装 Transformer Engine。
pip install transformer-engine[pytorch]==1.12.0
如果 依赖项 已正确配置，则可通过以下命令安装 nvdiffrast：
# 为 nvdiffrast 修补依赖项。
ln -sf $CONDA_PREFIX/lib/python3.10/site-packages/triton/backends/nvidia/include/crt $CONDA_PREFIX/include/
pip install git+https://github.com/NVlabs/nvdiffrast.git
对于非 Ubuntu 平台，请参考 nvdiffrast 官方文档及其 Dockerfile。
下载模型权重 (~56GB)
模型权重可在 Hugging Face 上获取。
生成一个 Hugging Face 访问令牌（如尚未生成）。将访问令牌权限设置为“读取”（默认为“细粒度”）。
使用访问令牌登录 Hugging Face：
huggingface-cli login从 Hugging Face 下载 DiffusionRenderer 模型权重：
CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python scripts/download_diffusion_renderer_checkpoints.py --checkpoint_dir checkpoints
推理：图像示例
本示例展示了如何使用 DiffusionRenderer 对一组图像进行去打光和重打光处理，所使用的图像位于 asset/examples/image_examples/ 文件夹中。模型将逐个处理该文件夹中的每张图像；减少输入图像数量可以缩短总处理时间。
建议使用约 16GB 的 GPU 显存。若遇到显存不足的错误，可在命令中添加 --offload_diffusion_transformer --offload_tokenizer 参数以降低 GPU 显存占用。
图像逆向渲染
此过程将利用预训练的逆向渲染模型，从每张输入图像中估计反照率、金属度、粗糙度、深度及法线（G 缓冲区）。推理脚本为 cosmos_predict1/diffusion/inference/inference_inverse_renderer.py。
要对一组图像执行逆向渲染，请使用以下命令：
CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_inverse_renderer.py \
--checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Inverse_Cosmos_7B \
--dataset_path=asset/examples/image_examples/ --num_video_frames 1 --group_mode webdataset \
--video_save_folder=asset/example_results/image_delighting/ --save_video=False
此处的配置说明如下：
--checkpoint_dir指定包含模型检查点的目录，默认为checkpoints/。--diffusion_transformer_dir选择要使用的具体模型变体。--dataset_path指向包含输入图像的文件夹。--num_video_frames 1表示逐张处理图像（作为单帧）。--video_save_folder设置输出结果的保存目录。--save_video=False禁用视频文件的保存，因为我们正在处理的是图像。
更多参数说明请参阅脚本内部。此外，--inference_passes 参数可控制逆向渲染器估计并保存哪些 G 缓冲区映射。默认情况下，它会运行五次传递：basecolor、normal、depth、roughness 和 metallic。您也可以指定子集，仅计算某些输出。
图像重光照
利用上一步生成的 gbuffer 帧 asset/example_results/image_delighting/gbuffer_frames，我们使用前向渲染器对图像进行重光照，所使用的环境贴图由用户指定。
CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_forward_renderer.py \
--checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Forward_Cosmos_7B \
--dataset_path=asset/example_results/image_delighting/gbuffer_frames --num_video_frames 1 \
--envlight_ind 0 1 2 3 --use_custom_envmap=True \
--video_save_folder=asset/example_results/image_relighting/
其中，--envlight_ind 0 1 2 3 参数指定了用于重光照的环境贴图（HDRIs）。每个数字对应代码中包含的不同预定义光照环境（请查看 inference_forward_renderer.py 中的 ENV_LIGHT_PATH_LIST）。通过提供多个索引（例如 0 1 2 3），前向渲染器将使用所有选定的环境贴图对每个输入进行重光照，从而为每个输入生成多个重光照结果。你也可以选择一个子集（例如 --envlight_ind 0 2），仅使用特定的光照条件。该脚本将在 asset/example_results/image_relighting/ 目录下生成结果。
图像光照随机化
当没有可用的环境贴图时，以下命令可以通过改变随机种子来实现光照的随机化：
CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_forward_renderer.py \
--checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Forward_Cosmos_7B \
--dataset_path=asset/example_results/image_delighting/gbuffer_frames --num_video_frames 1 \
--envlight_ind 0 1 2 3 --use_custom_envmap=False \
--video_save_folder=asset/example_results/image_relighting_random/
只需将 --use_custom_envmap 设置为 False 即可。
该脚本将在 asset/example_results/image_relighting_random/ 目录下生成结果。
推理：视频示例
本示例使用位于 asset/examples/video_examples/ 文件夹中的视频。模型将处理该文件夹中的每段视频；减少视频数量可以缩短总处理时间。
峰值 GPU 内存占用约为 27GB。如果遇到内存不足的错误，可以在命令中添加 --offload_diffusion_transformer --offload_tokenizer 以降低 GPU 内存使用量。
从视频中提取帧
在对视频运行逆向渲染器之前，需要先从每个视频文件中提取单独的帧。这一步骤会将每段视频转换为一系列图像，这些图像随后将作为渲染流水线的输入。
以下命令将处理 asset/examples/video_examples/ 目录下的所有视频，提取帧并保存到 asset/examples/video_frames_examples/ 文件夹中：
python scripts/dataproc_extract_frames_from_video.py --input_folder asset/examples/video_examples/ --output_folder asset/examples/video_frames_examples/
--frame_rate 24 --resize 1280x704 --max_frames=57
视频的逆向渲染
此步骤对视频帧序列执行逆向渲染，以估计每帧的基础颜色、法线、深度、粗糙度和金属度等 G-buffer 地图。
示例命令如下：
CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_inverse_renderer.py \
--checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Inverse_Cosmos_7B \
--dataset_path=asset/examples/video_frames_examples/ --num_video_frames 57 --group_mode folder \
--video_save_folder=asset/example_results/video_delighting/
视频的重光照
此步骤将逆向渲染器生成的 G-buffer 帧作为输入，应用新的光照条件以生成重光照后的视频帧。以下命令使用四个不同的环境贴图（由 --envlight_ind 0 1 2 3 指定）对视频进行重光照：
CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_forward_renderer.py \
--checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Forward_Cosmos_7B \
--dataset_path=asset/example_results/video_delighting/gbuffer_frames --num_video_frames 57 \
--envlight_ind 0 1 2 3 --use_custom_envmap=True \
--video_save_folder=asset/example_results/video_relighting/
我们还可以使用静态帧，并通过指定 --rotate_light=True --use_fixed_frame_ind=True 来展示旋转环境光下的重光照效果：
CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_forward_renderer.py \
--checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Forward_Cosmos_7B \
--dataset_path=asset/example_results/video_delighting/gbuffer_frames --num_video_frames 57 \
--envlight_ind 0 1 2 3 --use_custom_envmap=True \
--video_save_folder=asset/example_results/video_relighting_rotation/ --rotate_light=True --use_fixed_frame_ind=True
许可与联系方式
Cosmos-Transfer1-DiffusionRenderer 的源代码采用 Apache 2.0 许可证 发布。 模型则采用 NVIDIA 开放模型许可证 发布。
如需商务合作，请访问我们的官网并提交表格：NVIDIA Research Licensing。 如有关于模型的技术问题，请联系 Zian Wang。
引用
如果您觉得这项工作有用，请考虑引用以下内容：
@inproceedings{DiffusionRenderer,
author = {Ruofan Liang and Zan Gojcic and Huan Ling and Jacob Munkberg and
Jon Hasselgren and Zhi-Hao Lin and Jun Gao and Alexander Keller and
Nandita Vijaykumar and Sanja Fidler and Zian Wang},
title = {DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models},
booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2025}
}
常见问题
相似工具推荐
openclaw
OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
LLMs-from-scratch
LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备
Deep-Live-Cam
Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。 这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。 其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。
opencv
OpenCV 是一个功能强大的开源计算机视觉库，被誉为机器视觉领域的“瑞士军刀”。它主要解决让计算机“看懂”图像和视频的核心难题，提供了从基础的图像读取、色彩转换、边缘检测，到复杂的人脸识别、物体追踪、3D 重建及深度学习模型部署等全方位算法支持。无论是处理静态图片还是分析实时视频流，OpenCV 都能高效完成特征提取与模式识别任务。 这款工具特别适合计算机视觉开发者、人工智能研究人员以及机器人工程师使用。对于希望将视觉感知能力集成到应用中的软件工程师，或是需要快速验证算法原型的学术研究者，OpenCV 都是不可或缺的基础设施。虽然普通用户通常不会直接操作代码，但日常生活中使用的扫码支付、美颜相机和自动驾驶系统，背后往往都有它的身影。 OpenCV 的独特亮点在于其卓越的性能与广泛的兼容性。它采用 C++ 编写以确保高速运算，同时提供 Python、Java 等多种语言接口，极大降低了开发门槛。库中内置了数千种优化算法，并支持跨平台运行，能够无缝对接各类硬件加速器。作为社区驱动的项目，OpenCV 拥有活跃的生态系统和丰富的学习资源，持续推动着视觉技术的前沿发展。