---

⭐️ 我们团队的作品： [HiFlow] [MotionClone] [ByTheWay]

Light-A-Video：基于渐进式光照融合的无训练视频重打光

本仓库是 Light-A-Video 的官方实现。它是一个无需训练的框架，能够对任意给定的视频序列或前景序列进行零样本光照控制。

点击查看 Light-A-Video 的完整摘要

近年来，得益于大规模数据集和预训练扩散模型的发展，图像重打光技术取得了显著进展，实现了光照的一致性控制。然而，视频重打光仍相对滞后，主要原因在于高昂的训练成本以及缺乏多样化、高质量的视频重打光数据集。如果简单地将图像重打光模型逐帧应用于视频，就会出现光源不一致和重打光后外观不一致等问题，从而导致生成的视频中出现闪烁现象。在本工作中，我们提出了 Light-A-Video，这是一种无需训练的方法，用于实现时序平滑的视频重打光。Light-A-Video 借鉴了图像重打光模型，并引入了两项关键技术来提升光照一致性。首先，我们设计了一个一致光照注意力（CLA）模块，在图像重打光模型的自注意力层中增强了跨帧交互，以稳定背景光源的生成。其次，基于光线传输独立性的物理原理，我们在源视频的外观与重打光后的外观之间采用线性混合，并通过渐进式光照融合（PLF）策略确保光照的时序过渡平滑。实验结果表明，Light-A-Video 在保持重打光图像质量的同时，显著提升了重打光视频的时序一致性，确保各帧之间的光照过渡连贯。

Light-A-Video：基于渐进式光照融合的无训练视频重打光
Yujie Zhou*, Jiazi Bu*, Pengyang Ling*, Pan Zhang^†, Tong Wu, Qidong Huang, Jinsong Li, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Anyi Rao, Jiaqi Wang, Li Niu^†
(*贡献相等)(^†通讯作者)

💡 演示

![]

📜 新闻

[2025/6/26] 很高兴宣布，Light-A-Video 已被 ICCV 2025 接收！

[2025/3/14] 支持 CogVideoX！

[2025/3/11] 支持 Wan2.1！

[2025/2/11] 代码现已发布！

[2025/2/10] 论文和项目主页已上线！

🏗️ 待办事项

• 发布 Gradio 演示。

• 发布包含 CogVideoX-2B 流程的 Light-A-Video 代码。

📚 图库

更多结果请参见项目主页。

……，红蓝霓虹灯	……，海上日落
……，阳光透过百叶窗	……，森林中，神奇的金色光芒

🚀 方法概述

Light-A-Video 利用图像重打光模型和 VDM 运动先验的能力，实现时序一致的视频重打光。通过集成一致光照注意力模块来稳定光源生成，并采用渐进式光照融合策略以实现外观的平滑过渡。

🔧 安装步骤

克隆仓库并设置 Conda 环境

git clone https://github.com/bcmi/Light-A-Video.git
cd Light-A-Video

conda create -n lav python=3.10
conda activate lav

pip install -r requirements.txt

🔑 预训练模型准备

• IC-Light：Hugging Face
• SD RealisticVision：Hugging Face
• Animatediff Motion-Adapter-V-1.5.3：Hugging Face

模型下载将自动完成。

🎈 快速入门

使用自定义光照控制进行视频重打光

# 重打光
python lav_relight.py --config "configs/relight/car.yaml"

对前景序列进行重打光并生成背景

我们提供了一个基于 SAM2 的脚本，用于从视频中提取前景序列。

# 提取前景序列
python sam2.py --video_name car --x 255 --y 255

# 上色并重打光
python lav_paint.py --config "configs/relight_inpaint/car.yaml"

🚝 更多视频扩散模型支持

Light-A-Video 现在支持 Wan2.1 主干网络，这是一款领先的基于 DiT 的视频基础模型。现在可以处理更长的视频，并支持多种分辨率。

从源码更新 Diffusers

conda activate lav

git clone https://github.com/huggingface/diffusers.git
cd diffusers
pip install .

使用 Wan2.1 进行视频重打光

Wan2.1 配合 Flow-Matching 调度器使用。该 VDM 检查点为 Wan2.1-T2V-1.3B-Diffusers，并将自动下载。

python lav_wan_relight.py --config "configs/wan_relight/bear.yaml"

使用 CogVideoX 进行视频重光照

CogVideoX 配合 DDIM 调度器。 VDM 检查点为 THUDM/CogVideoX-2b，它将自动下载。

python lav_cog_relight.py --config "configs/cog_relight/bear.yaml"

📎 引用

如果您认为我们的工作对您的研究有所帮助，请考虑给项目点赞 ⭐ 并引用 📝

@InProceedings{Zhou_2025_ICCV,
    author    = {周宇杰、卜佳姿、凌鹏洋、张攀、吴桐、黄启东、李劲松、董晓毅、臧宇航、曹宇航、饶安怡、王佳琪、牛力},
    title     = {Light-A-Video：通过渐进式光照融合实现无需训练的视频重光照},
    booktitle = {IEEE/CVF 国际计算机视觉会议（ICCV）论文集},
    month     = {十月},
    year      = {2025},
    pages     = {13315-13325}
}

📣 免责声明

这是 Light-A-Video 的官方代码。 演示图片和音频的所有版权均来自社区用户。如果您希望移除这些内容，请随时与我们联系。

💞 致谢

本代码基于以下仓库构建，我们感谢所有开源贡献者。

• IC-Light
• AnimateDiff
• CogVideoX
• Wan2.1

非常感谢社区为 Light-A-Video 贡献了多种扩展功能。

• ComfyUI_Light_A_Video

Light-A-Video 快速上手指南

Light-A-Video 是一个无需训练的视频重照明框架，支持对任意视频序列或前景序列进行零样本（zero-shot）的光照控制。它通过“一致光注意力（CLA）”和“渐进式光融合（PLF）”技术，解决了逐帧处理导致的光源不一致和画面闪烁问题，实现时间上平滑的视频重照明效果。

环境准备

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.10
• 硬件要求: 需要 NVIDIA GPU 以支持扩散模型推理（显存建议 8GB 以上，运行 Wan2.1 或 CogVideoX 等大模型时建议 16GB+）
• 前置依赖:
  • Git
  • Conda (或 Mamba)

安装步骤

1. 克隆仓库并创建虚拟环境

git clone https://github.com/bcmi/Light-A-Video.git
cd Light-A-Video

conda create -n lav python=3.10
conda activate lav

2. 安装依赖包

pip install -r requirements.txt

提示: 如果下载速度较慢，可添加国内镜像源加速，例如： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 模型准备

项目所需的预训练模型（IC-Light, SD RealisticVision, Animatediff Motion-Adapter）将在首次运行时自动下载。确保网络连接畅通，或提前配置好 Hugging Face 镜像。

如需使用更先进的视频生成底座（如 Wan2.1 或 CogVideoX），请参考下文“进阶使用”部分更新 diffusers 库。

基本使用

场景一：自定义光照的视频重照明

这是最基础的用法，直接对完整视频进行光照调整。配置文件位于 configs/relight/ 目录下。

python lav_relight.py --config "configs/relight/car.yaml"

执行后，程序会自动加载模型并根据配置文件中的提示词（prompt）生成重照明视频。

场景二：前景提取与背景重绘重照明

如果你只想改变视频中特定物体（前景）的光照，并重新生成背景，可以使用内置的 SAM2 脚本。

第一步：提取前景序列

# --video_name: 视频文件名（不含后缀）
# --x, --y: 点击前景物体的坐标点
python sam2.py --video_name car --x 255 --y 255

第二步：进行背景修复（Inpaint）并重照明

python lav_paint.py --config "configs/relight_inpaint/car.yaml"

进阶使用（支持 Wan2.1 与 CogVideoX）

Light-A-Video 已支持 Wan2.1 和 CogVideoX 等主流视频扩散模型，可生成长视频及更多分辨率。

1. 更新 Diffusers 库

为了支持新模型，需要从源码安装最新版的 diffusers：

conda activate lav

git clone https://github.com/huggingface/diffusers.git
cd diffusers
pip install .

2. 使用 Wan2.1 进行重照明

基于 Flow-Matching 调度器，自动下载 Wan2.1-T2V-1.3B-Diffusers 模型。

python lav_wan_relight.py --config "configs/wan_relight/bear.yaml"

3. 使用 CogVideoX 进行重照明

基于 DDIM 调度器，自动下载 THUDM/CogVideoX-2b 模型。

python lav_cog_relight.py --config "configs/cog_relight/bear.yaml"

---

更多详细结果和演示请访问 项目主页 或体验 Hugging Face Demo。