EDVR

GitHub
1.6k 315 较难 1 次阅读 4天前开发框架
AI 解读 由 AI 自动生成,仅供参考

EDVR 是一个基于 PyTorch 开发的开源视频修复与增强工具箱,曾荣获 NTIRE19 视频修复挑战赛冠军。它主要致力于解决低质量视频的处理难题,能够有效去除视频中的模糊、噪声、压缩伪影,并提升视频分辨率,让画面更加清晰流畅。

该工具的核心技术亮点在于采用了“增强型可变形卷积网络”。相比传统方法,它能更精准地捕捉视频中物体的运动轨迹和细节变化,从而在复杂场景下实现更高质量的视频重建效果。值得注意的是,EDVR 的代码库目前已合并至更通用的 BasicSR 项目中,作为其重要组成部分继续维护和更新,用户可直接在 BasicSR 中调用相关功能。

EDVR 非常适合计算机视觉领域的研究人员、算法工程师以及需要处理视频修复任务的开发者使用。对于希望复现前沿论文成果或构建自定义视频增强流程的专业人士,它提供了灵活的训练与测试管道。不过,由于涉及深度学习模型的训练与推理,使用者通常需要具备一定的编程基础和 GPU 计算环境,普通大众用户可能需要借助集成此技术的第三方应用来间接体验其效果。

使用场景

某安防监控团队需要处理一段因夜间低光照和快速移动导致严重模糊、噪点密集的嫌疑车辆追踪视频,以便提取清晰的车牌信息。

没有 EDVR 时

  • 视频帧间抖动剧烈,传统去模糊算法无法对齐连续帧,导致修复后的画面出现重影或撕裂。
  • 单帧降噪处理破坏了车辆的运动纹理细节,车牌字符边缘模糊不清,难以被 OCR 系统识别。
  • 缺乏针对视频时序特性的增强手段,处理后的视频闪烁感强,人工复审时极易产生视觉疲劳。
  • 手动调整多组参数尝试平衡噪点与清晰度,耗时数小时仍无法获得符合取证标准的输出结果。

使用 EDVR 后

  • 利用可变形卷积网络精准对齐视频序列中的运动目标,有效消除了因摄像头抖动产生的重影现象。
  • 结合多帧融合技术,在去除高斯噪点的同时保留了车牌的关键高频细节,字符边缘锐利可辨。
  • 基于时序信息的增强策略确保了输出视频的亮度与色彩连贯一致,彻底解决了画面闪烁问题。
  • 直接调用预训练模型进行一键推理,原本需要半天的调优工作缩短至几分钟,且效果达到 NTIRE 竞赛级标准。

EDVR 通过其领先的视频复原架构,将原本不可用的劣质监控素材转化为具备司法证据价值的高清影像,极大提升了安防数据的可用性。

运行环境要求

操作系统
  • Linux
GPU

必需 NVIDIA GPU,需安装 CUDA(具体版本未说明,需与 PyTorch >= 1.3 兼容)

内存

未说明

依赖
notes仅在 Ubuntu 上经过测试,可能不适用于 Windows(可尝试使用支持 CUDA 的 WSL)。若使用 EDVR 或 StyleGAN2 模型,安装时必须编译 CUDA 扩展(dcn, upfirdn2d, fused_act),否则需添加 '--no_cuda_ext' 参数。建议使用 Anaconda 或 Miniconda 管理环境。
python>= 3.7
PyTorch >= 1.3
GCC >= 5
EDVR hero image

快速开始

EDVR 已合并到 BasicSR。本 GitHub 仓库是 BasicSR 的镜像。建议使用 BasicSR,并在 BasicSR 中提交问题、拉取请求等。

请注意,此版本与之前版本不兼容。如果您希望使用旧版本,请参考 old_version 分支。


:rocket: BasicSR

English | 简体中文GitHub | Gitee码云

google colab logo Google Colab: GitHub Link | Google Drive Link
:m: Model Zoo :arrow_double_down: Google Drive: Pretrained Models | Reproduced Experiments :arrow_double_down: 百度网盘: 预训练模型 | 复现实验
:file_folder: Datasets :arrow_double_down: Google Drive :arrow_double_down: 百度网盘 (提取码:basr)
:chart_with_upwards_trend: Training curves in wandb
:computer: Commands for training and testing
:zap: HOWTOs


BasicSR (Basic Super Restoration) 是一个基于 PyTorch 的开源 图像和视频修复工具箱,支持超分辨率、去噪、去模糊、去除 JPEG 码块效应等功能。
(ESRGAN, EDVR, DNI, SFTGAN) (HandyView, HandyFigure, HandyCrawler, HandyWriting)

:sparkles: 新特性

  • 2020年11月29日。新增 ESRGANDFDNetcolab 演示
  • 2020年9月8日。新增 盲人面部修复 推理代码:DFDNet
  • 2020年8月27日。新增 StyleGAN2 训练和测试 代码:StyleGAN2
更多
  • 2020年9月8日。新增 盲人面部修复 推理代码: DFDNet
    ECCV20:通过深度多尺度组件字典实现盲人面部修复
    Xiaoming Li, Chaofeng Chen, Shangchen Zhou, Xianhui Lin, Wangmeng Zuo 和 Lei Zhang
  • 2020年8月27日。新增 StyleGAN2 训练和测试代码。
    CVPR20:分析并改进 StyleGAN 的图像质量
    Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen 和 Timo Aila
  • 2020年8月19日。全新发布的 BasicSR v1.0.0 上线。

:zap: 使用指南

我们提供了简单的流水线来快速开始训练/测试/推理模型。 这些流水线/命令并不能覆盖所有情况,更多细节请参阅后续章节。

GAN
StyleGAN2 训练 推理
面部修复
DFDNet - 推理
超分辨率
ESRGAN TODO TODO SRGAN TODO TODO
EDSR TODO TODO SRResNet TODO TODO
RCAN TODO TODO
EDVR TODO TODO DUF - TODO
BasicVSR TODO TODO TOF - TODO
去模糊
DeblurGANv2 - TODO
去噪
RIDNet - TODO CBDNet - TODO

:wrench: 依赖与安装

  1. 克隆仓库

    git clone https://github.com/xinntao/BasicSR.git
    
  2. 安装依赖包

    cd BasicSR
    pip install -r requirements.txt
    
  3. 安装 BasicSR

    请在 BasicSR 根目录 下运行以下命令以安装 BasicSR:
    (请确保您的 GCC 版本:gcc >= 5)
    如果您不需要 CUDA 扩展:
    dcn for EDVR
    upfirdn2dfused_act for StyleGAN2
    请在安装时添加 --no_cuda_ext

    python setup.py develop --no_cuda_ext
    

    如果您使用 EDVR 和 StyleGAN2 模型,则上述 CUDA 扩展是必需的。

    python setup.py develop
    

    您也可以指定 CUDA 路径:

    CUDA_HOME=/usr/local/cuda \
    CUDNN_INCLUDE_DIR=/usr/local/cuda \
    CUDNN_LIB_DIR=/usr/local/cuda \
    python setup.py develop
    

请注意,BasicSR 目前仅在 Ubuntu 上进行了测试,可能不适用于 Windows。您可以尝试 支持 CUDA 的 Windows WSL :-) (目前仅适用于 Fast ring 内部版本)。

:hourglass_flowing_sand: 待办事项

请查看 项目看板

:turtle: 数据集准备

:computer: 训练与测试

:european_castle: 模型动物园与基准

  • 当前支持的模型说明请参见 Models.md
  • 预训练模型及日志示例可在 ModelZoo.md 中找到。
  • 我们还在 wandb 上提供了 训练曲线

:memo: 代码库设计与规范

有关 BasicSR 代码库的设计与规范,请参阅 DesignConvention.md
下图展示了整体框架。更多各组件的说明如下:
Datasets.md | Models.md | Config.md | Logging.md

overall_structure

:scroll: 许可与致谢

本项目采用 Apache 2.0 许可证发布。
关于 许可致谢 的更多详情,请参阅 LICENSE

:earth_asia: 引用

如果 BasicSR 对您的研究或工作有所帮助,请考虑引用 BasicSR。
以下是 BibTeX 格式的参考文献。该条目需要使用 url LaTeX 宏包。

@misc{wang2020basicsr,
  author =       {Xintao Wang and Ke Yu and Kelvin C.K. Chan and
                  Chao Dong and Chen Change Loy},
  title =        {BasicSR},
  howpublished = {\url{https://github.com/xinntao/BasicSR}},
  year =         {2020}
}

Xintao Wang, Ke Yu, Kelvin C.K. Chan, Chao Dong 和 Chen Change Loy. BasicSR. https://github.com/xinntao/BasicSR, 2020.

:e-mail: 联系方式

如有任何问题,请发送邮件至 xintao.wang@outlook.com

常见问题

相似工具推荐

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|今天
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

139k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

107.7k|★★☆☆☆|2天前
开发框架图像Agent

NextChat

NextChat 是一款轻量且极速的 AI 助手,旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性,以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发,NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言,它也提供了便捷的自托管方案,支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性,原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型,让用户在一个界面即可自由切换不同 AI 能力。此外,它还率先支持 MCP(Model Context Protocol)协议,增强了上下文处理能力。针对企业用户,NextChat 提供专业版解决方案,具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能,满足公司对数据隐私和个性化管理的高标准要求。

87.6k|★★☆☆☆|今天
开发框架语言模型

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程,旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周,包含 26 节精炼课程和 52 道配套测验,内容涵盖从基础概念到实际应用的完整流程,有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员,还是对人工智能充满好奇的普通爱好者,都能从中受益。课程不仅提供了清晰的理论讲解,还强调动手实践,让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持,通过自动化机制提供了包括简体中文在内的 50 多种语言版本,极大地降低了全球不同背景用户的学习门槛。此外,项目采用开源协作模式,社区活跃且内容持续更新,确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路,ML-For-Beginners 将是理想的起点。

85k|★★☆☆☆|今天
图像数据工具视频

ragflow

RAGFlow 是一款领先的开源检索增强生成(RAG)引擎,旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体(Agent)能力相结合,不仅支持从各类文档中高效提取知识,还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中,幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构(如表格、图表及混合排版),显著提升了信息检索的准确度,从而有效减少模型“胡编乱造”的现象,确保回答既有据可依又具备时效性。其内置的智能体机制更进一步,使系统不仅能回答问题,还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统,还是致力于探索大模型在垂直领域落地的创新者,都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口,既降低了非算法背景用户的上手门槛,也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目,它正成为连接通用大模型与行业专有知识之间的重要桥梁。

77.1k|★★★☆☆|2天前
Agent图像开发框架