QualityScaler - 图像/视频AI超分辨率应用

什么是QualityScaler？

QualityScaler是一款基于AI的Windows应用程序，用于增强、提升分辨率和降噪照片与视频。

如何使用QualityScaler？

movie_max_vp9.webm

其他AI项目。🤓

• https://github.com/Djdefrag/RealScaler / RealScaler - 图像/视频AI超分辨率（Real-ESRGAN）
• https://github.com/Djdefrag/FluidFrames.RIFE / FluidFrames.RIFE - 视频AI帧生成

致谢。

• BSRGAN - https://github.com/cszn/BSRGAN
• Real-ESRGAN - https://github.com/xinntao/Real-ESRGAN
• IRCNN - https://github.com/lipengFu/IRCNN

引用文献。❤

• https://80.lv/articles/80-level-digest-great-ai-powered-tools-for-upscaling-images/
• https://timesavervfx.com/ai-upscale/

技术实现。🛠

QualityScaler完全由Python编写，从前端到后端。

• pytorch (https://github.com/pytorch/pytorch)
• onnx (https://github.com/onnx/onnx)
• onnxconverter-common (https://github.com/microsoft/onnxconverter-common)
• onnxruntime-directml (https://github.com/microsoft/onnxruntime)
• customtkinter (https://github.com/TomSchimansky/CustomTkinter)
• openCV (https://github.com/opencv/opencv)
• pyInstaller (https://github.com/pyinstaller/pyinstaller)

自己动手运行。 👨‍💻

先决条件。

• 您的电脑上已安装Python (https://www.python.org/downloads/)
• 您的电脑上已安装VSCode (https://code.visualstudio.com/)
• 已下载AI模型 (https://gofile.io/d/b4Ds9u)
• 已下载ffmpeg.exe文件 (https://www.gyan.dev/ffmpeg/builds/) RELEASE BUILD > ffmpeg-release-essentials.7z

开始使用。

• 将项目下载到您的电脑上（绿色按钮“代码”>“下载ZIP”）
• 解压.zip文件
• 将AI模型文件解压到/AI-onnx文件夹中
• 将FFMPEG.exe解压到/Assets文件夹中
• 使用VSCode打开项目（将项目目录拖放到VSCode中）
• 在左侧栏中点击QualityScaler.py（VSCode会提示您安装Python插件）
• 安装依赖项。在VSCode中有一个“终端”面板，点击该面板并执行命令“pip install -r requirements.txt”
• 关闭VSCode并重新打开（这将刷新所有已安装的依赖项）
• 点击VSCode右上角的“播放按钮”

系统要求。 🤓

• Windows 11 / Windows 10
• 内存 >= 8Gb
• 任何兼容Directx12且显存 >= 4GB的GPU

功能。

• 优雅且易于使用的图形界面
• 图像和视频超分辨率
• 多GPU支持
• 兼容图像格式 - jpg, png, tif, bmp, webp, heic
• 兼容视频格式 - mp4, wemb, mkv, flv, gif, avi, mov, mpg, qt, 3gp
• 自动图像分块以避免GPU显存限制
• 超分辨率前可调整图像/视频尺寸
• 原始文件与超分辨率文件之间的插值
• 视频超分辨率暂停与继续
• 注重隐私 - 无需互联网连接，所有操作均在您的电脑上完成

下一步计划。 🤫

• 1.X版本
  • 切换到Pytorch-directml以支持所有兼容Directx12的GPU（AMD、Intel、Nvidia）
  • 采用Windows 11风格的新GUI
  • 为超分辨率视频添加音频
  • 优化视频帧的缩放和提取速度
  • 支持多GPU（适用于配备集成显卡和独立显卡的电脑）
  • 使用Python 3.10（预计性能提升约10%）
• 2.X版本
  • 基于@customtkinter全新设计的图形界面
  • 同时对图像和视频进行超分辨率处理（目前只能单独处理图像或视频）
  • 同时对多个视频进行超分辨率处理
  • 可选择超分辨率后的视频格式
  • 原始文件与超分辨率文件之间的插值
  • 更多插值级别（低、中、高）
  • 显示视频超分辨率完成所需的剩余时间
  • 支持SRVGGNetCompact AI架构
  • 从原始文件向超分辨率文件提取并应用元数据（通过exiftool）
• 3.X版本
  • 由onnxruntime-directml驱动的新AI引擎（https://github.com/microsoft/onnxruntime）
  • 使用Python 3.11（性能进一步提升）
  • 使用Python 3.12（性能进一步提升）
  • 在GUI中显示超分辨率后的图像/视频分辨率
  • 更新FFMPEG至7.x版本（最新发布）
  • 保存用户设置（AI模型、GPU、CPU等）
  • 视频AI多线程超分辨率
  • 视频超分辨率暂停与继续
• 4.X版本
  • 硬件加速视频编码（nvenc / amf / qsv）
  • 支持更多视频格式（.mp4 / .mkv / .avi / .mov）
  • 可选择输出分辨率缩放比例
  • 视频AI多线程技术进一步改进
  • 更新AI引擎（onnxruntime-directml）
  • 通过FFMPEG提取视频帧（速度提升10倍）
• 2026.X版本
  • 引入新的AI模型
  • 应用界面按百分比缩放
  • TTA超分辨率模式

示例。

视频

https://user-images.githubusercontent.com/32263112/209139639-2b123b83-ac6e-4681-b94a-954ed0aea78c.mp4

图片

QualityScaler 快速上手指南

QualityScaler 是一款基于 AI 的 Windows 应用程序，专为照片和视频的增强、超分辨率（放大）及去噪而设计。它完全在本地运行，无需联网，注重隐私。

环境准备

系统要求

• 操作系统: Windows 10 或 Windows 11
• 内存 (RAM): ≥ 8GB
• 显卡 (GPU): 任意支持 DirectX 12 的显卡（AMD / Intel / Nvidia），显存 (VRAM) ≥ 4GB
• 软件依赖:
  • Python (建议版本 3.10+)
  • Visual Studio Code (VSCode)

前置文件下载

在开始之前，请手动下载以下必要文件：

1. AI 模型文件: 点击下载
2. FFmpeg: 下载 ffmpeg-release-essentials.7z (来自 gyan.dev)

安装步骤

1. 获取项目代码 在 GitHub 页面点击绿色按钮 Code > Download ZIP，下载后将压缩包解压到本地目录。

2. 部署资源文件

   • 将下载的 AI 模型文件 解压并放入项目目录下的 /AI-onnx 文件夹中。
   • 将下载的 FFmpeg 压缩包解压，把其中的 ffmpeg.exe 文件放入项目目录下的 /Assets 文件夹中。

3. 配置开发环境

   • 使用 VSCode 打开整个项目文件夹。
   • 如果 VSCode 提示安装 Python 插件，请按指引安装。
   • 打开 VSCode 底部的 终端 (Terminal) 面板。

4. 安装依赖库 在终端中执行以下命令安装所需依赖（国内用户如遇网络问题，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数加速）：

   pip install -r requirements.txt
   

5. 刷新环境 依赖安装完成后，关闭并重新打开 VSCode，以确保所有新安装的库被正确识别。

基本使用

1. 启动应用 在 VSCode 左侧文件栏中找到并点击 QualityScaler.py，然后点击右上角的 运行按钮 (Play Button) 启动程序。

2. 操作界面

   • 程序启动后将显示现代化的 GUI 界面。
   • 图片处理: 选择兼容格式（jpg, png, webp, heic 等），选择 AI 模型和放大倍数，点击开始即可。
   • 视频处理: 选择兼容格式（mp4, mkv, avi 等），程序支持断点续传（STOP&RESUME）。
   • 高级选项: 支持多 GPU 协作、自动分块处理（避免显存溢出）、原始与放大效果插值混合等。

3. 输出结果 处理完成后，放大后的图片或视频将保存在指定输出目录，整个过程无需联网，数据完全保留在本地。