视频质量常用指标

引言

您可以轻松计算视频生成和视频预测任务中的以下视频质量指标：

• FVD：弗雷歇视频距离
• SSIM：结构相似性指数
• LPIPS：基于学习的感知图像块相似性
• PSNR：峰值信噪比

安装

版本参考：numpy-1.26.4 opencv-python-4.10.0.84 scipy-1.13.1 tqdm-4.67.1 einops-0.8.0

conda create -n test python=3.9
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia
conda install "numpy<2.0"
pip install opencv-python tqdm einops
git clone https://github.com/JunyaoHu/common_metrics_on_video_quality

评估示例

例如，我们评估了8对视频，每对视频包含30帧、3个通道，分辨率为64x64。

原始视频：[8x30x3x64x64] 像素值在[0,1]之间
生成视频：[8x30x3x64x64] 像素值在[0,1]之间

运行以下代码 demo.py 来计算这四个指标。

cd common_metrics_on_video_quality
python demo.py

demo.py 的关键内容是：

calculate_fvd(videos1, videos2, device, method='styleganv', only_final=True)
calculate_ssim(videos1, videos2, only_final=True)
calculate_psnr(videos1, videos2, only_final=True)
calculate_lpips(videos1, videos2, device, only_final=True)

在示例中，一个全零矩阵 [8x30x3x64x64] 和一个全一矩阵 [8x30x3x64x64]，它们的 $\mathrm{FVD}(\mathit{frames_A}, \mathit{frames_B})$ 大约为151（由于PyTorch版本不同，数值可能会在1左右波动）。

{
    "fvd":   {"value": [151.25648496845326]},
    "ssim":  {"value": [9.999000099990664e-05],"value_std": [0.0]},
    "psnr":  {"value": [0.0],"value_std": [0.0]},
    "lpips": {"value": [0.8140090703964233],"value_std": [0.0]}
}

如果我们将 only_final=False，

calculate_fvd(videos1, videos2, device, method='styleganv', only_final=False)
calculate_ssim(videos1, videos2, only_final=False)
calculate_psnr(videos1, videos2, only_final=False)
calculate_lpips(videos1, videos2, device, only_final=False)

我们可以计算：

• FVD：$\mathrm{FVD}_n(\mathit{frames_A}, \mathit{frames_B}) = \mathrm{FVD}(\mathit{frames_A}[:n], \mathit{frames_B}[:n]), 10 \le n \le T $
• PSNR/SSIM/LPIPS：$\mathrm{F}_n(\mathit{frames_A}, \mathit{frames_B}) = \mathrm{avg}(\mathrm{F}(\mathit{frames_A}[i], \mathit{frames_B}[i])), \mathrm{F}={\mathrm{PSNR}, \mathrm{SSIM}, \mathrm{LPIPS}}, 0 \le i \le n - 1, 1 \le n \le T $

{
    "fvd": {
        "value": [
            569.2296293622766,
            486.3584254441098,
            551.9610501807822,
            146.36638178542628,
            172.85453222258292,
            133.70311962583372,
            152.91750309134142,
            357.7402855012116,
            382.4668646785276,
            306.73840379649727,
            338.4151811780684,
            78.17255931098194,
            82.33446642508818,
            64.5885972265882,
            66.06281151704604,
            314.4803706985065,
            316.6870909853734,
            288.97196946254184,
            287.7805184515251,
            152.1524775765185,
            151.2564750365302
        ]
    },
    "ssim":  {"value": [9.999000099990664e-05,...,],"value_std": [0.0,...]},
    "psnr":  {"value": [0.0,...],...},
    "lpips": {"value": [0.8140090703964233,...],...}
}

与原TensorFlow FVD指标的比较

如果您想使用来自TensorFlow的原始FVD版本，并将其结果与本仓库的实现进行比较：

您应该创建一个tensorflow-1.0环境：

# https://github.com/universome/fvd-comparison/blob/master/requirements.txt
conda create -n tf1 python=3.7
pip install tensorflow==1.15.0 tensorflow-gan==1.0.0.dev0 tensorflow-hub==0.12.0 scipy==1.7.3 tqdm

export PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python
calculate_fvd_tensorflow.py

# calculate_fvd(videos1, videos2, only_final=True)
# 输出：
# [fvd-tensorflow] [151.39244]

注意事项

1. 关于像素值：请确保视频的像素值在$[0, 1]$范围内。
2. 所有指标：如果视频是灰度图像，我们会将其扩展为3个通道如所述。
3. 关于SSIM：当视频有3个通道时，我们会对3个通道的像素值取平均。根据SSIM作者的说明，正确的使用方法是在灰度图像上进行评估，即需要先将RGB图像转换为灰度图像。（来自SSIM的官方网站）
4. 关于FVD
   • 下载预训练模型：如果您在下载FVD预训练模型时遇到问题，可以手动下载以下文件之一，并将其放入FVD文件夹中。
     • 对于Stylegan：从这里下载 i3d_torchscript.pt。
     • 对于Videogpt：从这里下载 i3d_pretrained_400.pt。
     • 👆原始链接已失效？ 您可以使用此副本文件在这里，并查看相关问题在这里。
     • 现在我们已经支持两种基于PyTorch的FVD实现（videogpt和styleganv，详见问题#4）。它们的计算结果几乎相同，差异可以忽略。
   • 视频长度限制：由于i3d模型在时间维度上会进行下采样，因此在计算FVD时，我们需要确保 frames_num > 10，这样FVD计算才会从第10帧开始。
   • 计算过程：FVD计算两组视频之间的特征距离（每段视频的I3D特征不会经过 softmax() 函数，且最后一维的大小为400，而不是1024）。
5. 仅支持单GPU推理：如果您在多GPU机器上运行 demo.py，可以设置 CUDA_VISIBLE_DEVICES=0，详情请参见这里。
6. 致谢：该代码库参考了 LPIPS、fvd-comparison、PyTorch-Frechet-Video-Distance、MVCD 等网站和项目，我只是提取了其中与计算相关的部分。

如果项目无法正常运行，请向我提交问题或拉取请求。

星标历史

common_metrics_on_video_quality 快速上手指南

本工具用于轻松计算视频生成和视频预测任务中的关键质量指标，包括 FVD (Frechét Video Distance)、SSIM、LPIPS 和 PSNR。

环境准备

• 操作系统: Linux / macOS / Windows
• Python 版本: 推荐 3.9
• GPU: 支持 CUDA 的 NVIDIA 显卡（单卡推理）
• 核心依赖版本参考:
  • numpy < 2.0 (推荐 1.26.4)
  • opencv-python (推荐 4.10.0.84)
  • pytorch (推荐 1.13.1 + CUDA 11.7)
  • scipy, tqdm, einops

安装步骤

1. 创建 Conda 环境并安装 PyTorch

建议使用国内镜像源（如清华源）加速下载。

conda create -n video_metric python=3.9
conda activate video_metric

# 安装 PyTorch 1.13.1 (CUDA 11.7)，可使用清华源加速
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia
# 若网络较慢，可尝试：
# conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia --index-url https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装其他依赖

注意 numpy 版本需小于 2.0。

conda install "numpy<2.0"
pip install opencv-python tqdm einops -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 克隆项目代码

git clone https://github.com/JunyaoHu/common_metrics_on_video_quality
cd common_metrics_on_video_quality

4. 下载预训练模型 (FVD 必需)

FVD 计算需要 I3D 预训练模型。如果自动下载失败，请手动下载以下文件之一并放入项目对应的 FVD 文件夹中：

• StyleganV 版本: 下载 i3d_torchscript.pt
• VideoGPT 版本: 下载 i3d_pretrained_400.pt
• 备用下载地址: GitHub Release

基本使用

数据格式要求

• 输入视频数据形状：[Batch_Size, Frames, Channels, Height, Width]
• 像素值范围：必须归一化到 [0, 1] 之间。
• 灰度图处理：如果是单通道灰度图，工具会自动复制为 3 通道；SSIM 计算时会自动转为灰度图取平均。
• 帧数限制：计算 FVD 时，视频帧数必须 > 10。

运行示例

项目自带 demo.py，使用全 0 和全 1 的模拟数据进行测试。

# 确保在单卡环境下运行，多卡机器需指定可见设备
export CUDA_VISIBLE_DEVICES=0

python demo.py

代码调用示例

在你的 Python 脚本中，核心调用方式如下：

from metrics import calculate_fvd, calculate_ssim, calculate_psnr, calculate_lpips
import torch

# 假设 videos1 和 videos2 是形状为 [8, 30, 3, 64, 64] 的 Tensor，值在 [0, 1]
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 1. 仅计算最终整体指标 (only_final=True)
fvd_score = calculate_fvd(videos1, videos2, device, method='styleganv', only_final=True)
ssim_score = calculate_ssim(videos1, videos2, only_final=True)
psnr_score = calculate_psnr(videos1, videos2, only_final=True)
lpips_score = calculate_lpips(videos1, videos2, device, only_final=True)

# 2. 计算逐帧或累积指标 (only_final=False)
# FVD: 计算前 n 帧的距离 (10 <= n <= T)
# PSNR/SSIM/LPIPS: 计算前 n 帧的平均值
fvd_curve = calculate_fvd(videos1, videos2, device, method='styleganv', only_final=False)

输出示例:

{
    "fvd":   {"value": [151.26]},
    "ssim":  {"value": [9.99e-05], "value_std": [0.0]},
    "psnr":  {"value": [0.0], "value_std": [0.0]},
    "lpips": {"value": [0.814], "value_std": [0.0]}
}