该存储库提供了用于生成模型评估的流行指标的精确、高效和可扩展实现，包括：

• Inception Score（ISC，初始得分）
• Fréchet Inception Distance（FID，Fréchet 初始距离）
• Kernel Inception Distance（KID，核初始距离）
• Precision and Recall（PRC，精度与召回率）
• Perceptual Path Length（PPL，感知路径长度）

数值精度：与其他许多重新实现不同，torch-fidelity 生成的值与参考实现匹配到浮点数的机器精度。这使得可以使用 torch-fidelity 在论文中报告指标，而不是分散且缓慢的参考实现。了解更多关于数值精度的信息

效率：不同指标之间的特征共享节省了重复计算时间，额外的缓存层尽可能避免重新计算特征和统计信息。高效率使得可以在训练循环中使用 torch-fidelity，例如在每个 epoch 结束时。了解更多关于效率的信息

可扩展性：由于指标的高度模块化和抽象性，超越 2D 图像生成变得容易。注册一个自定义特征提取器即可评估任何模态——视频、音频、3D 体积或任何其他具有适当学习表示的内容。了解更多关于可扩展性的信息

简而言之；快速可靠的 PyTorch 生成模型评估

安装

pip install torch-fidelity

另请参阅：安装最新的 GitHub 代码

命令行用法示例

以下是使用 torch-fidelity 从命令行评估指标的三个示例。更多示例请参见文档。

简单示例

CIFAR-10 训练集的 Inception Score：

> fidelity --gpu 0 --isc --input1 cifar10-train

inception_score_mean: 11.23678
inception_score_std: 0.09514061

中等示例

存储在 ~/images/ 目录中的图像的 Inception Score：

> fidelity --gpu 0 --isc --input1 ~/images/

高级示例

为 input1 高效计算 ISC 和 PPL，并为存储在 ~/generator.onnx 的生成模型与 CIFAR-10 训练集之间计算 FID、KID 和 PRC：

> fidelity \
  --gpu 0 \
  --isc \
  --fid \
  --kid \
  --ppl \
  --prc \
  --input1 ~/generator.onnx \ 
  --input1-model-z-type normal \
  --input1-model-z-size 128 \
  --input1-model-num-samples 50000 \ 
  --input2 cifar10-train 

另请参阅：其他用法示例

Python API 快速入门

当涉及到跟踪生成模型在训练过程中的性能时，由于计算时间过长，在每个 epoch 后评估指标变得非常昂贵。 torch_fidelity 通过充分利用缓存来解决此问题，尽可能避免重新计算常见特征和每种指标的统计数据。 得益于特征共享和缓存，计算 50000 张 32x32 生成图像和 cifar10-train 的所有指标所需的时间只是使用原始代码库的一小部分。

在以下示例中，假设是无条件图像生成设置，使用 CIFAR-10 数据集和生成模型 generator，它接受一个 128 维的标准正态噪声向量。

首先，导入模块：

import torch_fidelity

在 epoch 评估结束时添加以下代码：

wrapped_generator = torch_fidelity.GenerativeModelModuleWrapper(generator, 128, 'normal', 0)

metrics_dict = torch_fidelity.calculate_metrics(
    input1=wrapped_generator, 
    input2='cifar10-train', 
    cuda=True, 
    isc=True, 
    fid=True, 
    kid=True, 
    prc=True, 
    verbose=False,
)

计算得到的指标字典可以直接记录到 tensorboard、wandb 或控制台：

print(metrics_dict)

输出：

{
    'inception_score_mean': 11.23678, 
    'inception_score_std': 0.09514061, 
    'frechet_inception_distance': 18.12198,
    'kernel_inception_distance_mean': 0.01369556, 
    'kernel_inception_distance_std': 0.001310059
    'precision': 0.51369556, 
    'recall': 0.501310059
}

另请参阅：完整 API 参考

与训练循环集成的示例

完整的训练示例请参见 sngan_cifar10.py。

示例中固定生成器潜在变量的演变：

训练示例后生成的生成器检查点可以从这里下载。

故障排除

警告：脚本 fidelity 安装在 '' 中，该路径不在 PATH 中。

这表明除非将上述路径添加到 PATH 环境变量中，否则独立的 fidelity 工具将不可用。如果不想修改 PATH，仍然可以通过其完整路径调用该工具：<SOMEPATH>/fidelity。

引用

建议引用以加强依赖于 torch-fidelity 的工作中的评估协议。 为了确保引用此存储库时的可重复性，请使用以下 BibTeX：

@misc{obukhov2020torchfidelity,
  author={Anton Obukhov and Maximilian Seitzer and Po-Wei Wu and Semen Zhydenko and Jonathan Kyl and Elvis Yu-Jing Lin},
  year=2020,
  title={High-fidelity performance metrics for generative models in PyTorch},
  url={https://github.com/toshas/torch-fidelity},
  publisher={Zenodo},
  version={v0.4.0},
  doi={10.5281/zenodo.3786539},
  note={Version: 0.4.0, DOI: 10.5281/zenodo.3786539}
}

torch-fidelity 快速上手指南

torch-fidelity 是一个用于评估生成模型性能的 PyTorch 工具，支持多种高精度、高效的指标计算，包括 Inception Score (ISC)、Fréchet Inception Distance (FID)、Kernel Inception Distance (KID)、Precision and Recall (PRC) 和 Perceptual Path Length (PPL)。

以下内容将帮助您快速上手使用 torch-fidelity。

---

环境准备

系统要求

• Python 3.7 或更高版本
• PyTorch 1.8 或更高版本
• 支持 CUDA 的 GPU（可选，但推荐以加速计算）

前置依赖

在安装 torch-fidelity 之前，请确保已安装以下依赖：

• PyTorch (torch)
• torchvision (torchvision)

如果需要加速安装，可以使用国内镜像源，例如清华源：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

---

安装步骤

通过 pip 安装 torch-fidelity：

pip install torch-fidelity

如果您希望安装最新开发版本，可以参考官方文档中的 GitHub 安装指南。

---

基本使用

使用命令行工具

示例 1：计算 CIFAR-10 数据集的 Inception Score

fidelity --gpu 0 --isc --input1 cifar10-train

输出示例：

inception_score_mean: 11.23678
inception_score_std: 0.09514061

示例 2：计算自定义图像目录的 Inception Score

假设您的图像存储在 ~/images/ 目录下：

fidelity --gpu 0 --isc --input1 ~/images/

示例 3：高效计算多个指标

以下命令同时计算 ISC、FID、KID、PRC 和 PPL 指标，比较生成模型（存储为 ONNX 文件）与 CIFAR-10 数据集：

fidelity \
  --gpu 0 \
  --isc \
  --fid \
  --kid \
  --ppl \
  --prc \
  --input1 ~/generator.onnx \ 
  --input1-model-z-type normal \
  --input1-model-z-size 128 \
  --input1-model-num-samples 50000 \ 
  --input2 cifar10-train 

更多命令行用法请参考 官方文档。

---

使用 Python API

在训练循环中，可以通过 Python API 高效计算生成模型的性能指标。以下是一个简单的示例：

示例代码

import torch_fidelity

# 假设 generator 是您的生成模型，输入为 128 维标准正态分布噪声向量
wrapped_generator = torch_fidelity.GenerativeModelModuleWrapper(generator, 128, 'normal', 0)

# 计算指标
metrics_dict = torch_fidelity.calculate_metrics(
    input1=wrapped_generator, 
    input2='cifar10-train', 
    cuda=True, 
    isc=True, 
    fid=True, 
    kid=True, 
    prc=True, 
    verbose=False,
)

# 输出结果
print(metrics_dict)

输出示例：

{
    'inception_score_mean': 11.23678, 
    'inception_score_std': 0.09514061, 
    'frechet_inception_distance': 18.12198,
    'kernel_inception_distance_mean': 0.01369556, 
    'kernel_inception_distance_std': 0.001310059,
    'precision': 0.51369556, 
    'recall': 0.501310059
}

更多 API 用法请参考 完整 API 文档。

---

以上内容涵盖了 torch-fidelity 的基本安装和使用方法。如需更详细的说明或高级功能，请参考 官方文档。