NIMA：神经图像评估

在 Keras + TensorFlow 中实现了 NIMA：神经图像评估，并提供了基于 AVA 数据集训练的 MobileNet 模型权重。

NIMA 为图像分配一个均值加标准差的评分，可用作自动检测图像质量的工具，也可作为损失函数来进一步提升生成图像的质量。

包含以下模型在 AVA 数据集上训练得到的权重：

• NASNet Mobile（在验证集上的 EMD 为 0.067，感谢 @tfriedel！仅使用预训练权重时的 EMD 为 0.0848）
• Inception ResNet v2（在验证集上的 EMD 约为 0.07，感谢 @tfriedel！）
• MobileNet（在验证集上的 EMD 为 0.0804）

使用方法

评估

提供了 evaluate_*.py 脚本，可用于使用特定模型对图像进行评估。必须从 Releases Tab 下载相应模型的权重，并将其放置在 weights 目录中。

支持通过 -dir 参数传递目录，或通过 -img 参数传递一组具体图像的完整路径（多个路径之间用空格分隔）。

还支持传递 -resize "true/false" 参数，以决定是否在送入 NIMA 进行评分前将每张图像调整为 (224x224) 大小。 注意：NASNet 模型不支持此参数，所有图像 必须在评分前先进行调整大小！

参数说明：

-dir    : 传入包含一组图像的目录的相对或绝对路径。仅会对 png、jpg 和 jpeg 格式的图像进行评分。
-img    : 传入一个或多个要评分的图像的相对或绝对路径。支持 PIL 所有类型的图像。
-resize : 传入 "true" 或 "false"。在评分前调整图像大小。NASNet 模型不支持此参数。

训练

训练这些模型需要 AVA 数据集。我使用了 250,000 张图像进行训练，并用最后 5,000 张图像进行评估（这与论文中的格式不同）。

首先，请确保数据集干净——没有损坏的 JPG 文件等，可使用 utils 文件夹中的 check_dataset.py 脚本进行检查。如果存在损坏的图像，将会极大地拖慢训练速度，因为 TensorFlow 的数据集缓冲区会在每次遇到损坏图像时不断刷新和重新加载。

然后，有两种方式可以训练这些模型。

直接训练

在直接训练中，必须确保能够在单个 GPU 上完成模型的加载、训练、评估和保存。如果无法做到（例如由于模型过大），请参考预训练部分。

使用 train_*.py 脚本进行直接训练。请注意，若想训练其他模型，只需复制粘贴一个训练脚本，并仅修改 base_model 的创建部分，其余部分通常保持不变。

预训练

如果模型过大而无法直接训练，则仍可通过迂回的方式进行训练（只要能够使用该模型对一批图像进行推理即可）。

注意：这种方法的一个明显缺点是，在未进行进一步微调之前，其性能将不如完整的模型。

这是一个三步流程：

1. 从模型中提取特征：使用 extract_*_features.py 脚本从大型模型中提取特征。在此步骤中，可以将 batch_size 设置得足够小，以避免 GPU 内存过载，并将所有特征保存到两个 TFRecord 文件中。

2. 预训练模型：特征提取完成后，可以直接在这些特征上训练一个小型的前馈神经网络。由于前馈网络通常很容易适应内存，因此可以使用较大的 batch size 来快速训练网络。

3. 微调模型：此步骤为可选，仅适用于那些有足够的内存同时加载大型模型和前馈分类器的人。可以参考 train_nasnet_mobile.py，了解如何将大型模型及其权重与前馈网络的权重一同加载到大型模型中，然后以较低的学习率再训练几个 epoch。

示例

需求

• Keras
• TensorFlow（CPU 用于评估，GPU 用于训练）
• NumPy
• Path.py
• PIL

NIMA (Neural Image Assessment) 快速上手指南

NIMA 是一个基于深度学习的图像质量评估工具，能够为图片输出“平均分 + 标准差”评分。它可用于自动筛选高质量图片，或作为损失函数优化生成图像的质量。本项目提供了在 AVA 数据集上预训练的 MobileNet、NASNet Mobile 和 Inception ResNet v2 模型权重。

环境准备

系统要求

• 操作系统：Linux / macOS / Windows
• 硬件建议：
  • 推理（评估）：CPU 即可运行。
  • 训练：需要 GPU 支持。

前置依赖

请确保已安装 Python 环境，并安装以下核心库：

• Keras
• Tensorflow
• Numpy
• Path.py
• PIL (Pillow)

国内加速建议：安装依赖时推荐使用清华或阿里镜像源以提升下载速度。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras tensorflow numpy path.py pillow

安装步骤

1. 克隆项目代码

   git clone https://github.com/titu1994/neural-image-assessment.git
   cd neural-image-assessment
   

2. 下载预训练权重 访问项目的 Releases 页面，下载你所需模型的权重文件（例如 mobilenet.h5 或 nasnet_mobile.h5）。

   将下载的权重文件放入项目根目录下的 weights 文件夹中（若不存在请新建）：

   mkdir -p weights
   # 假设你下载了 mobilenet 权重
   mv <下载的文件路径> weights/
   

基本使用

本项目提供了专门的脚本用于评估单张图片或整个文件夹的图片质量。

评估单张或多张图片

使用 evaluate_*.py 脚本（根据你下载的模型选择对应的脚本，如 evaluate_mobilenet.py）。

命令格式：

python evaluate_<model_name>.py -img <图片路径 1> <图片路径 2> ... [-resize true/false]

示例： 评估当前目录下的两张图片，并在评分前自动调整大小为 224x224（注意：NASNet 模型不支持 -resize 参数，必须预先手动调整图片大小）：

python evaluate_mobilenet.py -img image1.jpg image2.png -resize "true"

评估整个文件夹

扫描指定目录下所有 .png, .jpg, .jpeg 格式的图片进行评分。

命令格式：

python evaluate_<model_name>.py -dir <文件夹相对或绝对路径> [-resize true/false]

示例： 评估 ./test_images 文件夹中的所有图片：

python evaluate_mobilenet.py -dir ./test_images -resize "true"

输出说明

运行后，程序将为每张图片输出一个 Mean (平均分) 和 Standard Deviation (标准差)。分数越高代表图像美学质量越好。