图像去重工具 (imagededup)

imagededup 是一个 Python 包，用于简化在图像集合中查找完全重复和近似重复图像的任务。

该包提供了使用哈希算法的功能，这些算法特别擅长查找完全重复的图像；同时也支持卷积神经网络，后者同样能够有效地识别近似重复的图像。此外，还提供了一个评估框架，用于衡量给定数据集上去重效果的质量。

以下是该包提供的功能：

• 使用以下算法之一在目录中查找重复图像：
  • 卷积神经网络（CNN）：可选择多个预打包模型，或提供自定义模型。
  • 感知哈希（PHash）
  • 差异哈希（DHash）
  • 小波哈希（WHash）
  • 平均哈希（AHash）
• 使用上述算法之一为图像生成编码。
• 提供一个框架，用于根据真实标签映射评估去重效果。
• 绘制针对特定图像文件找到的重复图像。

有关该包的详细文档可在以下网址找到：https://idealo.github.io/imagededup/

imagededup 兼容 Python 3.9 及以上版本，并可在 Linux、MacOS X 和 Windows 上运行。 它采用 Apache 2.0 许可证进行分发。

📖 目录

• 安装
• 快速入门
• 基准测试
• 贡献
• 引用
• 维护者
• 版权

⚙️ 安装

有两种方式可以安装 imagededup：

• 从 PyPI 安装 imagededup（推荐）：

pip install imagededup

• 从 GitHub 源代码安装 imagededup：

git clone https://github.com/idealo/imagededup.git
cd imagededup
pip install .

🚀 快速入门

要使用感知哈希方法在一个图像目录中查找重复图像，可以按照以下流程操作：

• 导入感知哈希方法

from imagededup.methods import PHash
phasher = PHash()

• 为图像目录中的所有图像生成编码

encodings = phasher.encode_images(image_dir='path/to/image/directory')

• 使用生成的编码查找重复图像

duplicates = phasher.find_duplicates(encoding_map=encodings)

• 使用重复图像字典为指定文件（例如 'ukbench00120.jpg'）绘制重复图像

from imagededup.utils import plot_duplicates
plot_duplicates(image_dir='path/to/image/directory',
                duplicate_map=duplicates,
                filename='ukbench00120.jpg')

输出如下所示：

完整的工作流代码如下：

from imagededup.methods import PHash
phasher = PHash()

# 为图像目录中的所有图像生成编码
encodings = phasher.encode_images(image_dir='path/to/image/directory')

# 使用生成的编码查找重复图像
duplicates = phasher.find_duplicates(encoding_map=encodings)

# 使用重复图像字典为指定文件绘制重复图像
from imagededup.utils import plot_duplicates
plot_duplicates(image_dir='path/to/image/directory',
                duplicate_map=duplicates,
                filename='ukbench00120.jpg')

要在 Windows 上运行上述代码，请参阅此处。 此外，还可以使用自定义模型通过 CNN 方法查找重复图像。

有关示例，请参阅仓库中的此部分。

如需更详细的使用说明，请参考：https://idealo.github.io/imagededup/

⏳ 基准测试

更新：提供的基准测试仅适用于 imagededup v0.2.2 及其之前版本。后续版本对所有方法都进行了重大改进，因此当前的基准测试可能不再适用。

关于不同方法的速度和分类指标的详细基准测试已在文档中提供。 总体而言，可以得出以下结论：

• CNN 在处理近似重复和包含变换的数据集时表现最佳。
• 所有去重方法在处理完全重复的数据集时表现良好，但差异哈希的速度最快。

🤝 贡献

我们欢迎各种形式的贡献。 更多详情请参阅贡献指南。

📝 引用

如果 imagededup 对您的研究有所帮助，请在您的出版物中引用它。以下是一个 BibTeX 条目示例：

@misc{idealods2019imagededup,
  title={Imagededup},
  author={Tanuj Jain and Christopher Lennan and Zubin John and Dat Tran},
  year={2019},
  howpublished={\url{https://github.com/idealo/imagededup}},
}

🏗 维护者

• Tanuj Jain，GitHub：tanujjain
• Christopher Lennan，GitHub：clennan
• Dat Tran，GitHub：datitran

© 版权

详情请参阅LICENSE。

imagededup 快速上手指南

imagededup 是一个用于在图像集合中查找完全重复和近似重复图片的 Python 工具包。它支持多种哈希算法（如 PHash, DHash）以及卷积神经网络（CNN），适用于去重、数据清洗等场景。

环境准备

• 操作系统：Linux, MacOS X, Windows
• Python 版本：3.9 及以上
• 依赖项：安装时会自动处理所需依赖（如 TensorFlow/Keras 用于 CNN 方法，Pillow 用于图像处理等）

安装步骤

推荐使用 pip 从 PyPI 安装：

pip install imagededup

如果网络较慢，可使用国内镜像源加速安装（以清华源为例）：

pip install imagededup -i https://pypi.tuna.tsinghua.edu.cn/simple

若需使用最新开发版，可从 GitHub 源码安装：

git clone https://github.com/idealo/imagededup.git
cd imagededup
pip install .

基本使用

以下示例演示如何使用**感知哈希（PHash）**算法快速查找目录中的重复图片。

1. 导入并初始化

from imagededup.methods import PHash
phasher = PHash()

2. 生成图像编码

将目标图片目录路径替换为实际路径，生成所有图像的哈希编码。

encodings = phasher.encode_images(image_dir='path/to/image/directory')

3. 查找重复图片

基于生成的编码映射，识别重复项。

duplicates = phasher.find_duplicates(encoding_map=encodings)

4. 可视化结果（可选）

查看特定图片的重复项示意图。

from imagededup.utils import plot_duplicates
plot_duplicates(image_dir='path/to/image/directory',
                duplicate_map=duplicates,
                filename='ukbench00120.jpg')

完整代码示例

from imagededup.methods import PHash
phasher = PHash()

# 生成编码
encodings = phasher.encode_images(image_dir='path/to/image/directory')

# 查找重复
duplicates = phasher.find_duplicates(encoding_map=encodings)

# 可视化特定文件的重复项
from imagededup.utils import plot_duplicates
plot_duplicates(image_dir='path/to/image/directory',
                duplicate_map=duplicates,
                filename='ukbench00120.jpg')

提示：除了 PHash，该库还支持 DHash, WHash, AHash 以及基于 CNN 的近似重复检测。对于包含旋转、裁剪或颜色变化的近似重复图，建议使用 CNN 方法以获得更佳效果。