一款功能强大的开源工具，用于分析图像和视频数据集，由XGBoost、Apache TVM 和 Turi Create 的作者创立——Danny Bickson、Carlos Guestrin 和 Amir Alush。

---

文档 · 功能与优势 · 报告Bug · 博客 · 快速入门 · Visual Layer Cloud

---

快速入门

通过 PyPI 使用 pip 安装 fastdup：

pip install fastdup

更多安装选项请参阅 此处。

初始化并运行 fastdup：

import fastdup

fd = fastdup.create(input_dir="IMAGE_FOLDER/")
fd.run()

只需一次调用即可从数据集中移除重复项：

import fastdup
fastdup.remove_duplicates("IMAGE_FOLDER/")

此命令会直接在磁盘上查找并删除相似度超过默认阈值 0.96 的重复图像。使用 dry_run=True 可以预览将被删除的文件，并调整 distance 参数来控制相似度阈值。

在静态图库中可视化结果：

fd.vis.duplicates_gallery()    # 重复图像图库
fd.vis.outliers_gallery()      # 异常值图库
fd.vis.component_gallery()     # 连通组件图库
fd.vis.stats_gallery()         # 图像统计信息图库（如模糊度、亮度等）
fd.vis.similarity_gallery()    # 相似图像图库

更多信息请查看此快速入门教程

https://github.com/user-attachments/assets/738a329d-8063-4515-a961-f2527934a0ca

功能与优势

fastdup 可处理带标签或不带标签的图像或视频数据集，并提供一系列功能：

fastdup 与其他类似工具相比的独特之处在于：

• 质量：高质量的分析能力，可识别重复/近似重复、异常值、错误标签、损坏图像以及低质量图像。
• 规模：高度可扩展，单台 CPU 机器即可处理 4 亿张图像，甚至可扩展至数十亿张。
• 速度：优化的 C++ 引擎即使在资源有限的 CPU 设备上也能实现高性能。
• 隐私：可在本地或您的云基础设施上运行，确保数据始终保留在您指定的位置。
• 易用性：支持带标签或不带标签的图像及视频数据集，并兼容主流操作系统，如 macOS、Linux 和 Windows。

通过示例学习

通过交互式示例学习 fastdup 的基础知识。您可以在 GitHub 或 nbviewer 上查看这些笔记本，更好的是，您可以免费在 Google Colab 或 Kaggle 上运行它们。

	⚡ 快速入门：了解如何安装 fastdup、加载数据集，并分析其中可能存在的问题，例如重复/近似重复样本、损坏的图像、异常值、过暗/过亮/模糊的图像，以及查看视觉上相似的图像簇。如果您是新手，请从这里开始！ 📌 数据集： 牛津-IIIT 宠物数据集。
	🧹 查找并移除重复项：学习如何分析图像数据集中的重复和近似重复样本。 📌 数据集： 牛津-IIIT 宠物数据集。
	🖼 查找并移除错误标签：学习如何分析图像数据集中可能存在的标签错误，并导出错误标签图像列表以便进一步检查。 📌 数据集： Food-101 数据集。
	🎁 图像相似性搜索：在大型图像数据集中执行图像搜索。 📌 数据集： Shopee 产品匹配数据集。
	🤗 Hugging Face 数据集：加载并分析来自 Hugging Face 数据集 的数据集。如果您已经在 Hugging Face 中心托管了数据集，这将非常理想。
	🧠 TIMM 嵌入：使用 TIMM（PyTorch 图像模型） 计算数据集嵌入，并在其上运行 fastdup 以发现数据集中的问题。支持 CPU 和 GPU。
	🦖 ONNX 嵌入：使用您自己的 ONNX 模型。在本示例中，我们使用 DINOv2 模型提取图像的特征向量。仅支持 CPU。

查看更多示例。

加入社区

通过以下渠道从 fastdup 团队或社区成员处获得帮助：

社区贡献的关于 fastdup 的博客文章：

	使用自定义基础镜像通过 Docker 容器部署 AWS Lambda 函数 🖋️ atahan bulus    •    🗓 16 September 2023
	Renumics：使用 fastdup 和 Renumics Spotlight 清理图像分类数据集 🖋️ Daniel Klitzke    •    🗓 4 September 2023
	Roboflow：如何在不损失精度的情况下减少数据集大小 🖋️ Arty Ariuntuya    •    🗓 9 August 2023
	数据清洁的重要性——或者正如我所喜欢称呼的那样，“清洁度仅次于模型性能”——怎么强调都不为过。 🖋️ Alexander Lan    •    🗓 9 March 2023
	清理你的数字生活：我如何在几分钟内免费找到 1929 张完全相同的图片、暗光、过亮和模糊的照片。 🖋️ Dickson Neoh    •    🗓 23 February 2023
	fastdup：一款强大的工具，可在您的 CPU 上免费大规模管理、清洗和整理视觉数据。 🖋️ Dickson Neoh    •    🗓 3 January 2023
	掌握数据完整性，清理你的计算机视觉数据集。 🖋️ Paul lusztin    •    🗓 19 December 2022

我们的用户怎么说：

Visual Layer Cloud

Visual Layer 提供用于大规模管理、清洗和整理视觉数据的商业服务。

免费注册。

https://github.com/visual-layer/fastdup/assets/6821286/57f13d77-0ac4-4c74-8031-07fae87c5b00

还不太相信？无需注册即可与 Visual Layer Cloud 的公共数据集互动。

免责声明

使用情况跟踪

我们已添加了一个基于 Sentry 的实验性崩溃报告收集功能。

我们不会收集用户特定的信息，例如文件夹名称、用户名、图像名称、图像内容等。我们会收集与 fastdup 内部运行和性能统计相关的信息，如图像总数、每张图像的平均运行时间、总可用内存、总可用磁盘空间、核心数等。

这有助于我们识别并解决稳定性问题，从而提高 fastdup 的整体可靠性。数据收集代码位于此处。在 MAC 系统上，我们使用 Google crashpad 来报告崩溃。

用户可以通过以下任一方式选择退出实验性崩溃报告系统：

• 定义名为 SENTRY_OPT_OUT 的环境变量
• 或者在调用 run() 时设置 turi_param='run_sentry=0'

许可证

fastdup 根据 知识共享署名-非商业性使用-禁止演绎 4.0 国际 公共许可证进行许可。

如需了解更多关于许可证的信息或有任何疑问，请发送邮件至 info@visual-layer.com 或参阅 LICENSE 文件。

fastdup 快速上手指南

fastdup 是一款由 XGBoost、Apache TVM 和 Turi Create 作者团队开发的高性能开源工具，专为大规模图像和视频数据集的分析、清洗和管理而设计。它能快速识别重复项、异常值、错误标签及低质量图片。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：支持 macOS、Linux 或 Windows (需使用 WSL2)。
• Python 版本：3.8, 3.9, 3.10 或 3.11。
• 硬件建议：基于优化的 C++ 引擎，fastdup 即使在低资源 CPU 机器上也能高效运行，支持单机处理数亿级图像。

安装步骤

推荐使用 pip 进行安装。国内开发者若遇到下载速度慢的问题，可使用清华或阿里云镜像源加速安装。

标准安装：

pip install fastdup

使用国内镜像源加速安装（推荐）：

pip install fastdup -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 初始化并运行分析

创建一个 Python 脚本或直接在交互式环境中运行以下代码，将 IMAGE_FOLDER/ 替换为您的数据集路径：

import fastdup

# 创建 fastdup 对象并指定输入目录
fd = fastdup.create(input_dir="IMAGE_FOLDER/")

# 执行分析
fd.run()

2. 一键去重

如果您只想快速查找并删除数据集中的重复图片（默认相似度阈值 > 0.96），可以使用单行命令：

import fastdup
# 直接删除重复文件
fastdup.remove_duplicates("IMAGE_FOLDER/")

安全预览模式：在实际删除前，建议先使用 dry_run=True 预览将被删除的文件列表：

# 仅预览，不实际删除
fastdup.remove_duplicates("IMAGE_FOLDER/", dry_run=True)

您还可以通过调整 distance 参数来控制相似度阈值。

3. 可视化分析结果

分析完成后，fastdup 可以生成多种静态画廊以直观展示数据问题：

# 查看重复图片画廊
fd.vis.duplicates_gallery()

# 查看异常值画廊
fd.vis.outliers_gallery()

# 查看连通分量画廊
fd.vis.component_gallery()

# 查看图像统计信息画廊（如模糊度、亮度等）
fd.vis.stats_gallery()

# 查看相似图片聚类画廊
fd.vis.similarity_gallery()

运行上述代码后，您将在本地看到生成的 HTML 报告，方便进一步审查和清洗数据。