Dedupe Python 库

dedupe 是一个 Python 库（library），利用机器学习（machine learning）在结构化数据（structured data）上快速执行模糊匹配（fuzzy matching）、去重（deduplication）和实体解析（entity resolution）。

dedupe 将帮助您：

• 从包含姓名和地址的电子表格中__移除重复条目__
• 将包含客户信息的列表与包含订单历史的另一个列表__链接__起来，即使没有唯一的客户 ID
• 获取竞选捐款数据库，并__找出哪些是由同一个人捐款的__，即使每条记录的姓名输入略有不同

dedupe 接受人工训练数据，并为您的数据集制定最佳规则，以便快速自动地查找相似记录，即使数据库非常大。

重要链接

• 文档：https://docs.dedupe.io/
• 仓库：https://github.com/dedupeio/dedupe
• 问题：https://github.com/dedupeio/dedupe/issues
• 邮件列表：https://groups.google.com/forum/#!forum/open-source-deduplication
• 示例：https://github.com/dedupeio/dedupe-examples

dedupe 库咨询

如果您或您的组织希望在使用 dedupe 库方面获得专业协助，Dedupe.io LLC 提供咨询服务。在此处阅读更多关于定价和可用服务的信息。

基于 dedupe 构建的工具

Dedupe.io

一项由 dedupe 库提供支持云服务，用于数据去重和查找匹配项。它提供了一步一步的向导，用于上传数据、设置模型、训练、聚类（clustering）和审查结果。

Dedupe.io 还支持跨数据源的记录链接（record linkage），以及通过 API 进行持续匹配和训练。

更多信息，请参阅 Dedupe.io 产品网站、如何使用它的教程，以及 它与 dedupe 库之间的区别。

Dedupe 在 Python 社区中被广泛采用。查看这篇 博客文章，一个关于如何使用 Python 版 Dedupe 的 YouTube 视频，以及一个关于如何使用 Spark 大规模应用 Dedupe 的 Youtube 视频。

csvdedupe

用于去重和 链接 CSV 文件的命令行工具（command line tool）。在 Source Knight-Mozilla OpenNews 上阅读相关内容。

安装

使用 dedupe

如果您只想使用 dedupe，请通过以下方式安装：

pip install dedupe

熟悉 dedupe 的 API，并开始您的项目。需要灵感？看看 一些示例。

开发 dedupe

我们建议使用 virtualenv（虚拟环境）和 virtualenvwrapper 在虚拟化开发环境中工作。阅读如何设置 virtualenv。

设置好 virtualenvwrapper 后，

mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt

如果这些测试通过，那么所有内容都应该已正确安装！

pytest

之后，每当您想开发 dedupe 时，

workon dedupe

测试

核心 dedupe 函数的单元测试（unit tests）

pytest

使用 Bilenko 研究中的规范数据集进行测试

使用去重（Deduplication）

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py

使用记录链接（Record Linkage）

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py

团队

• Forest Gregg, DataMade
• Derek Eder, DataMade

致谢

Dedupe 基于 Mikhail Yuryevich Bilenko 的博士论文：Learnable Similarity Functions and their Application to Record Linkage and Clustering。

错误 / Bugs

如果某些行为不符合直觉，那就是一个 bug（缺陷），应该被报告。 在此处报告

关于补丁/拉取请求的说明

• Fork（项目分支）项目。
• 进行功能添加或 bug 修复。
• 向我们发送 pull request（拉取请求）。如果是主题分支（topic branches）会有加分。

版权

Copyright (c) 2022 Forest Gregg 和 Derek Eder。根据 MIT License 发布。

此分发中的第三方版权在适用处注明。

引用 Dedupe

如果您在学术作品中使用 Dedupe，请引用以下内容：

Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.

Dedupe 快速上手指南

简介

Dedupe 是一个 Python 库，利用机器学习在结构化数据上快速执行模糊匹配、去重和实体解析。它适用于处理姓名地址去重、跨表关联客户信息、识别相同贡献者等场景。

环境准备

• 系统要求：支持 Python 的环境（Windows/Linux/macOS）。
• 前置依赖：
  • Python 3.x
  • pip 包管理工具
  • 推荐使用虚拟环境工具（如 virtualenv 或 virtualenvwrapper）以隔离依赖。

安装步骤

如果您仅需使用 Dedupe 库，请通过 pip 直接安装：

pip install dedupe

提示：国内开发者若遇到网络安装问题，可配置 pip 使用国内镜像源（如清华源、阿里源）进行加速。

若需参与开发或修改源码，建议使用虚拟环境安装：

mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt

基本使用

Dedupe 的核心工作流程包括：定义字段、准备数据、人工训练模型、自动匹配。以下是一个最小化的初始化示例：

1. 导入库并定义字段 告诉 Dedupe 哪些数据字段需要参与匹配。

import dedupe

# 定义需要匹配的字段及其类型
fields = [
    {'field': 'Site name', 'type': 'String'},
    {'field': 'Address', 'type': 'String'},
    {'field': 'City', 'type': 'String'},
]

# 初始化 Dedupe 对象
deduper = dedupe.Dedupe(fields)

2. 训练与匹配 库需要少量人工标记的训练数据来学习规则，之后即可自动处理大规模数据。具体的训练流程和 API 用法较为丰富，建议参考官方示例项目。

• 官方 API 文档：https://docs.dedupe.io/en/latest/API-documentation.html
• 代码示例仓库：https://github.com/dedupeio/dedupe-examples
• CSV 命令行工具：如需直接处理 CSV 文件，可参考 csvdedupe 工具。