[!IMPORTANT] 🎉 Splink 4 已发布！新语法的示例可以在这里找到：示例链接，发布公告请见：公告链接。

快速、准确且可扩展的数据链接与去重

Splink 是一个用于概率记录链接（实体解析，Entity Resolution）的 Python 包，它允许您对缺乏唯一标识符的数据集进行去重和记录链接。

它被广泛应用于政府、学术界和私营部门——更多用例请参阅用例。

主要特性

⚡ 速度: 能够在笔记本电脑上在一分钟左右完成百万条记录的链接。
🎯 准确性: 支持词频调整和用户定义的模糊匹配逻辑。
🌐 可扩展性: 可以在 Python 中执行链接（使用 DuckDB），也可以在 AWS Athena 或 Spark 等大数据后端处理超过一亿条记录。
🎓 无监督学习: 模型训练不需要训练数据。
📊 交互式输出: 提供一系列交互式可视化工具，帮助用户理解模型并诊断问题。

Splink 的链接算法基于 Fellegi-Sunter 的记录链接模型，并进行了各种定制以提高准确性。

Splink 能做什么？

考虑以下缺乏唯一人员标识符的记录：

Splink 预测哪些行会链接在一起：

并将这些链接聚类生成估计的人员 ID：

Splink 最适合处理什么样的数据？

Splink 在输入数据包含多个****非高度相关的列时表现最佳。例如，如果实体类型是人，您可以有全名、出生日期和城市等列。如果实体类型是公司，则可以有名称、营业额、行业和电话号码等列。

当某一列可以从另一列高度预测时，就会发生高相关性——例如，城市可以从邮政编码预测出来。如果所有输入列都高度相关，那么相关性将特别成问题。

Splink 不适用于链接包含“词袋”的单列数据。例如，只有一个“公司名称”列而没有其他详细信息的表。

文档

Splink 文档的主页可以在这里找到：文档链接，其中包括可以在浏览器中运行的教程和示例。

Splink 背后的 Fellegi Sunter 统计模型规范类似于 R 语言中的 fastLink 包所使用的模型。伴随 fastLink 包的是一篇学术论文，描述了该模型。Splink 文档站点 和一系列交互式文章也探讨了 Splink 背后的理论。

英国国家统计局撰写了一篇关于使用 Splink 的案例研究，用于将 2021 年人口普查数据与其自身进行链接。

安装

Splink 支持 Python 3.9+。要获取最新发布的 Splink 版本，您可以使用 pip 从 PyPI 安装：

pip install splink

或者，如果您愿意，也可以使用 conda 安装 Splink：

conda install -c conda-forge splink

为特定后端安装 Splink

对于需要特定后端的项目，Splink 提供了针对 Spark、Athena 和 PostgreSQL 的可选安装。这些可以通过在 pip 安装命令中添加后端名称来安装：

pip install 'splink[{backend}]'

pip install 'splink[spark]'

pip install 'splink[athena]'

pip install 'splink[postgres]'

快速入门

以下代码演示了如何估算去重模型的参数，使用该模型识别重复记录，并通过聚类生成估计的唯一人员 ID。

如需更详细的教程，请参见此处。

import splink.comparison_library as cl
from splink import DuckDBAPI, Linker, SettingsCreator, block_on, splink_datasets

db_api = DuckDBAPI()

df = splink_datasets.fake_1000

settings = SettingsCreator(
    link_type="dedupe_only",
    comparisons=[
        cl.JaroWinklerAtThresholds("first_name", [0.9, 0.7]),
        cl.JaroAtThresholds("surname", [0.9, 0.7]),
        cl.DateOfBirthComparison(
            "dob",
            input_is_string=True,
            datetime_metrics=["year", "month"],
            datetime_thresholds=[1, 1],
        ),
        cl.ExactMatch("city").configure(term_frequency_adjustments=True),
        cl.EmailComparison("email"),
    ],
    blocking_rules_to_generate_predictions=[
        block_on("first_name"),
        block_on("surname"),
    ]
)

linker = Linker(df, settings, db_api)

linker.training.estimate_probability_two_random_records_match(
    [block_on("first_name", "surname")],
    recall=0.7,
)

linker.training.estimate_u_using_random_sampling(max_pairs=1e6)

linker.training.estimate_parameters_using_expectation_maximisation(
    block_on("first_name", "surname")
)

linker.training.estimate_parameters_using_expectation_maximisation(block_on("dob"))

pairwise_predictions = linker.inference.predict(threshold_match_weight=-10)

clusters = linker.clustering.cluster_pairwise_predictions_at_threshold(
    pairwise_predictions, 0.95
)

df_clusters = clusters.as_pandas_dataframe(limit=5)

视频

• Pydata Global 2024 演讲
• Splink 简介演讲
• Splink 对比查看器仪表板简介

支持

要找到提问、报告错误或获取一般建议的最佳位置，请参阅我们的指南。

奖项

🥇 2025 年公务员奖：创新类别 - 获奖者

🥇 2025 年公务员奖：卓越交付奖 - 由 Splink 驱动的仪表板获奖

🥇 2025 年 OpenUK 奖：开放数据类别 - 获奖者

🥈 2023 年公务员奖：最佳数据、科学和技术应用 - 亚军

🥇 2022 年政府分析奖：人民选择奖 - 获奖者

🥈 2022 年政府分析奖：创新方法 - 亚军

🥇 2020 年政府分析奖：创新方法 - 获奖者

🥇 2020 年司法部数据与分析服务局 (DASD) 奖：创新与影响 - 获奖者

引用

如果您在研究中使用了 Splink，请按如下方式引用：

@article{Linacre_Lindsay_Manassis_Slade_Hepworth_2022,
	title        = {Splink: Free software for probabilistic record linkage at scale.},
	author       = {Linacre, Robin and Lindsay, Sam and Manassis, Theodore and Slade, Zoe and Hepworth, Tom and Kennedy, Ross and Bond, Andrew},
	year         = 2022,
	month        = {Aug.},
	journal      = {International Journal of Population Data Science},
	volume       = 7,
	number       = 3,
	doi          = {10.23889/ijpds.v7i3.1794},
	url          = {https://ijpds.org/article/view/1794},
}

致谢

我们非常感谢 ADR UK（英国行政数据分析研究中心）作为 Data First 项目的一部分为这项工作提供了初始资金。

我们对 Katie Harron 教授、James Doidge 教授和 Peter Christen 教授在 Splink 开发过程中提供的专家建议和指导表示衷心感谢。我们也非常感谢英国国家统计局的同事们对这项工作的专家建议和同行评审。任何错误均由我们自行负责。

相关仓库

尽管 Splink 是一个独立的软件包，但在 Splink 生态系统中还有一些其他仓库：

• splink_scalaudfs 包含用于生成 用户定义函数 的 Scala 代码，这些函数随后可以在 Spark 中调用。
• splink_datasets 包含可以通过 内置数据集 功能自动安装为 Splink 一部分的数据集。
• splink_synthetic_data 包含生成合成数据的代码。

Splink 快速上手指南

Splink 是一个用于概率记录链接（实体解析）的 Python 包，能够帮助您对缺乏唯一标识符的数据集进行去重和记录链接。

环境准备

系统要求

• Python 3.9 或更高版本
• 支持的操作系统：Windows、macOS 和 Linux

前置依赖

• DuckDB（默认后端）
• 可选后端支持：Spark、AWS Athena、PostgreSQL

如果您在中国大陆，建议使用国内镜像源加速安装：

pip install splink -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

基础安装

运行以下命令安装最新版本的 Splink：

pip install splink

或者使用 conda 安装：

conda install -c conda-forge splink

安装特定后端支持

如果需要支持特定后端（如 Spark、Athena 或 PostgreSQL），可以使用以下命令安装扩展功能：

pip install 'splink[{backend}]'

例如：

• 安装 Spark 支持：

  pip install 'splink[spark]'
  

• 安装 Athena 支持：

  pip install 'splink[athena]'
  

• 安装 PostgreSQL 支持：

  pip install 'splink[postgres]'
  

基本使用

以下代码展示了如何使用 Splink 进行数据去重，并生成估计的唯一 ID：

import splink.comparison_library as cl
from splink import DuckDBAPI, Linker, SettingsCreator, block_on, splink_datasets

# 初始化数据库 API
db_api = DuckDBAPI()

# 加载示例数据集
df = splink_datasets.fake_1000

# 配置链接规则
settings = SettingsCreator(
    link_type="dedupe_only",
    comparisons=[
        cl.JaroWinklerAtThresholds("first_name", [0.9, 0.7]),
        cl.JaroAtThresholds("surname", [0.9, 0.7]),
        cl.DateOfBirthComparison(
            "dob",
            input_is_string=True,
            datetime_metrics=["year", "month"],
            datetime_thresholds=[1, 1],
        ),
        cl.ExactMatch("city").configure(term_frequency_adjustments=True),
        cl.EmailComparison("email"),
    ],
    blocking_rules_to_generate_predictions=[
        block_on("first_name"),
        block_on("surname"),
    ]
)

# 初始化 Linker
linker = Linker(df, settings, db_api)

# 估计模型参数
linker.training.estimate_probability_two_random_records_match(
    [block_on("first_name", "surname")],
    recall=0.7,
)

linker.training.estimate_u_using_random_sampling(max_pairs=1e6)

linker.training.estimate_parameters_using_expectation_maximisation(
    block_on("first_name", "surname")
)

linker.training.estimate_parameters_using_expectation_maximisation(block_on("dob"))

# 生成预测结果
pairwise_predictions = linker.inference.predict(threshold_match_weight=-10)

# 聚类生成唯一 ID
clusters = linker.clustering.cluster_pairwise_predictions_at_threshold(
    pairwise_predictions, 0.95
)

# 输出聚类结果
df_clusters = clusters.as_pandas_dataframe(limit=5)
print(df_clusters)

更多资源

• 官方文档: Splink 文档
• 教程: Splink 教程
• 示例: Splink 示例

通过以上步骤，您可以快速上手 Splink 并开始处理数据链接任务！