以编程方式构建和管理训练数据

公告

Snorkel 团队目前正专注于 Snorkel Flow，这是一个基于 Snorkel 核心理念的端到端 AI 应用开发平台——您可以在 这里 了解详情，或 加入我们 一起打造它！

Snorkel 项目 于 2015 年在斯坦福大学启动，其核心技术理念很简单：决定机器学习项目成败的关键将不再是模型、算法或基础设施，而是 训练数据。基于这一前提，我们开始探索一个激进的想法——为混乱且通常完全手动的训练数据创建与管理流程引入数学和系统化的结构，让用户能够 以编程方式标注、构建和管理 训练数据。

可以说，Snorkel 项目不仅成功了，而且发展得远远超出了我们的预期。像 Snorkel 这样的研究性开源项目，其基本目标是提供一个最小可行框架，用于测试和验证假设。四年后，我们不仅实现了这一点，还与全球领先的组织合作，如 Google、Intel、斯坦福医学院 等，共同开发并部署了 Snorkel 的早期版本；发表了超过六十篇关于 Snorkel 及其相关弱监督建模、数据增强、多任务学习等创新成果的同行评审论文；被纳入顶尖高校的课程；支持了您在过去几小时内可能使用过的系统的生产级部署；并与来自工业界、医学界、政府部门、学术界等领域的杰出研究人员和从业者组成了一个充满活力的社区。

然而，通过每周的答疑会、研讨会、在线讨论以及与行业合作伙伴的交流，我们逐渐意识到，Snorkel 项目仅仅是第一步。Snorkel 背后的理念不仅改变了训练数据的标注方式，更深刻地影响了整个机器学习生命周期和流水线——从知识的注入、模型的构建、训练、检查、版本控制和监控，到整个流水线的迭代开发，以及如何让所有利益相关者（从领域专家到机器学习工程师）都参与到流程中来。

过去一年里，我们一直在构建一个能够支撑这一更宏大愿景的平台：Snorkel Flow——一个用于开发和部署 AI 应用的端到端机器学习平台。Snorkel Flow 汇集了 Snorkel 项目的诸多理念，并结合了弱监督建模、数据增强、多任务学习、数据切片与结构化、监控与分析等一系列新兴技术，这些技术相互融合，形成了一个远大于各部分之和的整体——我们相信这将使机器学习真正变得更快、更灵活、更实用。

展望未来，我们将把工作重心放在 Snorkel Flow 上。我们衷心感谢所有为 Snorkel 项目做出贡献的人，并期待与您一同开启新的篇章，请访问 这里 了解详情。

快速链接

• Snorkel 官网
• Snorkel 教程
• Snorkel 文档
• Snorkel 社区论坛
• Snorkel 邮件列表
• Snorkel Twitter

入门指南

熟悉 Snorkel 库最快的方式是浏览 Snorkel 官网上的 入门页面，随后再参考 Snorkel 教程 仓库中的完整教程。这些教程展示了多种任务、领域、标注技术和集成方式，可作为您将 Snorkel 应用于自身应用时的模板。

安装

Snorkel 需要 Python 3.11 或更高版本。建议使用 pip 安装：

pip install snorkel

或者使用 conda：

conda install snorkel -c conda-forge

有关从源码安装及参与贡献的信息，请参阅我们的 贡献指南。

# 【可选】激活名为 "snorkel" 的虚拟环境
conda create --yes -n snorkel-env python=3.11
conda activate snorkel-env

# 我们在此指定 PyTorch 以确保兼容性，但可能并非必要。
conda install pytorch==1.1.0 -c pytorch
conda install snorkel==0.9.0 -c conda-forge

讨论

问题

我们使用 GitHub Issues 来报告 bug 和提出功能请求——任何与代码相关的问题。请务必先搜索相关问题，并使用我们的 Issue 模板。如果某个问题无法立即纳入核心开发团队的计划，我们可能会寻求社区贡献。

贡献

我们欢迎 Snorkel 社区的贡献！
这很可能是将您希望看到的更改快速合并到库中的最快方式。

小型贡献可以直接通过拉取请求（PR）完成。
如果您想贡献一个较大的功能，我们建议先创建一个问题，并附上拟议的设计方案以供讨论。
关于可以着手的工作，我们已将特定问题标记为 help wanted。

要搭建用于向 Snorkel 贡献代码的开发环境，请参阅我们的贡献指南。
所有 PR 必须通过持续集成测试，并获得 Snorkel 开发团队成员的批准后才能被合并。

社区论坛

如需更广泛的问答、关于使用 Snorkel 的讨论、教程请求等，请使用在 Spectrum 上托管的Snorkel 社区论坛。
我们希望这里能成为您与其他 Snorkel 用户交流互动的平台——请不要害羞，踊跃发帖吧！

公告

如需及时了解 Snorkel 相关公告（例如版本发布、即将举办的研讨会等），请订阅Snorkel 邮件列表。我们承诺会尊重您的收件箱——邮件不会频繁发送！

Twitter

请在 Twitter 上关注我们 @SnorkelAI。

Snorkel 快速上手指南

Snorkel 是一个用于程序化构建和管理训练数据的开源系统。它旨在通过弱监督（Weak Supervision）等技术，帮助用户快速生成、标注和管理机器学习所需的训练数据，从而解决数据标注成本高、周期长的问题。

注意：Snorkel 团队目前的重心已转向端到端 AI 应用开发平台 Snorkel Flow。本指南针对开源库 snorkel 的基础使用。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux 或 macOS。Windows 用户建议使用 Docker 或 WSL (Windows Subsystem for Linux) 以获得最佳兼容性。
• Python 版本：需要 Python 3.11 或更高版本。
• 前置依赖：建议预先安装好 pip 或 conda 包管理工具。

2. 安装步骤

您可以选择使用 pip 或 conda 进行安装。国内开发者若遇到下载速度慢的问题，可配置清华源或阿里源加速。

方式一：使用 pip 安装（推荐）

# 使用默认源安装
pip install snorkel

# 【推荐】国内用户使用清华源加速安装
pip install snorkel -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：使用 conda 安装

如果您使用 Conda 管理环境，建议先创建独立的虚拟环境：

# 创建名为 snorkel-env 的虚拟环境并指定 Python 3.11
conda create --yes -n snorkel-env python=3.11
conda activate snorkel-env

# 安装 PyTorch (确保兼容性，可根据需要调整版本)
conda install pytorch==1.1.0 -c pytorch

# 从 conda-forge 渠道安装 snorkel
conda install snorkel -c conda-forge

3. 基本使用

Snorkel 的核心工作流通常包括：加载未标记数据 -> 编写标注函数 (Labeling Functions) -> 生成标签矩阵 -> 训练判别式模型。

以下是一个极简的代码示例，展示如何定义标注函数并将其应用于数据：

from snorkel.labeling import labeling_function, LabelingFunction

# 1. 定义一个简单的标注函数
# 假设我们有一个数据点 x，如果包含特定关键词则标记为 1，否则弃权 (ABSTAIN = -1)
@labeling_function()
def keyword_lookup(x):
    if "important" in x.text:
        return 1  # 正类
    return -1     # 弃权 (ABSTAIN)

# 2. 准备未标记的数据集 (候选数据)
# 这里模拟一个简单的数据列表
unlabeled_data = [
    {"text": "This is an important update."},
    {"text": "Just a regular message."},
    {"text": "Another important notice here."}
]

# 3. 应用标注函数生成标签矩阵
# 在实际项目中，通常会结合多个标注函数并使用 LabelModel 进行去噪和概率建模
lfs = [keyword_lookup]

# 应用标注函数 (简化演示，实际需转换为 Snorkel 的 Candidate 对象)
# 此处仅为逻辑展示，完整流程请参考官方 tutorials
print("标注函数已定义。下一步是将这些函数应用到您的数据集中以生成训练标签。")

# 提示：完整的端到端示例（包括 LabelModel 训练和最终分类器训练）
# 请访问官方教程仓库：https://github.com/snorkel-team/snorkel-tutorials

下一步建议

为了掌握完整的生产级工作流（包括多标注函数融合、噪声建模及最终模型训练），强烈建议阅读官方提供的详细教程：

• 官方教程仓库: snorkel-tutorials
• 入门文档: Snorkel Documentation