这些场景中，有没有哪一个让你觉得似曾相识？

• 你正在独自进行一项自然语言处理相关的个人项目，但手头的标注数据不足以训练出一个效果良好的模型。
• 你在团队中工作，已经有一些标注数据，但它们只是简单地存储在电子表格或文本文件里，你根本不清楚这些数据的质量究竟如何。
• 你们团队即将启动一个新项目，但资源有限（标注人员、预算、时间），现在需要弄清楚如何最有效地利用这些资源。

如果是这样，那么refinery正是为你而生。refinery采用以数据为中心的方法，帮助你构建更优质的自然语言处理模型。它能够半自动化地完成标注任务，发现训练数据中的低质量子集，并在一个平台上对数据进行全面监控。

refinery并不会完全取代人工标注，但它能确保你宝贵的时间被高效利用。此外，refinery的开发者们目前正在与其他标注工具进行集成，方便你在不同方案之间灵活切换。

演示: 你可以在一个（大部分为只读）在线试用环境中与该应用互动。点击这里体验。

refinery是一个多仓库项目，所有集成的服务都可以在下方的架构图中找到。该应用基于🤗 Hugging Face和spaCy构建，以便为你的自然语言处理任务提供预训练的语言模型支持；同时，还使用了qdrant来进行神经网络搜索。

目录

• 🧑‍💻 为什么选择refinery？
  • 助力“单兵作战”的创意实现
  • 扩展现有的标注流程
  • 为非结构化数据注入结构
  • 促进协作
  • 开源理念，将训练数据视为软件构件
  • 集成
• 你的收益
• 如果refinery是开源的，Kern AI是如何盈利的？
• 🤓 功能特性
  • (半)自动化自然语言处理任务标注流程
  • 全面的数据管理和监控
  • 托管版中的团队工作空间
• ☕ 安装指南
  • 通过pip安装
  • 从源码安装
  • 数据持久化
• 📘 文档与教程
• 😵‍💫 需要帮助吗？
• 🪢 社区与联系方式
• 🙌 贡献
• ❓ 常见问题解答
  • 概念相关问题
  • 技术相关问题
  • 服务与托管相关问题
• 🐍 Python SDK
• 🏠 架构
• 🏫 术语表
• 👩‍💻👨‍💻 团队与贡献者
• 🌟 星标历史
• 📃 许可证

🧑‍💻 为什么选择refinery？

目前市面上已经有许多用于构建训练数据的工具。那么，我们为何还要开发“又一个”这样的工具呢？

助力“单兵作战”的创意实现

我们相信，开发者们总能迸发出天马行空的想法，而我们的目标就是降低他们实现这些想法的门槛。refinery旨在大幅加速标注数据的构建过程，让你只需花费极少的时间就能完成一个想法的原型验证。正因为这一点，refinery受到了广泛的好评。不妨在下一个项目中亲自试一试吧。

扩展现有的标注方法

refinery 不仅仅是一个标注工具。它内置了标注编辑器，但其主要优势在于自动化和数据管理功能。你可以集成任何启发式规则，以自动标注尽可能多的内容，随后再专注于那些棘手的子集。无论你是在 refinery 中进行标注，还是使用其他工具（甚至是众包标注），这都无关紧要！

为非结构化数据赋予结构

refinery 是一款能为你的数据带来全新视角的工具。你在处理多语言的人工撰写文本吗？通过与 bricks 的集成，你可以轻松地为文本添加元数据，例如检测到的语言、句子复杂度等众多信息。这些元数据既可用于数据分析，也可用于编排你的标注工作流。

推动协作

在此过程中，我们的目标是提升工程师与领域专家（SME）之间的协作效率。过去，我们曾看到客户在会议中利用我们的应用讨论标注模式，形式包括标注函数和远程监督等。我们相信，以数据为中心的AI正是充分发挥协作优势的最佳途径。

开源，并将训练数据视为软件构件

我们不认同目前仍有许多场景中，训练数据仅仅是一份普通的CSV文件。如果你确实只是想快速用少量数据原型化一个想法，这样也无妨；但任何严肃的软件项目都应当具备可维护性。我们认为，解决这一问题的关键在于开源的训练数据管理方案。refinery 正是帮助你记录和管理数据的工具，从而将训练数据视作一种软件构件。

集成

最后，refinery 支持 SDK操作，例如数据的拉取和推送。以数据为中心的AI重新定义了标注流程，使其不再是一次性的任务，而是具有迭代性质的工作流。因此，我们致力于通过提供端到端的能力，不断提升你的工作效率，推动大规模高质量训练数据的可用性。你可以使用我们的SDK，与现有系统进行集成。

您的收益

你可以自动化大量重复性任务，更深入地洞察数据标注流程，获得关于训练数据的隐式文档，并最终在更短的时间内构建出更好的模型。

我们的目标是让训练数据的构建过程更像一项程序化且令人愉悦的任务，而非繁琐而重复的工作。refinery 正是我们为此做出的贡献。我们也始终致力于不断改进这一贡献。

如果你喜欢我们的工作，请为我们点亮一颗星⭐！

如果 refinery 是开源的，Kern AI 如何盈利呢？

这个问题我们经常被问到——而且确实是个合理的问题 🙂 简而言之，refinery 的开源版本目前仅支持单用户使用，而通过我们的商业版，你可以获得多用户环境的支持。此外，我们还在 refinery 的基础上推出了商业产品，例如将 refinery 的自动化能力作为实时预测API来使用。

总的来说，我们对开源充满热情，并希望尽最大努力做出贡献。

🤓 功能特性

如需了解详细的功能列表，请参阅我们的文档。

（半）自动化NLP任务标注工作流

• 支持分类和跨度标注的纯手动及程序化方式
• 与最先进的一系列库和框架无缝集成
• 可创建和管理查找表/知识库，以辅助标注
• 基于神经网络搜索的相似记录与异常值检索
• 标注会话可切片，便于深入分析特定子集
• 单个项目中可同时进行多项标注任务
• 在我们的开源 bricks 库中提供了丰富的现成自动化工具

丰富的数据管理和监控功能

• 通过我们的数据浏览器实现一流的数据管理能力。你可以按置信度、启发式重叠程度、用户、备注等条件对数据进行筛选、排序和搜索。
• 与 🤗 Hugging Face 集成，自动创建文档级和标记级嵌入。
• 基于JSON的数据模型，支持数据的上传和下载。
• 提供项目指标概览，包括置信度分布、标签分布以及混淆矩阵。
• 数据可通过我们的 Python SDK 进行访问和扩展。
• 支持就地修改属性，例如添加句子复杂度指标。
• 同样，你也可以使用 bricks 为数据添加更多元数据。

团队工作空间（托管版）

• 允许多个用户基于角色权限和精简的标注界面共同标注数据。
• 可集成众包标注流程。
• 自动计算标注者间一致性指标。

☕ 安装说明

通过pip安装

pip install kern-refinery

安装完成后，进入你希望存储数据的目录并运行 refinery start。如果尚未克隆仓库，该命令会先自动执行 git clone。要停止服务，只需运行 refinery stop。

从仓库直接安装

简要步骤：

$ git clone https://github.com/code-kern-ai/refinery.git
$ cd refinery

如果你使用的是Mac或Linux系统：

$ ./start

如果是Windows系统：

$ start.bat

要停止服务，输入 ./stop（Mac/Linux）或 stop.bat。

refinery 由多个服务组成，需要协同运行。为此，我们准备了一个启动脚本，它可以自动拉取并连接各个服务。该脚本包含在仓库中，你只需克隆仓库，然后在仓库目录下运行 ./start（Mac/Linux）或 start.bat（Windows）。等待几分钟后（不妨趁机泡杯咖啡☕），部署完成，你就可以在浏览器中访问 http://localhost:4455。要停止服务，运行 ./stop（Mac/Linux）或 ./stop.bat（Windows）。

现在你已经可以开始使用了！ 🙌 🎉

如果在安装过程中遇到任何问题，请随时联系我们（详见下方的社区部分）。

数据持久化

默认情况下，数据会存储在 refinery/postgres-data 目录下。如果你想更改存储路径，需要修改操作系统 start 脚本中的 LOCAL_VOLUME 变量。若需删除数据，只需直接删除该数据目录即可。请务必确认不再需要这些数据后再进行删除，因为此操作不可逆！

📘 文档与教程

开始使用 refinery 的最佳方式是我们的快速入门。

您可以在我们的文档以及 YouTube 频道上的教程中找到详尽的指南。我们还准备了一个包含示例项目的仓库，您可以直接克隆。

如果您在编写第一个标注函数时需要帮助，可以查看我们的开源内容库 bricks。

我们的变更日志可以在这里找到：changelog.kern.ai。

😵‍💫 需要帮助吗？

别担心，我们随时为您提供支持。如果您有任何疑问，请通过 Discord 联系我们，或者在我们的论坛“问答”分类下提交工单。

🪢 社区与联系方式

欢迎加入我们的 Discord，在那里我们将很乐意帮助您构建训练数据：

我们每周（大致）会发送一封关于以数据为中心的人工智能最新发现、产品开发亮点等内容的简报。您可以通过此链接订阅简报：www.kern.ai/newsletter。

此外，您还可以关注我们在 Twitter 和 LinkedIn 上的账号。

🙌 贡献

贡献使开源社区成为一个令人惊叹的学习、启发和创造之地。您的任何贡献都将受到高度赞赏。您可以通过提供关于可能发现的期望功能和 bug的反馈来参与其中。

如果您希望积极参与代码库的扩展，请联系我们。我们会向您解释架构的设置方式，以便您可以根据自己的需求自定义应用程序。

❓ 常见问题解答

概念相关问题

技术相关问题

[
    {
        "running_id": "0",
        "headline": "T. Rowe Price (TROW) Dips More Than Broader Markets",
        "date": "Jun-30-22 06:00PM\u00a0\u00a0",
        "headline__sentiment__MANUAL": null,
        "headline__sentiment__WEAK_SUPERVISION": "NEGATIVE",
        "headline__sentiment__WEAK_SUPERVISION__confidence": 0.62,
        "headline__entities__MANUAL": null,
        "headline__entities__WEAK_SUPERVISION": [
            "STOCK", "STOCK", "STOCK", "STOCK", "STOCK", "STOCK", "O", "O", "O", "O", "O"
        ],
        "headline__entities__WEAK_SUPERVISION__confidence": [
            0.98, 0.98, 0.98, 0.98, 0.98, 0.98, 0.00, 0.00, 0.00, 0.00, 0.00
        ]
    }
]

服务与托管问题

🐍 Python SDK

您可以通过使用我们的Python SDK来扩展您的项目。借助它，您可以轻松地以编程方式或通过命令行（rsdk pull 和 rsdk push <file_name>）导出当前项目的已标注数据并导入新文件。此外，它还配备了适配器，例如用于Rasa的适配器。

🏠 架构

我们的架构遵循以下主要模式：

• 共享的服务数据库，用于高效传输大量数据。为了避免各服务中的代码冗余，我们使用子模块来共享数据模型。
• 容器化的函数执行环境，用于标注函数、主动学习和记录 IDE。
• 机器学习逻辑被实现为独立的库（例如sequence-learn）。

为简化起见，部分边线未显示。
边线的颜色并无特殊含义，仅是为了提高可读性。

服务概览（由 Kern AI 维护）

服务概览（开源第三方）

集成概览（由Kern AI维护）

集成概览（开源第三方）

子模块概览

未在架构图中列出，但为了内部代码管理，我们采用了Git子模块。

🏫 术语表

术语表中是否遗漏了某些内容？请在带有“enhancement”标签的议题中添加该术语。

👩‍💻👨‍💻 团队与贡献者

亨里克·文克	约翰内斯·赫特尔	安东·普勒姆	莉娜·伦布罗夫斯卡	莫里茨·费尔普法伊尔	利奥·普特曼	西蒙·德格拉夫
菲利克斯·基尔希	延斯·维特迈耶	米哈伊尔·科奇科夫	西蒙·维茨克	沙曼斯·谢蒂	迪万舒·卡蒂亚尔

🌟 星标历史

📃 许可证

refinery 采用 Apache License, Version 2.0 许可证。请查看 许可证文件。

Refinery 快速上手指南

Refinery 是一款开源的自然语言数据管理工具，旨在帮助数据科学家以“数据为中心”的方式扩展、评估和维护训练数据。它将训练数据视为软件工件，支持半自动标注、低质量数据子集发现以及统一的数据监控。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本：Python 3.8 或更高版本
• 包管理器：pip
• 网络环境：首次运行时需联网下载依赖及克隆仓库（国内用户若遇网络问题，建议配置全局代理或使用镜像源）

安装步骤

1. 安装核心库

使用 pip 安装 kern-refinery 包。国内用户推荐使用清华或阿里镜像源以加速下载：

pip install kern-refinery -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 启动服务

安装完成后，进入您希望存储数据的目录，执行以下命令启动 Refinery 服务：

refinery start

注意：如果是首次运行，该命令会自动执行 git clone 克隆必要的仓库资源。请确保当前目录具有写入权限且网络连接正常。

3. 停止服务

如需停止本地服务器，请在终端运行：

refinery stop

基本使用

启动成功后，Refinery 将在本地运行一个 Web 应用。

1. 访问界面： 打开浏览器，访问默认地址： http://localhost:8080 (注：具体端口号请以终端启动日志输出为准)

2. 创建项目：

   • 在仪表盘点击 "Create Project"。
   • 选择任务类型（如文本分类 Classification 或 跨度标注 Span-labeling）。
   • 上传您的数据集（支持 JSON 格式，或通过 Python SDK 导入）。

3. 半自动标注工作流：

   • 启发式标注：利用内置的 "Bricks" 库或编写简单的规则函数，对数据进行批量预标注。
   • 人工修正：进入标注编辑器，系统会优先展示低置信度或存在冲突的样本，供您进行人工校验和修正。
   • 数据监控：在 "Data Browser" 中通过置信度、标签分布等指标过滤和查看数据质量。

4. 导出数据： 标注完成后，可通过界面导出高质量的训练数据（JSON 格式），或使用 Python SDK 将数据推送到您的模型训练流水线中。

更多高级功能（如团队协作、自定义自动化脚本、API 集成）请参考官方文档：https://docs.kern.ai