[!IMPORTANT] 原始作者已转向令人兴奋的新项目！代码库已成熟且稳定，多年来一直为用户提供可靠服务。虽然我们将不再添加新功能，但我们致力于修复 bug（缺陷）并根据需要发布 patch（补丁）。 如果您有兴趣帮助维护或扩展此项目，我们很乐意听取您的意见！请开启一个 issue（问题工单）来讨论成为 maintainer（维护者）事宜——我们正在寻找能够承担项目未来开发责任的专职 contributor（贡献者）。

Argilla

为您的 AI（人工智能）模型构建高质量数据集

Argilla 是一款协作工具，专为需要为项目构建高质量数据集的 AI（人工智能）工程师和领域专家设计。

如果您只想开始使用，在 Hugging Face Spaces 上部署 Argilla。好奇并想了解更多？请阅读我们的 文档。

或者，使用您的 Hugging Face 账户登录来体验 Argilla UI（用户界面）：

为什么使用 Argilla？

Argilla 可用于为各种 AI 项目收集人类反馈，例如传统 NLP（自然语言处理，包括文本分类、NER（命名实体识别）等）、LLM（大语言模型，包括 RAG（检索增强生成）、偏好调优等）或多模态模型（文生图等）。Argilla 的编程方法让您能够构建用于持续评估和模型改进的 workflow（工作流）。Argilla 的目标是通过快速迭代正确的数据和模型，确保您的数据工作取得成效。

通过数据质量提高 AI 输出质量

计算资源昂贵，输出质量至关重要。我们帮助您专注于数据，从而一次性解决这两个问题的根本原因。Argilla 帮助您实现并保持数据的高质量标准。这意味着您可以提高 AI 输出的质量。

掌控您的数据和模型

大多数 AI 工具都是黑盒。Argilla 与众不同。我们相信您应该拥有自己的数据和模型。这就是为什么我们为您提供团队所需的所有工具，以便以最适合您的方式管理数据和模型。

通过快速迭代正确的数据和模型来提高效率

收集数据是一个耗时的过程。Argilla 通过提供一种工具来提供帮助，让您能够以更具互动性的方式与数据交互。这意味着您可以使用过滤器、AI 反馈建议和语义搜索快速轻松地标记数据。这样您就可以专注于训练模型和监控其性能。

🏘️ 社区

我们是一个开源的社区驱动项目，我们很乐意听取您的意见。以下是一些参与方式：

• 社区聚会：旁听或在我们的双周活动中进行展示。

• Discord：在 #argilla-distilabel-general 和 #argilla-distilabel-help 频道获得社区的直接支持。

• 路线图：计划可能会变，但我们喜欢与社区讨论这些，所以欢迎参与。

人们用 Argilla 构建什么？

开源数据集和模型

社区使用 Argilla 创建令人惊叹的开源 数据集 和 模型。

• Cleaned UltraFeedback 数据集 用于 fine-tune（微调）Notus 和 Notux 模型。原始 UltraFeedback 数据集是使用 Argilla UI 过滤器进行整理的，用于发现并报告原始数据生成代码中的 bug（缺陷）。基于此数据整理过程，Argilla 构建了这个新版本的 UltraFeedback 数据集并 fine-tune（微调）了 Notus，在多个 benchmark（基准测试）中优于 Zephyr。
• distilabel Intel Orca DPO（直接偏好优化）数据集 用于 fine-tune（微调）改进版的 OpenHermes 模型。该数据集是通过结合 Argilla 中的人工整理和 distilabel 的 AI 反馈构建的，从而产生了改进版的 Intel Orca 数据集，并且优于在原始数据集上 fine-tune（微调）的模型。

示例用例

来自 红十字会、Loris.ai 和 Prolific 等组织的 AI (人工智能) 团队使用 Argilla 来提高 AI 项目的质量和效率。他们在我们的 AI 社区聚会 中分享了他们的经验。

• 公益 AI：红十字会的演示文稿 展示了红十字会的领域专家和 AI 团队如何通过分类和重定向乌克兰危机难民请求来简化红十字会的支持流程。
• 客户支持：在 Loris 聚会 期间，他们展示了他们的 AI 团队如何使用无监督 (unsupervised) 学习和少样本对比学习 (few-shot contrastive learning) 来帮助他们快速验证并为大量多标签分类器 (multi-label classifiers) 获取标注样本。
• 研究项目：Prolific 的展示 宣布了他们与我们平台的集成。他们使用它在标注人员团队之间主动分发数据收集项目。这使得 Prolific 能够为研究项目快速高效地收集高质量数据。

👨‍💻 快速开始

安装

首先！你可以使用 pip 按如下方式安装 SDK (软件开发工具包)：

pip install argilla

之后，你需要部署 Argilla Server (服务器)。最简单的方法是通过我们的 免费 Hugging Face Spaces 部署集成。

要使用客户端 (client)，你需要导入 Argilla 类并使用 API (应用程序接口) URL 和 API key 实例化它。

import argilla as rg

client = rg.Argilla(api_url="https://[your-owner-name]-[your_space_name].hf.space", api_key="owner.apikey")

创建你的第一个数据集

我们现在可以创建一个带有简单文本分类任务的数据集。首先，你需要定义数据集设置。

settings = rg.Settings(
    guidelines="Classify the reviews as positive or negative.",
    fields=[
        rg.TextField(
            name="review",
            title="Text from the review",
            use_markdown=False,
        ),
    ],
    questions=[
        rg.LabelQuestion(
            name="my_label",
            title="In which category does this article fit?",
            labels=["positive", "negative"],
        )
    ],
)
dataset = rg.Dataset(
    name=f"my_first_dataset",
    settings=settings,
    client=client,
)
dataset.create()

接下来，我们可以向数据集添加记录。

pip install datasets

from datasets import load_dataset

data = load_dataset("imdb", split="train[:100]").to_list()
dataset.records.log(records=data, mapping={"text": "review"})

🎉 你已成功使用 Argilla 创建了第一个数据集。你现在可以在 Argilla UI (用户界面) 中访问它并开始标注记录。 需要更多信息，请查看 我们的文档。

🥇 贡献者

为了帮助我们的社区进行贡献创作，我们创建了 社区 文档。

Argilla 快速上手指南

Argilla 是一个面向 AI 工程师和领域专家的协作工具，旨在帮助构建高质量的 AI 数据集（支持 NLP、LLM、多模态等场景）。

项目状态提示：原核心团队已转向新项目，当前代码库处于成熟稳定阶段。后续主要专注于修复 Bug 和发布补丁，不再添加新功能。欢迎社区贡献者参与维护。

1. 环境准备

• 操作系统：支持主流操作系统（Linux / macOS / Windows）
• 运行环境：Python 3.8+ 推荐
• 账号准备：需要 Hugging Face 账号（用于部署服务和登录 UI）
• 依赖管理：确保已安装 pip

2. 安装步骤

安装 SDK

在终端中执行以下命令安装 Argilla 客户端：

pip install argilla

为了运行后续的数据示例，建议同时安装 datasets 库：

pip install datasets

部署服务端

最简单的部署方式是通过 Hugging Face Spaces 免费部署：

1. 访问 Argilla Template Space
2. 登录 Hugging Face 账号并创建 Space
3. 记录生成的空间地址（API URL）和 API Key

3. 基本使用

连接客户端

使用部署得到的 API URL 和 API Key 初始化客户端：

import argilla as rg

client = rg.Argilla(api_url="https://[your-owner-name]-[your_space_name].hf.space", api_key="owner.apikey")

创建数据集

定义数据集设置（如字段、标注问题），并创建数据集：

settings = rg.Settings(
    guidelines="Classify the reviews as positive or negative.",
    fields=[
        rg.TextField(
            name="review",
            title="Text from the review",
            use_markdown=False,
        ),
    ],
    questions=[
        rg.LabelQuestion(
            name="my_label",
            title="In which category does this article fit?",
            labels=["positive", "negative"],
        )
    ],
)
dataset = rg.Dataset(
    name=f"my_first_dataset",
    settings=settings,
    client=client,
)
dataset.create()

添加记录

加载数据并上传到数据集：

from datasets import load_dataset

data = load_dataset("imdb", split="train[:100]").to_list()
dataset.records.log(records=data, mapping={"text": "review"})

完成上述步骤后，即可在 Argilla UI 中访问数据集并开始标注。更多详细信息请参阅 官方文档。