---

title: 合成数据生成器 short_description: 使用自然语言构建数据集 emoji: 🧬 colorFrom: yellow colorTo: pink sdk: gradio sdk_version: 5.8.0 app_file: app.py pinned: true license: apache-2.0 hf_oauth: true #header: mini hf_oauth_scopes:

• read-repos
• write-repos
• manage-repos
• inference-api

---

[!IMPORTANT]
请查看该项目的后续版本： https://github.com/huggingface/aisheets

[!IMPORTANT]
原作者已转向其他项目。尽管代码可能仍能用于其原始目的，但请注意，原团队不计划开发新功能、修复错误或进行更新。如果您希望成为维护者，请提交一个问题以进行讨论。

使用自然语言构建数据集

引言

合成数据生成器是一款工具，可帮助您创建高质量的数据集，用于训练和微调语言模型。它利用 distilabel 和大型语言模型的强大功能，根据您的具体需求生成定制化的合成数据。公告博客详细介绍了如何实际使用该工具，您也可以观看视频，直观地了解其操作过程。

支持的任务：

• 文本分类
• 监督式微调的聊天数据
• 检索增强生成

该工具简化了自定义数据集的创建流程，使您能够：

• 描述所需应用的特点
• 迭代样本数据集
• 生成全规模数据集
• 将数据集推送到 Hugging Face Hub 和/或 Argilla

通过使用合成数据生成器，您可以快速原型化并创建数据集，从而加速您的 AI 开发进程。

安装

您只需运行以下命令即可安装该包：

pip install synthetic-dataset-generator

快速入门

from synthetic_dataset_generator import launch

launch()

环境变量

• HF_TOKEN：您的 Hugging Face 令牌，用于将数据集推送到 Hugging Face Hub，并从 Hugging Face 推理端点获取免费补全结果。您可以在 examples 文件夹中找到一些配置示例。

您还可以设置以下环境变量来定制生成过程：

• MAX_NUM_TOKENS：生成的最大标记数，默认为 2048。
• MAX_NUM_ROWS：生成的最大行数，默认为 1000。
• DEFAULT_BATCH_SIZE：生成数据集时使用的默认批次大小，默认为 5。

此外，您还可以选择不同的 API 提供商和模型：

• MODEL：用于生成数据集的模型，例如 meta-llama/Meta-Llama-3.1-8B-Instruct、gpt-4o、llama3.1。
• API_KEY：用于生成 API 的 API 密钥，例如 hf_...、sk-...。如果未提供，则默认使用 HF_TOKEN 环境变量。
• OPENAI_BASE_URL：任何兼容 OpenAI 的 API 的基础 URL，例如 https://api.openai.com/v1/。
• OLLAMA_BASE_URL：任何兼容 Ollama 的 API 的基础 URL，例如 http://127.0.0.1:11434/。
• HUGGINGFACE_BASE_URL：任何兼容 Hugging Face 的 API 的基础 URL，例如 TGI 服务器或专用推理端点。如果您想使用无服务器推理，只需设置 MODEL 即可。
• VLLM_BASE_URL：任何兼容 VLLM 的 API 的基础 URL，例如 http://localhost:8000/。

若要专门使用特定模型进行补全生成，可在上述环境变量后添加 _COMPLETION 后缀。例如，可以使用 MODEL_COMPLETION 和 OPENAI_BASE_URL_COMPLETION。

OpenAI 端点不支持 SFT 和聊天数据的生成。此外，您需要根据各模型系列的提示模板，通过正确的 TOKENIZER_ID 和 MAGPIE_PRE_QUERY_TEMPLATE 环境变量进行配置。

• TOKENIZER_ID：用于 magpie 流程的分词器 ID，例如 meta-llama/Meta-Llama-3.1-8B-Instruct。
• MAGPIE_PRE_QUERY_TEMPLATE：强制设置 Magpie 的预查询模板，此功能仅在 Hugging Face 推理端点上支持。llama3 和 qwen2 已开箱即用，分别使用 "<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n" 和 "\<|im_start|>user\n"。对于其他模型，您可以传递自定义的预查询模板字符串。

另外，您还可以通过设置以下环境变量，将数据集推送到 Argilla 进行进一步的整理：

• ARGILLA_API_KEY：您的 Argilla API 密钥，用于将数据集推送到 Argilla。
• ARGILLA_API_URL：您的 Argilla API 地址，用于将数据集推送到 Argilla。

若要将生成的数据集保存到本地目录而非推送到 Hugging Face Hub，可设置以下环境变量：

• SAVE_LOCAL_DIR：用于保存生成数据集的本地目录。

您可以使用我们的环境模板作为起点：

cp .env.local.template .env

Argilla 集成

Argilla 是一款开源的数据整理工具。它允许您对数据集进行标注和审查，并将整理好的数据集推送到 Hugging Face Hub。您可以按照 快速入门指南 轻松开始使用 Argilla。

自定义合成数据生成？

每个管道都基于 distilabel，因此您可以轻松更改 LLM 或管道步骤。

有关更多信息，请参阅 distilabel 库。

开发

安装依赖项：

# 创建虚拟环境
python -m venv .venv
source .venv/bin/activate

# 安装依赖项
pip install -e . # pdm install

运行应用程序：

python app.py

🐳 Docker 部署

该容器化工具使用 Ollama 进行本地大模型推理，并使用 Argilla 进行数据整理。其架构如下：

快速部署所有服务（应用 + Ollama + Argilla）：

# 复制环境模板
cp docker/.env.docker.template .env # 在 .env 文件中添加你的 HF_TOKEN

# 构建所有服务（可能需要几分钟）
docker compose -f docker-compose.yml -f docker/ollama/compose.yml -f docker/argilla/compose.yml build

# 启动所有服务
docker compose -f docker-compose.yml -f docker/ollama/compose.yml -f docker/argilla/compose.yml up -d

如需更详细的 Docker 配置和部署说明，请参阅 docker/README.md

Synthetic Data Generator 快速上手指南

环境准备

系统要求

• Python 3.8 或更高版本
• 支持 Linux、macOS 或 Windows 操作系统

前置依赖

• pip（Python 包管理工具）
• Hugging Face 账户（用于访问模型和推送数据集）

推荐使用国内镜像源加速安装，例如：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

使用 pip 安装工具包：

pip install synthetic-dataset-generator

基本使用

运行工具的最简单方式如下：

from synthetic_dataset_generator import launch

launch()

该命令将启动一个基于 Gradio 的 Web 界面，您可以通过浏览器进行交互式数据集生成。

环境变量配置（可选）

根据需要设置以下环境变量以自定义生成过程：

export HF_TOKEN=your_huggingface_token
export MAX_NUM_TOKENS=2048
export MAX_NUM_ROWS=1000
export DEFAULT_BATCH_SIZE=5

如需使用特定模型或 API，请设置相应变量，例如：

export MODEL=meta-llama/Meta-Llama-3.1-8B-Instruct
export API_KEY=your_api_key

如需将生成的数据集保存到本地目录，可以设置：

export SAVE_LOCAL_DIR=./generated_datasets

如需集成 Argilla 数据标注工具，请设置：

export ARGILLA_API_KEY=your_argilla_api_key
export ARGILLA_API_URL=https://api.argilla.io