Bespoke Curator

用于后训练的大规模推理与可扩展数据整理

🎉 最新动态

• [2026.03.14] Tinker 微调集成：使用 Tinker SDK (软件开发工具包)，仅需几行 Python 代码即可从整理好的数据到 LoRA (低秩自适应) 微调模型。
• [2025.12.05] 推出 OpenThoughts-Agents，其数据由 Curator 整理。
• [2025.04.09] 与 HuggingFace 和 Together.ai 合作 推出推理数据集竞赛。赢取价值 5000 美元的奖品！
• [2025.04.03] 我们使用 Bespoke Curator 创建了 OpenThoughts2-1M 数据集，该数据集用于训练 OpenThinker2-32B，其表现优于 DeepSeek-R1-32B。该数据集开始在 HuggingFace 上流行。
• [2025.03.12] 新增 Gemini Batch 支持：Gemini 批处理 API (应用程序编程接口) 极具挑战性，但我们让它变得简单多了！:)
• [2025.03.05] 新增 Claude 3.7 Sonnet 思维模式和批处理模式支持。
• [2025.02.26] 新增代码执行支持：现在可以使用 CodeExecutor 运行代码（由 Curator 生成）。我们支持四种后端：本地（称为 multiprocessing）、Ray、Docker 和 e2b。
• [2025.02.06] 我们使用 Bespoke Curator 创建了 s1K-1.1，这是一个高质量、样本高效的推理数据集。
• [2025.01.30] 支持 OpenAI、Anthropic 及其他兼容 API (应用程序编程接口) 的批处理：Token (令牌) 成本减半 🔥🔥🔥。通过与 kluster.ai 的合作，使用 Curator 的新用户可以访问 DeepSeek-R1 等开源模型并获得 25 美元积分（有限制）。编辑：促销活动已结束。
• [2025.01.27] 我们使用 Bespoke Curator 创建了 OpenThoughts-114k，这是一个高质量的推理数据集（在 HuggingFace 上流行）。
• [2025.01.22] 我们使用 Bespoke Curator 创建了 Bespoke-Stratos-17k，这是一个高质量的推理数据集（在 HuggingFace 上流行）。
• [2025.01.15] Curator 正式发布 🎉

概述

Bespoke Curator 使得创建合成数据管道变得轻松。无论您是在训练模型还是提取结构化数据，Curator 都能快速且稳健地准备高质量数据。

• 基于 Python 的丰富库，用于生成和整理合成数据。
• 查看器，可在数据生成过程中进行监控。
• 对结构化输出提供一流支持。
• 内置性能优化，适用于异步操作、缓存和故障恢复，支持各种规模。
• 通过 LiteLLM、vLLM 和流行的批处理 API (应用程序编程接口) 支持广泛的推理选项。

查看我们的完整文档，包括 入门指南、教程、指南 和详细的 参考。

🛠️ 安装

pip install bespokelabs-curator

📕 示例

微调/蒸馏

任务	链接	目标
产品特征提取		微调模型以识别产品特征
情感分析		基于方面的情感分析餐厅评论并使用 Together.ai 进行微调
针对特定领域的 RAFT	代码	实现检索增强微调 (RAFT)，处理特定领域文档，生成问题，并为大语言模型 (LLM) 微调准备数据。
诗歌生成与 LoRA 微调	代码	端到端管道：使用 Curator 整理诗歌数据，然后使用 TinkerTrainer 进行 LoRA (低秩自适应) 微调

数据生成

任务	链接	目标
推理数据集生成 (Bespoke Stratos)	代码	生成 Bespoke-Stratos-17k 数据集，专注于来自数学、编码和问题解决数据集的推理轨迹。
推理数据集生成 (Open Thoughts)	代码	生成 Open-Thoughts-114k 数据集，专注于来自数学、编码和问题解决数据集的推理轨迹。
多模态	代码	通过从食物图像生成食谱来展示多模态能力
Ungrounded Question Answer generation (无 grounded 问答生成)	代码	使用类似于 CAMEL 论文的技术生成多样化的问答对
代码执行		执行使用 Curator 生成的代码
3Blue1Brown 视频生成	代码	生成类似 3Blue1Brown 的视频并使用代码执行进行渲染！
合成图表	代码	合成生成图表。
函数调用	代码	为函数调用的微调 (finetuning) 生成数据。

🚀 快速开始

使用 curator.LLM 进行批量推理

from typing import Dict
from bespokelabs import curator
from datasets import Dataset
from pydantic import BaseModel, Field
from typing import Literal

class Sentiment(BaseModel):
  sentiment: Literal["positive", "negative", "neutral"] = Field(
    description="Sentiment of the review")

class SentimentAnalyzer(curator.LLM):

  def prompt(self, product: Dict):
    return f"Determine the sentiment of the product from the review: {product['review']}"

  def parse(self, product: Dict, response: Sentiment):
    return [{"name": product["name"], "sentiment": response.sentiment}]

# You can easily have a million rows here. 
# Curator takes care of parallelism, retries, and caches responses.
dataset = [{"name": "Curator", "review": "Already saved hours in one day of use."},
           {"name": "Bespoke MiniCheck", "review": "Hallucination rates dropped by 90%."}]

# You can set batch=True, and instantly uses batch mode to save 50% of the costs.
analyzer = SentimentAnalyzer(
    model_name="gpt-4o-mini", response_format=Sentiment, batch=False)
reviews = analyzer(dataset)
print(reviews.to_pandas())

输出:

                name sentiment
0            Curator  positive
1  Bespoke MiniCheck  positive

在 SentimentAnalyzer 类中：

• prompt 接收输入（product）并返回给 LLM (大语言模型) 的 Prompt (提示词)。
• parse 接收输入（product）和结构化输出（response）并将其转换为字典列表。这样我们可以轻松地将输出转换为 HuggingFace Dataset (数据集) 对象。

除了列表之外，您也可以传递 HuggingFace Dataset 对象（详见下文）。

使用 curator.LLM 进行数据生成

这是一个使用结构化输出并将两个 curator.LLM 块连接起来生成多样化诗歌的示例。

from typing import Dict, List
from bespokelabs import curator
from pydantic import BaseModel, Field

class Topics(BaseModel):
    topics_list: List[str] = Field(description="A list of topics.")

class TopicGenerator(curator.LLM):
  response_format = Topics

  def prompt(self, subject):
    return f"Return 3 topics related to {subject}"

  def parse(self, input: str, response: Topics):
    return [{"topic": t} for t in response.topics_list]


class Poem(BaseModel):
    title: str = Field(description="The title of the poem.")
    poem: str = Field(description="The content of the poem.")

class Poet(curator.LLM):
    response_format = Poem

    def prompt(self, input: Dict) -> str:
        return f"Write two poems about {input['topic']}."

    def parse(self, input: Dict, response: Poem) -> Dict:
        return [{"title": response.title, "poem": response.poem}]

topic_generator = TopicGenerator(model_name="gpt-4o-mini")
poet = Poet(model_name="gpt-4o-mini")
# Start generation
topics = topic_generator("Mathematics")
poems = poet(topics)

输出:

 	title                     poem
0	The Language of Algebra	  In symbols and signs, truths intertwine,..
1	The Geometry of Space	  In the world around us, shapes do collide,..
2	The Language of Logic	  In circuits and wires where silence speaks,..

您可以在 examples 目录中看到更多示例。

有关更多详细信息以及故障排除信息，请参阅 docs。

[!TIP] 如果您正在生成大型数据集，您可能希望使用 batch mode (批处理模式) 以节省成本。目前支持来自 OpenAI 和 Anthropic 的批处理 API。使用 curator 只需在 LLM 类中设置 batch=True 即可。 [!NOTE] 重试和缓存默认启用，以帮助您快速迭代数据管道。 所以现在如果您再次运行相同的提示词，您将几乎瞬间得到相同的响应。 您可以在 ~/.cache/curator 删除缓存或使用 export CURATOR_DISABLE_CACHE=true 禁用它。

[!IMPORTANT] 请确保将您的 API keys (API 密钥) 设置为调用模型的环境变量 (environment variables)。例如运行 export OPENAI_API_KEY=sk-... 和 export ANTHROPIC_API_KEY=ant-... 将允许您运行前两个示例。支持的模型完整列表及其关联的环境变量名称可在 litellm docs 中找到。

匿名遥测

我们收集最小化的匿名使用遥测 (telemetry) 数据，以帮助优先考虑对 Curator 社区有益的新功能和改进。您可以通过将 TELEMETRY_ENABLED 环境变量设置为 False 来退出。

📖 提供商

Curator 支持广泛的提供商 (providers)，包括 OpenAI、Anthropic 等。

OpenAI 后端 (backend)

llm = curator.LLM(
    model_name="gpt-4o-mini",
)

对于支持 OpenAI 兼容 API (应用程序编程接口) 的其他模型，您可以使用 openai 后端：

llm = curator.LLM(
    model_name="gpt-4o-mini",
    backend="openai",
    backend_params={
        "base_url": "https://your-openai-compatible-api-url",
        "api_key": <YOUR_OPENAI_COMPATIBLE_SERVICE_API_KEY>,
    },
)

LiteLLM (Anthropic, Gemini, together.ai 等)

以下是使用 litellm 后端配合 Gemini 的示例：

llm = curator.LLM(
    model_name="gemini/gemini-1.5-flash",
    backend="litellm",
    backend_params={
        "max_requests_per_minute": 2_000,
        "max_tokens_per_minute": 4_000_000
    },
)

文档

Ollama

llm = curator.LLM(
    model_name="ollama/llama3.1:8b",  # Ollama model identifier
    backend_params={"base_url": "http://localhost:11434"},
)

文档

vLLM

llm = curator.LLM( 
    model_name="Qwen/Qwen2.5-3B-Instruct", 
    backend="vllm", 
    backend_params={ 
        "tensor_parallel_size": 1, # Adjust based on GPU count 
        "gpu_memory_utilization": 0.7 
    }
)

文档

DeepSeek

DeepSeek 提供 OpenAI 兼容 API，您可以使用 openai 后端进行调用。

[!IMPORTANT] DeepSeek API 目前存在间歇性问题，在流量高峰期会返回空响应。我们建议 通过 openai 后端调用 DeepSeek API，设置较高的最大重试次数 (max retries)，以便在收到空 响应时重试失败的请求，并设置合理的每分钟最大请求数和令牌数以避免过于激进地重试而压垮 API。

llm = curator.LLM(
    model_name="deepseek-reasoner",
    generation_params={"temp": 0.0},
    backend_params={
        "max_requests_per_minute": 100,
        "max_tokens_per_minute": 10_000_000,
        "base_url": "https://api.deepseek.com/",
        "api_key": <YOUR_DEEPSEEK_API_KEY>,
        "max_retries": 50,
    },
    backend="openai",
)

kluster.ai

llm = curator.LLM(
    model_name="deepseek-ai/DeepSeek-R1", 
    backend="klusterai",
)

文档

📦 批处理模式 (Batch Mode)

多个提供商在使用批处理模式时提供约 50% 的令牌使用折扣。Curator 使得与广泛提供商一起使用批处理模式变得简单。

OpenAI 示例 (文档参考):

llm = curator.LLM(model_name="gpt-4o-mini", batch=True)

查看文档：

• OpenAI 批处理模式
• Anthropic 批处理模式
• Gemini 批处理模式
• kluster.ai 批处理模式
• Mistral 批处理模式

🔧 使用 Tinker 进行微调 (Fine-Tuning)

Curator 集成了 Tinker SDK，让您只需几行 Python 代码即可从整理好的数据过渡到 LoRA (低秩自适应) 微调模型。

pip install bespokelabs-curator tinker
export TINKER_API_KEY="your-tinker-key"

from bespokelabs.curator import TinkerTrainer, TinkerTrainerConfig

# Configure training
config = TinkerTrainerConfig(
    base_model="Qwen/Qwen3-8B",
    epochs=3,
    batch_size=4,
    lora_config={"rank": 16, "alpha": 32, "dropout": 0.05},
    checkpoint_every_epoch=True,
)

# Training data is a list of chat-format dicts (or a HuggingFace Dataset)
training_data = [
    {"messages": [
        {"role": "user", "content": "What is Python?"},
        {"role": "assistant", "content": "Python is a programming language."},
    ]},
    # ...
]

# Train
trainer = TinkerTrainer(config)
result = trainer.train(training_data)
print(f"Final loss: {result.final_loss:.4f}")

# Sample from the fine-tuned model
response = trainer.sample("Explain recursion in Python")
print(response)

检查点恢复 (Checkpoint Resume)

训练可以从任何保存的检查点 (checkpoint) 恢复。训练器将恢复模型权重和优化器状态 (optimizer state)，然后从中断处继续——不会重放任何数据。

# Resume from an earlier run's checkpoint
checkpoints = result.checkpoints  # list of CheckpointInfo
trainer = TinkerTrainer(config)
trainer.load_checkpoint(checkpoints[-1])
result = trainer.train(training_data)  # continues from the checkpoint

自定义数据格式

子类化 TinkerTrainer 以处理非标准数据布局：

class MyTrainer(TinkerTrainer):
    def format_example(self, row):
        return TrainingExample.from_dict_messages([
            {"role": "user", "content": row["question"]},
            {"role": "assistant", "content": row["answer"]},
        ])

trainer = MyTrainer(config)
result = trainer.train([{"question": "What is 2+2?", "answer": "4"}, ...])

查看完整的 诗歌微调示例 以了解使用 curator.LLM 整理数据然后使用 TinkerTrainer 进行微调的端到端流程。

Bespoke Curator 查看器

托管的 Curator 查看器是一个丰富的数据可视化界面——使视觉检查数据变得更加容易。

您可以按以下方式启用它：

Bash:

export CURATOR_VIEWER=1

Python/Colab:

import os
os.environ["CURATOR_VIEWER"]="1"

启用后，随着 Curator 生成数据，它会被上传，您可以在查看器中看到流式传输的响应。查看器的 URL 显示在丰富的进度旁边。

使用 Bespoke Labs API 密钥进行身份验证

默认情况下，任何拥有链接的人都可以访问数据集。为了保持您的数据集私密，您可以将它们与 Bespoke Labs 账户关联。这样做还可以让您：

1. 跟踪所有与您账户关联的数据集
2. 与协作者共享数据集
3. 分析随时间推移的数据生成成本

您可以按以下方式启用身份验证：

1. 注册 一个 Bespoke Labs 账户。
2. 从 API 密钥 页面创建 API 密钥。
3. 设置 BESPOKE_API_KEY 和 CURATOR_VIEWER 环境变量：

export BESPOKE_API_KEY=<YOUR_API_KEY>
export CURATOR_VIEWER=1

设置环境变量后，您所有的数据集都将流式传输到托管查看器并链接到您的 Bespoke Labs 账户。您可以访问 数据集 页面查看使用您的 API 密钥生成的或由他人共享给您的数据集，并访问 成本报告 页面查看特定时期的数据生成成本。

环境变量

我们支持一系列环境变量来定制 Curator 的行为。

以下是环境变量的完整表格：

变量	描述	默认值
CURATOR_VIEWER	启用用于可视化数据策展的 Curator 查看器，当为 True 时。	False
CURATOR_DISABLE_CACHE	禁用 curator.LLM 生成的缓存，当为 True 时。适用于全新运行。	False
CURATOR_CACHE_DIR	设置用于 curator.LLM 生成的缓存目录。	~/.cache/curator
CURATOR_DISABLE_RICH_DISPLAY	当为 True 时，禁用 Rich CLI 输出（并回退到 tqdm 日志记录），用于本地数据生成监控。在使用内联断点或像 pdb 这样的交互式调试器进行调试时很有用，因为 Rich 的动态输出可能会干扰终端输入。	False
TELEMETRY_ENABLED	启用用于 Curator 使用追踪的遥测功能，当为 True 时	True

贡献

感谢所有让这个项目成为可能的贡献者！ 请遵循 这些说明 了解如何贡献。

引用

如果您觉得 Curator 有用，请考虑引用我们！

@software{Curator: A Tool for Synthetic Data Creation,
  author = {Marten, Ryan* and Vu, Trung* and Ji, Charlie Cheng-Jie and Sharma, Kartik and Pimpalgaonkar, Shreyas and Dimakis, Alex and Sathiamoorthy, Maheswaran},
  month = jan,
  title = {{Curator}},
  year = {2025},
  howpublished = {\url{https://github.com/bespokelabsai/curator}}
}

Bespoke Curator 快速上手指南

Bespoke Curator 是一个强大的 Python 库，专为大规模推理（Bulk Inference）和可扩展的数据整理（Data Curation）设计。它支持合成数据生成、结构化输出处理以及异步操作优化，适用于模型训练前的数据准备及后训练场景。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：建议 Python 3.8 及以上
• 依赖说明：核心功能通过安装包自动管理，示例代码中使用的 datasets 和 pydantic 通常作为依赖项包含或需单独安装以运行完整示例。

安装步骤

使用 pip 安装 Bespoke Curator：

pip install bespokelabs-curator

如需更新到最新版本：

pip install --upgrade bespokelabs-curator

基本使用

Curator 的核心类是 curator.LLM。通过继承该类并定义 prompt 和 parse 方法，你可以轻松构建数据处理流水线。以下是一个简单的情感分析批量推理示例。

示例代码

from typing import Dict
from bespokelabs import curator
from datasets import Dataset
from pydantic import BaseModel, Field
from typing import Literal

class Sentiment(BaseModel):
  sentiment: Literal["positive", "negative", "neutral"] = Field(
    description="Sentiment of the review")

class SentimentAnalyzer(curator.LLM):

  def prompt(self, product: Dict):
    return f"Determine the sentiment of the product from the review: {product['review']}"

  def parse(self, product: Dict, response: Sentiment):
    return [{"name": product["name"], "sentiment": response.sentiment}]

# You can easily have a million rows here. 
# Curator takes care of parallelism, retries, and caches responses.
dataset = [{"name": "Curator", "review": "Already saved hours in one day of use."},
           {"name": "Bespoke MiniCheck", "review": "Hallucination rates dropped by 90%."}]

# You can set batch=True, and instantly uses batch mode to save 50% of the costs.
analyzer = SentimentAnalyzer(
    model_name="gpt-4o-mini", response_format=Sentiment, batch=False)
reviews = analyzer(dataset)
print(reviews.to_pandas())

预期输出

                name sentiment
0            Curator  positive
1  Bespoke MiniCheck  positive

核心概念说明

• prompt: 接收输入数据，返回发送给大模型的提示词。
• parse: 接收原始输入和大模型的结构化响应，将其转换为列表格式以便导出为 HuggingFace Dataset 对象。
• batch=True: 启用批处理模式，可显著降低 Token 成本。

更多资源

• 官方文档：docs.bespokelabs.ai
• GitHub 仓库：github.com/bespokelabsai/curator
• PyPI 页面：pypi.org/project/bespokelabs-curator