🎨 NeMo 数据设计师

从零开始或使用您自己的种子数据生成高质量的合成数据集。

---

欢迎！

数据设计师可帮助您创建超越简单 LLM 提示的合成数据集。无论您需要多样化的统计分布、字段之间的有意义相关性，还是经过验证的高质量输出，数据设计师都提供了一个灵活的框架来构建生产级的合成数据。

使用数据设计师可以做什么？

• 生成多样化数据：使用统计采样器、LLM 或现有种子数据集
• 控制字段间关系：通过依赖感知生成方式
• 验证质量：内置 Python、SQL 以及自定义本地和远程验证器
• 评分输出：使用 LLM 作为评判者进行质量评估
• 快速迭代：在全面生成之前先使用预览模式

---

⚠️ 安全公告：LiteLLM 供应链事件（2026年3月24日）

2026年3月24日，恶意版本的 litellm（1.82.7 和 1.82.8）被发布到 PyPI，其中包含一个凭证窃取程序。这些被篡改的软件包在被移除之前，大约有 五个小时 的时间处于可用状态（UTC 时间 10:39 – 16:00）。

唯一可能解析到这些版本的数据设计师发行版是 v0.2.2（2025年12月）和 v0.2.3（2026年1月），它们对 litellm 的版本上限限制较为宽松，为 <2。这两个版本已经接近三个月前发布，并已被后续八个版本所取代——出于预防措施，它们均已从 PyPI 上撤回。其他所有发行版（v0.3.0 – v0.5.3）都将 litellm 锁定在 >=1.73.6,<1.80.12 范围内，因此从未与 1.82.x 版本兼容。自 v0.5.4 起，litellm 已不再是依赖项。

若要通过数据设计师受到影响，您必须明确锁定在这两个旧版本之一，并且在 3月24日的五小时窗口期内运行了新的 pip install 或依赖缓存更新，从而解析到 litellm。如果您认为自己可能受到影响，请参阅 BerriAI 的事件报告，以获取修复步骤。

---

快速入门

1. 安装

pip install data-designer

或者从源码安装：

git clone https://github.com/NVIDIA-NeMo/DataDesigner.git
cd DataDesigner
make install

2. 设置您的 API 密钥

您可以从我们的默认模型提供商开始：

• NVIDIA Build API
• OpenAI
• OpenRouter

使用上述链接获取您的 API 密钥，并设置以下环境变量之一或多组：

export NVIDIA_API_KEY="your-api-key-here"

export OPENAI_API_KEY="your-openai-api-key-here"

export OPENROUTER_API_KEY="your-openrouter-api-key-here"

3. 开始生成数据！

import data_designer.config as dd
from data_designer.interface import DataDesigner

# 使用默认设置初始化
data_designer = DataDesigner()
config_builder = dd.DataDesignerConfigBuilder()

# 添加产品类别
config_builder.add_column(
    dd.SamplerColumnConfig(
        name="product_category",
        sampler_type=dd.SamplerType.CATEGORY,
        params=dd.CategorySamplerParams(
            values=["电子产品", "服装", "家居与厨房", "书籍"],
        ),
    )
)

# 生成个性化的客户评论
config_builder.add_column(
    dd.LLMTextColumnConfig(
        name="review",
        model_alias="nvidia-text",
        prompt="请为你最近购买的 {{ product_category }} 商品写一段简短的产品评论。",
    )
)

# 预览您的数据集
preview = data_designer.preview(config_builder=config_builder)
preview.display_sample_record()

---

接下来？

📚 了解更多

• 入门指南 – 安装、配置并生成您的第一个数据集
• 教程笔记本 – 分步交互式教程
• 列类型 – 探索采样器、LLM 列、验证器等
• 验证器 – 学习如何使用 Python、SQL 和远程验证器验证生成的数据
• 模型配置 – 配置自定义模型和提供商
• 人物采样 – 学习如何采样具有人口统计特征的真实人物数据

🔧 通过 CLI 配置模型

data-designer config providers # 配置模型提供商
data-designer config models    # 设置您的模型配置
data-designer config list      # 查看当前设置

🤖 代理技能

数据设计师具备针对编码代理的 技能。只需描述您想要的数据集，您的代理就会负责模式设计、验证和生成。虽然该技能应能与其他支持技能的编码代理配合使用，但目前我们的开发和测试主要集中在 Claude Code 上。

通过 skills.sh 安装（请务必选择 Claude Code 作为附加代理）：

npx skills add NVIDIA-NeMo/DataDesigner

安装完成后，输入 /data-designer 或描述您想要的数据集，技能将自动启动。

🤝 参与进来

此仓库支持代理辅助开发——请参阅 CONTRIBUTING.md 了解推荐的工作流程。

• 贡献指南 – 如何贡献，包括代理辅助工作流程
• GitHub 问题 – 报告错误或提出功能请求

---

遥测

Data Designer 会收集遥测数据，以帮助我们改进面向开发者的库。我们收集以下信息：

• 使用的模型名称
• 输入 token 的数量
• 输出 token 的数量

不会收集任何用户或设备信息。 这些数据不会用于追踪任何个人用户的行为。它们仅用于汇总 SDG 中最受欢迎的模型。我们会与社区共享这些使用数据。

具体来说，将收集在 ModelConfig 对象中定义的模型名称。例如，在下面的配置中：

ModelConfig(
    alias="nv-reasoning",
    model="openai/gpt-oss-20b",
    provider="nvidia",
    inference_parameters=ChatCompletionInferenceParams(
        temperature=0.3,
        top_p=0.9,
        max_tokens=4096,
    ),
)

将会收集值 openai/gpt-oss-20b。

要禁用遥测采集，请设置 NEMO_TELEMETRY_ENABLED=false。

热门模型

此图表展示了从 2026 年 2 月 23 日至 2026 年 3 月 23 日期间，所有合成数据生成任务中使用的模型分布情况。

最后更新于 2026 年 3 月 23 日

---

许可证

Apache License 2.0 – 详情请参阅 LICENSE 文件。

---

引用

如果您在研究中使用了 NeMo Data Designer，请使用以下 BibTeX 条目进行引用：

@misc{nemo-data-designer,
  author = {The NeMo Data Designer Team, NVIDIA},
  title = {NeMo Data Designer：一个从零开始或基于您自己的种子数据生成合成数据的框架},
  howpublished = {\url{https://github.com/NVIDIA-NeMo/DataDesigner}},
  year = {2025},
  note = {GitHub 仓库},
}

DataDesigner 快速上手指南

DataDesigner 是 NVIDIA NeMo 推出的一款开源工具，旨在帮助开发者从零开始或基于种子数据生成高质量的合成数据集。它超越了简单的 LLM 提示词生成，支持统计分布控制、字段间依赖关系定义以及严格的数据质量验证。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL 推荐)
• Python 版本：3.10, 3.11, 3.12 或 3.13
• API Key：您需要至少一个支持的模型提供商 API Key（如 NVIDIA Build API, OpenAI, 或 OpenRouter）。

安全提示：请确保安装最新版本以避免已知的供应链安全风险。本项目已移除对受影响版本 litellm 的依赖。

安装步骤

您可以选择通过 PyPI 直接安装，或从源码安装。

方式一：使用 pip 安装（推荐）

pip install data-designer

(国内用户若遇到下载速度慢的问题，可尝试使用清华源：pip install data-designer -i https://pypi.tuna.tsinghua.edu.cn/simple)

方式二：从源码安装

git clone https://github.com/NVIDIA-NeMo/DataDesigner.git
cd DataDesigner
make install

基本使用

以下是生成包含“产品类别”和"AI 生成的评论”的合成数据集的最小化示例。

1. 配置 API Key

在终端中设置您的环境变量（任选其一即可）：

export NVIDIA_API_KEY="your-api-key-here"
# 或者
export OPENAI_API_KEY="your-openai-api-key-here"
# 或者
export OPENROUTER_API_KEY="your-openrouter-api-key-here"

2. 编写生成脚本

创建 generate_data.py 文件，填入以下代码：

import data_designer.config as dd
from data_designer.interface import DataDesigner

# 初始化工具
data_designer = DataDesigner()
config_builder = dd.DataDesignerConfigBuilder()

# 添加列 1: 产品类别 (使用统计采样器)
config_builder.add_column(
    dd.SamplerColumnConfig(
        name="product_category",
        sampler_type=dd.SamplerType.CATEGORY,
        params=dd.CategorySamplerParams(
            values=["Electronics", "Clothing", "Home & Kitchen", "Books"],
        ),
    )
)

# 添加列 2: 用户评论 (使用 LLM 生成，依赖上一列的内容)
config_builder.add_column(
    dd.LLMTextColumnConfig(
        name="review",
        model_alias="nvidia-text",
        prompt="Write a brief product review for a {{ product_category }} item you recently purchased.",
    )
)

# 预览生成的数据样本
preview = data_designer.preview(config_builder=config_builder)
preview.display_sample_record()

3. 运行并查看结果

在终端执行脚本：

python generate_data.py

程序将输出一条合成的示例记录，展示如何根据指定的产品类别生成对应的评论文本。确认无误后，您可进一步调用正式生成接口批量产出数据。