https://datadreamer.dev

提示工程。生成合成数据。训练与对齐模型。

DataDreamer 是一个功能强大的开源 Python 库，用于提示工程、合成数据生成和训练工作流。它设计简洁、效率极高，并且达到研究级标准。

借助 DataDreamer，您可以：

• 💬 创建提示工作流：轻松地使用主流开源或基于 API 的大语言模型创建并运行多步骤、复杂的提示工作流。
• 📊 生成合成数据集：利用大语言模型为新任务生成合成数据集，或扩充现有数据集。
• ⚙️ 训练模型：对齐模型、微调模型、指令微调模型、蒸馏模型；既可以在现有数据上训练，也可以在合成数据上训练。
• ... 更多可能性请参阅 概览指南。

DataDreamer 具有以下特点：

• 🧩 简单易用：默认设置合理，易于上手，同时支持前沿技术，功能强大。
• 🔬 研究级：由研究人员为研究人员打造，但对所有人开放。注重正确性、最佳实践和可重复性。
• 🏎️ 高效：内置激进的缓存机制和断点续训功能。支持量化、参数高效训练（LoRA）等技术。
• 🔄 可重复性：使用 DataDreamer 构建的工作流易于分享、复现和扩展。
• 🤝 便于共享：发布数据集和模型非常简单。可自动生成包含元数据的数据卡片和模型卡片，并列出所有必要的引用文献。
• ... 更多关于 DataDreamer 的动机与设计原则。

引用

请引用 DataDreamer 论文：

@misc{patel2024datadreamer,
      title={DataDreamer: 用于合成数据生成和可复现大模型工作流的工具}, 
      author={Ajay Patel 和 Colin Raffel 和 Chris Callison-Burch},
      year={2024},
      eprint={2402.10379},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

联系方式

如有任何问题、意见或反馈，请通过 电子邮件 (ajayp@upenn.edu) 或 Discord 联系我们。

---

版权所有 © 2024，Ajay Patel。根据 MIT 许可证发布。

感谢 Hugging Face 和 LiteLLM 的维护者们接受 DataDreamer 所需的贡献，并提供上游支持。

---

资助致谢

_{ODNI, IARPA： 本研究部分由美国国家情报总监办公室（ODNI）下属的情报高级研究计划活动（IARPA）通过 HIATUS 计划合同 #2022-22072200005 资助。文中所表达的观点和结论仅属作者个人，不应被解读为必然代表 ODNI、IARPA 或美国政府的官方政策，无论明示或暗示。美国政府有权在不考虑其中任何版权标注的情况下，为政府目的复制和分发再版材料。}

DataDreamer 快速上手指南

DataDreamer 是一个强大的开源 Python 库，专为提示工程（Prompting）、合成数据生成以及模型训练与对齐工作流而设计。它兼具简洁性、高效性和科研级可靠性，帮助开发者轻松构建可复现的大语言模型（LLM）应用。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：支持 Linux、macOS 或 Windows。
• Python 版本：建议安装 Python 3.8 或更高版本。
• 前置依赖：
  • 已安装 pip 包管理工具。
  • （可选）若需进行本地模型训练或推理，建议配置好 CUDA 环境及相应的 GPU 驱动。
  • （可选）若使用特定云厂商 API，请提前准备好 API Key。

安装步骤

您可以通过 PyPI 直接使用 pip 安装 DataDreamer。

标准安装命令：

pip3 install datadreamer.dev

提示：如果您在中国大陆地区，遇到下载速度慢的问题，推荐使用国内镜像源加速安装：

pip3 install datadreamer.dev -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

DataDreamer 的核心在于通过代码定义清晰的工作流。以下是一个最基础的示例，展示如何创建一个简单的提示工作流并生成合成数据。

1. 创建脚本

新建一个名为 demo.py 的文件，并写入以下内容。此示例演示了如何调用 LLM 将学术摘要转化为推文风格的内容。

from datadreamer import DataDreamer

# 初始化 DataDreamer 会话
with DataDreamer("./output"):
    # 加载大语言模型 (此处以开源模型为例，也可替换为 API 模型)
    llm = llms.HuggingFaceModel("google/flan-t5-base")

    # 定义数据集 (这里使用内置的示例数据作为输入)
    inputs = datasets.LoadDataset("scientific_abstracts")

    # 运行提示工作流：将摘要转换为推文
    outputs = llm.generate(
        inputs=inputs,
        system_prompt="You are a helpful assistant that converts scientific abstracts into tweets.",
        user_prompt="Abstract: {abstract}",
        output_col_name="tweet"
    )

    # 保存生成的合成数据集
    outputs.save_to_huggingface_dataset("my_scientific_tweets")
    
    # (可选) 基于生成的数据微调模型
    # trainer.train(...) 

2. 运行脚本

在终端中执行该脚本：

python3 demo.py

3. 查看结果

运行完成后，您可以在指定的输出目录（默认为 ./output）中找到生成的合成数据集。根据完整 Demo 的逻辑，您最终可以得到：

• 合成数据集：已发布至 Hugging Face 的数据集（如 datadreamer-dev/abstracts_and_tweets）。
• 训练好的模型：基于合成数据微调后的模型（如 datadreamer-dev/abstracts_to_tweet_model）。

---

下一步：更多高级功能（如多步工作流、量化训练、LoRA 微调等）请参阅官方文档的 Quick Tour 页面。