Augmentoolkit - 领域专家 AI 的数据

Augmentoolkit 创建领域专家数据集，用于更新 AI 的大脑（基本上是其知识截止日期），从而使 AI 成为您选择领域的专家。

您上传文档，点击按钮。即可获得一个完全训练好的自定义大语言模型 (LLM)。现在，AI 行为的每一个方面及其理解能力都在您的掌控之中。更棒的是，Augmentoolkit 可选择在您的计算机上离线工作 —— 在大多数硬件上进行数据生成 (datagen) 无需外部 API 密钥*†。

也许您希望 AI 了解您所在领域的最新研究论文，或者您可能想要一个深刻理解您热情并从与您相同来源学习的 LLM。也有可能，您梦想为您喜爱的冷门虚构宇宙创建一个背景设定专家。无论应用场景如何，Augmentoolkit 都能让您利用文本，使 LLM 的大脑内在地学习其中包含的信息。此外，如果您也需要一些传统的事实依据，它还可以自动创建一个就绪的检索增强生成 (RAG) 数据集（并可以启动一个推理服务器）。

立即开始（界面将引导您生成第一个数据集）：

（创建虚拟环境时请务必使用 Python 3.11 以确保正常运行）

MacOS (界面)

git clone https://github.com/e-p-armstrong/augmentoolkit.git
cd augmentoolkit # Python == 3.11
bash macos.sh # NOTE: Will attempt to install valkey via brew if not found.
# bash local_macos.sh # use this command if doing local dataset generation

Linux (界面)

git clone https://github.com/e-p-armstrong/augmentoolkit.git
cd augmentoolkit # Python == 3.11
bash linux.sh # NOTE: will build Valkey from source if a Redis/Valkey server is not running

或者用于本地推理

git clone https://github.com/e-p-armstrong/augmentoolkit.git
cd augmentoolkit # Python == 3.11
bash local_linux.sh normal # or you can write "small" or a custom model name to serve the quantized version (for more consumer hardware) or a model of your choice, respectively. See the quickstart page linked just a bit farther down for a full reference here.

如果您有多个 GPU，请使用 --tensor-parallelism N 参数运行 local_linux.sh。N == 您拥有的 GPU 数量（偶数）。所以：1, 2, 4, 8... 等等。

[!IMPORTANT]

请给仓库点个 Star。

Windows (界面)

[!NOTE]

如果您使用的是 Windows，最好的选择是使用 WSL。老实说，CLI 在 Windows 上更容易运行。

_{*注意，数据生成在很多硬件上可能需要一段时间，例如不要指望在旧款 Mac 上能实现快速数据生成。对于训练，您需要要么拥有自己的强大机器，要么租用（如果您选择后者，系统会自动为您完成）。}

_{†如果您希望数据生成更快，您可以使用开源 LLM API，且快速入门指南也鼓励您这样做。除了其自定义数据集生成模型外，Augmentoolkit 还针对 Deepseek 或 Llama 等开源 LLM 进行了优化。}

Augmentoolkit 现已更新至 3.0 版本，经过了一年多的专业应用和实验的打磨与改进。它是目前世界上创建领域专家 LLM 的最佳方式，并且采用 MIT 许可证。

如果您使用了这个项目并喜欢它，请考虑给仓库点个 Star！它的设计也非常易于定制，因此请考虑 Fork（分支） Augmentoolkit！

[!IMPORTANT]

下面的链接包含非常有用的信息。稍后下方有一个目录，链接到项目中任何可想象部分的详细文档页面。

帮助视频 我将从零开始演示如何完成本项目中的所有酷炫操作，包括使用您获得的数据和配置训练 LLM（耗时 10 分钟）。如果您需要更多指导，请查看帮助视频！

社区 如果您有问题，如果您正在训练模型，如果您正在基于 Augmentoolkit 的代码构建新的酷炫流水线或扩展，或者只是想聊聊，我很高兴在 Augmentoolkit Discord 上看到您！这也是联系我的好地方。

通讯 我在 Substack 上撰写关于模型训练和数据生成的文章。完全免费，我只是想帮助大家更好地使用该工具。

联系 我正在围绕这个项目做各种事情，如果您对将定制、个人对齐的 AI 带给每个人的使命和业务感兴趣，请联系我们！

构建 Augmentoolkit 旨在成为人们实验训练 LLM 的首选工具，无论是爱好者还是专业人士。为此，构建新流水线就像编写 Python 函数一样简单（同时遵守大约 2 个主要是可选的约定）。我们为您提供高效的解释器和流水线模板，以便您构建自己的数据集生成流水线，进而构建您自己的数据集和您自己完全定制的 LLM。

所有配置文件都带有完整的注释和占位符，以帮助您在使用时理解它们。

文档页面

[!NOTE]

请注意，此文档页面（主 README）包含关于事实模型训练的 重要说明，无论您的经验水平如何都应阅读。

1. 快速开始
   • 命令行界面 (CLI)
   • 界面
2. 视频帮助
   • 使用自己的数据训练大语言模型 (LLM)！(12 分钟)
   • 详细探索 (界面)
   • 详细探索 (CLI)
3. 愿景
   • 它是什么？(技术)
   • 它是什么？(通用)
   • 提出的想法
   • 目标
4. 深度指南 (自定义和开发指南链接)
   • 默认可用的流水线
     • 组合
       • 完整事实生成
       • 元数据生成 (Datagen)
     • 流水线
       • 多源回忆事实数据生成
       • 单源回忆事实数据生成
       • 表示变异
       • 传统分类器引导程序 (Bootstrapper)
       • 通用数据改写
       • GRPO (实验性)
       • 修正数据（损失掩码错误）
       • RAG 数据（为增强回忆做准备）
       • 调试（健康检查）
       • 起点（构建你自己的流水线！）
       • RPToolkit
     • 工具
       • 基础 LLM 服务器
       • RAG LLM 服务器
       • Discord 托管
     • 配置 (Config) 通用字段
   • 详细理解该工具
     • 项目结构
     • 命令行界面 (CLI)
       • 流程
         • 上传文档
         • 启动运行
         • 观察运行
         • 获取结果
     • 界面
       • 流程
         • 上传文档
         • 启动运行
         • 观察运行
         • 获取结果
     • 使用 Axolotl 概念进行训练
   • 自定义与开发
     • 新流水线入门
     • 抽象入门
     • 约定准则
     • 提醒：约定是极简的，您可以直接编码，它很可能能工作
5. Discord！
6. 更新和训练/数据生成 (Datagen) 技巧博客！保持关注！
7. 贡献！
8. 联系与客户项目

如果您熟悉大语言模型 (LLM) 并希望了解 Augmentoolkit 是什么以及它为何出色的更技术性概述，请查看 本节

引用：

[!NOTE]

如果您不想进行模型训练，而只想生成数据集，请在您的数据生成配置 (Config) 中关闭 do_train。

视频教程

13 分钟内使用自己的数据训练模型

界面深度探索！

CLI 和代码结构深度探索！

^ 如果您打算修改代码，这个很有用

优势

Augmentoolkit 让 LLM 数据处理变得简单。

• 廉价： Augmentoolkit 流水线使用开源 LLM，因此可以在消费级硬件上以极低的成本运行，或者通过 Deepinfra 等应用程序接口 (API) 廉价运行 (“本地”提示词集也应使推理模型能够使用大多数流水线)
• 轻松： 任何 Augmentoolkit 流水线都可以通过直观的界面运行，只需运行启动脚本即可。或者，您可以将一些文件放入文件夹，然后运行 Python 脚本来生成数据。如果这还不够，您还可以使用图形用户界面 (GUI)，现在是 Augmentoolkit 3 中的一等公民（事实上，也是运行 Augmentoolkit 的推荐方式）。之前启动的运行会自动继续，因此您无需担心中断会耗费您的时间和/或金钱。
• 快速： 使用 API 时，您可以快速生成数百万个可训练令牌 (Tokens)。完全异步 (Async) 的代码让您能快速获得结果。读取和分块 (Chunking) 缓存确保即使是大规模工作负载也能快速使用。数据准备好后，模型会自动训练，甚至会自动下载并准备在您的本地机器上进行推理 (Inference)。过程中所有困难或烦人的部分都已自动化并高效化。过去创建数据集、迭代、测试和学习可能需要熟练人员数月；现在，任何人都可以按下一个按钮，一天后回来，与新训练的模型聊天。
• 事实性训练的创新有效方法： Augmentoolkit 拥有一种经过生产验证的方法，用于创建能够理解全新主题的领域专家 LLM。许多独立的流水线组合在一起，产生高质量的数据集，教授诸如回答事实性问题、承认模型未知内容、纠正错误等能力。使用 Augmentoolkit 时，您可以确信能获得高质量的专家模型。

我们已竭尽全力简化生成数据后的步骤——训练你的大语言模型 (LLM)：

• 生产级规模： 使用 Augmentoolkit 已经生成了高达数 GB 的数据集——它经过了实战检验，能够大规模运行而不会因恼人的低效而浪费大量时间，并且能够承受生产环境的压力。
• 用吃顿晚饭的代价训练一个 AI： 你可以基本免费地用自己的硬件生成数据。然后 Augmentoolkit 可以自动使用你自己的数据对 AI 进行全量微调，费用极低（微调部分的费用大约只需 20 美元）。
• 在一天内创建你的 LLM： 通过全自动化的流程将文档转化为数据集，并且只需点击一下按钮即可启动训练，构建领域专家级 LLM 的速度非常快（特别是当你使用 API 生成数据集时）。实现快速且廉价的迭代。
• 使用相同的配方，你总会得到同样的面包： Augmentoolkit 的数据集已成功用于专业咨询项目。本 README 中链接的视频文档详细展示了如何完全一样地使用本工具。你所需要的代码、设置和提示词（prompts）就在这里。示例、模板、注释、标记出的占位符以及详尽的说明文档一应俱全。
• 放心大胆地训练 AI，尤其是如果你是第一次尝试： 凭借经过实战检验的流程、丰富的视频文档、深入的 README 以及 Discord 社区的支持，你可以确信能从中获得一个优质的 LLM。

全部在本地完成 借助专门为此类流水线构建的定制训练的 7b 模型，Augmentoolkit 可以在消费级硬件上生成数据，并且在高性能计算机上可以实现惊人的规模和并行度。预算不应成为限制条件——只需要热情和时间的投入。当然，如果你需要即时的结果/速度，也可以使用 API（应用程序编程接口）。

最后，使用你创建的模型应该既简单又有价值：

• 理解你事实数据的 AI： 面向专业人士和爱好者：使用 Augmentoolkit 的 Complete Factual Datagen“组合”流水线训练 LLM，可以创建一个理解你所训练数据宏观图景的助手。如果说 RAG（检索增强生成）就像是给 LLM 一场关于它从未读过的教科书的开卷考试，那么在 Augmentoolkit 数据上进行训练则像是给了它在考试前一些复习时间。该流水线已在不同行业的咨询项目中经过实战检验。与早期版本相比，Augmentoolkit 3.0 版本生成了各种各样的不同领域数据，并且会自动将这些数据与其使用的通用数据进行平衡。
• 个体对齐 (Individual Alignment)： 使用 GPRO（使 Deepseek R1 如此出色的同一算法）来调整模型以适应任何想象得到的任务，而无需修改任何代码。Augmentoolkit 采用了一种创新的方法，允许你将 LLM 用作奖励函数（reward function）——你编写一个提示词来给某些输出打更高的分数，然后这些奖励分数会教导模型在未来更多地表现出类似的行为。希望你的模型更好地执行任务吗？解释一下什么是“更好”，然后模型就会学会它。希望你的模型更富有人情味和情感吗？解释一下如何根据情感内容给回复打分，模型就会 学会它。希望你的模型写起东西像海盗一样吗？在你的评分提示词中解释什么样的回复是好的海盗风格回复，模型就会学会它。你也可以根据需要修改代码并使用传统的奖励函数。GRPO 流水线目前处于实验阶段并处于测试版（beta），但初步结果令人鼓舞。
• 在不使用人工标注的情况下理解海量数据： 面向重度机器学习（ML）专业人士：如果你有一个包含大量未标注文本的大型数据集（如 Enron 邮件数据集、IMDb 或 fineweb 等），你现在可以写一两句话来描述其中存在的两个类别。Augmentoolkit 的分类器创建流水线随后将使用 LLM 基于输入数据的子集和你指定的类别来制作完整的分类数据集；然后它会训练一个分类器并评估它，再获取更多数据并重新训练，如此循环，直到验证损失（validation loss）低于指定阈值。使用此流水线训练出的分类器似乎能达到与在人类标注数据上训练出的分类器相似的性能。请注意，目前数据在不同标签之间尚未实现自动平衡。
• 受你喜爱的小说启发的 AI： 面向创意工作者和娱乐从业者：使用 RPToolkit，你可以围绕你能想到的任何故事主题，创建详细多样的多轮角色扮演数据。如果你是为了创作或娱乐目的创建自定义 AI，现在你可以将其专业化到任何你想要的类型。想要一个专攻机甲故事的阴郁黑暗专家吗？输入一些故事，你就可以获得大量相关数据。那来一个温馨日常生活的 AI 作家呢？你也可以为这个获取数据。从你能找到的任何灵感出发，创建范围可宽可窄的写作 AI。

澄清：Augmentoolkit 项目包含多个流水线：原始流水线（QA）、RPtoolkit（丰富的多轮角色扮演数据）和分类器创建器。如果提到"Augmentoolkit 可以生成 [某种数据]"，我的意思是 Augmentoolkit 的某个流水线可以做到这一点。

开始训练时的注意事项

事实性微调 (Factual finetuning) 需要一定数量的优化器步数 (optimizer steps) 才能稳固生效。如果将训练视为大语言模型 (LLM) 的“大脑”向理解你新领域的方向“移动”的过程，那么“优化器步数”就是 LLM 移动的次数。如果你的数据集很小，可能没有足够的优化器步数让 LLM 很好地学习新领域。

因此，讽刺的是，通过训练，教 LLM 大型新领域可能比小型领域更容易。不过，当你使用 Augmentoolkit 时，有一些工具可以将小数据集转化为大数据集。

在 完整事实数据集 中，你有针对整个流程的 number_of_factual_sft_generations_to_do 设置，以及可以按输入目录自定义的 variation_generation_counts。按目录自定义的设置会让特定输入目录的数据在继续预训练数据中占比更多；另一个设置则增加所有输入目录共同生成的监督微调 (SFT) 数据的总量。利用这两个杠杆，你可以将小数据集扩大到所需的大小——尽管部分数据可能非常相似，但你仍然可以通过这种方式将其放大并教给 LLM，而不会造成灾难性的后果。

作为一个“紧急情况下打破玻璃”的选项，如果你的数据集特别小，你可能需要考虑关闭样本打包 (sample packing)。这可以通过修改预训练和微调的关键字参数 (kwargs) 来关闭样本打包（请在完整事实数据生成配置中进行此操作）。

other_pretrain_kwargs: {sample_packing: False}
other_finetune_kwargs: {sample_packing: False}

关闭样本打包尚未在当前版本的 Augmentoolkit 设置中进行测试，因此对于极小的数据集，这种紧急方法的成功无法保证，但由于极小数据集的主要问题在于每个轮次 (epoch) 的优化器步数不足导致 LLM 未能充分学习数据，理论上，这应该有效。

除了为不同模型更改输入/输出路径外，你对 Augmentoolkit 进行的大部分配置可能都与优化器步数有关。对于非常大的输入数据集，你希望减少那些会增加优化器步数的因素，否则训练时间会很长；而对于非常小的数据集，你则需要使出浑身解数来增加它。这就是为什么这里有专门的部分并将其标记为重要——在创建数据集时要意识到其大小！

如果你对你的具体用例有任何疑问，请考虑前往 Discord

如果您之前来过这里的临时公告

如果你过了一段时间回来查看这个仓库，我想澄清几件事！

首先，发生了很多变化。我消失了六个月，一半时间花在研究上，另一半时间花在构建上。我希望这个工具能在根本上运作得更好。现在，Augmentoolkit 能够可靠地在不同大小的数据集上生成优秀的领域专家。它甚至可以教会模型一些它在预训练期间完全未见过的内容。这次实验自费花费了数千美元，但我认为这是值得的，因为现在任何人都可以用很少的技术经验制作关于任意主题的领域专家。

其次，事情变得容易多了。接口很健壮，不再是二等公民了。启动脚本、自动生成且平衡的训练配置、更好的错误消息以及其他众多改进应该会让 Augmentoolkit 更易用。

原始代码留存不多，但让旧管道 (pipeline) 适应现在的项目非常简单（查看新的管道示例，你就会了解它们现在的样子）。此外，如果你之前有自定义提示词 (prompts)，它们应该可以在新管道中无需修改即可工作。旧的管道与这一个相比就像老鼠与人一样——它们在技术上是相关的，有很多相同的 DNA，但人类进化得更完善，能力更强。希望你享受使用新项目并获得很好的结果。

坏消息是，由于变化如此之大，可能引入了一些新 Bug。请报告 Bug 以便修复。过去 4 个月我没有太密切关注问题，反正整个项目都在被拆解重组——现在它处于更最终的形式，坦白说，既然我现在对这类事情有更好的自律，我将专注于 Discord 和 GitHub 问题，纠正你们指出的任何错误。如果新文档对项目某些部分的说明不清楚，请告诉我。另外，如果你有想添加的 自定义管道 或 Bug 修复，请查看 贡献指南 并提交拉取请求 (PR)！

Discord

定制构建的模型（通常）不仅仅供创建者自己享用。Augmentoolkit 有一个 新功能，你可以轻松地将自定义模型变成 Discord 机器人！现在你可以与朋友或社区分享你的自定义 AI 创作！此外，所有代码都在你自己的电脑上运行，所以不用担心持续费用。

说到 Discord...

Augmentoolkit 部分是为了普及数据集生成，因此社区对项目至关重要！有一个 Discord 服务器，你可以在那里获得自定义模型创建的帮助，也可以分享新的管道、提示词集或你正在创建的项目！来逛逛，成为志同道合的有用社区的一员吧！

训练和数据生成技巧博客

我在一个 免费的 Substack (博客平台) 上撰写关于模型训练和数据生成的文章！如果你想在我继续实验和探索数据集生成时阅读我的思路，考虑订阅以提升你的模型创建水平。如果你计划使用 Augmentoolkit 提供的工具和抽象来构建自己的数据集生成管道，那里的一些建议可能会非常有用。

现在新版本 Augmentoolkit 已经发布，我终于有时间再次发帖了（也有新的想法要分享）。

贡献！

欢迎提交用于修复错误（bugfixes）、新流水线（pipelines）和改进的 PR（Pull Request，拉取请求）！如果您有引以为傲的实验，请考虑提交一个 PR。规则相当标准：

• 贡献者可以提交 PR
• 协作者可以向分支推送代码并将 PR 合并到主分支（master branch）
• 协作者可能根据贡献被选中，也可能由 Augmentoolkit（公司）内部选定
• 示例流水线及其文档 包含制作您自己流水线的有用信息。鼓励您 Fork（复刻）Augmentoolkit 并进行实验！
• 按您喜欢的风格编写代码，只需在提交 PR 前充分测试即可
  • 注意：如果达到不可能状态，静默失败或继续运行比明确报错更糟糕
  • 断言（Asserts）是您的朋友
  • black . 甚至能让我的代码看起来格式美观，它也能对您的代码做到同样效果。

数据生成 (Datagen) 和训练工作流的有用命令

在适当时复制粘贴这些命令，或将其作为参考。

将文件复制到另一台计算机（例如 RunPod 上的 GPU 实例）

scp -P [port] -r ./outputs/your-output-dir/pretraining_run root@123.456.78.9:/workspace/axolotl

启动训练任务：

accelerate launch -m axolotl.cli.train [your_config].yaml

使用 llama.cpp 进行转换和量化 (quantize)

python ~/llama.cpp/convert_hf_to_gguf.py --outtype q8_0

联系方式！

• 通过电子邮件联系我：evanpeterarmstrong@gmail.com（注意：我的收件箱已满，您的消息可能无法送达，对于严肃的讨论，建议预约通话）
• 对于严肃且紧急的讨论，我们可以安排通话！
• 我在 Augmentoolkit Discord 服务器以及许多其他 AI Discord 上非常活跃。搜索 @heralax 找到我！
• 我有时会在 X/Twitter 上发布内容
• Substack！我终于又开始发文了。
• YouTube —— 帮助视频的来源
• 让我们在 LinkedIn 上建立联系！

如果您所在的公司或组织希望为内部用户（让员工获得做好工作所需的信息）或外部用户（例如回答社区问题或提高产品知名度）提供定制的领域专家 AI，那么我们应该取得联系。

此外，如果您是一家目前正受到 OpenAI 勒索的AI 聊天封装 (Chat Wrapper) 初创公司或企业，我们也应该谈谈，因为我相当确定我可以在保持或提高回答质量的同时为您节省大量 API 成本。我不仅会使用此工具生产高质量模型，还拥有大规模运行的手段，这并非一个容易解决的问题。

Augmentoolkit 项目将继续开发。它已经持续开发了很长时间——从上一次更新到这次重大更新的数月间隔是因为我正忙于研究和开发技术，随后准备此次发布本身（这次更新已经筹备了很久）。我愿意并感谢组织赞助这个开源项目——我最想做的就是整天研究并构建创建定制 LLM（大语言模型）的工具！

我也正在致力于涉及 Augmentoolkit 及其技术的雄心勃勃的商业解决方案。该项目是一个更大总体规划的一部分。如果您是投资者，我非常乐意就此进行讨论！我的 Calendly 随时开放。

当前的通用 AI (Generalized AI) 意味着幻觉、陈词滥调和阿谀奉承；领域专家 AI 则运用您的知识、理解力，并与您的品味保持一致。随着越来越多的人使用相同的 AI，世界听起来越来越相似，思考方式也越来越一致——我相信，个性化定制的 LLM 是避免这种充满垃圾内容 (slop) 世界的唯一途径。

Augmentoolkit 快速上手指南

Augmentoolkit 是一个用于创建领域专家级数据集的工具，可帮助你基于自定义文档训练专属的 LLM。它支持离线运行，无需外部 API 密钥即可在大多数硬件上生成数据，并能自动构建 RAG 就绪的数据集。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：macOS、Linux 或 Windows（推荐通过 WSL 运行）。
• Python 版本：必须使用 Python 3.11。请在创建虚拟环境时特别注意此版本要求，以确保兼容性。
• 依赖管理：工具会自动处理部分依赖（如通过 brew 安装 valkey），但需要系统已安装 git。
• 网络环境：虽然支持离线工作流，但初始克隆仓库和首次依赖拉取需要网络连接。

注意：Windows 用户强烈建议使用 WSL 以获得最佳体验。

2. 安装步骤

请根据你的操作系统选择对应的启动脚本。所有操作均需在终端中执行。

通用克隆命令

git clone https://github.com/e-p-armstrong/augmentoolkit.git
cd augmentoolkit

按系统执行启动脚本

macOS

bash macos.sh

如果本地生成数据集，可使用：bash local_macos.sh

Linux

bash linux.sh

如果没有运行 Redis/Valkey 服务，脚本将尝试从源码构建 Valkey。

本地推理 (Local Inference)

如果你希望直接进行本地推理，可以使用以下命令（支持指定模型大小）：

bash local_linux.sh normal

注：可以将 normal 替换为 small 以使用量化版本，或填入其他自定义模型名称。

多 GPU 支持

如果你拥有多个 GPU，可以在运行 local_linux.sh 时添加 --tensor-parallelism N 参数（N 为 GPU 数量，需为偶数，如 2, 4, 8 等）。

3. 基本使用

Augmentoolkit 设计有直观的界面来引导用户完成首个数据集的生成。

1. 启动界面：运行上述对应系统的 .sh 脚本后，工具将启动配置好的环境。
2. 上传文档：通过提供的界面上传你的领域文档。
3. 生成数据与训练：
   • 点击按钮即可开始数据处理。
   • 系统会自动创建 RAG 就绪的数据集。
   • 如果需要训练模型，确保在数据生成配置中开启训练选项（默认可能关闭，可在配置中将 do_train 设为 true）。
4. 结果获取：
   • 处理完成后，你可以获得一个经过微调的 LLM 或高质量数据集。
   • 工具甚至可以直接启动推理服务器供你测试。

提示：如果你只想要生成数据集而不想训练模型，请在数据生成配置中将 do_train 设置为 off。