AutoDidact：通过自我验证实现自举式搜索

研究探索小型大语言模型如何通过生成、研究并回答自己创建的问答对，利用强化学习中的代理式搜索来自主提升自身的研究与推理能力。这一切都在一台 RTX 4090 上运行！

致谢： 本项目基于 Unsloth 的高效 GRPO 代码 构建，并新增了函数调用和代理循环的支持。

---

🚀 核心特性

• 使用 Llama-8B 自我启动： Llama-8B 能够从文档中自主生成有意义的问答对，随后训练自身以高效地检索语料库，从而回答这些自动生成的问题。
• 自主自我验证： Llama-8B 会评估自身答案的准确性，形成一个自我改进的反馈循环。
• GRPO 强化学习： 实现了分组相对策略优化（GRPO），以不断精进 Llama-8B 的研究、检索和推理能力。
• 完全自主的开源流水线： 从问题生成、答案研究、验证、嵌入创建到强化学习，所有步骤均在本地使用开源模型完成。

---

📊 实验结果

仅经过 100 步 GRPO 训练（在单张 RTX 4090 显卡上耗时约 1 小时），Llama-8B 在从阿波罗 13 号任务报告中研究并回答问题的能力上有了显著提升。

在包含 68 个问题的验证集上，准确率从 23% 提升至 59%，增幅超过一倍。

---

🔍 示例：自适应搜索轨迹

在训练初期，模型经常 误用搜索工具，具体表现为：

• 工具调用格式错误；
• 幻觉式回应，而非真正查询语料库；
• 甚至会生成完整的对话序列，其中它 同时扮演 搜索引擎和自身角色，对虚构的搜索结果作出回应。

然而，随着训练的进行，模型逐渐 学会了有效推理与搜索。它开始发出 规范的查询请求，根据部分结果不断优化搜索策略，并成功获取准确的答案。

以下示例展示了训练后模型所展现出的自适应搜索行为。

示例问题

阿波罗 13 号发射前 3 天，为何要更换替补指令舱飞行员？

逐步搜索过程

1. 查询：“阿波罗 13 指令舱飞行员更换”
   • 结果：检索到了任务支持的相关信息，但并未解释更换原因。
   • 行动：模型意识到信息不足 → 优化查询。
2. 查询：“阿波罗 13 指令舱飞行员更换原因”
   • 结果：获取了任务异常的一般性说明，但仍无直接答案。
   • 行动：进一步细化查询内容。
3. 查询：“阿波罗 13 约翰·“杰克”·斯威格特更换”
   • 结果：找到了任务报告的相关内容，但仍未明确更换原因。
   • 行动：模型推测可能是健康因素导致 → 相应调整查询。
4. 查询：“阿波罗 13 杰克·斯威格特患病更换”
   • 结果：最终找到了 确切的解释： “发射前几天，替补登月舱飞行员感染麻疹。经检查，主乘组中的指令舱飞行员对麻疹没有免疫力，因此决定更换替补指令舱飞行员。”

最终答案

原指令舱飞行员对麻疹缺乏免疫力，因此需要由杰克·斯威格特替代。

此示例展示了 Llama 模型如何通过多次搜索找到问题的答案。

---

📈 快速入门

安装

pip install -r requirements.txt

数据生成与训练

首先生成嵌入、问题和答案：

python generate_data.py  # 为您的文档生成 QA 对及嵌入

然后运行 autodidact.ipynb，观看您的研究代理学习成长！

---

🛠️ 代码结构

• generate_data.py – 自动化生成 QA 对并建立索引。
• search_module.py – 支持对文档语料库的语义搜索。
• embeddings.py – 管理文档/查询嵌入的生成。
• rl_helpers.py – 控制智能体交互及奖励逻辑。
• autodidact.ipynb – 完整的训练流程示例。

---

🔬 自定义数据集

将现有的阿波罗 13 号任务报告（data/mission_report.md）替换为您自己的 Markdown 文件。然后重新运行：

python generate_data.py

这将生成新的问答对并构建搜索索引，使您能够基于 任意数据集 训练研究代理。

AutoDidact 快速上手指南

AutoDidact 是一个开源研究项目，旨在通过自验证机制引导小型大语言模型（如 Llama-8B）自主提升研究与推理能力。它利用强化学习（GRPO）让模型学会生成问题、搜索文档并自我验证答案，所有流程均可在单张 RTX 4090 显卡上本地运行。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐) 或 macOS
• GPU：NVIDIA GPU，显存建议 24GB 及以上（如 RTX 3090/4090），需支持 CUDA
• Python：版本 3.10 或更高
• 前置依赖：
  • PyTorch (适配您的 CUDA 版本)
  • Unsloth 库 (用于高效的 GRPO 训练)
  • Hugging Face Transformers & Accelerate

国内加速建议： 安装依赖时，建议使用清华或阿里镜像源以加快下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

拉取模型时，可配置 HF_ENDPOINT 环境变量使用镜像站：

export HF_ENDPOINT=https://hf-mirror.com

安装步骤

1. 克隆项目代码

   git clone <repository-url>
   cd <repository-directory>
   

2. 安装依赖包 执行以下命令安装项目所需的所有 Python 库：

   pip install -r requirements.txt
   

基本使用

以下是训练一个具备自主搜索能力的研究代理的最简流程。

1. 生成数据与索引

首先，需要基于文档生成问答对（QA Pairs）并构建向量索引。默认数据集为阿波罗 13 号任务报告。

python generate_data.py

注：若要使用自定义数据集，只需将您的 Markdown 文件替换 data/mission_report.md，然后重新运行上述命令即可。

2. 启动训练

数据准备完成后，打开 Jupyter Notebook 运行完整的训练流水线。模型将通过 GRPO 强化学习算法，在约 100 步迭代后显著提升搜索与回答准确率。

jupyter notebook autodidact.ipynb

在 Notebook 中按顺序执行单元格，即可观察模型如何从“胡乱调用工具”进化为“自适应多步搜索”的过程。