通过多智能体辩论提升语言模型的事实性和推理能力

项目页面 | 论文

Yilun Du, Shuang Li, Antonio Torralba, Joshua B. Tenenbaum, Igor Mordatch

这是论文《通过多智能体辩论提升语言模型的事实性和推理能力》的初步实现。更多任务和设置将很快发布。您可以在这里查看一些额外的辩论日志。

此外，请务必查看 gauss5930 在开源语言模型上实现的多智能体辩论项目这里！

运行实验

用于运行算术、GSM、传记和 MMLU 任务的代码位于以下子文件夹中：

• ./math/ 包含运行数学问题的代码
• ./gsm/ 包含运行 GSM 问题的代码
• ./biography/ 包含运行传记问题的代码
• ./mmlu/ 包含运行 MMLU 问题的代码

数学：

要通过多智能体辩论生成并评估数学问题的答案，请进入 math 目录并运行： python gen_math.py 小学数学：

要通过多智能体辩论生成小学数学问题的答案，请进入 gsm 目录并运行： python gen_gsm.py

要评估小学数学问题的生成结果： python eval_gsm.py 您可以从这里下载 GSM 数据集。

传记：

要通过多智能体辩论生成传记问题的答案，请进入 biography 目录并运行： python gen_conversation.py

要评估传记问题的生成结果： python eval_conversation.py MMLU：

要通过多智能体辩论生成 MMLU 问题的答案，请进入 MMLU 目录并运行： python gen_mmlu.py

要评估 MMLU 的生成结果： python eval_mmlu.py 您可以从这里下载 MMLU 数据集。

如果您希望引用该论文，以下是 BibTeX 格式的参考文献：

@article{du2023improving,
  title={Improving Factuality and Reasoning in Language Models through Multiagent Debate},
  author={Du, Yilun and Li, Shuang and Torralba, Antonio and Tenenbaum, Joshua B and Mordatch, Igor},
  journal={arXiv preprint arXiv:2305.14325},
  year={2023}
}

llm_multiagent_debate 快速上手指南

本指南帮助开发者快速部署并运行基于多智能体辩论（Multiagent Debate）机制的语言模型实验，以提升模型在事实性和推理任务上的表现。

环境准备

• 系统要求：Linux 或 macOS 环境（Windows 用户建议使用 WSL2）。
• Python 版本：推荐 Python 3.8 及以上版本。
• 前置依赖：
  • 已安装 PyTorch 及相关深度学习库。
  • 已配置好用于推理的大语言模型（LLM）API 密钥或本地模型环境（具体取决于代码内部的调用方式，通常需预设 OPENAI_API_KEY 或其他模型接口变量）。
  • Git（用于克隆代码库）。

安装步骤

1. 克隆项目仓库

   git clone https://github.com/composable-models/llm_multiagent_debate.git
   cd llm_multiagent_debate
   

2. 安装 Python 依赖 虽然 README 未明确列出 requirements.txt，但通常此类项目需要基础的数据处理和请求库。建议先检查目录下是否有该文件，若无，请根据代码导入情况安装通用依赖（如 torch, transformers, openai 等）：

   # 如果存在 requirements.txt
   pip install -r requirements.txt
   
   # 如果不存在，请根据 gen_*.py 中的 import 语句手动安装必要库
   # 例如：
   # pip install openai tqdm numpy
   

3. 下载数据集（按需） 根据你要运行的任务，提前下载对应数据集并放置于相应目录：

   • GSM (Grade School Math): 下载地址
   • MMLU: 下载地址

   注：国内用户若访问 GitHub 缓慢，可使用国内镜像源（如 Gitee 镜像）或代理加速下载。

基本使用

本项目针对不同任务提供了独立的脚本。以下是四个核心任务的最简运行示例：

1. 数学推理 (Math)

生成并通过多智能体辩论评估数学问题答案：

cd math
python gen_math.py

2. 小学数学 (Grade School Math - GSM)

生成答案：

cd gsm
python gen_gsm.py

评估生成结果：

python eval_gsm.py

3. 人物传记 (Biography)

生成传记类问题的回答：

cd biography
python gen_conversation.py

评估生成结果：

python eval_conversation.py

4. MMLU 基准测试

生成 MMLU 任务答案：

cd mmlu
python gen_mmlu.py

评估生成结果：

python eval_mmlu.py

提示：运行前请确保已在环境变量中配置好所需的 LLM API Key，或在代码指定位置填入模型访问凭证。详细的辩论日志示例可参考项目提供的 Dropbox 链接。