代理混合模型 (MoA)

概述 · 快速入门 · 高级示例 · 交互式CLI演示 · 评估 · 结果 . 致谢

概述

代理混合模型（MoA）是一种新颖的方法，它利用多个大语言模型的集体优势来提升性能，从而达到最先进的水平。通过采用分层架构，每一层由若干个LLM代理组成，MoA仅使用开源模型，便在AlpacaEval 2.0上以65.1%的成绩显著超越了GPT-4 Omni的57.5%！

快速入门：50行代码实现MoA

要开始在您自己的应用中使用MoA，请参阅moa.py。在这个简单的示例中，我们将使用2层和4个LLM。您需要：

1. 安装Together Python库：pip install together
2. 获取您的Together API密钥并导出：export TOGETHER_API_KEY=
3. 运行Python文件：python moa.py

多层MoA示例

在前面的示例中，我们介绍了如何用2层（4个LLM回答和1个LLM聚合）实现MoA。然而，MoA的一个优势在于可以通过多层处理获得更优的响应。在本示例中，我们将展示如何在advanced-moa.py中运行具有3层或更多层的MoA。

python advanced-moa.py

交互式CLI演示

这个交互式CLI演示展示了一个简单的多轮聊天机器人，其最终响应由多个参考模型聚合而成。

要运行交互式演示，请按照以下3步操作：

1. 导出您的API密钥：export TOGETHER_API_KEY={your_key}
2. 安装依赖：pip install -r requirements.txt
3. 运行脚本：python bot.py

CLI将提示您以交互方式输入指令：

1. 首先在“>>>”提示符下输入您的指令。
2. 系统将使用预定义的参考模型处理您的输入。
3. 它会根据这些模型的聚合输出生成响应。
4. 您可以继续对话，输入更多指令，系统将保持多轮交互的上下文。

[可选] 高级配置

演示会要求您指定某些选项，但如果您想进行额外的配置，可以指定以下参数：

• --aggregator：用于生成最终响应的主要模型。
• --reference_models：用作参考的模型列表。
• --temperature：控制响应生成的随机性。
• --max_tokens：响应中的最大令牌数。
• --rounds：处理输入以进行细化的轮数。（轮数 == MoA层数 - 1）
• --num_proc：为加快执行速度而并行运行的进程数。
• --multi_turn：切换多轮交互功能的布尔值。

评估

我们提供了脚本，以便快速复现论文中展示的部分结果。

为了方便起见，我们已将AlpacaEval、MT-Bench和FLASK的代码纳入其中，并进行了必要的修改。我们对这些项目创建基准测试表示衷心感谢。

准备工作

# 安装依赖
pip install -r requirements.txt
cd alpaca_eval
pip install -e .
cd FastChat
pip install -e ".[model_worker,llm_judge]"
cd ..

# 设置API密钥
export TOGETHER_API_KEY=<TOGETHER_API_KEY>
export OPENAI_API_KEY=<OPENAI_API_KEY>

运行AlpacaEval 2

要运行AlpacaEval 2，请执行以下脚本：

bash run_eval_alpaca_eval.sh

运行MT-Bench

对于MT-Bench评估的最小示例，请运行：

bash run_eval_mt_bench.sh

运行FLASK

对于FLASK评估的最小示例，请运行：

bash run_eval_flask.sh

结果

我们在AlpacaEval 2.0排行榜和MT-Bench上均取得了领先地位。值得注意的是，在AlpacaEval 2.0上，我们仅使用开源模型，就实现了从57.5%（GPT-4 Omni）到65.1%（MoA）的绝对提升7.6个百分点。

FLASK提供了对模型在多个维度上的细粒度评估。我们的MoA方法在无害性、鲁棒性、正确性、效率、事实性、常识性、洞察力和完整性等方面显著优于原始的Qwen1.5-110B-Chat。此外，MoA在正确性、事实性、洞察力、完整性以及元认知方面也优于GPT-4 Omni。

如果您在复现结果时遇到困难，请随时与我们联系。

致谢

值得注意的是，这项工作的完成离不开人工智能领域各活跃组织的合作精神和贡献。我们感谢Meta AI、Mistral AI、Microsoft、阿里巴巴云和DataBricks等机构开发的Llama 3、Mixtral、WizardLM 2、Qwen 1.5和DBRX等模型。此外，我们还对Tatsu Labs、LMSYS和KAIST AI开发的AlpacaEval、MT-Bench和FLASK等评估基准表示感谢。

许可证

本项目采用Apache 2.0许可证授权——详情请参阅LICENSE文件。

引用

如果您觉得这项工作有所帮助，请考虑引用以下内容：

@article{wang2024mixture,
  title={代理混合模型增强大语言模型能力},
  author={王俊林、王珏、Athiwaratkun Ben、张策、邹詹姆斯},
  journal={arXiv预印本 arXiv:2406.04692},
  year={2024}
}

MoA (Mixture-of-Agents) 快速上手指南

MoA 是一种创新的架构，通过分层协作多个开源大语言模型（LLM），显著提升回答质量。实测显示，仅使用开源模型，MoA 在 AlpacaEval 2.0 上的得分可达 65.1%，超越 GPT-4 Omni。

环境准备

• 系统要求：支持 Python 3.8+ 的操作系统（Linux/macOS/Windows）。
• 前置依赖：
  • Python 包管理工具 pip。
  • Together AI API Key：MoA 默认依托 Together AI 平台调用多种开源模型。请访问 Together AI 官网 注册并获取密钥。

安装步骤

1. 安装 Together Python 库 在项目目录下执行以下命令安装核心依赖：

   pip install together
   

   (注：如需运行交互式演示或评估脚本，请额外执行 pip install -r requirements.txt)

2. 配置 API 密钥 将获取到的密钥导出为环境变量（根据终端类型选择对应命令）：

   • Linux / macOS:

     export TOGETHER_API_KEY=your_api_key_here
     

   • Windows (PowerShell):

     $env:TOGETHER_API_KEY="your_api_key_here"
     

   • Windows (CMD):

     set TOGETHER_API_KEY=your_api_key_here
     

基本使用

MoA 的核心逻辑非常简洁，官方提供了仅需约 50 行代码的示例 moa.py，展示了如何构建一个包含 2 层架构（4 个模型生成回答，1 个模型汇总）的系统。

1. 确保已下载源码 确认当前目录包含 moa.py 文件。

2. 运行示例 直接执行以下命令启动 MoA：

   python moa.py
   

程序将自动调用配置的参考模型生成回答，并由聚合模型输出最终结果。

---

进阶提示：如需体验多层级（3 层及以上）架构或交互式命令行对话，可分别运行 python advanced-moa.py 或 python bot.py。