OpenAgents：面向真实场景的语言智能体开放平台

English • 中文 • 日本語 • 한국어

当前的语言智能体框架旨在促进概念验证型语言智能体的构建，却忽视了非专业用户对智能体的访问需求，也较少关注应用层面的设计。为此，我们打造了 OpenAgents——一个用于在日常生活中使用和部署语言智能体的开放平台。

目前，我们在 OpenAgents 中已实现了三个智能体，并通过 demo 免费向公众开放！

1. 数据智能体：支持 Python、SQL 及各类数据工具进行数据分析；
2. 插件智能体：集成 200 多种常用工具；
3. 网页智能体：可自主完成网页浏览任务。

OpenAgents 不仅能分析数据、调用插件、控制浏览器，媲美 ChatGPT Plus 的功能，更以开源代码为基础，具备以下优势：

1. 部署简便
2. 全栈支持
3. 聊天式 Web 界面
4. 智能体方法库
5. …

OpenAgents 使普通用户能够通过专为快速响应和常见问题优化的 Web 界面与智能体功能互动；同时为开发者和研究人员提供本地部署的无缝体验，从而为创新语言智能体的研发奠定基础，并推动其在真实场景中的评估与应用。

我们深入探讨了当前面临的挑战与广阔机遇，期望为未来真实场景中语言智能体的研究与发展奠定坚实基础。

我们欢迎所有人的贡献。在开始之前，请花点时间阅读我们的 CONTRIBUTING.md 指南，了解关于提交问题和拉取请求的相关规范。这将有助于确保您的贡献过程顺畅，并符合项目的标准。

🔫 故障排除

如果您在使用我们的 在线演示 或本地部署时遇到任何问题，欢迎加入我们的 Discord 寻求帮助。此外，如果在使用特定功能或代码时遇到困难，也可以创建 issue。

🔥 最新消息

• [2023年10月26日] 我们已迎来第3,000位用户！🚀 衷心感谢所有用户和贡献者！🙏 由于服务器流量超出预期，可能会出现短暂延迟，敬请谅解。我们将竭诚为您提供帮助！
• [2023年10月18日] 请试用 我们的 Lemur，这是一款最先进的开源语言智能体基础模型，在15项智能体任务上表现媲美 ChatGPT！
• [2023年10月17日] 您可以在此处查看 OpenAgents 论文 链接！
• [2023年10月13日] 我们已发布 OpenAgents 平台代码，涵盖全部三个智能体以及服务器端和前端！欢迎在本地搭建环境，尽情体验 OpenAgents！
• [2023年8月17日] 我们的平台正式突破500位用户大关！🚀
• [2023年8月8日] 我们已上线 OpenAgents 演示，包含数据、插件和网页智能体！请参阅 教程 和 应用场景！

🥑 OpenAgents

我们构建了三个具有聊天式 Web 界面的真实场景智能体作为示范（详见 OpenAgents 演示）。以下是 OpenAgents 平台的简要概述。更多关于概念与设计的详细信息，请参阅我们的 文档。

数据智能体

数据智能体 是一套全面的数据操作工具集，旨在高效处理各类数据任务。它具备以下能力：

• 🔍 搜索：快速定位所需数据。
• 🛠️ 处理：简化数据获取与预处理流程。
• 🔄 操作：根据需求灵活修改数据。
• 📊 可视化：以清晰直观的方式呈现数据。

凭借强大的代码编写与执行能力，数据智能体能够轻松应对各种数据相关任务。您可以通过多种 应用场景 探索它的潜力。

点击查看更多应用场景截图

插件智能体

插件智能体 可无缝集成200多个第三方插件，这些插件经过精心挑选，旨在丰富您日常生活的方方面面。借助这些插件，该智能体能够帮助您更高效地完成各种任务和活动。

🔌 部分插件示例：

• 🛍️ 购物: Klarna Shopping
• ☁️ 天气: XWeather
• 🔬 科学探索: Wolfram Alpha

多插件协同使用

发挥协同效应！插件智能体支持同时使用多个插件。计划一次旅行？您可以无缝整合 Klook、货币转换器和 WeatherViz 等功能。

自动插件选择

通过我们的 自动插件选择 功能，简化您的选择过程。智能体将根据您的需求，智能地搜索并推荐最适合的插件。

深入了解更多 使用场景，看看插件智能体的实际应用效果。

点击查看更多使用场景截图

网页智能体

网页智能体 利用 Chrome 扩展程序的强大功能，自动浏览和探索各类网站。该智能体能够简化您的网页浏览体验，让您更轻松地找到相关信息、访问所需资源等。

网页智能体可以实现的功能示例：

• 📍 Google 地图导航: 想规划一次行程吗？只需告知网页智能体您的出发地和目的地，它便会为您在 Google 地图上查找最佳路线。
• 🐦 Twitter 发布: 您想与网页智能体互动，并在 Twitter 上分享一些内容吗？只需告知内容，网页智能体便会帮您轻松发布推文。
• 📝 Google 表单填写: 需要报名参加某个活动或赛事吗？只需提供 Google 表单链接及所需信息，网页智能体便会自动为您填写表单。

在这些 使用场景 中，您可以全面了解网页智能体的强大功能。

点击查看更多使用场景截图

💻 本地部署

我们已开源 OpenAgents 平台代码，欢迎各位在本地自行部署！

以下是 OpenAgents 的简要系统架构设计：

从源码部署

请查看以下文件夹及 README 文件，以完成本地部署：

1. 后端：用于托管我们三个智能体的 Flask 后端。
2. 前端：包含前端 UI 和 WeBot Chrome 扩展程序。

p.s.: 为了提高代码可读性，我们对部分参数名称进行了重命名。如果您是在 2023 年 10 月 26 日之前拉取的代码，请注意，若要获取最新代码，由于密钥名称发生变化，之前的本地聊天记录将会丢失。

使用 Docker

请按照以下步骤，通过 docker-compose 部署 OpenAgents 平台。

注: 目前 Docker 版本仍在开发中，可能存在部分功能无法正常运行或响应较慢的情况。如有任何问题，欢迎随时提交 Issue。若您需要一个更为稳定的版本，建议您仍从源码进行部署。

1. 如果您希望使用 Kaggle 数据集，需在 Dockerfile 中将以下信息修改为您的正确信息：

ENV KAGGLE_USER="" \
    KAGGLE_KEY="" 

2. 若您不在本地运行，还需在 前端/Dockerfile 中将后端服务的可访问 IP 修改为：

ENV NEXT_PUBLIC_BACKEND_ENDPOINT http://x.x.x.x:8000

3. 在项目根目录下执行 docker compose build 命令。
4. 如果您使用 OpenAI 的非官方服务，例如 FastChat，则需在 docker-compose.yml 中修改 OPENAI_API_BASE；否则只需在该文件中填入您的 OPENAI_API_KEY 即可。
5. 完成上述步骤后，即可运行 docker compose up -d 启动所有服务。

注意事项：

1. 如需使用 GPU，您需要安装 Nvidia Container Toolkit，并取消注释 docker-compose.yml 中的第 56 至 62 行。
2. 使用“自动插件”功能时，会从 Hugging Face 下载权重文件。在某些地区可能会出现连接超时的问题，请您自行解决网络问题。

📜 OpenAgents 扩展教程

代码结构

在深入探讨如何扩展 OpenAgents 之前，让我们先快速浏览一下代码结构，以便更好地理解。 OpenAgents 的代码结构如下：

├── backend  # 后端代码
│   ├── README.md  # 后端设置说明文档
│   ├── api  # RESTful API，供前端调用
│   ├── app.py  # 主 Flask 应用程序
│   ├── display_streaming.py  # 渲染流式响应
│   ├── kernel_publisher.py  # 用于代码执行的队列
│   ├── main.py  # 后端主入口
│   ├── memory.py  # 后端的内存（存储）
│   ├── schemas.py  # 常量定义
│   ├── setup_script.sh  # 后端的一键安装脚本
│   ├── static  # 静态文件，例如缓存和图表
│   └── utils  # 工具函数
├── frontend  # 前端代码
│   ├── README.md  # 前端设置说明文档
│   ├── components  # React 组件
│   ├── hooks  # 自定义 React 钩子
│   ├── icons  # 图标资源
│   ├── next-env.d.ts  # Next.js 环境变量的 TypeScript 声明文件
│   ├── next-i18next.config.js  # 国际化配置
│   ├── next.config.js  # Next.js 配置
│   ├── package-lock.json  # npm 生成的精确依赖树描述文件
│   ├── package.json  # 描述依赖关系的清单文件
│   ├── pages  # Next.js 页面
│   ├── postcss.config.js  # PostCSS 配置
│   ├── prettier.config.js  # Prettier 配置
│   ├── public  # 静态资源
│   ├── styles  # 全局样式
│   ├── tailwind.config.js  # Tailwind CSS 配置
│   ├── tsconfig.json  # TypeScript 配置
│   ├── types  # 类型声明
│   ├── utils  # 工具函数或辅助功能
│   ├── vitest.config.ts  # ViTest 配置
│   └── webot_extension.zip  # Web Agent 的 Chrome 扩展程序
└── real_agents  # 语言代理
    ├── adapters  # 三个代理共用的适配组件，用于与后端对接
    ├── data_agent  # 数据代理实现
    ├── plugins_agent  # 插件代理实现
    └── web_agent  # 网络代理实现

如图所示，backend/ 和 frontend/ 是自包含且可直接部署的（详见 此处）。 但这并不意味着它们不能被修改。 相反，你可以按照传统的 客户端-服务器 架构，根据需要扩展后端和前端。 对于 real_agents/，我们设计为“一个代理对应一个文件夹”，这样便于扩展新的代理。 值得注意的是，我们将其命名为“real agents”，因为这里不仅包含了概念上的语言代理部分，还填补了语言代理与后端之间的衔接空白。 例如，adapters/ 包含了共享的适配器组件，如流解析、数据模型、内存、回调等。 感兴趣的读者可以参考我们的 论文，了解相关概念和实现设计。 同时，我们也感谢 LangChain，因为我们基于他们的代码构建了 real agents。

扩展一个新的代理

如果你想在我们提供的三个代理之外构建一个新的代理，可以按照以下步骤操作：

• 参考 real_agents/ 文件夹中已有代理的实现方式，为你的新代理创建一个新文件夹。
• 在新文件夹中实现代理逻辑。必要时可以使用 adapters/ 文件夹下的组件。
• 在 backend/api/ 文件夹下添加一个 chat_<new_agent>.py 文件，用于定义新代理的聊天 API，该 API 将由前端调用。
• 如果需要，在 backend/schemas.py 中注册新的常量。
• 在 frontend/types/agent.ts 中添加一个新的 OpenAgentID，并在 frontend/utils/app/api.ts 和 frontend/utils/app/const.ts 中添加相应的 API。
• 必要时，在 frontend/components/Chat/Chat.tsx 和 frontend/components/Chat/ChatMessage.tsx 中实现代理的用户界面。
• 运行本地开发脚本并测试你的新代理。

注意，如果涉及新的数据类型（即超出文本、图像、表格和 JSON 的范围），你可能需要在 backend/display_streaming.py 中实现其解析逻辑，并添加新的数据模型。

扩展一个新的 LLM

如果 LLM 已经托管并且可以通过 API 调用，那么将其作为代理的核心模型会更加简单。 只需在 backend/api/language_model.py 中注册你的新模型即可。可以参考 lemur-chat 作为模板。

如果 LLM 尚未托管，我们提供了一个关于如何部署新的 LLM 并将其暴露为 API 的教程 此处（LLM 托管待完成）。

扩展一个新的工具

如果你想在 Plugins Agent 中扩展一个新的工具，可以按照以下步骤操作：

• 参照 real_agents/plugins_agent/plugins/ 中已有的插件，为你的工具创建一个新文件夹。
• 在新文件夹中实现工具逻辑。请注意，ai-plugin.json 和 openapi.yaml 是工具被识别所必需的文件（这些文件可以由 LLM 自动生成，无需手动编写）。而 paths/ 则用于实际的工具 API 调用。
• 在 real_agents/plugins_agent/plugins/plugin_names.py 中注册新工具的名称。

👏 贡献

得益于开源社区的努力，例如 LangChain、ChatBot UI、Taxy.ai 浏览器扩展等，我们能够更加便捷高效地构建我们的界面原型。

我们欢迎各种贡献和建议，共同推动项目不断进步！遵循以下步骤将受到热烈欢迎：

• 步骤1： 如果你想添加任何新功能、改进现有功能，或者在使用过程中遇到问题，请提交一个 issue。我们非常感谢你遵循 issue 模板。所有 issue 都会在那里进行讨论和分配。
• 步骤2： 一旦某个 issue 被分配给你，你可以通过创建一个 Pull Request 来做出贡献，同时请遵循 PR 模板。你也可以认领任何开放的 issue。让我们一起让 OpenAgents 更加完善！
• 步骤3： PR 经过审查和讨论后，将会被合并或进一步迭代。感谢你的贡献！

在开始贡献之前，我们强烈建议你先查看 此处 的贡献指南。

📖 文档

请访问 此处 查看完整的文档，我们将持续更新，以跟上演示变化和代码发布节奏。

🧙‍参与者

技术负责人

联合主要贡献者

主要贡献者

重要贡献者

致谢（非代码方面）

衷心感谢 Ziyi Huang、Roxy Rong、Haotian Li、Xingbo Wang、Jansen Wong 和 Chen Henry Wu 对 OpenAgents 的宝贵贡献。他们的专业知识和深刻洞见对项目的成功实施起到了至关重要的作用！

开源贡献者

感谢所有贡献者！

引用

如果您觉得我们的工作有所帮助，请引用我们：

@misc{OpenAgents,
      title={OpenAgents: An Open Platform for Language Agents in the Wild}, 
      author={Tianbao Xie and Fan Zhou and Zhoujun Cheng and Peng Shi and Luoxuan Weng and Yitao Liu and Toh Jing Hua and Junning Zhao and Qian Liu and Che Liu and Leo Z. Liu and Yiheng Xu and Hongjin Su and Dongchan Shin and Caiming Xiong and Tao Yu},
      year={2023},
      eprint={2310.10634},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

致谢

我们谨向 Google Research、Amazon AWS 和 Salesforce Research 表示感谢，感谢他们为这项开源项目提供的研究资助资金！

⭐️ 星标历史

为 OpenAgents 点一颗⭐️，让它更加闪耀，惠及更多人。

OpenAgents 快速上手指南

OpenAgents 是一个开源平台，旨在让语言智能体（Language Agents）在真实场景中落地。它提供了三种核心智能体：数据智能体（数据分析）、插件智能体（200+ 工具调用）和 网页智能体（自主浏览）。本指南将帮助你快速在本地部署并运行该平台。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 WSL2)
• Python: 3.8 或更高版本
• Node.js: 16.x 或更高版本 (用于前端)
• Docker & Docker Compose: (可选，如果你选择容器化部署)
• API Key: 需要有效的 OPENAI_API_KEY (或兼容的 LLM API 地址)
• Kaggle Account: (可选，仅当需要使用 Kaggle 数据集时)

安装步骤

你可以选择 源码部署（推荐，功能最稳定）或 Docker 部署。

方案一：源码部署（推荐）

1. 克隆项目

git clone https://github.com/xlang-ai/OpenAgents.git
cd OpenAgents

2. 配置后端 (Backend)

进入后端目录并安装依赖：

cd backend
# 创建虚拟环境 (推荐)
python -m venv venv
source venv/bin/activate  # Windows 使用: venv\Scripts\activate

# 安装依赖
pip install -r requirements.txt

# 配置环境变量
# 复制示例文件并根据需要修改 (填入 OPENAI_API_KEY 等)
cp .env.example .env

注意：编辑 .env 文件，确保填入正确的 OPENAI_API_KEY。如果使用非 OpenAI 官方服务（如 FastChat），需修改 OPENAI_API_BASE。

3. 配置前端 (Frontend)

打开新终端，进入前端目录：

cd frontend
# 安装依赖
npm install

# 配置后端地址
# 编辑 .env.local 或相应配置文件，确保 NEXT_PUBLIC_BACKEND_ENDPOINT 指向后端地址 (默认为 http://localhost:8000)

4. 启动服务

• 启动后端 (在 backend 目录):

  python main.py
  # 或者使用 setup_script.sh (如果可用)
  # bash setup_script.sh
  

• 启动前端 (在 frontend 目录):

  npm run dev
  

方案二：Docker 部署

如果你希望快速体验，可以使用 Docker Compose。

1. 配置环境变量: 编辑根目录下的 docker-compose.yml 或 Dockerfile：

   • 若需使用 Kaggle 数据集，请在 Dockerfile 第 12 行附近填入 KAGGLE_USER 和 KAGGLE_KEY。
   • 若非本地运行，请在 frontend/Dockerfile 第 15 行修改 NEXT_PUBLIC_BACKEND_ENDPOINT 为实际 IP。
   • 在 docker-compose.yml 第 36 行填入 OPENAI_API_KEY (或修改 OPENAI_API_BASE)。

2. 构建并启动:

   # 构建镜像
   docker compose build
   
   # 启动服务 (如需使用 GPU，请先安装 Nvidia Container Toolkit 并取消注释 docker-compose.yml 56-62 行)
   docker compose up -d
   

基本使用

部署完成后，即可通过浏览器访问智能体界面。

1. 访问界面: 打开浏览器访问前端地址，通常为：

   http://localhost:3000
   

   (如果是 Docker 部署且未修改端口，也可能是 http://localhost:80 或你在 docker-compose 中指定的端口)

2. 选择智能体: 在 Web UI 中选择以下三种智能体之一进行交互：

   • Data Agent (数据智能体):

     • 功能: 自动编写并执行 Python/SQL 代码进行数据分析、处理和可视化。
     • 示例指令: "帮我分析上传的 CSV 文件，计算销售额的平均值并画出趋势图。"

   • Plugins Agent (插件智能体):

     • 功能: 调用 200+ 第三方插件（如天气、购物、科学计算）。支持自动插件选择和组合使用。
     • 示例指令: "查询北京明天的天气，并帮我查找去上海的机票。"

   • Web Agent (网页智能体):

     • 功能: 通过 Chrome 扩展自主浏览网页、操作表单、导航地图等。
     • 示例指令: "打开 Google Maps，规划从天安门到颐和园的路线。" 或 "帮我在 Twitter 上发布一条关于 OpenAgents 的推文。"

3. 开始对话: 在聊天框输入自然语言指令，系统将自动调度相应的智能体完成任务并返回结果。