AgentChain 利用大型语言模型（LLMs）来规划并协调多个智能体或大型模型，以完成复杂的任务。AgentChain 是完全多模态的：它接受文本、图像、音频、表格数据作为输入和输出。

• 🧠 LLMs 作为大脑：AgentChain 利用最先进的大型语言模型，使用户能够基于自然语言输入进行规划和决策。这一特性使 AgentChain 成为一个适用于广泛应用场景的多功能工具，例如根据自然语言指令执行任务、理解数据以及生成数据。
• 🌟 完全多模态输入输出：AgentChain 是完全多模态的，可以接受来自不同模态的输入和输出，如文本、图像、音频或视频（即将推出）。这一特性使 AgentChain 成为一个适用于计算机视觉、语音识别以及跨模态转换等广泛领域的多功能工具。
• 🤝 协调多种智能体：AgentChain 可以协调多个智能体来完成复杂任务。通过工具的可组合性和层次化结构，AgentChain 能够智能地选择在特定任务中使用哪些工具以及何时使用。这一特性使 AgentChain 成为需要复杂工具组合的项目的强大工具。
• 🔧 针对临时需求可定制：AgentChain 可以根据具体项目需求进行定制，使其成为适用于各种应用场景的多功能工具。通过添加新智能体（以及即将推出的分布式架构），可以满足特定需求并增强功能。

开始使用

1. 安装依赖：pip install -r requirements.txt
2. 下载模型检查点：bash download.sh
3. 根据所需的智能体配置，确保正确设置环境变量

OPENAI_API_KEY={YOUR_OPENAI_API_KEY} # 必需，因为 LLM 在本应用中处于核心地位
SERPAPI_API_KEY={YOUR_SERPAPI_API_KEY}  # 如果需要智能体具备网络搜索能力，请务必提供 Serp API 密钥

# 如果希望智能体能够拨打电话，则需要以下环境变量
AWS_ACCESS_KEY_ID={YOUR_AWS_ACCESS_KEY_ID}
AWS_SECRET_ACCESS_KEY={YOUR_AWS_SECRET_ACCESS_KEY}
TWILIO_ACCOUNT_SID={YOUR_TWILIO_ACCOUNT_SID}
TWILIO_AUTH_TOKEN={YOUR_TWILIO_AUTH_TOKEN}
AWS_S3_BUCKET_NAME={YOUR_AWS_S3_BUCKET_NAME} # 请确保创建具有公共访问权限的 S3 存储桶

4. 安装 ffmpeg 库（Whisper 所需）：sudo apt update && sudo apt install ffmpeg（Ubuntu 命令）
5. 运行主脚本：python main.py

系统要求

截至 此提交，运行 AgentChain 至少需要 29 GB 的 GPU 内存。不过，请务必在 main.py 中正确分配 GPU 设备。 您也可以注释掉部分工具和模型以减少 GPU 内存占用（但会降低功能）。

演示

AgentChain 演示 1：将音频转录并以图像形式可视化结果。一段 AgentChain 界面视频展示了上传的音频以及生成的图像，该图像是对音频内容的呈现。

https://user-images.githubusercontent.com/4182659/225347932-87298e6c-58d0-4a29-892f-1398b1406c15.mp4

---

AgentChain 演示 2：针对图像提问。一段 AgentChain 界面视频展示了一张图片及围绕该图片提出的问题，下方显示了回答结果。

https://user-images.githubusercontent.com/4182659/225348027-ed30f9d5-d05b-405a-9651-c08f4976cf83.mp4

---

AgentChain 演示 3：对表格数据进行问答，并通过电话报告结果。一段 AgentChain 界面视频展示了一个数据表，用户提出了一个问题并得到了答案，随后使用 CommsAgent 拨打了电话。

https://user-images.githubusercontent.com/4182659/225348128-6e9bdb3b-78ed-49e8-80f5-fd7c9ad66f28.mp4

AgentChain 中的智能体

本文档的内容主要展示了我们对 AgentChain 的愿景以及我们希望实现的目标。 请参阅“演示”部分，了解我们目前所取得的成果。

AgentChain 是一个旨在解决通用问题的复杂系统。它可以协调多个智能体来完成子问题。这些智能体被组织成不同的组别，每组都有其独特的功能和能力。以下是 AgentChain 中的一些智能体组别：

搜索智能体

SearchAgents 组负责从各种来源收集信息，包括搜索引擎、在线数据库和 API。该组中的智能体擅长获取最新的世界知识信息。该组的一些例子包括 Google Search API、Bing API、Wikipedia API 和 Serp。

通信智能体

CommsAgents 组负责处理不同主体之间的通信，例如发送电子邮件、拨打电话或通过各种平台进行消息传递。该组中的智能体可以与广泛的平台集成。该组的一些例子包括 TwilioCaller、TwilioEmailWriter、TwilioMessenger 和 Slack。

工具智能体

ToolsAgents 组负责执行各种计算任务，例如进行计算、运行脚本或执行命令。该组中的智能体可以使用多种编程语言和工具。该组的一些例子包括 Math、Python REPL 和 Terminal。

多模态智能体

MultiModalAgents 组负责处理来自不同模态的输入和输出，例如文本、图像、音频或视频（即将推出）。该组中的智能体能够处理和理解不同模态的信息。该组的一些例子包括 OpenAI Whisper、Blip2、Coqui 和 StableDiffusion。

图像智能体

ImageAgents 组负责处理和操作图像，例如提升图像质量、目标检测或图像识别。该组中的智能体可以对图像执行复杂的操作。该组的一些例子包括 Upscaler、 ControlNet 和 YOLO。

数据库智能体

DBAgents 组负责向您的数据库中添加和检索数据，例如从数据库中获取指标或聚合信息。该组中的智能体与数据库交互，并利用您的数据库信息丰富其他智能体的功能。该组的一些例子包括 SQL、 MongoDB、 ElasticSearch、 Qrant 和 Notion。

潜在应用

示例 1：🏝️📸🌅 旅行公司 AgentChain 图像生成系统

作为一家正在推广全新异域目的地的旅行公司，拥有能够吸引潜在旅客注意力的高质量图片至关重要。然而，手动制作精美的图片既耗时又昂贵。因此，该旅行公司希望利用 AgentChain 自动化图像生成流程，并借助多种智能体创建精美视觉内容。

以下是 AgentChain 如何通过串联不同智能体来提供帮助：

1. 使用 SearchAgent（Google 搜索 API、维基百科 API、Serp）收集关于目的地的信息和灵感，例如最受欢迎的地标、当地美食以及该地的独特之处。
2. 使用 ImageAgent（Upscaler）通过最先进的算法提升图像分辨率并去除噪点，从而增强图像质量，使其更具吸引力。
3. 使用 MultiModalAgent（Blip2）为图像生成描述性文字，提供更多上下文信息，使图像更具意义。
4. 使用 CommsAgent（TwilioEmailWriter）将生成的图片通过电子邮件或其他消息平台发送给目标受众，以惊艳的视觉效果吸引潜在旅客，推广新目的地。

示例 2：💼💹📈 投资公司 AgentChain 财务分析报告

作为一家管理大量股票投资组合的投资公司，及时掌握最新市场趋势并分析各只股票的表现，以便做出明智的投资决策，至关重要。然而，从多个来源分析数据既耗时又容易出错。因此，该投资公司希望利用 AgentChain 自动化分析流程，并借助各类智能体生成报告。

以下是 AgentChain 如何通过串联不同智能体来提供帮助：

1. 使用 ToolsAgent（Python REPL、TableQA）分析来自不同来源的数据（如 CSV 文件、股市 API），并计算与财务指标相关的数据，例如收益、股息和市盈率。
2. 使用 SearchAgent（Bing API）收集与投资组合中股票相关的信息和新闻，例如近期财报、行业趋势以及分析师评级。
3. 使用 NLPAgent（GPT）对收集到的新闻和信息进行摘要整理，并提炼要点，以洞察市场情绪和潜在趋势。
4. 使用 CommsAgent（TwilioEmailWriter）将分析总结报告发送给相关利益方，帮助他们做出更明智的投资决策。

示例 3：🛍️💬💻 电商网站 AgentChain 客服聊天机器人

作为一家致力于提供优质客户服务的电商平台，拥有一款能够及时高效地处理客户咨询和支持请求的聊天机器人至关重要。然而，构建能够理解并回应复杂客户需求的聊天机器人颇具挑战性。因此，该电商网站希望利用 AgentChain 自动化聊天机器人流程，并借助各类智能体提供卓越的客户服务。

以下是 AgentChain 如何通过串联不同智能体来提供帮助：

1. 使用 MultiModalAgent（Blip2、Whisper）处理来自多种模态的输入（文本、图像、音频），让客户能够以更自然的方式提出问题和请求。
2. 使用 SearchAgent（Google 搜索 API、维基百科 API）或 DBAgent 提供产品或服务的相关信息，无论是内部还是公开资源，例如规格、价格和库存情况。
3. 使用 CommsAgent（TwilioMessenger）通过消息平台与客户沟通，实时提供支持并解答疑问。
4. 使用 ToolsAgent（Math）计算折扣、税费或运费等费用，帮助客户做出更明智的购物决策。
5. 使用 MultiModalAgent（Coqui）生成自然流畅的回复，进行更复杂的对话交流，为客户提供个性化且富有吸引力的服务体验。

示例 4：🧑‍⚕️💊💤 AgentChain 个人健康助手

获得个人健康援助往往成本高昂且机会有限。拥有一位能够帮助个人管理健康和福祉的健康助手至关重要。然而，提供个性化的健康建议和提醒颇具挑战性，尤其是对于老年人而言。因此，AgentChain 致力于自动化健康助手流程，并借助各类智能体提供个性化支持。

以下是 AgentChain 如何通过串联不同智能体来提供帮助：

1. 使用 DBAgent 处理来自各类健康监测设备（如心率监测器、血压计、睡眠追踪器）的输入，向健康助手提供实时健康数据及警报。
2. 使用 SearchAgent（Google 搜索 API、维基百科 API）或其他医疗数据库，提供有关健康主题和药物的信息，例如副作用、剂量和药物相互作用。
3. 使用 NLPAgent（GPT）根据老年人的健康目标和偏好，生成个性化的饮食、运动和用药建议。
4. 使用 CommsAgent（TwilioCaller、TwilioMessenger）提供建议、设置提醒并发出警报，帮助用户保持健康目标的执行进度，从而提升生活质量并减少对紧急医疗服务的需求。

致谢

我们感谢以下开源项目的支持：

Hugging Face   LangChain   Stable Diffusion   ControlNet   InstructPix2Pix   CLIPSeg   BLIP   Microsoft  

AgentChain 快速上手指南

AgentChain 是一个利用大语言模型（LLM）进行规划，并编排多个智能体（Agents）以完成复杂任务的多模态框架。它支持文本、图像、音频和表格数据作为输入和输出。

环境准备

系统要求

• GPU 显存：至少需要 29 GB 显存才能运行完整功能（基于当前版本）。
  • 优化建议：如果显存不足，可以编辑 main.py 注释掉部分工具或模型以减少显存占用，但会相应减少可用功能。
• 操作系统：推荐 Linux (如 Ubuntu)，Windows 用户建议使用 WSL2。
• 依赖库：需要安装 ffmpeg 以支持音频处理（Whisper 模型）。

前置依赖

确保已安装 Python 3.8+ 和 Git。

安装步骤

1. 克隆项目并安装依赖

git clone https://github.com/jina-ai/agentchain.git
cd agentchain
pip install -r requirements.txt
# 国内开发者建议使用清华源加速安装：
# pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 下载模型检查点

执行官方提供的下载脚本：

bash download.sh

3. 安装 FFmpeg

AgentChain 依赖 ffmpeg 处理音频，请在终端执行以下命令安装：

# Ubuntu/Debian
sudo apt update && sudo apt install ffmpeg

# macOS (需先安装 Homebrew)
brew install ffmpeg

4. 配置环境变量

根据你需要使用的智能体功能，导出相应的 API Key。LLM 是核心组件，OPENAI_API_KEY 为必填项。

export OPENAI_API_KEY={YOUR_OPENAI_API_KEY}

# 如果需要联网搜索功能
export SERPAPI_API_KEY={YOUR_SERPAPI_API_KEY}

# 如果需要电话呼叫功能 (可选)
export AWS_ACCESS_KEY_ID={YOUR_AWS_ACCESS_KEY_ID}
export AWS_SECRET_ACCESS_KEY={YOUR_AWS_SECRET_ACCESS_KEY}
export TWILIO_ACCOUNT_SID={YOUR_TWILIO_ACCOUNT_SID}
export TWILIO_AUTH_TOKEN={YOUR_TWILIO_AUTH_TOKEN}
export AWS_S3_BUCKET_NAME={YOUR_AWS_S3_BUCKET_NAME}

注意：请确保已创建具有公共访问权限的 AWS S3 存储桶（如需使用电话功能）。

基本使用

运行主程序

配置完成后，直接运行主脚本即可启动 AgentChain：

python main.py

功能示例

启动后，AgentChain 将根据你的输入自动编排不同的智能体组（如搜索、通信、多模态处理等）来完成任务。支持的典型场景包括：

1. 多模态转换：上传音频文件，自动转录并生成代表音频内容的图像。
2. 视觉问答：上传图片并提出问题，系统将分析图片内容并回答。
3. 数据分析与报告：上传表格数据，系统进行问答分析，并通过电话或邮件报告结果。

自定义开发

你可以通过修改代码组合不同的智能体组来满足特定需求：

• SearchAgents: 调用 Google/Bing/Wikipedia 获取实时信息。
• CommsAgents: 集成 Twilio/Slack 进行邮件、电话或消息发送。
• MultiModalAgents: 使用 Whisper, Blip2, StableDiffusion 处理音视频和图像。
• ToolsAgents: 执行 Python 代码、数学计算或终端命令。
• DBAgents: 连接 SQL/MongoDB/Notion 进行数据读写。

通过调整 main.py 中的逻辑，你可以灵活构建适用于旅行推广、金融分析、电商客服或个人健康助手等场景的应用。