模拟交互、分析性能并为对话智能体获取可操作的洞察。测试、评估和优化您的智能体，以确保其在真实场景中的可靠部署。

IntellAgent 是一个先进的多智能体框架，能够彻底改变对话智能体的评估与优化方式。通过模拟数千种逼真且具有挑战性的交互场景，IntellAgent 可以对智能体进行压力测试，从而发现潜在的故障点。这些洞察将显著提升智能体的性能、可靠性和用户体验。

核心功能

• 🔬 生成数千种边缘场景：
  自动生成高度逼真的边缘场景，专为您的智能体量身定制。

• 🤖 模拟多样化的用户交互：
  在不同复杂度的场景中全面评估您的智能体。

• 📊 全面的性能评估：
  提供详细的分析报告，帮助您识别性能瓶颈、优先改进方向，并比较不同实验的结果。

• 💪 简单集成：
  轻松集成到您的对话智能体中。

工作原理

IntellAgent 框架分为三个步骤：

• 给定用户提示（以及可选的额外信息，如工具和数据库模式）：
  • 系统会将提示分解为策略图。
  • 根据真实对话分布中各策略的共现频率，采样出一部分策略子集。
  • 生成包含系统数据库在内的用户-聊天机器人交互场景，以覆盖所选策略子集。
• 使用用户代理模拟用户-聊天机器人交互过程。
• 对对话进行评价，并针对被测试的策略提供反馈。

若要更好地理解核心概念及 IntellAgent 系统的工作方式，请参阅系统概述指南。

🔍 演示

:fire: 快速入门

如需更详细和全面的指南，请参阅入门指南。

IntellAgent 需要 python >= 3.9。

第一步 - 下载并安装

git clone git@github.com:plurai-ai/intellagent.git
cd intellagent

您可以使用 Conda 或 pip 安装依赖项。

使用 pip：

pip install -r requirements.txt

第二步 - 设置您的 LLM API 密钥

编辑 config/llm_env.yml 文件，配置您的 LLM 参数（OpenAI/Azure/Vertex/Anthropic）：

openai:
  OPENAI_API_KEY: "your-api-key-here"

若要更改 IntellAgent 系统或聊天机器人的默认 LLM 提供商或模型，只需更新配置文件即可。例如，修改 config/config_education.yml 文件：

llm_intellagent:
    type: 'azure'

llm_chat:
    type: 'azure'

若要调整数据库中的样本数量，可在配置文件中修改 num_samples：

dataset:
    num_samples: 30

Token 使用

我们致力于最大限度地降低模拟器运行的总成本。

• 使用默认参数时，每个样本的预计成本约为 0.10 美元。
• 您可以通过修改配置文件中的 cost_limit 参数来控制费用。
• 我们正在研究利用用户数据的方法，这将显著降低每个样本的成本。

第三步 - 运行模拟器

如果您使用 Azure OpenAI 服务作为 llm_intellagent，请务必在运行模拟器前禁用默认的“越狱”过滤器。

对于不含数据库的快速简单环境，运行以下命令：

python run.py --output_path results/education --config_path ./config/config_education.yml 

对于包含数据库的复杂（较慢）环境，运行以下命令：

python run.py --output_path results/airline --config_path ./config/config_airline.yml 

故障排除

• 速率限制消息 → 减少 config_default 文件中的 num_workers 变量。
• 频繁超时错误 → 增加 config_default 文件中的 timeout 值。

探索自定义选项，以根据您的需求配置模拟环境；或者查看我们提供的示例，进一步了解其功能。

第四步 - 查看结果

要使用 Streamlit 可视化模拟结果，运行：

streamlit run simulator/visualization/Simulator_Visualizer.py

这将启动一个Streamlit 仪表板，展示您模拟结果的详细分析和可视化图表。

路线图

• Beta 版发布
• 集成对话智能体平台
  • LangGraph
  • CrewAI
  • AutoGen
• 支持从现有数据库生成事件
• 实现对外部对话智能体的 API 集成
• 为用户代理添加人格维度
• 利用模拟器诊断优化对话智能体性能（现已可通过高级版访问）
  • 系统提示优化
  • 工具优化
  • 图结构优化

加入我们的Discord 社区，共同塑造我们的路线图！

🚀 社区与贡献

我们非常欢迎您的贡献！如果您有意参与，请参阅我们的贡献指南，以获取详细信息。我们尤其期待收到新的示例和环境，以丰富项目内容。

如果您希望加入我们的旅程，请加入我们的Discord 社区，并订阅我们的新闻通讯。及时了解最新进展、开源发布以及推动可靠对话式 AI 发展的前沿工具。我们非常期待与您携手同行！

引用

如果您在研究中使用了我们的代码，请引用我们的论文：

@misc{2501.11067,
作者 = {Elad Levi 和 Ilan Kadar},
标题 = {IntellAgent：用于评估对话式 AI 系统的多智能体框架},
年份 = {2025},
预印本 = {arXiv:2501.11067},
}

🔍 开放式分析

我们收集基本的使用指标，以便更好地了解用户需求并改进我们的服务。作为一家秉持透明原则的初创公司，我们承诺将所收集的所有数据开源。Plurai 不会追踪任何可识别您或贵公司身份的信息。 您可以在代码中查看我们具体追踪的指标。

如果您不希望自己的使用情况被追踪，可以将 PLURAI_DO_NOT_TRACK 标志设置为 true 来禁用此功能。

✉️ 支持 / 联系我们

• 加入我们的社区，参与讨论、获取最新动态和公告：社区 Discord
• 联系我们：‫Plurai‬
• 如有 bug 报告或功能请求，请访问 GitHub Issues

IntellAgent 快速上手指南

IntellAgent 是一个先进的多智能体框架，旨在通过模拟数千种真实且具有挑战性的交互场景，帮助开发者发现对话智能体（Conversational Agents）的盲点，从而评估和优化其性能与可靠性。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python >= 3.9
• 依赖管理工具：推荐使用 pip 或 Conda
• LLM API Key：需要准备 OpenAI、Azure、Vertex 或 Anthropic 的 API 密钥

安装步骤

1. 克隆项目

首先，从 GitHub 克隆 IntellAgent 仓库并进入项目目录：

git clone git@github.com:plurai-ai/intellagent.git
cd intellagent

2. 安装依赖

使用 pip 安装所需的 Python 依赖包：

pip install -r requirements.txt

3. 配置 LLM 密钥

编辑 config/llm_env.yml 文件，填入您的 LLM API 密钥。以下以 OpenAI 为例：

openai:
  OPENAI_API_KEY: "your-api-key-here"

提示：如果您需要使用 Azure、Vertex 或 Anthropic，可以在该文件中配置相应的密钥，并在后续的配置文件中指定 type。

4. 调整配置（可选）

如需更改默认的 LLM 提供商、模型或生成的样本数量，可编辑对应的配置文件（例如 config/config_education.yml）：

# 修改 LLM 提供商 (例如改为 azure)
llm_intellagent:
    type: 'azure'

llm_chat:
    type: 'azure'

# 修改生成样本的数量
dataset:
    num_samples: 30

成本控制提示：默认参数下每个样本的成本约为 $0.10。您可以通过修改配置文件中的 cost_limit 参数来控制总花费。

基本使用

运行模拟器

根据您的测试场景复杂度，选择以下命令之一运行模拟器：

场景 A：简单环境（无数据库，速度快） 适用于教育类对话代理测试：

python run.py --output_path results/education --config_path ./config/config_education.yml 

场景 B：复杂环境（包含数据库，速度较慢） 适用于航空类等需要查询数据库的对话代理测试：

python run.py --output_path results/airline --config_path ./config/config_airline.yml 

注意：如果您使用的是 Azure OpenAI 服务作为 llm_intellagent，请在运行前确保已禁用 默认的 jailbreak 内容过滤器，否则可能导致模拟失败。

查看结果可视化

模拟完成后，可以使用 Streamlit 启动本地仪表盘，查看详细的分析图表和评估报告：

streamlit run simulator/visualization/Simulator_Visualizer.py

运行后，浏览器将自动打开一个界面，展示智能体在不同边缘案例下的表现、失败点分析及性能对比数据。