AutoChain

大型语言模型（LLMs）在各类文本生成任务中取得了巨大成功，使开发者能够基于自然语言表达的目标构建生成式智能体。

然而，大多数生成式智能体需要针对特定用途进行大量定制，而使用现有工具和框架来支持不同的应用场景有时会显得力不从心。因此，构建自定义的生成式智能体仍然极具挑战性。

此外，对这类生成式智能体的评估通常依赖于人工尝试不同场景，这一过程既繁琐又重复，成本高昂。

AutoChain 受 LangChain 和 AutoGPT 的启发，旨在通过提供一个轻量级且可扩展的框架来解决上述两个问题：开发者可以利用 LLM 和自定义工具构建自己的智能体，并通过模拟对话自动评估不同的用户场景。熟悉 LangChain 的用户会发现 AutoChain 非常易于上手，因为两者共享相似但更为简单的概念。

我们的目标是通过简化智能体的定制与评估流程，实现生成式智能体的快速迭代。

如有任何疑问，请随时联系 Yi Lu yi.lu@forethought.ai。

功能特性

• 🚀 轻量级且可扩展的生成式智能体流水线。
• 🔗 支持使用不同自定义工具的智能体，并兼容 OpenAI 的 函数调用 功能。
• 💾 简单的内存跟踪机制，用于记录对话历史和工具输出。
• 🤖 自动化多轮对话评估，通过模拟对话进行测试。

安装与设置

快速安装

pip install autochain

从源码安装

克隆本仓库后，执行以下命令：

cd autochain
pyenv virtualenv 3.10.11 venv
pyenv local venv

pip install .

设置 PYTHONPATH 和 OPENAI_API_KEY：

export OPENAI_API_KEY=
export PYTHONPATH=`pwd`

运行你的第一个交互式对话：

python autochain/workflows_evaluation/conversational_agent_eval/generate_ads_test.py -i

AutoChain 如何简化智能体构建？

相比现有框架，AutoChain 致力于提供一个轻量级的框架，从以下几个方面简化智能体的构建流程：

1. 便捷的提示词更新
   提示词的设计与迭代是构建生成式智能体的关键环节。AutoChain 让更新提示词变得非常简单，并能直观地查看提示词及其输出结果。只需添加 -v 标志，即可在控制台中输出详细的提示词及结果信息。

2. 最多两层抽象
   为了支持快速迭代，AutoChain 选择去除其他框架中的大部分抽象层。

3. 自动化多轮评估
   评估是构建生成式智能体过程中最为棘手且缺乏明确标准的环节。往往为优化某一场景的表现而对智能体进行调整，却可能导致其他场景性能下降。AutoChain 提供了一个测试框架，能够自动评估智能体在不同用户场景下的表现。

使用示例

如果你有使用 LangChain 的经验，那么你已经掌握了 AutoChain 约 80% 的接口。

AutoChain 致力于以尽可能少的抽象层次，让自定义生成式智能体的构建过程尽可能简单明了。最基础的示例使用默认链和 ConversationalAgent：

from autochain.chain.chain import Chain
from autochain.memory.buffer_memory import BufferMemory
from autochain.models.chat_openai import ChatOpenAI
from autochain.agent.conversational_agent.conversational_agent import ConversationalAgent

llm = ChatOpenAI(temperature=0)
memory = BufferMemory()
agent = ConversationalAgent.from_llm_and_tools(llm=llm)
chain = Chain(agent=agent, memory=memory)

print(chain.run("给我写一首关于人工智能的诗")['message'])

与 LangChain 类似，你也可以向智能体添加工具列表：

tools = [
    Tool(
        name="获取天气",
        func=lambda *args, **kwargs: "今天是个晴天",
        description="""此函数返回天气信息"""
    )
]

memory = BufferMemory()
agent = ConversationalAgent.from_llm_and_tools(llm=llm, tools=tools)
chain = Chain(agent=agent, memory=memory)
print(chain.run("今天天气怎么样？")['message'])

AutoChain 还新增了对 OpenAI 模型中 函数调用 功能的支持。在后台，它会将函数规范转换为 OpenAI 格式，无需显式指令，因此你可以继续沿用熟悉的 Tool 接口。

llm = ChatOpenAI(temperature=0)
agent = OpenAIFunctionsAgent.from_llm_and_tools(llm=llm, tools=tools)

更多示例请参见 autochain/examples 目录下的示例文档，以及可交互运行的工作流评估测试案例。

欲了解更详细的信息，请阅读组件概览。

工作流评估

在 LangChain 或 AutoGPT 中，评估生成式智能体一直是一项极具挑战性的任务。智能体的行为具有非确定性，容易受到提示词或模型微小变化的影响。因此，很难准确判断对智能体的任何更新会对所有相关场景产生何种影响。

目前常用的评估方法是让智能体处理大量预设查询，并对生成的响应进行人工评估。然而，这种方法仅限于单轮对话，且过于笼统，无法针对具体任务进行评估，同时验证成本较高。

为便于智能体评估，AutoChain 引入了工作流评估框架。该框架通过生成式智能体与由 LLM 模拟的测试用户之间的对话来进行评估。这些测试用户包含了多种用户背景和期望的对话结果，从而能够轻松添加针对新用户场景的测试用例，并快速完成评估。该框架借助 LLM 来判断给定的多轮对话是否达到了预期效果。

更多关于我们评估策略的信息，请参阅。

如何运行工作流评估？

你可以选择以交互模式运行测试，也可以一次性运行完整的测试套件。autochain/workflows_evaluation/conversational_agent_eval/generate_ads_test.py 文件中包含了一些示例测试用例。

要运行测试文件中定义的所有案例：

python autochain/workflows_evaluation/conversational_agent_eval/generate_ads_test.py

若希望以交互模式运行测试，只需添加 -i 参数：

python autochain/workflows_evaluation/conversational_agent_eval/generate_ads_test.py -i

想了解更多关于 AutoChain 的工作原理吗？请参阅我们的组件概览。

AutoChain 快速上手指南

AutoChain 是一个轻量级且可扩展的生成式 Agent 框架，灵感来源于 LangChain 和 AutoGPT。它旨在简化基于大语言模型（LLM）的自定义 Agent 构建流程，并提供自动化的多轮对话评估功能，帮助开发者快速迭代和验证 Agent 表现。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL 推荐)
• Python 版本：推荐 Python 3.10+ (官方示例使用 3.10.11)
• 前置依赖：
  • pip 包管理工具
  • pyenv (可选，用于管理 Python 虚拟环境)
  • OpenAI API Key：必须拥有有效的 OpenAI API 密钥才能运行模型

安装步骤

您可以选择通过 PyPI 直接安装，或从源码安装以获取最新功能。

方式一：快速安装（推荐）

pip install autochain

方式二：从源码安装

如果您需要修改源码或体验最新特性，可以克隆仓库并安装：

git clone <repository_url>
cd autochain
pyenv virtualenv 3.10.11 venv
pyenv local venv

pip install .

配置环境变量

安装完成后，需设置 OpenAI API 密钥和 Python 路径：

export OPENAI_API_KEY=your_sk_key_here
export PYTHONPATH=`pwd`

注意：请将 your_sk_key_here 替换为您实际的 OpenAI API Key。

基本使用

AutoChain 的接口设计与 LangChain 高度相似但更加精简。以下是两个最基础的使用场景。

1. 运行最简单的对话 Agent

创建一个基础的对话链，让 Agent 根据指令生成内容：

from autochain.chain.chain import Chain
from autochain.memory.buffer_memory import BufferMemory
from autochain.models.chat_openai import ChatOpenAI
from autochain.agent.conversational_agent.conversational_agent import ConversationalAgent

llm = ChatOpenAI(temperature=0)
memory = BufferMemory()
agent = ConversationalAgent.from_llm_and_tools(llm=llm)
chain = Chain(agent=agent, memory=memory)

print(chain.run("Write me a poem about AI")['message'])

2. 添加自定义工具 (Tools)

您可以轻松地为 Agent 绑定自定义工具，使其能够执行特定任务（如查询天气）：

from autochain.tools.base import Tool

tools = [
    Tool(
        name="Get weather",
        func=lambda *args, **kwargs: "Today is a sunny day",
        description="""This function returns the weather information"""
    )
]

memory = BufferMemory()
# 将 tools 列表传入 agent
agent = ConversationalAgent.from_llm_and_tools(llm=llm, tools=tools)
chain = Chain(agent=agent, memory=memory)

print(chain.run("What is the weather today")['message'])

3. 支持 OpenAI Function Calling

AutoChain 原生支持 OpenAI 的 Function Calling 功能。您无需更改工具定义格式，框架会自动将其转换为 OpenAI 所需的格式：

from autochain.agent.openai_functions_agent.openai_functions_agent import OpenAIFunctionsAgent

llm = ChatOpenAI(temperature=0)
agent = OpenAIFunctionsAgent.from_llm_and_tools(llm=llm, tools=tools)

4. 交互式运行测试

安装完成后，您可以立即运行官方提供的示例脚本，体验交互式对话或工作流评估：

python autochain/workflows_evaluation/conversational_agent_eval/generate_ads_test.py -i

添加 -i 参数可进入交互模式，方便调试和观察 Prompt 输出（也可使用 -v 参数查看详细日志）。