⛓️🛠️ ChainForge

一个用于对齐大语言模型提示进行实战测试的开源可视化环境。

ChainForge 是一个基于数据流的提示工程环境，用于分析和评估大语言模型的响应。它能够快速、简便地比较不同的提示、模型及响应质量，超越了与单个大语言模型进行临时性对话的方式。通过 ChainForge，您可以：

• 同时查询多个大语言模型，以快速有效地测试提示创意及其变体。
• 跨提示排列、跨模型以及跨模型设置比较响应质量，从而为您的应用场景选择最佳的提示和模型。
• 设置评估指标（评分函数），并立即可视化不同提示、提示参数、模型及模型设置下的结果。
• 利用 AI 流程化整个过程：借助内置的生成式 AI 功能创建合成表格和输入示例，或通过让模型为您提供初始代码来加速评估脚本的编写。

阅读文档以了解更多信息。 ChainForge 自带许多示例评估流程，帮助您了解其功能，其中包括从 OpenAI 评估基准中生成的 188 个示例流程。

ChainForge 基于 ReactFlow 和 Flask 构建。

如需用户精选的资源和学习材料，请查看 🌟Awesome ChainForge 仓库！

目录

• 👉 文档 📖
• 安装
• 示例实验
• 与他人共享
• 功能（更多详细信息请参阅 文档）
• 开发与引用方式

安装

您可以在本地安装 ChainForge，也可以在网页版上试用：https://chainforge.ai/play/。网页版的功能较为有限。而在本地安装的版本中，您可以从环境变量中自动加载 API 密钥，编写 Python 代码来评估大语言模型的响应，或查询通过 Ollama 托管的本地运行模型。

要在您的机器上安装 ChainForge，请确保已安装 Python 3.8 或更高版本，然后运行：

pip install chainforge

安装完成后，执行以下命令：

chainforge serve

在 Google Chrome、Firefox、Microsoft Edge 或 Brave 浏览器中打开 localhost:8000。

您可以通过点击右上角的设置图标来配置 API 密钥。如果您不想每次打开 ChainForge 时都手动设置这些密钥，我们强烈建议将您的 OpenAI、Anthropic、Google 等 API 密钥和/或 Amazon AWS 凭证保存到本地环境变量中。更多详情请参阅 安装指南。

使用 Docker 运行

您可以使用我们的 Dockerfile 在本地通过 Docker Desktop 运行 ChainForge：

• 构建 Dockerfile：

  docker build -t chainforge .
  

• 运行镜像：

  docker run -p 8000:8000 chainforge
  

现在您可以打开任意浏览器，并访问 http://127.0.0.1:8000。

支持的提供商

• OpenAI
• Anthropic
• Google Gemini
• DeepSeek
• HuggingFace（推理与端点）
• Together.ai
• Ollama API（本地托管模型）
• Microsoft Azure OpenAI 端点
• Aleph Alpha
• Amazon Bedrock 托管的按需推理服务，包括 Anthropic Claude 3
• …以及其他任何可通过 自定义提供商脚本 集成的提供商！

示例实验

我们准备了许多示例流程，帮助您了解 ChainForge 的强大功能。请点击右上角的“示例流程”按钮并选择一个。以下是一个基本的比较示例，展示了不同模型和提示参数 {game} 下的响应长度：

您还可以使用表格数据节点进行真值评估。例如，我们可以通过将每个大语言模型的回答与预期答案进行比较，来评估它们解答数学问题的能力：

只需导入一个数据集，将其连接到提示节点中的模板变量，然后点击运行即可。

跨模型和提示比较响应

通过交互式响应检查器，您可以跨模型和提示变量进行比较，该检查器包含格式化的表格和可导出的数据：

ChainForge 的核心优势在于其组合能力：它会对提示模板的输入进行笛卡尔积运算，这意味着您可以生成所有可能的输入值组合。这种方式非常高效，能够一次性发送数百个查询，从而比单次提示更稳健地验证模型的行为。

以下是开始比较不同提示模板的教程。

与他人共享

ChainForge 的网页版（https://chainforge.ai/play/）包含一个“分享”按钮。

只需点击“分享”即可生成您流程的唯一链接，并将其复制到剪贴板：

例如，这是我制作的一个尝试让大语言模型泄露秘密密钥的实验：https://chainforge.ai/play/?f=28puvwc788bog

注意 为防止滥用，您一次最多只能分享 10 个流程，且每个流程压缩后不得超过 5MB。 如果您分享超过 10 个流程，最早的链接将会失效，因此请务必始终将重要流程导出为 cforge 文件， 并仅使用“分享”功能临时传递数据。

有关特定节点功能的更多细节，请参阅 节点列表。

功能

ChainForge 的一个关键目标是促进提示和模型的比较与评估。总体而言，您可以：

• 跨提示及提示参数进行比较：找到能够最大化您的评估指标（例如最低代码错误率）的最佳提示组合。或者，查看更改提示模板中的参数如何影响响应质量。
• 跨模型进行比较：比较不同模型及其不同设置下对每个提示的响应，从而为您的用例选择最佳模型。

实现这些功能的主要特性包括：

• 提示排列组合：设置一个提示模板，并为其输入变量提供多种变化。ChainForge 将使用所有可能的输入提示排列组合来调用所有选定的 LLM，以便您更好地了解提示的质量。您还可以以任意深度串联提示模板（例如用于比较不同的模板）。
• 模型设置：更改支持的模型设置，并在不同设置之间进行比较。例如，您可以通过添加多个 ChatGPT 模型、调整各自的不同设置并为每个模型命名，来衡量系统消息对 ChatGPT 的影响。ChainForge 会向每个版本的模型发送查询。
• 评估节点：在链中探测 LLM 的响应，并针对某些期望的行为对其进行测试（传统方式）。从基础层面来看，这基于 Python 脚本。我们计划在不久的将来为常见用例添加预设的评估节点（例如命名实体识别）。请注意，您也可以将 LLM 的响应串联到提示模板中，在采用更复杂的评估方法之前，以较低的成本对输出进行初步评估。
• 可视化节点：在分组箱线图（适用于数值指标）和直方图（适用于布尔指标）等图表上可视化评估结果。目前我们仅支持数值和布尔指标。未来我们将为用户提供更多绘图控制和选项。
• 对话轮次：不仅限于提示和模板，还可以像提示一样跟踪后续的聊天消息。您可以测试用户查询措辞的变化如何影响 LLM 的输出，或比较多个聊天模型（或同一聊天模型的不同设置）在后续回复中的质量。

除了内置的 生成式 AI 功能 🪄💫，如合成数据生成外，提示工程也得到了加速：您有时甚至可以在无需编写任何代码的情况下比较提示和模型性能，从而使迭代和发现过程提速十倍。

我们还发现，有些用户只是想利用 ChainForge 向 LLM 发出大量带参数的查询（例如将提示模板串联到提示模板中），可能对其打分，然后将结果导出到电子表格（Excel xlsx 文件）。为此，只需将“检查”节点连接到“提示”节点的输出端，并点击“导出数据”。

有关更详细的信息，请参阅我们的文档。

---

开发

ChainForge 由哈佛大学人机交互实验室 Glassman 实验室 的博士后学者 Ian Arawjo 在哈佛 HCI 社区的支持下创建。合作者包括博士生 Priyan Vaithilingam 和 Chelse Swoopes、哈佛大学本科生 Sean Yang，以及教职员工 Elena Glassman 和 Martin Wattenberg。其他合作者还包括加州大学伯克利分校博士生 Shreya Shankar 和蒙特利尔大学本科生 Cassandre Hamel。

本项目部分由 NSF 资助，资助编号分别为 IIS-2107391、IIS-2040880 和 IIS-1955699。本文所表达的所有观点、发现、结论或建议均属作者个人观点，不一定反映美国国家科学基金会的观点。

我们持续发布该工具的新版本，希望它能对其他人的项目有所帮助。

灵感与链接

ChainForge 定位为通用工具，并非专为某个特定的 API 或 LLM 后端而开发。我们的最终目标是将其集成到其他工具中，用于 LLM 的系统性评估和审计。我们希望帮助那些正在开发 LLM 提示分析流程或进行 LLM 输出审计的人。该项目的灵感来源于我们自身的使用场景，同时也与两个相关的（闭源）研究项目有着一定的共鸣，这两个项目均由 Sherry Wu 领导：

• “PromptChainer：通过可视化编程串联大型语言模型提示”（Wu 等人，CHI ’22 LBW）视频
• “AI 链：通过串联大型语言模型提示实现透明且可控的人工智能交互”（Wu 等人，CHI ’22）

与这些项目不同的是，我们专注于支持跨提示、提示参数和模型的评估。

如何参与合作？

我们欢迎开源社区的贡献者。如果您想报告 bug 或请求新功能，请在 GitHub 上提交一个 issue。我们也鼓励用户自行实现请求的功能或修复 bug，并提交 pull request。

---

引用我们

如果您出于研究目的使用 ChainForge，无论是基于源代码进行二次开发，还是利用该工具研究 LLM 行为，我们都恳请您在相关出版物中引用我们的 CHI 研究论文。您可以使用的 BibTeX 格式如下：

@inproceedings{arawjo2024chainforge,
  title={ChainForge：用于提示工程和 LLM 假设检验的可视化工具},
  author={Arawjo, Ian and Swoopes, Chelse and Vaithilingam, Priyan and Wattenberg, Martin and Glassman, Elena L},
  booktitle={人机交互计算系统 CHI 大会论文集},
  pages={1--18},
  year={2024}
}

许可证

ChainForge 采用 MIT 许可证发布。

ChainForge 快速上手指南

ChainForge 是一个开源的可视化提示词工程环境，专为大规模测试、分析和评估大语言模型（LLM）响应而设计。它支持通过数据流图的方式，快速对比不同提示词、模型及参数设置的效果。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows, macOS 或 Linux
• Python 版本：Python 3.8 或更高版本
• 浏览器：推荐使用 Google Chrome, Firefox, Microsoft Edge 或 Brave
• API 密钥：准备好所需 LLM 提供商的 API Key（如 OpenAI, Anthropic, Google Gemini, DeepSeek 等），或配置好本地运行的 Ollama 服务。

提示：为了免去每次启动都手动输入密钥的麻烦，建议将 API Key 配置到本地环境变量中。

安装步骤

您可以选择直接通过 pip 安装，或使用 Docker 运行。

方式一：使用 pip 安装（推荐）

1. 打开终端或命令行工具，运行以下命令安装 ChainForge：

   pip install chainforge
   

2. 安装完成后，启动服务：

   chainforge serve
   

3. 在浏览器中访问： http://localhost:8000/

方式二：使用 Docker 运行

如果您偏好容器化部署，可以使用 Docker Desktop：

1. 构建镜像：

   docker build -t chainforge .
   

2. 运行容器：

   docker run -p 8000:8000 chainforge
   

3. 在浏览器中访问： http://127.0.0.1:8000

配置 API 密钥

进入界面后，点击右上角的 Settings (设置) 图标输入 API Key。若已通过环境变量配置，系统将自动加载。

基本使用

ChainForge 的核心优势在于组合测试（Combinatorial Testing），即一次性生成所有输入变量的排列组合并发送给多个模型。

1. 创建基础实验流程

1. 添加节点：从左侧面板拖入一个 Prompt Node（提示词节点）和一个 LLM Node（模型节点）。
2. 连接节点：将 Prompt Node 的输出连接到 LLM Node 的输入。
3. 编写提示词模板：在 Prompt Node 中使用花括号定义变量，例如： 请解释以下概念：{concept}，并用{tone}的语气回答。
4. 设置变量值：在节点设置中为 {concept} 和 {tone} 提供多个值（例如 concept: ["量子纠缠", "区块链"], tone: ["专业", "幽默"]）。
5. 选择模型：在 LLM Node 中选择您要测试的模型（如 GPT-4, Claude 3, DeepSeek 等）。

2. 运行与对比

点击 Run 按钮。ChainForge 会自动计算输入值的笛卡尔积（本例中将生成 2x2=4 个请求），并向选定的模型发送所有组合的查询。

3. 查看与评估结果

• 交互式检查：使用 Inspect Node 查看生成的响应表格，支持排序和过滤。
• 可视化分析：连接 Visualization Node，将响应质量（如长度、特定关键词出现率或通过 Python 脚本计算的得分）以箱线图或直方图形式展示。
• 导出数据：点击 Inspect 节点中的 Export Data 按钮，可将结果导出为 Excel (.xlsx) 文件进行进一步分析。

4. 尝试示例流程

新手可以直接点击界面右上角的 "Example Flows" 按钮，加载官方预设的实验模板（如“多模型响应长度对比”或“基于真值的数学题评估”），快速理解工作流构建逻辑。