Promptfoo：LLM 评估与红队测试

promptfoo 是一款用于评估和红队测试 LLM 应用的命令行工具及库。告别试错式开发，开始交付安全、可靠的 AI 应用。

官网 · 入门指南 · 红队测试 · 文档 · Discord 社区

Promptfoo 现已成为 OpenAI 的一部分。Promptfoo 仍保持开源，并采用 MIT 许可证。请阅读 公司公告。

快速开始

npm install -g promptfoo
promptfoo init --example getting-started

此外，您也可以通过 brew install promptfoo 或 pip install promptfoo 进行安装。如果您不想全局安装，也可以使用 npx promptfoo@latest 来运行任何命令。

大多数 LLM 提供商都需要 API 密钥。请将您的密钥设置为环境变量：

export OPENAI_API_KEY=sk-abc123

进入示例目录后，您可以运行评估并查看结果：

cd getting-started
promptfoo eval
promptfoo view

更多内容请参阅 入门指南（评估）或 红队测试指南（漏洞扫描）。

使用 Promptfoo 能做什么？

• 测试您的提示词和模型，借助 自动化评估
• 保护您的 LLM 应用，通过 红队测试 和漏洞扫描
• 对比不同模型，如 OpenAI、Anthropic、Azure、Bedrock、Ollama 等 更多支持的提供商
• 在 CI/CD 中自动化检查，详见 CI/CD 集成
• 审查拉取请求，利用 代码扫描 发现与 LLM 相关的安全和合规问题
• 与团队共享结果

以下是实际操作效果：

它同样可以在命令行中使用：

此外，它还能生成 安全漏洞报告：

为什么选择 Promptfoo？

• 开发者友好：速度快，支持实时重载和缓存等功能
• 私密性：LLM 评估完全在本地运行，您的提示词不会离开您的设备
• 灵活性：兼容任何 LLM API 和编程语言
• 实战验证：已为生产环境中服务超过 1000 万用户的 LLM 应用提供支持
• 数据驱动：基于指标而非直觉做出决策
• 开源：采用 MIT 许可证，拥有活跃的社区

了解更多

• 入门指南
• 完整文档
• 红队测试指南
• CLI 使用说明
• Node.js 包使用指南
• 支持的模型列表
• 代码扫描指南

参与贡献

我们欢迎所有贡献！请查看我们的 贡献指南 开始参与。

加入我们的 Discord 社区，获取帮助和交流讨论。

Promptfoo 快速上手指南

Promptfoo 是一款用于评估大语言模型（LLM）应用和进行红队测试（安全漏洞扫描）的命令行工具与库。它帮助开发者停止试错，快速构建安全、可靠的 AI 应用。

环境准备

• 操作系统：支持 macOS、Linux 和 Windows。
• 运行时依赖：
  • Node.js (推荐)：需安装 Node.js 环境以使用 npm 或 npx。
  • Python (可选)：如果偏好使用 pip 安装，需安装 Python 环境。
• API 密钥：大多数 LLM 提供商（如 OpenAI、Anthropic 等）需要有效的 API Key。请确保已准备好相关密钥。

国内加速建议：若访问 npm 源较慢，可临时切换至淘宝镜像源： npm config set registry https://registry.npmmirror.com

安装步骤

你可以选择以下任意一种方式进行安装：

方式一：使用 npm 全局安装（推荐）

npm install -g promptfoo

方式二：使用 Homebrew (macOS)

brew install promptfoo

方式三：使用 pip (Python)

pip install promptfoo

方式四：免安装运行 如果不希望全局安装，可以直接使用 npx 运行最新命令：

npx promptfoo@latest <command>

基本使用

以下是从零开始运行一次评估的最简流程：

1. 初始化示例项目

创建一个包含示例配置的项目目录：

promptfoo init --example getting-started

2. 配置 API 密钥

在使用前，请将你的 LLM API 密钥设置为环境变量（以 OpenAI 为例）：

export OPENAI_API_KEY=sk-abc123

(Windows PowerShell 用户请使用 $env:OPENAI_API_KEY="sk-abc123")

3. 运行评估

进入生成的示例目录并执行评估命令：

cd getting-started
promptfoo eval

4. 查看结果

评估完成后，启动本地 Web 界面查看详细的对比报告和矩阵：

promptfoo view

浏览器将自动打开，展示模型输出对比、评分及延迟等指标。