欢迎使用 Inspect，这是一个由英国人工智能安全研究所创建的大型语言模型评估框架。

Inspect 提供了许多内置组件，包括提示工程、工具使用、多轮对话以及模型分级评估等功能。其他 Python 包可以为 Inspect 提供扩展（例如支持新的诱导和评分技术）。

要开始使用 Inspect，请参阅文档：https://inspect.aisi.org.uk/。

Inspect 还包含一个由 100 多个预构建评估组成的集合，可直接在任何模型上运行（更多信息请访问 Inspect Evals）。

---

要参与 Inspect 的开发，请克隆仓库并使用 -e 标志及 [dev] 可选依赖项进行安装：

git clone https://github.com/UKGovernmentBEIS/inspect_ai.git
cd inspect_ai
pip install -e ".[dev]"

您还可以通过以下命令安装 pre-commit 钩子：

make hooks

然后运行代码检查、格式化和测试：

make check
make test

如果您使用 VS Code，建议安装推荐的扩展插件（Python、Ruff 和 MyPy）。请注意，当您在 VS Code 中打开项目时，系统会提示您安装这些插件。

前端开发（TypeScript）

Web 界面位于 src/inspect_ai/_view/ts-mono/ 目录下的 Git 子模块中。这些步骤仅在您计划参与 TypeScript/React 前端开发时才需要——仅从事 Python 开发的贡献者可以完全跳过此部分。

初始化子模块并安装依赖项——请参阅一次性设置指南。

文档

要参与 Inspect 文档的编写，请使用 -e 标志安装 [doc] 可选依赖项，并构建文档：

pip install -e ".[doc]"
cd docs
quarto render # 或 'quarto preview'

如果您打算迭代式地编辑文档，建议在 VS Code 中安装 Quarto 扩展插件。

Inspect AI 快速上手指南

Inspect 是由英国人工智能安全研究所（UK AI Security Institute）开发的大语言模型评估框架。它内置了提示工程、工具调用、多轮对话及模型评分等组件，并支持通过 Python 包扩展功能。

环境准备

• 操作系统：Linux、macOS 或 Windows
• Python 版本：建议 Python 3.10 或更高版本
• 前置依赖：
  • git：用于克隆代码库
  • pip：Python 包管理工具
  • （可选）VS Code 及推荐插件：Python, Ruff, MyPy
  • （可选，仅前端开发）Node.js 和 npm（用于 TypeScript/React 前端开发）
  • （可选，仅文档开发）Quarto

提示：国内开发者可使用清华或阿里云镜像源加速 pip 安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package>

安装步骤

1. 克隆仓库并安装开发版

git clone https://github.com/UKGovernmentBEIS/inspect_ai.git
cd inspect_ai
pip install -e ".[dev]"

如需使用国内镜像加速：

pip install -e ".[dev]" -i https://pypi.tuna.tsinghua.edu.cn/simple

2. （可选）安装预提交钩子

make hooks

3. 验证安装

运行代码检查和测试以确保环境正常：

make check
make test

4. （可选）前端或文档开发

• 前端开发（仅当需修改 Web UI 时）：

  git submodule update --init
  cd src/inspect_ai/_view/ts-mono
  # 参考 src/inspect_ai/_view/ts-mono/docs/submodule-guide.md 完成 Node 依赖安装
  

• 文档开发：

  pip install -e ".[doc]"
  cd docs
  quarto render
  # 或实时预览
  quarto preview
  

基本使用

Inspect 提供了超过 100 个预置评估任务，可直接用于任意模型。以下是一个最简单的评估示例（假设已配置好模型访问权限）：

from inspect_ai import eval
from inspect_ai.dataset import sample_dataset
from inspect_ai.solver import basic_agent

# 定义一个简单的评估任务
@eval
def simple_eval():
    return dict(
        dataset=sample_dataset("simple"),
        solver=basic_agent(),
        scorer="match",
    )

# 运行评估
if __name__ == "__main__":
    eval(simple_eval(), model="openai/gpt-4o")

运行上述脚本后，Inspect 将自动执行评估并生成详细报告（默认输出到 logs 目录，也可通过 Web UI 查看）。

更多预置评估任务请参考 Inspect Evals，完整文档见 https://inspect.aisi.org.uk/。