针对代理型系统的评估、红队测试与测试用例生成

模块化、轻量级、动态且以异步优先

文档 • 官网 • 社区

[!IMPORTANT] Giskard v3 是一次全新重写，专为 AI 代理的动态多轮测试而设计。此版本去除了繁重依赖以提升效率，同时引入了更强大的 AI 漏洞扫描器以及增强的 RAG 评估能力。目前，漏洞扫描器和 RAG 评估仍依赖于 Giskard v2。 Giskard v2 仍然可用，但已不再积极维护。 关注进展 → 阅读 v3 公告 · 路线图

安装

pip install giskard

需要 Python 3.12 或更高版本。

遥测： 基于 giskard-core 构建的库（包括 giskard-checks）可能会发送 可选的聚合使用情况分析数据，以帮助改进产品。其中不包含任何提示、模型输出或场景文本。详情请参阅 收集的内容及如何选择退出。

---

Giskard 是一个用于 测试和评估代理型系统 的开源 Python 库。v3 架构由一组模块化的专注包组成——每个包仅包含其所需的依赖项——从头开始构建，可用于封装任何对象：LLM、黑盒代理或多步骤流水线。

状态	包名	描述
✅ Alpha	giskard-checks	测试与评估 — 场景 API、内置检查、LLM 作为评判者
🚧 进行中	giskard-scan	代理漏洞扫描器 — 红队测试、提示注入、数据泄露（v2 Scan 的继任者）
📋 计划中	giskard-rag	RAG 评估与合成数据生成（v2 RAGET 的继任者）

Giskard Checks — 创建并应用评估来测试代理

pip install giskard-checks

Giskard Checks 是一个轻量级库，用于创建评估（evals），以测试基于 LLM 的系统——从简单的断言到 LLM 作为评判者的评估。与传统的单元测试不同，evals 专为 非确定性输出 设计，即相同的输入可能产生不同的有效响应。

使用 Giskard Checks 可以：

• 捕捉回归问题 — 验证系统在更改后仍能正常运行
• 验证 RAG 质量 — 检查答案是否基于检索到的上下文
• 执行安全规则 — 确保输出符合您的内容政策
• 评估多轮代理 — 测试完整的对话，而不仅仅是单次交互

内置评估包括字符串匹配、比较、正则表达式、语义相似度，以及 LLM 作为评判者的检查（“Groundedness”、“Conformity”、“LLMJudge”）。

快速入门

from openai import OpenAI
from giskard.checks import Scenario, Groundedness

client = OpenAI()

def get_answer(inputs: str) -> str:
    response = client.chat.completions.create(
        model="gpt-5-mini",
        messages=[{"role": "user", "content": inputs}],
    )
    return response.choices[0].message.content

scenario = (
    Scenario("test_dynamic_output")
    .interact(
        inputs="法国的首都是哪里？",
        outputs=get_answer,
    )
    .check(
        Groundedness(
            name="答案有据可依",
            answer_key="trace.last.outputs",
            context="法国是西欧的一个国家，其首都为巴黎。",
        )
    )
)

result = await scenario.run()
result.print_report()

run() 方法是异步的。在脚本中，请使用 asyncio.run() 封装它。有关 Suites、LLMJudge、多轮场景等更多内容，请参阅完整文档 此处。

寻找 Giskard v2 吗？

Giskard v2 包含 Scan（自动漏洞检测）和 RAGET（用于 ML 模型和 LLM 应用的 RAG 评估测试集生成）。这些功能在 v3 中不可用。

pip install "giskard[llm]>2,<3"

Scan — 自动检测性能、偏差及安全问题

将您的模型封装起来并运行扫描：

import giskard
import pandas as pd

# 将 my_llm_chain 替换为您实际的 LLM 链或模型推理逻辑
def model_predict(df: pd.DataFrame):
    """该函数接受一个 DataFrame，并需返回每行对应的一条输出结果。"""
    return [my_llm_chain.run({"query": question}) for question in df["question"]]

giskard_model = giskard.Model(
    model=model_predict,
    model_type="text_generation",
    name="我的 LLM 应用程序",
    description="一个问答助手",
    feature_names=["question"],
)

scan_results = giskard.scan(giskard_model)
display(scan_results)

RAGET — 为 RAG 应用生成评估数据集

从您的知识库中自动生成问题、参考答案和上下文：

import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase

# 加载你的知识库文档
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])

testset = generate_testset(
    knowledge_base,
    num_questions=60,
    language='en',
    agent_description="X公司的客户支持聊天机器人",
)

完整 v2 文档

👋 社区

我们欢迎来自 AI 社区的贡献！请阅读这份 指南 开始参与，并加入我们在 Discord 上活跃的社区。

关注项目进展并分享反馈： v3 公告 · 路线图

🌟 给项目点个星，这有助于让更多人发现我们的项目，也能激励我们继续打造优秀的开源工具！🌟

❤️ 如果您觉得我们的工作很有价值，请考虑在 GitHub 上 赞助我们。通过每月赞助，您可以获得赞助者徽章、在本 README 中展示贵公司，并让您的问题报告优先处理。如果您希望我们参与咨询项目、举办研讨会或在贵公司进行演讲，我们也提供一次性赞助服务。

💚 当前赞助商

我们感谢以下公司对我们的项目提供的每月捐赠：

Lunary

Biolevate

Giskard OSS 快速上手指南

Giskard 是一个开源 Python 库，专为测试和评估智能体系统（Agentic Systems）而设计。v3 版本经过重构，采用模块化架构，专注于动态、多轮次的 AI 智能体测试，具有轻量级和异步优先的特点。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：要求 Python 3.12+
• 依赖管理：建议使用 pip 或 poetry 进行包管理
• 网络要求：部分功能（如 LLM-as-judge）需要访问外部大模型 API（如 OpenAI）

注意：Giskard v3 目前处于 Alpha 阶段，主要提供 giskard-checks 模块。原有的漏洞扫描（Scan）和 RAG 测试集生成（RAGET）功能在 v2 版本中可用，但 v2 已不再积极维护。

安装步骤

1. 安装核心库

使用 pip 安装基础包：

pip install giskard

2. 安装测试评估模块（推荐）

若需使用场景测试、内置检查项及 LLM 评判功能，请安装 giskard-checks：

pip install giskard-checks

国内加速提示：如果下载速度较慢，可使用国内镜像源安装：

pip install giskard-checks -i https://pypi.tuna.tsinghua.edu.cn/simple

3. (可选) 安装旧版功能

如果您需要使用自动漏洞扫描或 RAG 测试集生成功能，需安装 v2 版本：

pip install "giskard[llm]>2,<3"

基本使用

以下示例展示如何使用 giskard-checks 创建一个简单的评估场景，测试 LLM 的回答是否基于给定的上下文（Groundedness 检查）。

代码示例

import asyncio
from openai import OpenAI
from giskard.checks import Scenario, Groundedness

# 初始化 OpenAI 客户端
client = OpenAI()

# 定义被测试的函数
def get_answer(inputs: str) -> str:
    response = client.chat.completions.create(
        model="gpt-4o-mini", # 请替换为您使用的模型
        messages=[{"role": "user", "content": inputs}],
    )
    return response.choices[0].message.content

# 构建测试场景
scenario = (
    Scenario("test_dynamic_output")
    .interact(
        inputs="What is the capital of France?",
        outputs=get_answer,
    )
    .check(
        Groundedness(
            name="answer is grounded",
            answer_key="trace.last.outputs",
            context="France is a country in Western Europe. Its capital is Paris.",
        )
    )
)

# 运行测试并打印报告
async def main():
    result = await scenario.run()
    result.print_report()

if __name__ == "__main__":
    asyncio.run(main())

说明

• Scenario：定义测试流程，包括输入数据和调用目标函数。
• Groundedness：内置检查项，用于验证模型输出是否与提供的上下文一致（防止幻觉）。
• 异步执行：run() 方法是异步的，需在 asyncio 环境中运行。

您可以在此基础上扩展更多检查项（如 Conformity, LLMJudge），或构建多轮对话测试场景。详细用法请参考 官方文档。