为您的大模型应用评估注入强大动力 🚀

文档 | 快速入门 | 加入 Discord | 博客 | 新闻通讯 | 职业机会

针对 LLM 应用的客观指标、智能测试生成以及数据驱动的洞察

Ragas 是您评估和优化大型语言模型（LLM）应用的终极工具包。告别耗时且主观的评估，迎接数据驱动、高效的评估流程。 还没有准备好测试数据集？我们还能为您生成与生产环境一致的测试集。

核心功能

• 🎯 客观指标：使用基于 LLM 的指标和传统指标，精准评估您的 LLM 应用。
• 🧪 测试数据生成：自动创建覆盖广泛场景的全面测试数据集。
• 🔗 无缝集成：与 LangChain 等流行 LLM 框架及主流可观测性工具完美兼容。
• 📊 构建反馈循环：利用生产数据持续改进您的 LLM 应用。

:shield: 安装

从 PyPI：

pip install ragas

或者从源代码安装：

pip install git+https://github.com/vibrantlabsai/ragas

:fire: 快速入门

克隆完整示例项目

最快上手的方式是使用 ragas quickstart 命令：

# 列出可用模板
ragas quickstart

# 创建 RAG 评估项目
ragas quickstart rag_eval

# 指定创建位置
ragas quickstart rag_eval -o ./my-project

可用模板：

• rag_eval - 评估 RAG 系统

即将推出：

• agent_evals - 评估 AI 代理
• benchmark_llm - 对 LLM 进行基准测试和比较
• prompt_evals - 评估提示词变体
• workflow_eval - 评估复杂工作流

评估您的 LLM 应用

ragas 内置了常见评估任务的预设指标。例如，Aspect Critique 使用 DiscreteMetric 评估输出的任何方面：

import asyncio
from openai import AsyncOpenAI
from ragas.metrics import DiscreteMetric
from ragas.llms import llm_factory

# 设置您的 LLM
client = AsyncOpenAI()
llm = llm_factory("gpt-4o", client=client)

# 创建自定义方面评估器
metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="""评估摘要是否准确并抓住了关键信息。

回答：{response}

请仅回答‘accurate’或‘inaccurate’。”
)

# 评分您的应用输出
async def main():
    score = await metric.ascore(
        llm=llm,
        response="文本的摘要是……"
    )
    print(f"评分：{score.value}")  # 'accurate' 或 'inaccurate'
    print(f"理由：{score.reason}")


if __name__ == "__main__":
    asyncio.run(main())

注意：请确保已设置 OPENAI_API_KEY 环境变量。

完整的快速入门指南

需要帮助通过评估改进您的 AI 应用吗？

过去两年里，我们通过评估见证并帮助改进了许多 AI 应用。如果您希望借助评估来提升和扩展您的 AI 事业，

🔗 预约一个时段或发送邮件至：founders@vibrantlabs.com。

🫂 社区

如果您想更深入地参与 Ragas 社区，请访问我们的 Discord 服务器。这里是一个充满乐趣的社区，大家热衷于讨论 LLM、检索技术、生产问题等话题。

贡献者

+----------------------------------------------------------------------------+
|     +----------------------------------------------------------------+     |
|     | 开发者：那些使用 `ragas` 构建项目的开发者。                      |     |
|     | （您的项目中某处有 `import ragas`）                            |     |
|     |     +----------------------------------------------------+     |     |
|     |     | 贡献者：那些让 `ragas` 变得更好的人。       |     |     |
|     |     | （您为此仓库提交过 PR）                         |     |     |
|     |     +----------------------------------------------------+     |     |
|     +----------------------------------------------------------------+     |
+----------------------------------------------------------------------------+

我们欢迎社区的贡献！无论是修复 bug、添加新功能，还是改进文档，您的意见都至关重要。

1. 分支仓库
2. 创建特性分支（git checkout -b feature/AmazingFeature）
3. 提交更改（git commit -m '添加 AmazingFeature'）
4. 推送到分支（git push origin feature/AmazingFeature）
5. 打开拉取请求

🔍 开放式分析

在 Ragas，我们坚信透明度的重要性。我们收集最少且匿名化的使用数据，以改进产品并指导开发工作。

✅ 不包含个人或公司识别信息

✅ 开源的数据收集代码

✅ 公开的聚合数据

如需退出，请将 RAGAS_DO_NOT_TRACK 环境变量设置为 true。

引用我们

@misc{ragas2024,
  author       = {VibrantLabs},
  title        = {Ragas：为您的 LLM 应用评估注入强大动力},
  year         = {2024},
  howpublished = {\url{https://github.com/vibrantlabsai/ragas}},
}

Ragas 快速上手指南

Ragas 是专为大型语言模型（LLM）应用打造的评估与优化工具箱。它提供客观的评估指标、智能测试数据生成以及数据驱动的洞察，帮助你高效地评估 RAG 系统和 LLM 应用。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux, macOS, 或 Windows
• Python 版本：Python 3.9 或更高版本
• 依赖项：
  • pip 包管理工具
  • 有效的 LLM API 密钥（如 OpenAI API Key），用于运行基于 LLM 的评估指标
• 环境变量：使用前请确保已设置 OPENAI_API_KEY（或其他对应模型的密钥）。

export OPENAI_API_KEY="your-api-key-here"

安装步骤

你可以通过 PyPI 直接安装稳定版，或者从源码安装最新版本。

方式一：通过 PyPI 安装（推荐）

pip install ragas

提示：国内开发者若下载缓慢，可使用清华或阿里镜像源加速：

pip install ragas -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装

pip install git+https://github.com/vibrantlabsai/ragas

基本使用

Ragas 提供了多种使用方式，最快捷的是通过命令行初始化项目，或直接使用 Python SDK 进行自定义评估。

1. 快速初始化项目

使用 ragas quickstart 命令可以快速克隆一个完整的示例项目，这是上手最快的方式。

# 查看可用模板
ragas quickstart

# 创建一个 RAG 评估项目 (默认当前目录)
ragas quickstart rag_eval

# 指定项目创建路径
ragas quickstart rag_eval -o ./my-project

目前支持的模板包括 rag_eval（用于评估 RAG 系统）。未来将支持 Agent 评估、LLM 基准测试等更多模板。

2. 使用 Python SDK 进行评估

你可以使用预建的指标或创建自定义指标来评估 LLM 的输出。以下示例展示了如何使用 DiscreteMetric 对摘要的准确性进行二元评估（准确/不准确）。

import asyncio
from openai import AsyncOpenAI
from ragas.metrics import DiscreteMetric
from ragas.llms import llm_factory

# 配置你的 LLM 客户端
client = AsyncOpenAI()
llm = llm_factory("gpt-4o", client=client)

# 创建自定义维度评估器
metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="""Evaluate if the summary is accurate and captures key information.

Response: {response}

Answer with only 'accurate' or 'inaccurate'."""
)

# 异步执行评分
async def main():
    score = await metric.ascore(
        llm=llm,
        response="The summary of the text is..."
    )
    print(f"Score: {score.value}")  # 输出: 'accurate' 或 'inaccurate'
    print(f"Reason: {score.reason}")


if __name__ == "__main__":
    asyncio.run(main())

运行上述代码后，你将获得评估结果及其理由，从而量化你的 LLM 应用表现。