🦑 欢迎使用 TruLens！

别再只凭感觉检查你的 LLM 应用了！ 使用 TruLens 系统地评估并跟踪你的 LLM 实验。在开发应用时，无论是提示词、模型、检索器还是知识源等各个方面，TruLens 都是你理解应用性能所必需的工具。

细粒度且与技术栈无关的插桩和全面的评估，可以帮助你识别失败模式，并系统性地迭代以改进你的应用。

深入了解 TruLens 背后的核心概念，包括 反馈函数、RAG 三联体 以及 诚实、无害、有益的评估。

TruLens 在开发流程中的应用

先构建你的第一个原型，然后通过 TruLens 连接插桩和日志记录功能。确定你需要哪些反馈，并使用 TruLens 将其配置为与你的应用并行运行。随后，你可以在一个易于使用的用户界面中迭代并比较不同版本的应用 👇

安装与设置

从 PyPI 安装 trulens pip 包。

    pip install trulens

快速使用

逐步了解如何使用 TruLens 对从零开始构建的 RAG 应用进行插桩和评估。

💡 贡献与社区

有兴趣参与贡献吗？请参阅我们的 贡献指南 获取更多详情。

支持 TruLens 的最佳方式是在 GitHub 上给我们点个赞，并加入我们的 Discourse 社区!

TruLens 快速上手指南

TruLens 是一款用于系统化评估和追踪大语言模型（LLM）实验的开源工具。它提供细粒度的、与框架无关的插桩功能，帮助你识别应用中的失败模式，并通过综合评估持续迭代优化你的 RAG 或 LLM 应用。

环境准备

• 系统要求：支持 Linux、macOS 和 Windows。
• Python 版本：建议 Python 3.8 及以上版本。
• 前置依赖：
  • 已安装 pip 包管理工具。
  • （可选）若需运行示例中的 RAG 流程，建议预先安装 langchain 及相关向量数据库库。

安装步骤

通过 PyPI 安装核心包：

pip install trulens

提示：国内开发者若遇到下载速度慢的问题，可使用清华或阿里云镜像源加速安装：

pip install trulens -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是最简单的使用流程，展示如何对一个从零构建的 RAG 应用进行插桩和评估。你也可以直接在 Google Colab 中运行官方提供的 快速入门 Notebook。

1. 初始化 TruLens

在你的 Python 脚本中导入并初始化 TruLens，设置数据库连接（默认使用本地 SQLite）。

from trulens import TruSession

session = TruSession()
session.reset_database() # 可选：重置数据库以开始新的实验

2. 定义反馈函数 (Feedback Functions)

定义你希望评估的指标，例如“上下文相关性”或“答案真实性”。

from trulens.feedback import Feedback
from trulens.providers.openai import OpenAI

# 初始化提供者 (需要配置 OPENAI_API_KEY 环境变量)
provider = OpenAI()

# 定义一个评估上下文相关性的反馈函数
f_context_relevance = Feedback(
    provider.context_relevance,
    name="Context Relevance"
).on_input_output()

3. 包装你的应用

将你的 LLM 链或应用逻辑包裹在 TruChain (针对 LangChain) 或其他对应的包装器中，以便自动记录输入、输出和中间状态。

from trulens.apps.langchain import TruChain
from langchain.chains import RetrievalQA # 假设你有一个现有的 LangChain 链

# 假设 qa_chain 是你已经构建好的 LangChain 对象
tru_recorder = TruChain(
    qa_chain,
    app_name="My_RAG_App",
    feedbacks=[f_context_relevance]
)

# 启动记录上下文管理器
with tru_recorder as recording:
    response = qa_chain.run("你的测试问题是什么？")

4. 查看评估结果

运行结束后，你可以启动 TruLens 的仪表盘界面，在浏览器中直观地对比不同版本的实验结果和反馈得分。

trulens

执行该命令后，终端会显示一个本地 URL（通常是 http://localhost:8501），在浏览器中打开即可看到详细的评估报表。