UpTrain 是一个开源的统一平台，用于评估和改进生成式 AI 应用。我们提供针对 20 多种预配置评估 的评分（涵盖语言、代码和嵌入用例），并对失败案例进行 根本原因分析，并给出解决建议。

核心功能 🔑

UpTrain 仪表板是一个基于 Web 的界面，可在您的 本地机器 上运行。您可以通过该仪表板评估您的 LLM 应用程序、查看结果并进行根本原因分析。

支持 20 多种预配置评估，例如响应完整性、事实准确性、上下文简洁性等。

所有评估和分析都在您的本地系统上运行，确保数据不会离开您的安全环境（使用模型评分检查时除外）。

尝试不同的嵌入模型，如 text-embedding-3-large/small、text-embedding-3-ada、baai/bge-large 等。UpTrain 支持 HuggingFace 模型、Replicate 端点或您自己端点上托管的自定义模型。

您可以对收到负面用户反馈或评估分数较低的案例进行 根本原因分析，以了解您的 LLM 流程中哪一部分导致了不佳的结果。请查看支持的 RCA 模板。

我们允许您使用任何 OpenAI、Anthropic、Mistral、Azure 的 OpenAI 端点，或在 Anyscale 上托管的开源 LLM 作为评估者。

UpTrain 提供了大量方式来 自定义评估。您可以自定义评估方法（思维链 vs 分类）、少样本示例和场景描述。您还可以创建自定义评估器。

即将推出：

1. 与团队协作
2. 通过 UMAP 和聚类进行嵌入可视化
3. 在失败案例中识别模式
4. 提供提示优化建议

开始使用 🙌

方法 1：使用本地托管的仪表板

UpTrain 仪表板是一个基于 Web 的界面，可让您评估 LLM 应用程序。它是一个自托管的仪表板，可在您的本地机器上运行。 您无需编写任何代码即可使用该仪表板。您可以使用该仪表板评估 LLM 应用程序、查看结果并进行根本原因分析。

在开始之前，请确保您的机器上已安装 Docker。如果没有，您可以从 这里 安装。

以下命令将下载 UpTrain 仪表板并在您的本地机器上启动它。

# 克隆仓库
git clone https://github.com/uptrain-ai/uptrain
cd uptrain

# 运行 UpTrain
bash run_uptrain.sh

注意： UpTrain 仪表板目前处于 测试版。我们非常欢迎您的反馈，以帮助我们改进它。

方法 2：使用 UpTrain 软件包

如果您是开发者，并希望将 UpTrain 评估集成到您的应用程序中，可以使用 UpTrain 软件包。这提供了一种更程序化的方式来评估您的 LLM 应用程序。

通过 pip 安装软件包：

pip install uptrain

如何使用 UpTrain：

您可以通过提供您的 OpenAI API 密钥来运行评估，从而通过开源版本评估您的响应。

from uptrain import EvalLLM, Evals
import json

OPENAI_API_KEY = "sk-***************"

data = [{
    'question': '世界上最受欢迎的运动是什么？',
    'context': '体育运动的受欢迎程度可以从多个方面衡量，包括电视收视率、社交媒体影响力、参与人数以及经济影响等。毫无疑问，足球是全球最受欢迎的运动，像 FIFA 世界杯这样的重大赛事以及罗纳尔多、梅西等体育明星，吸引了超过 40 亿的球迷。板球在印度、巴基斯坦、澳大利亚和英国等国家尤为流行。国际板球理事会世界杯和印度超级联赛（IPL）拥有庞大的观众群体。NBA 则使篮球在全球范围内广受欢迎，尤其是在美国、加拿大、中国和菲律宾等地。温布尔登网球锦标赛、美国公开赛、法国公开赛和澳大利亚公开赛等大型网球赛事也拥有庞大的全球观众。罗杰·费德勒、塞雷娜·威廉姆斯和拉斐尔·纳达尔等球员进一步提升了这项运动的知名度。曲棍球在印度、荷兰和澳大利亚等国家非常流行，在世界许多地区也有相当多的追随者。',
    'response': '足球是世界上最受欢迎的运动，全球约有 40 亿球迷'
}]

eval_llm = EvalLLM(openai_api_key=OPENAI_API_KEY)

results = eval_llm.evaluate(
    data=data,
    checks=[Evals.CONTEXT_RELEVANCE, Evals.FACTUAL_ACCURACY, Evals.RESPONSE_COMPLETENESS]
)

print(json.dumps(results, indent=3))

如果您有任何问题，请加入我们的 Slack 社区。

您也可以通过在此预约通话直接与 UpTrain 的维护人员交流。

我们提供的预构建评估 📝

评估	描述
响应完整性	评分响应是否回答了问题中指定的所有方面。
响应简洁性	评分生成的响应是否简洁，或者是否包含与所提问题无关的额外信息。
响应相关性	评分生成的内容与所提问题的相关程度。
响应有效性	评分生成的响应是否有效。如果响应包含任何信息，则被视为有效响应。
响应一致性	评分响应与所提问题以及所提供上下文的一致性。

评估	描述
上下文相关性	评分上下文与所提问题的相关程度。
上下文利用度	在给定上下文信息的情况下，评分生成的响应对所提问题的完整程度。
事实准确性	评分生成的响应是否基于所提供的上下文且事实正确。
上下文简洁性	评估从原始上下文中引用的简洁性，判断是否存在无关信息。
上下文重新排序	评估重新排序后的上下文相比原始上下文的效率如何。

评估	描述
语言特征	评分响应中语言的质量和效果，重点关注清晰度、连贯性、简洁性及整体沟通能力。
语气	评分生成的响应是否符合所需角色的语气

评估	描述
代码幻觉	评分生成响应中的代码是否基于上下文。

评估	描述
用户满意度	评分用户的关切是否得到妥善处理，并根据提供的对话内容评估其满意度。

评估	描述
自定义指南	允许您指定一条指南，并评分大型语言模型在给出响应时对指南的遵守情况。
自定义提示	允许您创建自己的评估集。

评估	描述
响应匹配	比较并评分大型语言模型生成的响应与提供的真实答案之间的匹配程度。

评估	描述
提示注入	评分用户的提示是否试图让大型语言模型泄露其系统提示。
越狱检测	评分用户的提示是否试图进行越狱（即生成非法或有害的响应）。

评估	描述
子查询完整性	评估从用户查询中生成的所有子查询是否共同覆盖了用户查询的所有方面
多查询准确性	评估生成的变体是否准确地代表了原始查询

集成 🤝

评估框架	大模型提供商	大模型工具包	服务框架	大模型可观测性	向量数据库
OpenAI Evals	OpenAI	LlamaIndex	Ollama	Langfuse	Qdrant
	Azure		Together AI	Helicone	FAISS
	Claude		Anyscale	Zeno	Chroma
	Mistral		Replicate
			HuggingFace

更多集成即将推出。如果您有特定的集成需求，请通过创建议题告诉我们。

监控大模型中的提示漂移：UpTrain 基准测试

像 GPT-4、GPT-3.5-turbo、Claude-2.1 等最受欢迎的大模型都是闭源的，即通过 API 对外提供服务，而对其内部运作几乎无法窥探。目前已有许多关于提示漂移（或 GPT-4 变得“懒惰”）的报道，并且也有研究探讨模型质量的下降问题。本次基准测试旨在通过在一个固定数据集上评估模型响应，来追踪模型行为的变化。

您可以在这里找到该基准测试。

资源 💡

1. 如何评估您的大模型应用
2. 如何检测越狱攻击
3. 应对幻觉问题

我们为何构建 UpTrain 🤔

在过去八年中，我们一直从事机器学习和自然语言处理模型的工作，但不断被模型中隐藏的各种故障所困扰，这促使我们开发了 UpTrain。UpTrain 最初是一个机器学习可观测性工具，用于检测准确率的退化。

然而，我们很快意识到，大模型开发者面临更大的挑战——他们几乎没有好的方法来衡量其大模型应用的准确率，更不用说识别退化情况了。

随后，我们看到了 OpenAI evals 的发布，其中他们提出使用大模型自身来评估其他模型的输出。此外，阅读了 Anthropic 如何利用 RLAIF 后，我们更加确信可以着手进行大模型评估的研究（我们很快将发布一个包含优秀评估研究的仓库）。

因此，如今 UpTrain 是我们试图为大模型领域带来秩序并回馈社区的一次尝试。尽管大多数开发者仍然依赖直觉，并通过审查几个案例来部署提示变更，但我们已经听过太多因退化而导致的问题，因此相信随着这一领域的成熟，“评估与改进”将成为大模型生态系统的重要组成部分。

1. 强大的评估体系可以帮助您系统地尝试不同的配置，客观地选择最佳方案，从而避免任何退化。

2. 它能帮助您了解系统出错的原因，找到根本问题并及时修复——在最终用户抱怨甚至流失之前。

3. 像提示注入和越狱检测这样的评估对于维护大模型应用的安全性和可靠性至关重要。

4. 评估有助于提高透明度，建立与最终用户的信任——尤其是在面向企业客户时尤为重要。

为什么选择开源？

1. 我们明白，在评估方面并没有一刀切的解决方案。越来越多的开发者希望修改评估提示、选项集或少样本示例等。我们认为，最好的开发者体验在于开源，而不是暴露20个不同的参数。

2. 促进创新：大模型评估以及使用大模型作为评判者这一领域仍处于起步阶段。我们每天都能看到许多令人兴奋的研究成果，而开源为我们和社区提供了一个合适的平台，以便更快地实现这些技术并推动创新。

您可以如何帮助 🙏

我们一直在努力改进 UpTrain，您可以通过以下几种方式做出贡献：

1. 发现任何问题或改进建议：如果您发现了任何错误或有改进建议，请在我们的 GitHub 仓库中创建议题。

2. 直接贡献代码：如果您发现某个问题可以解决，或者有代码改进建议，欢迎直接向仓库提交贡献。

3. 请求自定义评估：如果您的应用需要定制化的评估，请告知我们，我们将把它添加到仓库中。

4. 与您的工具集成：如果您需要与现有工具集成，请联系我们，我们会协助完成。

5. 寻求评估帮助：如果您在评估方面遇到困难，请在我们的Slack 频道中提问，我们会尽快为您解答。

6. 表达支持：请在 GitHub 上给我们点个赞 ⭐，以关注我们的进展。

7. 分享给更多人：如果您喜欢我们的工作，请在 Twitter 上为我们宣传！

您的贡献和支持对我们意义重大！感谢您参与 UpTrain 的旅程。

许可证 💻

本仓库采用 Apache 2.0 许可证发布，我们致力于为 UpTrain 开源仓库添加更多功能。如果您希望获得更省心的服务，我们还提供托管版本。请在此处预约演示通话。

提供反馈（越尖锐越好 😉）

我们正在公开开发 UpTrain。请通过**这里**提供您的反馈，帮助我们改进。

贡献者 🖥️

我们欢迎对 UpTrain 的贡献。详情请参阅我们的贡献指南。

UpTrain 快速上手指南

UpTrain 是一个开源的统一平台，旨在评估和改进生成式 AI（LLM）应用。它提供 20+ 种预配置的评估指标（涵盖文本、代码、嵌入等场景），支持对失败案例进行根因分析，并提供改进建议。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: Python 3.8 或更高版本 (推荐 3.9+)
• 前置依赖:
  • pip (Python 包管理工具)
  • 一个有效的 LLM API Key (如 OpenAI API Key，用于驱动评估模型)

安装步骤

使用 pip 直接安装 UpTrain 及其核心依赖：

pip install uptrain

提示：如果您在国内网络环境下安装较慢，可以使用国内镜像源加速：

pip install uptrain -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是一个最简单的示例，展示如何使用 UpTrain 评估 LLM 生成的回答是否存在“幻觉”（Hallucination）以及上下文的相关性。

1. 配置 API Key

在使用前，您需要设置环境变量或在代码中配置您的 LLM 提供商 API Key（以 OpenAI 为例）：

import os
os.environ["OPENAI_API_KEY"] = "sk-your-api-key-here"

2. 运行评估

创建一个简单的评估脚本，输入用户问题、检索到的上下文以及 LLM 的回答，UpTrain 将自动打分。

from uptrain import EvalLLM, Evals

# 初始化评估引擎
eval_llm = EvalLLM()

# 准备测试数据
data = [
    {
        "question": "UpTrain 支持哪些评估指标？",
        "context": "UpTrain 是一个开源平台，支持幻觉检测、上下文相关性、语气分析等 20 多种评估指标。",
        "response": "UpTrain 支持幻觉检测和上下文相关性评估。",
    }
]

# 执行评估
results = eval_llm.evaluate(
    data=data,
    checks=[Evals.HALLUCINATION, Evals.CONTEXT_RELEVANCE],
)

# 打印结果
for result in results:
    print(f"评估项：{result['check_name']}")
    print(f"得分：{result['score']}")
    print(f"原因：{result['reason']}")
    print("-" * 20)

3. 查看结果

运行上述代码后，您将看到类似以下的输出，其中包含每个评估项的分数（0-1 之间）和具体的判断理由：

评估项：HALLUCINATION
得分：1.0
原因：The response is fully supported by the context.
--------------------
评估项：CONTEXT_RELEVANCE
得分：0.95
原因：The context contains highly relevant information to answer the question.
--------------------

现在您已经成功完成了第一次评估！您可以进一步探索 UpTrain 的仪表盘功能或自定义评估流程。