自动评估器 :brain: :memo:

注意 请参阅此应用的 HuggingFace 空间：https://huggingface.co/spaces/rlancemartin/auto-evaluator

注意 请访问托管应用：https://autoevaluator.langchain.com/

注意 托管应用的代码同样是开源的：https://github.com/langchain-ai/auto-evaluator

这是一个轻量级的问答评估工具，使用 Langchain 实现以下功能：

• 提示用户输入一组感兴趣的文档
• 利用 LLM（GPT-3.5-turbo）从这些文档中自动生成 问题-答案 对
• 根据用户在界面上选择的配置，构建一个问答链
• 使用该问答链对每个 问题 生成响应
• 再次利用 LLM（GPT-3.5-turbo）对生成的响应与 答案 进行评分
• 探索不同问答链配置下的评分结果

作为 Streamlit 应用运行

pip install -r requirements.txt

streamlit run auto-evaluator.py

输入参数

num_eval_questions - 自动生问题的数量（如果用户未提供评估数据集） split_method - 文本分割方法 chunk_chars - 文本分割的块大小 overlap - 文本分割的块重叠长度 embeddings - 块的嵌入方法 retriever_type - 块检索方法 num_neighbors - 检索时考虑的邻居数量 model - 用于总结检索到的块的 LLM grade_prompt - 模型自我评分所使用的提示模板

博客文章

https://blog.langchain.dev/auto-eval-of-question-answering-tasks/

用户界面

免责声明

您需要拥有可访问 `GPT-4` 的 OpenAI API 密钥，以及 Anthropic API 密钥，才能充分利用仪表板中的默认模型设置。不过，您也可以轻松地将其他模型（例如来自 Hugging Face 的模型）添加到此应用中。

Auto-evaluator 快速上手指南

auto-evaluator 是一个基于 LangChain 的轻量级评估工具，专为问答（QA）任务设计。它能自动从文档生成测试问题，利用大语言模型（LLM）生成回答并进行评分，帮助开发者快速验证和优化不同的检索与生成配置。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：支持 Linux、macOS 或 Windows。
• Python 版本：推荐 Python 3.8 及以上版本。
• API 密钥：
  • OpenAI API Key：必须拥有访问 GPT-3.5-turbo 或 GPT-4 的权限（用于生成问题、回答及评分）。
  • Anthropic API Key（可选）：如需使用默认仪表板中的部分模型设置，建议配置此密钥。
  • 注：该工具支持扩展其他模型（如 Hugging Face 模型），但默认配置依赖 OpenAI。

安装步骤

1. 克隆项目代码 首先从 GitHub 获取源代码：

   git clone https://github.com/langchain-ai/auto-evaluator.git
   cd auto-evaluator
   

2. 安装依赖 创建虚拟环境（推荐）并安装所需库。国内用户如遇下载缓慢，可使用清华或阿里镜像源加速：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

安装完成后，您可以通过 Streamlit 启动本地 Web 界面进行操作。

1. 启动应用 在项目根目录下运行以下命令：

   streamlit run auto-evaluator.py
   

2. 配置与运行 浏览器将自动打开应用界面（通常为 http://localhost:8501），按以下步骤操作：

   • 上传文档：输入或上传您感兴趣的文档集合。
   • 设置参数：在侧边栏配置评估参数，例如：
     • num_eval_questions：自动生成的问题数量。
     • split_method / chunk_chars：文本分割策略及块大小。
     • embeddings / retriever_type：嵌入模型与检索方法。
     • model：用于总结检索内容的 LLM。
   • 执行评估：点击运行按钮，系统将自动执行以下流程：
     1. 基于文档自动生成“问题 - 答案”对。
     2. 根据配置的链（Chain）生成回答。
     3. 调用 LLM 对比生成的回答与标准答案进行打分。
   • 查看结果：在界面中探索不同配置下的评分表现，从而优化您的 QA 系统。

更多详细技术原理与案例，可参考官方博客：https://blog.langchain.dev/auto-eval-of-question-answering-tasks/