WikiChat

阻止大型语言模型的幻觉

在线演示： https://wikichat.genie.stanford.edu

https://github.com/user-attachments/assets/3ac856ba-682c-4aed-9271-ce2f6a27cd5e

目录

• 简介
  • 🚨 公告
• 安装
  • 系统要求
  • 安装依赖
  • 配置您选择的语言模型
  • 配置信息检索
    • 选项1（默认）：使用我们免费的限流维基百科搜索API
    • 选项2：构建您自己的索引
      • 构建维基百科索引
      • 索引自定义文档
      • 使用Azure AI部署的嵌入模型代替本地模型
      • 将Qdrant索引上传至🤗 Hub
  • 在终端中运行WikiChat
  • [可选] 部署WikiChat以供多用户访问
    • 设置Cosmos DB
    • 运行Chainlit
• 免费的限流维基百科搜索API
• 维基百科预处理
• 其他命令
  • 运行蒸馏模型以降低延迟和成本
  • 模拟对话
• 许可证
• 引用

简介

像ChatGPT和GPT-4这样的大型语言模型聊天机器人经常会出错，尤其是在您寻找的信息比较新（“告诉我关于2024年超级碗的情况”）或涉及不太热门的话题时（“有哪些值得一看的好电影，出自[插入您最喜欢的外国导演]？”）。WikiChat利用维基百科和以下7个阶段的流程来确保其回复内容真实可靠。每个编号阶段都会涉及一次或多次语言模型调用。

更多详情请参阅我们的论文： Sina J. Semnani, Violet Z. Yao*, Heidi C. Zhang*, and Monica S. Lam. 2023. WikiChat：通过基于维基百科的少样本接地来阻止大型语言模型聊天机器人的幻觉。载于计算语言学协会会议成果集：EMNLP 2023，新加坡。计算语言学协会。

🚨 通知

• （2025年4月29日）WikiChat 2.1 现已发布！主要更新包括：

  • 多语言支持增强：现支持25种不同的维基百科版本（之前为10种），可通过网页和API在 search.genie.stanford.edu/wikipedia_20250320 访问：🇺🇸 英语、🇫🇷 法语、🇩🇪 德语、🇪🇸 西班牙语、🇯🇵 日语、🇷🇺 俄语、🇵🇹 葡萄牙语、🇨🇳 中文、🇮🇹 意大利语、🇸🇦 阿拉伯语、🇮🇷 波斯语、🇵🇱 波兰语、🇳🇱 荷兰语、🇺🇦 乌克兰语、🇮🇱 希伯来语、🇮🇩 印尼语、🇹🇷 土耳其语、🇨🇿 捷克语、🇸🇪 瑞典语、🇰🇷 韩语、🇫🇮 芬兰语、🇻🇳 越南语、🇭🇺 匈牙利语、加泰罗尼亚语、🇹🇭 泰语。
  • 信息检索优化：借助最新的 Snowflake Arctic 嵌入模型，检索准确性和速度均有所提升。
  • 维基百科预处理改进：使用 Docling 进行预处理。一如既往地，预处理后的维基百科数据可在 HuggingFace 上获取。
  • WikiChat 流程优化：
    • 在最终回复中添加了内联引用。
    • “生成”阶段现在始终与“观点提取”阶段合并，即使在非蒸馏模式下也是如此，从而实现更快、更经济的推理。
    • 取消基于日期的重新排序，转而采用基于大语言模型的重新排序。
  • 切换至使用 pixi 进行包管理，并使用 loguru 进行日志记录。

• （2024年8月22日）WikiChat 2.0 现已发布！主要更新包括：

  • 多语言支持：默认从10种不同语言的维基百科中检索信息：🇺🇸 英语、🇨🇳 中文、🇪🇸 西班牙语、🇵🇹 葡萄牙语、🇷🇺 俄语、🇩🇪 德语、🇮🇷 波斯语、🇯🇵 日语、🇫🇷 法语和🇮🇹 意大利语。
  • 信息检索优化
    • 现在除了文本外，还支持从表格、信息框和列表等结构化数据中检索信息。
    • 拥有目前质量最高的公开维基百科预处理脚本。
    • 使用最先进的多语言检索模型 BGE-M3。
    • 使用 Qdrant 进行可扩展的向量搜索。
    • 使用 RankGPT 对搜索结果进行重新排序。
  • 免费多语言维基百科搜索API：我们提供高质量、免费（但有限速）的搜索API，用于访问10种维基百科，涵盖超过1.8亿条向量嵌入。
  • LLM兼容性扩展：通过 LiteLLM 接口，支持100多种大语言模型。
  • 流程优化：可通过合并 WikiChat 的“生成”和“观点提取”阶段，获得更快且更具成本效益的流程。
  • LangChain兼容性：完全兼容 LangChain 🦜️🔗。
  • 更多功能！

• （2024年6月20日）WikiChat荣获2024年维基媒体研究奖！

  2024年度< a href="https://twitter.com/Wikimedia?ref_src=twsrc%5Etfw">@Wikimedia研究奖授予“WikiChat：通过少量示例将大型语言模型聊天机器人锚定到维基百科以阻止幻觉”⚡
  
  📜 https://t.co/d2M8Qrarkw pic.twitter.com/P2Sh47vkyi

  — Wiki Workshop 2024 (@wikiworkshop) 2024年6月20日

• （2024年5月16日）我们的后续论文 “🍝 SPAGHETTI：基于检索与语义解析的异构数据源开放域问答” 被 ACL 2024 接收。该论文增加了对表格、信息框和列表等结构化数据的支持。

• （2024年1月8日）蒸馏版 LLaMA-2 模型发布。您可以在本地运行这些模型，作为付费API的更便宜、更快速的替代方案。

• （2023年12月8日）我们在 EMNLP 2023 上展示了我们的工作。

• （2023年10月27日）我们论文的最终定稿现已在 arXiv 上发布。

• （2023年10月6日）我们的论文被 EMNLP 2023 接收。

安装说明

安装 WikiChat 包括以下步骤：

1. 安装依赖项。
2. 配置您选择的大语言模型。WikiChat 支持超过100种大语言模型，包括来自 OpenAI、Azure、Anthropic、Mistral、HuggingFace、Together.ai 和 Groq 的模型。
3. 选择信息检索来源。这可以是任何符合 retrieval/retriever_server.py 中定义接口的 HTTP 终端点。我们提供了以下选项的说明和脚本：
   1. 使用我们提供的25种语言维基百科的免费限速 API。
   2. 下载并自行托管我们提供的维基百科索引。
   3. 从您自己的文档中创建并运行新的自定义索引。
4. 使用您所需的配置运行 WikiChat。
5. 【可选】部署 WikiChat 以供多用户访问。我们提供了部署简单前端和后端的代码，以及连接 Azure Cosmos DB 数据库以存储对话记录的说明。

系统要求

该项目已在 Ubuntu 20.04 LTS (Focal Fossa) 上使用 Python 3.11 进行测试，但应能兼容许多其他 Linux 发行版。如果您计划在 Windows WSL 或 macOS 上使用，或使用不同的 Python 版本，请做好在安装过程中可能需要排查问题的准备。

硬件要求因您的使用目的而异：

1. 基本使用：使用 LLM API 和我们的维基百科搜索 API 运行 WikiChat 的硬件要求很低，大多数系统均可运行。
2. 本地搜索索引：如果您打算在本地托管搜索索引，请确保有足够的磁盘空间。对于大型索引，检索延迟高度依赖于磁盘速度，因此建议使用 SSD，最好是 NVMe 驱动器。例如，Azure 上的存储优化虚拟机 Standard_L8s_v3 就非常适合此用途。
3. 本地 LLM：如果您计划使用本地 LLM 运行 WikiChat，则需要 GPU 来承载模型。
4. 创建新检索索引：如果您想对某个文档集合建立索引，需要 GPU 将文档嵌入为向量。默认的嵌入模型至少需要 13GB 的 GPU 内存才能运行。

安装依赖

首先，克隆仓库：

git clone https://github.com/stanford-oval/WikiChat.git
cd WikiChat

我们建议使用 pixi.toml 中指定的 pixi 环境。该环境包含 Python 3.11、pip、gcc、g++、make，以及所有所需的 Python 包。

Pixi 是一个跨平台的包管理工具，它是 conda 的更快替代方案。要安装它，请按照 https://pixi.sh/latest/#installation 上的说明进行操作。然后创建并激活 pixi 环境：

pixi shell
python -m spacy download en_core_web_sm  # Spacy 仅在用户模拟时需要

默认情况下，此仓库通过 Docker 使用 Redis Stack。 如果运行聊天机器人后出现 Error: Redis lookup failed，很可能是因为 Redis 没有正确设置。请检查 Redis Docker 容器的日志。或者，您可以按照其 官方文档 安装 Redis。

在后续的所有命令中，请保持此环境处于激活状态。

根据您的操作系统，按照 https://docs.docker.com/engine/install/ 上的说明安装 Docker。WikiChat 主要使用 Docker 来创建和提供用于检索的向量数据库，特别是 🤗 Text Embedding Inference 和 Qdrant。在较新的 Ubuntu 版本上，您可以尝试运行 inv install-docker。对于其他操作系统，请遵循 Docker 官网上的说明。

WikiChat 使用 invoke 添加用于各种目的的自定义命令。要查看所有可用命令及其描述，请运行：

invoke --list

或简写形式：

inv -l

如需了解某个特定命令的详细信息，请使用：

inv [命令名称] --help

这些命令实现于 tasks/ 文件夹中。

配置您选择的 LLM

WikiChat 兼容多种 LLM，包括来自 OpenAI、Azure、Anthropic、Mistral、Together.ai 和 Groq 的模型。 您也可以通过 HuggingFace 将许多本地托管的模型与 WikiChat 结合使用。

要配置您的 LLM：

1. 填写 llm_config.yaml 中相应的字段。

2. 创建一个名为 API_KEYS 的文件（已包含在 .gitignore 中）。

3. 在 API_KEYS 文件中，设置您想要使用的 LLM 端点的 API 密钥。API 密钥的名称应与您在 llm_config.yaml 的 api_key 字段中提供的名称一致。 例如，如果您通过 openai.com 使用 OpenAI 模型，并使用 Mistral 端点，那么您的 API_KEYS 文件可能如下所示：

# 请用您的 API 密钥填写以下值。确保密钥后面没有多余的空格。
# 此文件的更改会被 git 忽略，因此您可以在开发过程中安全地在此处存储您的密钥。
OPENAI_API_KEY=[您从 https://platform.openai.com/api-keys 获取的 OpenAI API 密钥]
MISTRAL_API_KEY=[您从 https://console.mistral.ai/api-keys/ 获取的 Mistral API 密钥]

请注意，本地托管的模型不需要 API 密钥，但您需要在 api_base 中提供一个兼容 OpenAI 的端点。代码已针对 🤗 Text Generation Inference 端点进行了测试，但您也可以尝试其他类似的端点，如 vLLM、SGLang 等。

配置信息检索

选项 1（默认）：使用我们的免费限流 Wikipedia 搜索 API

默认情况下，WikiChat 通过 https://search.genie.stanford.edu/wikipedia_20250320/ 端点从 25 种语言的维基百科中检索信息。如果您只想试用 WikiChat，则无需进行任何修改。

选项 2：构建您自己的索引

构建维基百科索引

以下命令将下载、预处理并索引 库尔德语维基百科 的最新 HTML 转储文件，我们在本示例中使用它是因为其规模相对较小。

inv index-wikipedia-dump --workdir ./workdir --language ku

索引自定义文档

1. 将您的数据预处理为一个 JSON Lines 文件（文件扩展名为 .jsonl 或 .jsonl.gz），其中每行包含以下字段：

{"id": "integer",  "document_title": "string", "section_title": "string", "content": "string", "block_type": "string", "language": "string", "last_edit_date": "string (optional)", "url": "string (optional)", "num_tokens": "integer (optional)", "block_metadata": "dict (optional)"}

content 应该是您文档的分块文本。我们建议将每个分块控制在嵌入模型分词器的 500 个标记以内。有关分块方法的概述，请参阅 此链接。 block_type 和 language 仅用于在搜索结果中提供过滤功能。如果您不需要它们，可以简单地将其设置为 block_type=text 和 language=en。 脚本会将 document_title > section_title 和 content 输入到嵌入模型中以生成嵌入向量。

有关如何针对维基百科 HTML 转储文件实现此操作的详细信息，请参阅 preprocessing/preprocess_wikipedia_html_dump.py。

1. 运行索引命令：

inv index-collection --collection-path <预处理后的 JSONL 文件路径> --collection-name <索引名称>

此命令会为 🤗 文本嵌入推理 启动 Docker 容器（每个可用 GPU 一个）。默认情况下，它使用与 NVIDIA Ampere 80 架构 GPU 兼容的 Docker 镜像，例如 A100。对其他一些 GPU 也提供了支持，但您需要从 可用的 Docker 镜像 中选择合适的镜像。

3. （可选）添加 payload 索引

python retrieval/add_payload_index.py

这将启用按 language 或 block_type 进行过滤的查询。请注意，对于大型索引，索引重新可用可能需要几分钟时间。

4. 索引完成后，按照选项 2 的方式加载和使用索引。例如：

inv start-retriever --retriever-port <端口号>
curl -X POST 0.0.0.0:5100/<索引名称> -H "Content-Type: application/json" -d '{"query": ["What is GPT-4?", "What is LLaMA-3?"], "num_blocks": 3}'

5. 通过传递此检索器的 URL 来启动 WikiChat。例如：

inv demo --retriever-endpoint "http://0.0.0.0:<端口号>/<索引名称>" --corpus_id "您正在使用的语料库的 ID"

corpus_id 参数用于匹配语料库的简短描述，以便提供给 LLM，帮助其判断是否有必要搜索索引。它应指向一个包含语料库简短描述的 Corpus 对象，例如“库尔德语维基百科”或“X 公司的业务文档”。

使用 Azure AI 部署的嵌入模型代替本地模型

在通过 Azure AI 部署了可用的嵌入模型之一后，将您的端点密钥作为 EMBEDDING_API_KEY 添加到 API_KEYS 中。 然后，您可以使用以下命令来索引您的集合：

inv index-collection --collection-path <预处理后的 JSONL 文件路径> --collection-name <索引名称> --embedding-model-name <模型名称> --embedding-model-url https://<部署名称>.<部署区域>.inference.ml.azure.com --embedding-model-port 443

embedding-model-name 应为您在 Azure 上部署的模型名称，例如 Snowflake/snowflake-arctic-embed-l-v2.0。 请注意，Azure 会根据模型和部署硬件施加 batch_size 限制。您有责任设置和拆除 Azure 部署。您的端点 URL 和密钥可以在 Azure 门户的部署详情中找到。

将 Qdrant 索引上传到 🤗 Hub

1. 将索引拆分为更小的部分：

tar -cvf - <Qdrant 索引文件夹路径> | pigz -p 14 | split --bytes=10GB --numeric-suffixes=0 --suffix-length=4 - <输出文件夹路径>/qdrant_index.tar.gz.part-

2. 上传生成的部分：

python retrieval/upload_folder_to_hf_hub.py --folder_path <输出文件夹路径> --repo_id <🤗 Hub 上的仓库 ID>

在终端中运行 WikiChat

您可以使用类似以下的命令运行不同配置的 WikiChat：

inv demo --engine gpt-4o # engine 可以是 llm_config 中配置的任何值，例如 mistral-large、claude-sonnet-35、local

有关所有可用选项的完整列表，您可以运行 inv demo --help。

【可选】部署 WikiChat 以供多用户访问

此仓库提供了通过 Chainlit 部署基于 Web 的聊天界面，并将用户对话存储到 Cosmos DB 数据库中的代码。 这些分别在 backend_server.py 和 database.py 中实现。如果您想使用其他数据库或前端，需要修改这些文件。在开发阶段，移除对 Cosmos DB 的依赖并直接将对话存储在内存中应该非常简单。 您还可以配置 backend_server.py 中定义的聊天机器人参数，例如使用不同的 LLM 或增减 WikiChat 的阶段。

设置 Cosmos DB

在通过 Azure 创建实例后，获取连接字符串并将该值添加到 API_KEYS 中。

COSMOS_CONNECTION_STRING=[您的 Cosmos DB 连接字符串]

运行 Chainlit

运行此命令将启动后端和前端服务器。然后您可以通过指定的端口（默认为 5001）访问前端。 inv chainlit --backend-port 5001

免费的限速维基百科搜索 API

您可以使用此 API 端点来原型化高质量的 RAG 系统。 完整的规范请参见 https://search.genie.stanford.edu/redoc。

请注意，我们不对该端点提供任何保证，且不适合用于生产环境。

维基百科预处理

我们公开发布了 25 种语言的预处理维基百科数据集。

其他命令

运行蒸馏模型以降低延迟和成本

WikiChat≥2.0 不兼容 发布的微调 LLaMA-2 检查点。请参考 v1.0 来运行蒸馏模型。

模拟对话

为了评估聊天机器人，你可以使用用户模拟器来模拟对话。subset 参数可以是 head、tail 或 recent 中的一个，分别对应 WikiChat 论文中介绍的三个子集。你还可以指定用户的语言（WikiChat 始终以用户使用的语言进行回复）。 该脚本会从对应的 benchmark/topics/{subset}_articles_{language}.json 文件中读取主题（即维基百科标题和文章）。使用 --num-dialogues 来设置要生成的模拟对话数量，使用 --num-turns 来指定每个对话的轮次数。

inv simulate-users --num-dialogues 1 --num-turns 2 --simulation-mode passage --language en --subset head

根据你所使用的引擎不同，这可能需要一些时间。模拟对话和日志文件将保存在 benchmark/simulated_dialogues/ 目录下。你也可以提供上述管道中的任何参数。 你可以通过修改 benchmark/user_simulator.py 文件中的 user_characteristics 来尝试不同的用户特征。

许可证

WikiChat 的代码以及模型和数据均采用 Apache-2.0 许可证发布。

引用

如果你使用了本仓库中的代码或数据，请引用以下论文：

@inproceedings{semnani-etal-2023-wikichat,
    title = "{W}iki{C}hat: Stopping the Hallucination of Large Language Model Chatbots by Few-Shot Grounding on {W}ikipedia",
    author = "Semnani, Sina  and
      Yao, Violet  and
      Zhang, Heidi  and
      Lam, Monica",
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.findings-emnlp.157",
    pages = "2387--2413",
}

@inproceedings{zhang-etal-2024-spaghetti,
    title = "{SPAGHETTI}: Open-Domain Question Answering from Heterogeneous Data Sources with Retrieval and Semantic Parsing",
    author = "Zhang, Heidi  and
      Semnani, Sina  and
      Ghassemi, Farhad  and
      Xu, Jialiang  and
      Liu, Shicheng  and
      Lam, Monica",
    editor = "Ku, Lun-Wei  and
      Martins, Andre  and
      Srikumar, Vivek",
    booktitle = "Findings of the Association for Computational Linguistics ACL 2024",
    month = aug,
    year = "2024",
    address = "Bangkok, Thailand and virtual meeting",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.findings-acl.96",
    pages = "1663--1678",
}

WikiChat 快速上手指南

WikiChat 是由斯坦福大学开发的开源项目，旨在通过基于维基百科的检索增强生成（RAG）技术，解决大语言模型（LLM）的“幻觉”问题，确保回答的事实准确性。支持包括中文在内的 25 种语言。

环境准备

系统要求

• 操作系统: 推荐 Ubuntu 20.04 LTS。Windows 用户建议使用 WSL，macOS 用户可能需要进行额外调试。
• Python 版本: 3.11
• 硬件需求:
  • 基础使用（调用 API + 官方搜索接口）：普通配置即可，无特殊 GPU 要求。
  • 本地部署索引：需要充足的磁盘空间，强烈建议使用 SSD 或 NVMe 硬盘以保证检索速度。
  • 本地运行 LLM 或构建索引：需要 NVIDIA GPU。构建默认索引至少需要 13GB 显存。
• 其他依赖:
  • Pixi (跨平台包管理工具，替代 Conda)
  • Docker (用于运行 Redis Stack)

前置依赖安装

请确保已安装 Git 和 Docker。接着安装 Pixi 包管理器：

# 安装 Pixi (Linux/macOS)
curl -fsSL https://pixi.sh/install.sh | bash
# Windows PowerShell
powershell -ExecutionPolicy ByPass -c "irm -useb https://pixi.sh/install.ps1 | iex"

安装步骤

1. 克隆项目

git clone https://github.com/stanford-oval/WikiChat.git
cd WikiChat

2. 创建并激活环境

使用项目提供的 pixi.toml 配置环境，这将自动安装 Python 3.11 及所有必要的依赖库。

pixi shell
python -m spacy download en_core_web_sm

注意：后续所有命令均需在此激活的 shell 环境中运行。

3. 配置 Redis

WikiChat 默认使用 Docker 运行 Redis Stack 作为缓存和消息队列。确保 Docker 正在运行，项目启动时会自动拉取并运行容器。 如果遇到 Error: Redis lookup failed，请检查 Docker 容器日志或手动安装 Redis。

4. 配置大语言模型 (LLM)

WikiChat 通过 LiteLLM 支持 100+ 种模型（OpenAI, Azure, Anthropic, Mistral, 本地模型等）。

在项目根目录创建或编辑 .env 文件，配置你的 API Key：

# 示例：配置 OpenAI
export OPENAI_API_KEY="sk-..."
# 示例：配置其他模型请参考 .env.example 或 LiteLLM 文档

5. 配置信息检索源

你可以选择以下两种方式之一：

• 选项 A（推荐/默认）：使用官方免费 API 无需额外配置，直接运行即可。该 API 提供 25 种语言的维基百科检索（含速率限制）。

• 选项 B：自建本地索引 如果你需要更高性能、自定义数据或去除速率限制，需自行构建索引。

  • 构建维基百科索引或自定义文档索引需消耗大量 GPU 资源。
  • 具体命令参考项目中的 To build a Wikipedia index 部分。

基本使用

在终端运行

完成上述配置后，直接在终端启动对话：

python -m wikichat.chat

系统将加载配置好的 LLM 和检索源，你可以在命令行中与 WikiChat 进行交互。它会基于检索到的维基百科内容生成带有引用来源的回答。

(可选) 部署多用户 Web 界面

如果需要提供 Web 界面供多人使用，可以部署 Chainlit 前端并连接数据库：

1. 设置数据库 (可选，用于存储对话历史): 配置 Azure Cosmos DB 或其他支持的数据库连接字符串到 .env。
2. 启动 Web 服务:

   chainlit run wikichat/chainlit_app.py
   

   启动后，访问终端输出的本地地址（通常为 http://localhost:8000）即可在浏览器中使用。

---

注：本指南基于 WikiChat 2.1 版本。如需更高级的蒸馏模型运行或对话模拟功能，请参阅项目源码中的 Other Commands 章节。