在本地 CPU 推理上运行 Llama 2 及其他开源大模型，用于文档问答

使用 Llama 2、C Transformers、GGML 和 LangChain，在 CPU 上运行量化开源大模型应用的清晰指南

TowardsDataScience 上的分步指南：https://towardsdatascience.com/running-llama-2-on-cpu-inference-for-document-q-a-3d636037a3d8

---

背景

• 像 OpenAI 的 GPT-4 这样的第三方商业大语言模型提供商，通过简单的 API 调用使大模型的使用更加普及。
• 然而，在某些情况下，团队可能出于数据隐私和数据本地化等法规要求，需要自行管理或私有化部署模型。
• 开源大模型的兴起为我们提供了丰富的选择，从而降低了对这些第三方提供商的依赖。
• 当我们在本地或云端托管开源大模型时，专用计算资源成为一个关键问题。虽然 GPU 实例看似显而易见的选择，但其成本可能会迅速超出预算。
• 在本项目中，我们将探索如何在本地 CPU 推理上运行量化后的开源大模型，以实现文档问答功能。

---

快速入门

• 确保已从 https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML 下载 GGML 二进制文件，并将其放置在 models/ 文件夹中。
• 要开始将用户查询输入应用程序，请从项目目录启动终端并运行以下命令： poetry run python main.py "<user query>"
• 例如，poetry run python main.py "阿迪达斯应支付的最低保证金额是多少？"
• 注意：如果您未使用 Poetry，则可省略前置的 poetry run。

---

工具

• LangChain：用于构建由语言模型驱动的应用程序的框架。
• C Transformers：基于 C/C++ 并使用 GGML 库实现的 Transformer 模型的 Python 绑定。
• FAISS：用于高效相似性搜索和稠密向量聚类的开源库。
• Sentence-Transformers (all-MiniLM-L6-v2)：一款开源预训练的 Transformer 模型，可将文本嵌入到 384 维的稠密向量空间中，适用于聚类或语义搜索等任务。
• Llama-2-7B-Chat：一款专为聊天对话设计的开源微调 Llama 2 模型。它利用公开的指令数据集和超过 100 万条人工标注数据。
• Poetry：用于依赖管理和 Python 打包的工具。

---

文件与内容

• /assets：与项目相关的图片。
• /config：大模型应用的配置文件。
• /data：本项目使用的数据集（即曼彻斯特联足球俱乐部 2022 年年度报告——一份 177 页的 PDF 文档）。
• /models：GGML 量化大模型的二进制文件（即 Llama-2-7B-Chat）。
• /src：大模型应用的关键组件的 Python 代码，包括 llm.py、utils.py 和 prompts.py。
• /vectorstore：用于文档的 FAISS 向量存储。
• db_build.py：用于导入数据集并生成 FAISS 向量存储的 Python 脚本。
• main.py：启动应用程序并通过命令行传递用户查询的主 Python 脚本。
• pyproject.toml：指定所用依赖版本的 TOML 文件（Poetry）。
• requirements.txt：Python 依赖及其版本列表。

---

参考文献

• https://github.com/marella/ctransformers
• https://huggingface.co/TheBloke
• https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML
• https://python.langchain.com/en/latest/integrations/ctransformers.html
• https://python.langchain.com/en/latest/modules/models/llms/integrations/ctransformers.html
• https://python.langchain.com/docs/ecosystem/integrations/ctransformers
• https://ggml.ai
• https://github.com/rustformers/llm/blob/main/crates/ggml/README.md
• https://www.mdpi.com/2189676

Llama-2 CPU 推理快速上手指南

本指南旨在帮助开发者在本地 CPU 环境下运行量化版的开源大语言模型（如 Llama 2），实现基于文档的问答功能，无需昂贵的 GPU 资源。

环境准备

系统要求

• 操作系统：Linux, macOS 或 Windows (WSL 推荐)
• 硬件：普通 CPU 即可（建议 8GB+ 内存以流畅运行 7B 模型）
• 软件依赖：
  • Python 3.8+
  • Poetry (用于依赖管理，若不使用 Poetry 需手动安装 requirements.txt 中的包)
  • C++ 编译器 (用于构建 c-transformers 底层库)

前置依赖安装

推荐使用国内镜像源加速 Python 包安装。

1. 安装 Poetry (如已安装可跳过):

   curl -sSL https://install.python-poetry.org | python3 -
   # 国内用户若下载慢，可尝试手动下载安装脚本或使用 pip 安装
   # pip install poetry -i https://pypi.tuna.tsinghua.edu.cn/simple
   

2. 配置 Poetry 使用国内源 (可选但推荐):

   poetry config repositories.tsinghua https://pypi.tuna.tsinghua.edu.cn/simple
   

安装步骤

1. 克隆项目并进入目录

   git clone <项目仓库地址>
   cd <项目目录>
   

2. 安装 Python 依赖 使用 Poetry 自动管理虚拟环境和依赖：

   poetry install
   

   注：若不使用 Poetry，请执行 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载量化模型文件 本项目需要使用 GGML 格式的二进制模型文件。

   • 来源：Hugging Face (TheBloke/Llama-2-7B-Chat-GGML)
   • 操作：下载对应的 .bin 文件（例如 llama-2-7b-chat.ggmlv3.q4_0.bin）。
   • 放置路径：将下载的文件放入项目根目录下的 models/ 文件夹中。

   提示：国内用户若无法直接访问 Hugging Face，可使用镜像站如 hf-mirror.com 或国内开源社区镜像下载。

4. 构建向量数据库 (首次运行前) 在执行问答前，需先将文档数据转换为向量存储。运行以下脚本（假设项目包含此步骤逻辑）：

   poetry run python db_build.py
   

   该脚本会使用 data/ 目录下的 PDF 文档（如曼联年报）构建 FAISS 向量索引。

基本使用

完成上述步骤后，即可通过命令行启动应用并进行文档问答。

运行命令

在项目根目录下打开终端，执行：

poetry run python main.py "<用户查询内容>"

使用示例

查询文档中关于阿迪达斯最低保证金的信息：

poetry run python main.py "What is the minimum guarantee payable by Adidas?"

注意：如果您未使用 Poetry 管理环境，请省略 poetry run 前缀，直接运行 python main.py "..."。

程序将加载本地 CPU 上的 Llama-2 模型，检索向量数据库中的相关文档片段，并生成回答输出到终端。