📚 本地 RAG

离线、开源的 RAG

无需第三方服务或敏感数据离开您的网络，即可将文件导入以用于检索增强生成（RAG），并结合开源大型语言模型（LLM）使用。

特性：

• 支持离线嵌入和 LLM（无需 OpenAI！）
• 支持多种数据源
  • 本地文件
  • GitHub 仓库
  • 网站
• 流式响应
• 对话记忆
• 聊天记录导出

了解更多：

• 设置与部署应用
• 使用本地 RAG
• RAG 流程
• 计划中的功能
• 故障排除
• 已知错误与问题
• 资源
• 贡献指南

Local RAG 快速上手指南

Local RAG 是一款完全离线、开源的检索增强生成（RAG）工具。它支持使用本地大语言模型（LLM）和嵌入模型处理文件、GitHub 仓库及网站内容，无需依赖第三方服务（如 OpenAI），确保敏感数据不出内网。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux、macOS 或 Windows (WSL2 推荐)。
• Python 版本：Python 3.10 或更高版本。
• 硬件建议：
  • 运行本地 LLM 建议使用具备 CUDA 支持的 NVIDIA 显卡（显存 8GB+ 推荐）或 Apple Silicon (M1/M2/M3) 芯片。
  • 若仅使用 CPU，推理速度会较慢，但仍可运行小型模型。
• 前置依赖：
  • git：用于克隆代码库。
  • pip 或 poetry：用于管理 Python 依赖。
  • (可选) ollama 或 llama.cpp：如果您希望自行管理后端模型服务（Local RAG 通常内置或自动拉取所需模型）。

国内开发者提示：建议在安装 Python 依赖时使用国内镜像源（如清华源或阿里源）以加速下载。

安装步骤

1. 克隆项目

将项目代码克隆到本地：

git clone https://github.com/jonfairbanks/local-rag.git
cd local-rag

2. 创建虚拟环境

推荐使用 venv 隔离环境：

python -m venv venv
source venv/bin/activate  # Linux/macOS
# 或在 Windows 上: venv\Scripts\activate

3. 安装依赖

使用 pip 安装所需包。国内用户请使用镜像源加速：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

(注：如果项目使用 Poetry 管理，请运行 poetry install)

4. 启动应用

根据项目结构，通常通过以下命令启动服务或界面：

python main.py
# 或者如果提供了脚本
./run.sh

具体启动命令请参考项目根目录下的 docs/setup.md 或 Makefile，不同版本可能略有差异。

基本使用

启动成功后，通常可以通过浏览器访问本地服务界面（例如 http://localhost:8000 或 http://localhost:7860，具体端口视启动日志而定）。

最简单的使用流程

1. 添加数据源： 在界面中选择 "Ingest" 或 "Add Source"，上传本地文件（PDF, TXT, MD 等），或输入 GitHub 仓库地址/网站 URL。

2. 等待索引完成： 系统会自动调用本地嵌入模型（Embedding Model）对数据进行向量化处理。首次运行可能会自动下载模型文件。

3. 开始对话： 在聊天窗口输入问题。Local RAG 将基于您上传的内容，结合本地 LLM 生成带引用的回答。

命令行示例（如果支持 CLI）

部分版本支持直接通过命令行进行问答：

python cli.py --query "总结上传文档的核心观点" --source "./my-docs"

配置模型（可选）

如果需要指定特定的本地模型，通常在配置文件 config.yaml 或启动参数中设置：

llm:
  model_name: "qwen-7b-chat"  # 示例：使用通义千问本地版
  device: "cuda"
embedding:
  model_name: "bge-large-zh"  # 示例：使用中文优化嵌入模型

现在，您已成功部署并使用 Local RAG，可以在完全离线的状态下安全地与您的私有数据进行对话。