大模型应用

构建基于 RAG 的大模型应用以投入生产环境的全面指南。

• 博客文章: https://www.anyscale.com/blog/a-comprehensive-guide-for-building-rag-based-llm-applications-part-1
• GitHub 仓库: https://github.com/ray-project/llm-applications
• 交互式笔记本: https://github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
• Anyscale Endpoints: https://endpoints.anyscale.com/
• Ray 文档: https://docs.ray.io/

在本指南中，我们将学习如何：

• 💻 从零开始开发一个基于检索增强生成（RAG）的大模型应用。
• 🚀 扩展应用中的各个主要组件（加载、分块、嵌入、索引、服务等）。
• ✅ 评估应用的不同配置，以优化单个组件性能（例如 retrieval_score）和整体性能（quality_score）。
• 🔀 实现大模型混合路由方法，以弥合开源与闭源大模型之间的差距。
• 📦 以高度可扩展和高可用的方式部署应用。
• 💥 分享大模型应用对我们产品产生的直接和间接影响。

环境准备

API 密钥

我们将使用 OpenAI 来访问 ChatGPT 模型，如 gpt-3.5-turbo、gpt-4 等；同时使用 Anyscale Endpoints 来访问开源大模型，如 Llama-2-70b。请确保已注册这两个平台的账号，并准备好相应的凭证。

计算资源

本地

您可以在本地笔记本电脑上运行本项目，但我们强烈建议使用具备 GPU 资源的环境。您可以自行搭建，或选择在 [Anyscale](http://anyscale.com/) 上进行配置。

Anyscale

• 在 [Anyscale 工作空间控制台](https://console.anyscale-staging.com/o/anyscale-internal/workspaces) 上，使用带有 2 个 GPU 和 32 个 CPU 的 `g3.8xlarge` 主节点，在 staging 环境中创建一个新的 Anyscale 工作空间。我们还可以添加 GPU 工作节点以加快任务执行速度。如果您不在 Anyscale 平台上，也可以在自己的云环境中配置类似的实例。
• 使用 [Ray 2.6.2 Py39 默认集群环境](https://docs.anyscale.com/reference/base-images/ray-262/py39#ray-2-6-2-py39)。
• 如果您希望使用我们共享存储中的资源（原始文档、向量数据库转储等），请选择 `us-west-2` 区域。

代码库

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name <GITHUB-USERNAME>
git config --global user.email <EMAIL-ADDRESS>

数据

我们的数据已准备就绪，位于 /efs/shared_storage/goku/docs.ray.io/en/master/（Staging, us-east-1）。如果您希望自行加载数据，请运行以下命令（请将 /desired/output/directory 替换为您希望的路径，但务必将其放置在共享存储中，以便工作节点能够访问）：

git clone https://github.com/ray-project/llm-applications.git .

环境配置

接下来，请通过 .env 文件正确设置环境变量，并安装依赖项：

pip install --user -r requirements.txt
export PYTHONPATH=$PYTHONPATH:$PWD
pre-commit install
pre-commit autoupdate

凭证

touch .env
# 在 .env 中添加环境变量
OPENAI_API_BASE="https://api.openai.com/v1"
OPENAI_API_KEY=""  # OpenAI 账户的 API 密钥
ANYSCALE_API_BASE="https://api.endpoints.anyscale.com/v1"
ANYSCALE_API_KEY=""  # Anyscale 平台的 API 密钥
DB_CONNECTION_STRING="dbname=postgres user=postgres host=localhost password=postgres"
source .env

现在，我们已经准备好通过 rag.ipynb 交互式笔记本开发并部署我们的大模型应用！

了解更多

• 如果您的团队正在大力投入大模型应用的开发，请联系我们，了解 Ray 和 Anyscale 如何帮助您实现规模化和生产化。
• 使用 Anyscale Endpoints 开始部署（及微调）开源大模型（Llama-3-70b 每百万 tokens 仅需 $1），并可根据需求申请私有端点（提供 100 万 tokens 的免费试用）。
• 了解 OpenAI、Netflix、Pinterest、Verizon、Instacart 等公司如何利用 Ray 和 Anyscale 处理其 AI 工作负载，请参加将于 9 月 18–20 日在旧金山举行的 Ray Summit 2024。

llm-applications 快速上手指南

本指南旨在帮助开发者从零开始构建基于检索增强生成（RAG）的大语言模型（LLM）应用，并学习如何扩展、评估及部署生产级服务。

环境准备

系统要求

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2）
• 计算资源：
  • 本地运行：推荐配备 GPU 的机器以获得最佳性能。
  • 云端运行：推荐使用 Anyscale 工作空间（配置 g3.8xlarge 头节点，含 2 GPU + 32 CPU），或在云服务商处配置类似实例。
• Python 版本：建议 Python 3.9+

前置依赖与账号

在开始之前，请确保已注册以下服务并获取 API Key：

1. OpenAI：用于访问 gpt-3.5-turbo、gpt-4 等模型。
   • 获取地址：https://platform.openai.com/account/api-keys
2. Anyscale Endpoints：用于访问开源模型（如 Llama-2-70b）。
   • 获取地址：https://app.endpoints.anyscale.com/credentials
3. 数据库：本地需具备 PostgreSQL 环境（或使用默认配置连接本地库）。

注意：国内开发者若无法直接访问 OpenAI 或 Anyscale 服务，请自行配置网络代理或在 .env 文件中设置相应的代理地址。

安装步骤

1. 克隆代码仓库

git clone https://github.com/ray-project/llm-applications.git .
cd llm-applications
git config --global user.name <GITHUB-USERNAME>
git config --global user.email <EMAIL-ADDRESS>

2. 配置环境变量与凭证

创建 .env 文件并填入您的 API 密钥及数据库连接信息：

touch .env

编辑 .env 文件，内容如下（请替换为您的真实密钥）：

OPENAI_API_BASE="https://api.openai.com/v1"
OPENAI_API_KEY="sk-..."  # 填入您的 OpenAI API Key
ANYSCALE_API_BASE="https://api.endpoints.anyscale.com/v1"
ANYSCALE_API_KEY="..."   # 填入您的 Anyscale API Key
DB_CONNECTION_STRING="dbname=postgres user=postgres host=localhost password=postgres"

加载环境变量：

source .env

3. 安装依赖

安装项目所需的 Python 包并配置开发环境：

pip install --user -r requirements.txt
export PYTHONPATH=$PYTHONPATH:$PWD
pre-commit install
pre-commit autoupdate

提示：若下载依赖较慢，可临时指定国内镜像源，例如： pip install --user -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 数据准备

项目默认数据位于共享存储路径 /efs/shared_storage/goku/docs.ray.io/en/master/（适用于 Anyscale Staging 环境）。 若在本地或其他环境运行，需确保数据目录对 Worker 节点可见，或自行下载数据至指定共享目录。

基本使用

完成上述配置后，即可通过交互式 Notebook 开始开发和运行 RAG 应用。

启动交互式开发

运行以下命令打开 Jupyter Notebook（确保已安装 jupyter 或在 Anyscale 工作空间中操作）：

jupyter notebook notebooks/rag.ipynb

核心流程概览

在 rag.ipynb 中，您将按顺序执行以下核心步骤：

1. 数据加载与分块：加载文档并将其切分为适合检索的片段。
2. 嵌入与索引：使用 Embedding 模型向量化数据并存入向量数据库。
3. 检索与生成：构建检索链，结合 LLM 生成回答。
4. 评估优化：测试不同配置下的检索分数（retrieval_score）和质量分数（quality_score）。
5. 混合路由：实现开源模型与闭源模型的混合路由策略。
6. 服务部署：将应用扩展为高可用、高并发的生产服务。

验证运行

在 Notebook 中执行第一个代码单元格，系统将自动检查环境变量并尝试连接模型端点。若未报错且能返回模型列表或简单的测试结果，即表示环境配置成功。

接下来请跟随 Notebook 中的注释逐步探索完整的 RAG 应用构建流程。