您可以在 亚马逊 或 Packt 上找到这本书。

🌟 特色功能

本书的目标是帮助您使用最佳实践构建自己的端到端大语言模型系统：

• 📝 数据收集与生成
• 🔄 大语言模型训练流水线
• 📊 简单的RAG系统
• 🚀 生产就绪的AWS部署
• 🔍 全面的监控
• 🧪 测试与评估框架

您可以从 Hugging Face 下载并使用最终训练好的模型。

[!重要提示] 本GitHub仓库中的代码会持续维护，可能会包含未反映在书中的更新。请始终参考此仓库以获取最新版本的代码。

🔗 依赖项

本地依赖

要在本地安装并运行该项目，您需要以下依赖项。

云服务

代码还使用并依赖于以下云服务。目前您无需做任何操作。我们将在安装和部署部分指导您如何使用它们：

在《大语言模型工程师手册》（亚马逊链接）中，第2章将带您逐一了解每种工具。第10章和第11章则提供了设置所需一切的分步指南。

🗂️ 项目结构

以下是目录概览：

.
├── code_snippets/       # 独立示例代码
├── configs/             # 流水线配置文件
├── llm_engineering/     # 核心项目包
│   ├── application/    
│   ├── domain/         
│   ├── infrastructure/ 
│   ├── model/         
├── pipelines/           # ML流水线定义
├── steps/               # 流水线组件
├── tests/               # 测试示例
├── tools/               # 工具脚本
│   ├── run.py
│   ├── ml_service.py
│   ├── rag.py
│   ├── data_warehouse.py

llm_engineering/ 是实现大语言模型和RAG功能的主要Python包。它遵循领域驱动设计（DDD）原则：

• domain/：核心业务实体和结构
• application/：业务逻辑、爬虫及RAG实现
• model/：大语言模型的训练与推理
• infrastructure/：外部服务集成（AWS、Qdrant、MongoDB、FastAPI）

代码逻辑和导入顺序如下：infrastructure → model → application → domain

pipelines/：包含ZenML ML流水线，作为所有ML流水线的入口点。协调ML生命周期中的数据处理和模型训练阶段。

steps/：包含独立的ZenML步骤，这些步骤是用于构建和定制ZenML流水线的可重用组件。步骤执行特定任务（如数据加载、预处理），并可在ML流水线中组合使用。

tests/：涵盖了一些作为CI流水线示例的测试用例。

tools/：用于调用ZenML流水线和推理代码的实用脚本：

• run.py：运行ZenML流水线的入口脚本。
• ml_service.py：启动REST API推理服务器。
• rag.py：演示RAG检索模块的使用。
• data_warehouse.py：用于通过JSON文件从MongoDB数据仓库导出或导入数据。

configs/：ZenML YAML配置文件，用于控制流水线和步骤的执行。

code_snippets/：可独立运行的独立代码示例。

💻 安装

[!注意] 如果您在安装和运行仓库时遇到问题，请查看 Issues GitHub页面，看看是否有其他人解决了类似的问题，或者直接向我们寻求帮助。

1. 克隆仓库

首先克隆仓库并进入项目目录：

git clone https://github.com/PacktPublishing/LLM-Engineers-Handbook.git
cd LLM-Engineers-Handbook 

接下来，我们需要准备您的Python环境及其相关依赖。

2. 配置 Python 环境

该项目需要 Python 3.11。您可以使用全局安装的 Python，也可以通过 pyenv 设置一个项目专用版本。

选项 A：使用全局 Python（如果已安装 3.11 版本）

验证您的 Python 版本：

python --version  # 应显示 Python 3.11.x

选项 B：使用 pyenv（推荐）

1. 验证 pyenv 是否已安装：

pyenv --version   # 应显示 pyenv 2.3.36 或更高版本

2. 安装 Python 3.11.8：

pyenv install 3.11.8

3. 验证安装是否成功：

python --version  # 应显示 Python 3.11.8

4. 在项目目录中确认 Python 版本：

python --version
# 输出：Python 3.11.8

[!注意]
项目包含一个 .python-version 文件，当您位于项目目录时，它会自动设置正确的 Python 版本。

3. 安装依赖项

该项目使用 Poetry 进行依赖管理。

1. 验证 Poetry 是否已安装：

poetry --version  # 应显示 Poetry 1.8.3 或更高版本

2. 设置项目环境并安装依赖项：

poetry env use 3.11
poetry install --without aws
poetry run pre-commit install

这将：

• 配置 Poetry 使用 Python 3.11
• 安装项目依赖项（不包括 AWS 相关包）
• 设置 pre-commit 钩子以进行代码验证

4. 激活环境

作为我们的任务管理工具，我们将使用 Poe the Poet 来运行所有脚本。

1. 启动 Poetry shell：

poetry shell

2. 使用 Poe the Poet 运行项目命令：

poetry poe ...

poetry poe local-infrastructure-up

poetry run <实际命令从 pyproject.toml 中获取>

现在，让我们配置本地项目所需的全部凭据和令牌，以便在本地运行代码。

5. 本地开发设置

在安装完所有依赖项后，您必须创建并填写 .env 文件，输入您的凭据，以便与其它服务正常交互并运行项目。将敏感凭据存储在 .env 文件中是一种良好的安全实践，因为该文件不会被提交到 GitHub 或与他人共享。

1. 首先，复制示例文件：

cp .env.example .env # 文件必须位于仓库根目录！

2. 接下来，我们来了解如何填写 .env 文件中的必要变量，以便开始使用。以下是我们在本地工作时必须完成的必填设置：

OpenAI

要认证 OpenAI API，您需要将 OPENAI_API_KEY 环境变量设置为认证令牌。

OPENAI_API_KEY=your_api_key_here

→ 请参阅此教程，了解如何从 OpenAI 获取认证令牌。

Hugging Face

要认证 Hugging Face，您需要将 HUGGINGFACE_ACCESS_TOKEN 环境变量设置为认证令牌。

HUGGINGFACE_ACCESS_TOKEN=your_token_here

→ 请参阅此教程，了解如何从 Hugging Face 获取认证令牌。

Comet ML 和 Opik

要认证 Comet ML（仅在训练期间需要）和 Opik，您需要将 COMET_API_KEY 环境变量设置为认证令牌。

COMET_API_KEY=your_api_key_here

→ 请参阅此教程，了解如何开始使用 Opik。您还可以通过🔗此链接访问 Opik 的仪表板。

6. 部署设置

将项目部署到云端时，我们需要为 MongoDB、Qdrant 和 AWS 设置额外的参数。如果您只是在本地工作，这些环境变量的默认值即可直接使用。详细的部署说明可在《LLM 工程师手册》第 11 章中找到。

MongoDB

我们需要将 DATABASE_HOST 环境变量更改为指向您的云 MongoDB 集群的 URL。

DATABASE_HOST=your_mongodb_url

→ 请参阅此教程，了解如何免费创建并托管 MongoDB 集群。

Qdrant

将 USE_QDRANT_CLOUD 设置为 true，并将 QDRANT_CLOUD_URL 更改为指向您的云 Qdrant 集群的 URL，同时设置 QDRANT_APIKEY 为该集群的 API 密钥。

USE_QDRANT_CLOUD=true
QDRANT_CLOUD_URL=your_qdrant_cloud_url
QDRANT_APIKEY=your_qdrant_api_key

→ 请参阅此教程，了解如何免费创建 Qdrant 集群。

AWS

为了使您的 AWS 配置正常工作，您需要在本地机器上安装并正确配置 AWS CLI，并使用具有管理员权限的用户（或至少拥有足够权限以创建 SageMaker、ECR 和 S3 资源的用户；使用管理员用户会使流程更加简单）。

第 2 章提供了逐步指导，介绍如何安装 AWS CLI、在 AWS 上创建管理员用户以及获取访问密钥，以便设置 AWS_ACCESS_KEY 和 AWS_SECRET_KEY 环境变量。如果您已经有一个 AWS 管理员用户，则需要在 .env 文件中配置以下环境变量：

AWS_REGION=eu-central-1 # 根据您的 AWS 区域进行更改。
AWS_ACCESS_KEY=your_aws_access_key
AWS_SECRET_KEY=your_aws_secret_key

AWS 凭据通常存储在 ~/.aws/credentials 文件中。您可以通过 cat 等命令直接查看该文件：

cat ~/.aws/credentials

[!重要提示] 更多配置选项可在 settings.py 中找到。Settings 类中的任何变量都可以通过 .env 文件进行配置。

🏗️ 基础设施

本地基础设施（用于测试和开发）

在本地运行项目时，我们使用 Docker 托管 MongoDB 和 Qdrant 数据库。此外，还通过 ZenML 的 Python 包提供了一个用于测试的 ZenML 服务器。

[!WARNING]
您需要安装 Docker（>= v27.1.1）

为了方便使用，您可以使用以下命令启动整个本地开发基础设施：

poetry poe local-infrastructure-up

您还可以使用以下命令停止 ZenML 服务器和所有 Docker 容器：

poetry poe local-infrastructure-down

[!WARNING]
在 macOS 上运行时，在启动服务器之前，请导出以下环境变量：
export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES
否则，本地服务器与管道之间的连接将会中断。🔗 更多详情请参见 此问题。
使用 Poe the Poet 时会默认执行此操作。

启动实时推理 RESTful API：

poetry poe run-inference-ml-service

[!IMPORTANT]
由 RESTful API 调用的 LLM 微服务，只有在将 LLM 部署到 AWS SageMaker 后才能正常工作。

ZenML

仪表板 URL：localhost:8237

默认凭据：

• username: default
• password: （留空）

→ 了解更多关于使用和设置 ZenML 的信息。

Qdrant

REST API URL：localhost:6333

仪表板 URL：localhost:6333/dashboard

→ 了解更多关于使用和设置 Qdrant with Docker 的信息。

MongoDB

数据库 URI：mongodb://llm_engineering:llm_engineering@127.0.0.1:27017

数据库名称：twin

默认凭据：

• username: llm_engineering
• password: llm_engineering

→ 了解更多关于使用和设置 MongoDB with Docker 的信息。

您可以使用 IDE 的 MongoDB 插件（需单独安装）来查询您的 MongoDB 集合，连接时需使用 Docker 容器内托管的 MongoDB 数据库 URI：mongodb://llm_engineering:llm_engineering@127.0.0.1:27017

[!IMPORTANT]
与训练或运行 LLM 相关的所有操作（例如训练、评估、推理）都必须在设置好 AWS SageMaker 的前提下才能执行，具体说明请参见下一节关于云基础设施的内容。

云基础设施（用于生产）

在这里，我们将简要介绍如何将项目部署到 AWS 及其他无服务器服务。我们不会深入细节（因为书中已详细说明），而只列出您需要完成的主要步骤。

首先，重新安装包含 AWS 组的 Python 依赖项：

poetry install --with aws

AWS SageMaker

[!NOTE]
第 10 章“使用 AWS SageMaker 实现 LLM 微服务”部分提供了逐步指导。

此时，我们假设您已安装 AWS CLI，并且已正确配置了 AWS CLI 以及项目 .env 文件中的环境变量，使用的是具有管理员权限的 AWS 用户。

为确保最佳实践，我们需要创建一个仅限于创建和删除与 AWS SageMaker 相关资源的新 AWS 用户。通过运行以下命令创建该用户：

poetry poe create-sagemaker-role

这将在您的仓库根目录下生成一个 sagemaker_user_credentials.json 文件，其中包含新的 AWS_ACCESS_KEY 和 AWS_SECRET_KEY 值。但在替换您的新 AWS 凭证之前，还需运行以下命令以创建执行角色（使用您的管理员凭证创建）。

要创建 AWS SageMaker 代表我们访问其他 AWS 资源所使用的 IAM 执行角色，请运行：

poetry poe create-sagemaker-execution-role

这将在您的仓库根目录下生成一个 sagemaker_execution_role.json 文件，其中包含新的 AWS_ARN_ROLE 值。请将其添加到您的 .env 文件中。

一旦您更新了 .env 文件中的 AWS_ACCESS_KEY、AWS_SECRET_KEY 和 AWS_ARN_ROLE 值，就可以开始使用 AWS SageMaker。请注意，此步骤是完成 AWS 设置的关键。

训练

我们通过 ZenML 运行以下命令来启动训练管道：

poetry poe run-training-pipeline

这将直接在 SageMaker 中使用 configs/training.yaml 中的配置启动训练代码。您可以在 Comet ML 的仪表板上查看结果。

我们通过 ZenML 运行以下命令来启动评估管道：

poetry poe run-evaluation-pipeline

这将直接在 SageMaker 中使用 configs/evaluating.yaml 中的配置启动评估代码。您可以在保存到 Hugging Face 个人主页的 *-results 数据集中查看结果。

推理

要创建 AWS SageMaker 推理端点，请运行：

poetry poe deploy-inference-endpoint

要测试它，请运行：

poetry poe test-sagemaker-endpoint

要删除它，请运行：

poetry poe delete-inference-endpoint

AWS：ML 管道、工件和容器

ML 管道、工件和容器都是通过利用 ZenML 的部署功能部署到 AWS 的。因此，您必须注册一个 ZenML Cloud 账户，并按照其指南将 ZenML 堆栈部署到 AWS。否则，我们在 第 11 章“将 LLM Twin 的管道部署到云端”部分提供了逐步指导，说明您需要做什么。

Qdrant 和 MongoDB

我们在部署项目时利用了 Qdrant 和 MongoDB 的无服务器选项。因此，您可以选择遵循 Qdrant 和 MongoDB 提供的教程，分别为它们创建一个免费集群，或者参考 第 11 章“将 LLM Twin 的管道部署到云端”部分，按照我们的逐步指导进行操作。

GitHub Actions

我们使用 GitHub Actions 来实现 CI/CD 管道。要实现您自己的 CI/CD 管道，您需要 fork 我们的仓库，并在您的 forked 仓库中将以下环境变量设置为 Actions secrets：

• AWS_ACCESS_KEY_ID
• AWS_SECRET_ACCESS_KEY
• AWS_ECR_NAME
• AWS_REGION

我们还在 第 11 章“将 LLMOps 添加到 LLM Twin”部分提供了关于如何设置这一切的说明。

Comet ML 和 Opik

如果您创建了一个 Comet 账户并正确设置了 COMET_API_KEY 环境变量，就可以在它们的自托管仪表板上查看结果。由于 Opik 是基于 Comet 构建的，因此您无需为 Opik 做任何额外的设置：

• Comet ML（用于实验跟踪）
• Opik（用于提示监控）

💰 项目运行成本

我们将主要使用各服务的免费层级，除了 AWS 和 OpenAI 的 API，它们都是按需付费的服务。按照我们的默认配置，项目一次性运行的成本大约为 ~$25（其中大部分来自使用 AWS SageMaker 进行训练和推理）。

⚡ 管道

所有机器学习管道都将由 ZenML 在后台进行编排。在运行一些实用脚本时会有少数例外，比如从数据仓库导出或导入数据。

ZenML 管道是本项目中大多数流程的入口点。它们位于 pipelines/ 文件夹下。因此，当你想要理解或调试某个工作流时，从 ZenML 管道入手是最好的方法。

要查看正在运行的管道及其结果：

• 前往你的 ZenML 控制台
• 进入 Pipelines 部分
• 点击特定的管道（例如 feature_engineering）
• 点击特定的运行实例（例如 feature_engineering_run_2024_06_20_18_40_24）
• 点击 DAG 中的特定步骤或工件以获取更多详细信息。

现在，让我们来探索你可以运行的所有管道。从数据收集到训练，我们将按照自然顺序呈现它们，以便端到端地完成整个 LLM 项目。

数据管道

运行数据收集 ETL：

poetry poe run-digital-data-etl

[!WARNING] 为了使 LinkedIn 和 Medium 的爬虫正常工作（它们底层使用 Selenium），你的系统必须安装 Chrome 浏览器（或其他基于 Chromium 的浏览器）。根据你当前的 Chrome 版本，Chromedriver 将会自动安装以支持 Selenium。另一种选择是直接使用我们的 Docker 镜像来运行所有任务，这样你就无需安装 Chrome。例如，要同时运行所有管道，可以执行 poetry poe run-docker-end-to-end-data-pipeline。请注意，该命令也可以调整以支持其他任何管道。

如果由于其他原因你没有安装基于 Chromium 的浏览器，也不想使用 Docker，还有两种方法可以绕过这个 Selenium 问题：

• 注释掉所有与 Selenium、Chrome 相关的代码，以及所有依赖 Selenium 进行抓取的链接（如 Medium），例如从 application.crawlers.base 中的 chromedriver_autoinstaller.install() 命令，以及其他检查 Chrome 驱动和 Selenium 是否可用的静态调用。
• 在 GitHub Codespaces 或其他云虚拟机等环境中，使用 CLI 安装 Google Chrome，命令与我们 Dockerfile 中的命令相同。

要添加更多需要收集数据的链接，请前往 configs/digital_data_etl_[author_name].yaml 文件，并将它们添加到 links 字段中。此外，你还可以创建一个全新的配置文件，并在运行时指定它，例如：python -m llm_engineering.interfaces.orchestrator.run --run-etl --etl-config-filename configs/digital_data_etl_[your_name].yaml。

运行特征工程管道：

poetry poe run-feature-engineering-pipeline

生成指令数据集：

poetry poe run-generate-instruct-datasets-pipeline

生成偏好数据集：

poetry poe run-generate-preference-datasets-pipeline

将上述所有步骤压缩成一个单一管道运行：

poetry poe run-end-to-end-data-pipeline
``。

### 实用管道

将数据从数据仓库导出为 JSON 文件：
```bash
poetry poe run-export-data-warehouse-to-json

从 JSON 文件向数据仓库导入数据（默认情况下，它会从 data/data_warehouse_raw_data 目录导入数据）：

poetry poe run-import-data-warehouse-from-json
``。

将 ZenML 工件导出为 JSON：
```bash
poetry poe run-export-artifact-to-json-pipeline
``。

这会将以下 ZenML 工件以 JSON 文件的形式导出到 `output` 文件夹中（采用最新版本）：
- cleaned_documents.json
- instruct_datasets.json
- preference_datasets.json
- raw_documents.json

你可以通过调整 `configs/export_artifact_to_json.yaml` 配置文件来指定要导出哪些工件。

### 训练管道

运行训练管道：
```bash
poetry poe run-training-pipeline
``。

运行评估管道：
```bash
poetry poe run-evaluation-pipeline
``。

> [!WARNING]
> 为使此功能正常运行，务必按照 [设置云基础设施（用于生产环境）](#set-up-cloud-infrastructure-for-production) 中的说明正确配置 AWS SageMaker。

### 推理管道

使用测试查询调用 RAG 检索模块：
```bash
poetry poe call-rag-retrieval-module
``。

启动实时推理 RESTful API：
```bash
poetry poe run-inference-ml-service
``。

使用测试查询调用实时推理 RESTful API：
```bash
poetry poe call-inference-ml-service
``。

请记住，你可以在 [Opik](https://www.comet.com/opik) 上监控提示追踪信息。

> [!WARNING]
> 为使推理服务正常运行，你必须已将 LLM 微服务部署到 AWS SageMaker，具体操作请参考“设置云基础设施”部分。

### 代码检查与格式化（QA）

检查或修复代码中的 linting 问题：
```bash
poetry poe lint-check
poetry poe lint-fix
``。

检查或修复代码格式问题：
```bash
poetry poe format-check
poetry poe format-fix
``。

检查代码中是否存在泄露的凭据：
```bash
poetry poe gitleaks-check
``。

### 测试

使用以下命令运行所有测试：
```bash
poetry poe test
``。

## 🏃 运行项目

根据上述设置和使用步骤，假设本地和云基础设施均正常运行，并且 `.env` 文件已按预期填写完毕，按照以下步骤即可端到端运行 LLM 系统：

### 数据

1. 收集数据：`poetry poe run-digital-data-etl`

2. 计算特征：`poetry poe run-feature-engineering-pipeline`

3. 计算指令数据集：`poetry poe run-generate-instruct-datasets-pipeline`

4. 计算偏好对齐数据集：`poetry poe run-generate-preference-datasets-pipeline`

### 训练

> [!IMPORTANT]
> 从现在开始，要使这些步骤正常运行，你需要正确设置 AWS SageMaker，例如执行 `poetry install --with aws` 并填写与 AWS 相关的环境变量和配置。

5. 使用 SFT 对 Llama 3.1 进行微调：`poetry poe run-training-pipeline`

6. 如果要进行 DPO 训练，进入 `configs/training.yaml` 文件，将 `finetuning_type` 修改为 `dpo`，然后再次运行 `poetry poe run-training-pipeline`。

7. 评估微调后的模型：`poetry poe run-evaluation-pipeline`

### 推理

> [!IMPORTANT]
> 从现在开始，要使这些步骤正常运行，您需要正确设置 AWS SageMaker，例如执行 `poetry install --with aws` 命令，并填写与 AWS 相关的环境变量和配置。

8. 仅调用 RAG 检索模块：`poetry poe call-rag-retrieval-module`

9. 将 LLM Twin 微服务部署到 SageMaker：`poetry poe deploy-inference-endpoint`

10. 测试 LLM Twin 微服务：`poetry poe test-sagemaker-endpoint`

11. 启动端到端 RAG 服务器：`poetry poe run-inference-ml-service`

12. 测试 RAG 服务器：`poetry poe call-inference-ml-service`

## 📄 许可证

本课程是一个基于 MIT 许可证发布的开源项目。因此，只要您分发我们的 LICENSE 文件并注明我们的工作出处，就可以放心地克隆或 fork 该项目，并将其作为您各种项目的灵感来源（例如，大学作业、毕业设计、个人项目等）。

LLM-Engineers-Handbook 快速上手指南

本指南基于《LLM Engineer's Handbook》官方仓库，帮助开发者快速构建端到端的 LLM 系统（包含数据收集、训练流水线、RAG 系统及 AWS 部署）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

系统要求

• 操作系统: Linux, macOS 或 Windows (WSL2 推荐)
• Python 版本: 3.11 (必须)
• 磁盘空间: 建议预留 20GB+ 用于模型和依赖安装

前置依赖工具

请预先安装以下工具（版本需满足最低要求）：

提示: 国内用户若下载 Python 或 Docker 较慢，建议使用国内镜像源（如清华源、阿里源）进行安装。

安装步骤

1. 克隆项目

git clone https://github.com/PacktPublishing/LLM-Engineers-Handbook.git
cd LLM-Engineers-Handbook

2. 配置 Python 环境

项目强制要求 Python 3.11。推荐使用 pyenv 管理，或直接使用全局环境。

选项 A：使用 pyenv (推荐)

# 安装 Python 3.11.8
pyenv install 3.11.8

# 确认版本 (项目根目录包含 .python-version 文件会自动切换)
python --version 
# 输出应为: Python 3.11.8

选项 B：使用全局 Python 确保 python --version 显示为 3.11.x。

3. 安装项目依赖

本项目使用 Poetry 进行依赖管理。

# 指定使用 Python 3.11
poetry env use 3.11

# 安装依赖 (默认排除 AWS 特定包以加快安装速度)
poetry install --without aws

# 安装预提交钩子
poetry run pre-commit install

4. 激活环境与任务运行器

项目使用 Poe the Poet 作为任务管理器。

# 激活 Poetry 虚拟环境
poetry shell

# 验证命令是否可用 (后续所有操作均通过 poetry poe 执行)
poetry poe --help

注意: 如果 poethepoet 运行有问题，可直接查看 pyproject.toml 中的 [tool.poe.tasks] 部分，使用 poetry run <具体命令> 替代。

5. 配置环境变量

创建 .env 文件并填入必要的 API 密钥。

cp .env.example .env

编辑 .env 文件，填入以下必填字段（本地运行最低要求）：

# OpenAI API Key (用于部分模型调用或评估)
OPENAI_API_KEY=sk-...

# Hugging Face Token (用于下载模型和推送)
HUGGINGFACE_ACCESS_TOKEN=hf_...

# Comet ML / Opik Key (用于实验追踪和监控)
COMET_API_KEY=...

说明:

• 本地开发时，MongoDB 和 Qdrant 将通过 Docker 自动启动，无需配置云端地址。
• 若需部署到云端，需在 .env 中额外配置 DATABASE_HOST, QDRANT_CLOUD_URL 及 AWS 凭证。

基本使用

项目核心功能通过 tools/ 目录下的脚本和 ZenML 流水线暴露。以下是几个最常用的入门操作：

启动本地基础设施

在运行任何流水线之前，先启动本地所需的数据库和服务（MongoDB, Qdrant 等）。

poetry poe local-infrastructure-up

运行数据处理与训练流水线

执行完整的机器学习流水线（数据加载 -> 预处理 -> 训练）。

poetry poe run-pipeline

注：具体流水线名称可在 pipelines/ 目录查看，上述命令通常指向默认的主流水线。

启动推理服务

训练完成后，启动 REST API 服务进行模型推理。

poetry poe start-ml-service

服务启动后，可通过 http://localhost:8000 访问 API 文档。

测试 RAG 检索模块

运行简单的脚本来测试检索增强生成（RAG）功能。

poetry poe run-rag-demo

停止本地服务

使用完毕后，关闭本地 Docker 容器以释放资源。

poetry poe local-infrastructure-down