🎯 你将学到什么

完成免费课程 “LLM双生：构建你的生产就绪AI副本” 后，你将学会如何利用LLM、向量数据库和LLMOps最佳实践，设计、训练并部署一个属于你自己的、具备生产级标准的LLM双生模型。

不再局限于孤立的脚本或Notebook！ 通过构建并部署一个端到端的生产级LLM系统，掌握生产环境下的机器学习开发。

📖 关于本课程

你将 学习 如何从 起点 到 终点，架构 并 构建一个真实的LLM系统——从 数据收集 到 部署。

你还将 学习 如何 运用MLOps最佳实践，例如实验跟踪器、模型注册表、提示监控和版本管理等。

最终目标？ 构建并部署属于你自己的LLM双生。

什么是LLM双生？ 它是一个能够模仿某人写作风格和个性的AI角色，通过将这些特征融入LLM中来实现。

🪈 LLM双生的架构分为4个Python微服务

数据收集管道

• 从Medium、Substack和GitHub等多种社交媒体平台抓取你的数字数据。
• 通过一系列ETL管道对数据进行清洗、归一化处理，并加载到Mongo NoSQL数据库中。
• 使用CDC模式将数据库变更发送到RabbitMQ队列中。
• 学习如何将爬虫封装为AWS Lambda函数。

特征提取管道

• 通过Bytewax流式处理管道实时消费队列中的消息。
• 每条消息都会被清洗、分块、嵌入并向量数据库Qdrant中加载。
• 在附加章节中，我们将使用Superlinked，一种专门的向量计算引擎，重构清洗、分块和嵌入逻辑。我们还将把向量加载并索引到Redis向量数据库中。

训练管道

• 基于你的自定义数字数据创建一个定制指令数据集，用于监督微调（SFT）。
• 使用LoRA或QLoRA对LLM进行微调。
• 使用Comet ML的实验跟踪器监控实验过程。
• 使用Opik评估LLM性能。
• 将最佳模型保存并版本化至Hugging Face模型注册表。
• 使用AWS SageMaker运行并自动化训练管道。

推理管道

• 从Hugging Face模型注册表加载微调后的LLM。
• 使用AWS SageMaker推理端点将LLM部署为可扩展的REST API。
• 通过高级RAG技术增强提示。
• 使用Opik监控提示及LLM生成的结果。
• 在附加章节中，我们将使用Superlinked重构高级RAG层，以编写更优化的查询。
• 最后，通过一个Gradio UI界面（如下所示）完成整个流程，你可以开始与LLM双生互动，生成符合你写作风格的内容。

在四个微服务的过程中，你还将学习如何集成以下四种无服务器工具：

• Comet ML 作为你的实验跟踪器和数据注册表；
• Qdrant 作为你的向量数据库；
• AWS SageMaker 作为你的机器学习基础设施；
• Opik 作为你的提示评估与监控工具。

---

📬 保持更新 加入Decoding ML，获取关于如何运用软件工程和MLOps最佳实践设计、编码并部署生产级AI系统的实用内容，助你成功交付AI应用。每周直接发送到你的邮箱。

👥 谁适合参加？

本课程非常适合：

• 希望学习如何基于LLMOps原则构建生产就绪LLM与RAG系统的ML/AI工程师
• 想要理解LLM与RAG系统背后工程原理的数据工程师、数据科学家和软件工程师

注意： 本课程侧重于工程实践和端到端系统实现，而非理论模型优化或研究。

🎓 入门要求

类别	要求
技能	对Python和机器学习有基本了解
硬件	任何现代笔记本电脑或工作站均可，因为LLM的微调和推理将在AWS SageMaker上完成。
水平	中级

💰 成本结构

课程中使用的工具大多会遵循其免费层级，例外情况如下：

• OpenAI的API，费用约为1美元；
• AWS用于微调和推理，根据你使用脚本的频率以及所在地区，费用不超过10美元。

🥂 开源课程：参与开放且免费

作为一门开源课程，你无需报名。所有内容均为自主学习，完全免费，资源也可自由访问，具体如下：

• 代码：本GitHub仓库
• 文章：Decoding ML

📚 你将如何学习？

本课程包含10节实践性书面课程以及可在GitHub上获取的开源代码，演示如何构建一个端到端的LLM系统。

此外，还包含2节关于如何改进RAG系统的附加课程。

你可以按照自己的节奏阅读所有内容。

课程

本自学课程由12节全面的课程组成，涵盖理论、系统设计和动手实现。

我们对每个模块的建议：

1. 阅读文章
2. 运行代码以复现我们的结果
3. 通过阅读src目录下的Python模块深入理解代码

[!NOTE] 请查看INSTALL_AND_USAGE文档，获取分步安装和使用指南。

课程	文章	类别	描述	源代码
1	用于生产就绪LLM系统的端到端框架	系统设计	学习生产级LLM系统的整体架构和设计原则。	无代码
2	数据爬取	数据工程	学习如何爬取和处理社交媒体内容以用于LLM训练。	src/data_crawling
3	CDC魔法	数据工程	学习实现变更数据捕获（CDC），用于同步两个数据源。	src/data_cdc
4	特征流式管道	特征管道	构建用于LLM和RAG数据处理的实时流式管道。	src/feature_pipeline
5	高级RAG算法	特征管道	实现先进的RAG技术以提升检索效果。	src/feature_pipeline
6	生成微调指令数据集	训练管道	创建用于LLM微调的自定义指令数据集。	src/feature_pipeline/generate_dataset
7	LLM微调管道	训练管道	构建端到端的LLM微调管道，并将其部署到AWS SageMaker。	src/training_pipeline
8	LLM与RAG评估	训练管道	学习如何评估LLM和RAG系统的性能。	src/inference_pipeline/evaluation
9	实施并部署RAG推理管道	推理管道	设计、实施并将RAG推理服务部署到AWS SageMaker。	src/inference_pipeline
10	提示监控	推理管道	构建提示监控和生产评估管道。	src/inference_pipeline
11	使用74.3%更少的代码重构RAG模块	RAG附加课程	优化RAG系统。	src/bonus_superlinked_rag
12	多索引RAG应用	RAG附加课程	构建先进的多索引RAG应用。	src/bonus_superlinked_rag

---

📬 保持更新 加入Decoding ML，获取经过验证的内容，介绍如何运用软件工程和MLOps最佳实践来设计、编码和部署生产级AI系统，帮助你成功交付AI应用。每周直接发送到你的邮箱。

🏗️ 项目结构

在Decoding ML，我们教授如何构建生产级ML系统，因此本课程遵循真实Python项目的结构：

llm-twin-course/
├── src/                     # 所有ML管道和服务的源代码
│ ├── data_crawling/         # 数据采集管道代码
│ ├── data_cdc/              # 变更数据捕获（CDC）管道代码
│ ├── feature_pipeline/      # 特征工程管道代码
│ ├── training_pipeline/     # 训练管道代码
│ ├── inference_pipeline/    # 推理服务代码
│ └── bonus_superlinked_rag/ # RAG优化附加代码
├── .env.example             # 环境变量模板示例
├── Makefile                 # 用于构建和运行项目的命令
├── pyproject.toml           # 项目依赖项

🚀 安装与使用

要了解如何端到端地安装和运行LLM Twin代码，请访问专门的INSTALL_AND_USAGE文档。

[!NOTE] 尽管你仅凭INSTALL_AND_USAGE文档就能运行所有内容，但我们仍建议你阅读相关文章，以便充分理解LLM Twin系统及其设计决策。

💡 问题与故障排除

遇到问题或疑问？我们随时为您提供帮助！

请在GitHub问题中提出：

• 关于课程内容的问题
• 技术故障排除
• 对概念的澄清

🥂 贡献

作为一门开源课程，我们可能无法修复所有出现的bug。

如果你发现了bug并知道如何修复，请通过贡献你的修复补丁来支持未来的读者。

我们将非常感谢你对AI社区和未来读者的支持 🤗

贡献者

向所有贡献者致以诚挚的感谢 🙏！本课程的完成离不开他们的辛勤付出。

赞助商

同时，我们也向所有支持我们工作、使本课程得以实现的赞助商表示衷心的感谢 🙏。

Comet	Opik	Bytewax	Qdrant	Superlinked

后续步骤

我们的《LLM 工程师手册》启发了这门开源的 LLM Twin 课程。

请考虑通过购买我们的书籍来支持我们的工作，学习一套完整的框架，用于构建和部署生产级的 LLM 和 RAG 系统——从数据准备到上线部署。本书非常适合希望将理论与实践相结合，并在数据工程、研究、机器学习工程和 MLOps 之间建立联系的从业者：

购买《LLM 工程师手册》

• 亚马逊
• Packt 出版社

许可证

本课程是一个基于 MIT 许可证发布的开源项目。因此，只要您分发我们的 LICENSE 文件并注明我们的工作出处，就可以安全地克隆或 fork 该项目，并将其作为灵感来源，用于任何用途（例如：大学项目、毕业设计、个人项目等）。

---

📬 保持更新 加入 Decoding ML，获取关于如何运用软件工程和 MLOps 最佳实践来设计、编码并部署生产级 AI 系统的实用内容，助您顺利交付 AI 应用。每周一次，直接发送到您的邮箱。

LLM Twin Course 快速上手指南

本指南帮助你快速搭建并运行 LLM Twin 项目，构建一个基于你个人数据风格的生产级 LLM 与 RAG 系统。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

系统要求

• 操作系统: Linux, macOS 或 Windows (推荐 WSL2)
• 硬件: 任意现代笔记本电脑或工作站即可。
  • 注意: 模型的微调（Fine-tuning）和推理（Inference）将在 AWS SageMaker 云端运行，本地无需高性能 GPU。
• Python 版本: Python 3.9+

前置依赖与账号

你需要准备以下云服务和工具账号（大部分提供免费层级）：

1. AWS 账号: 用于 SageMaker 训练、推理及 Lambda 函数（预计成本 < $10）。
2. Hugging Face 账号: 用于模型注册表及访问 Token。
3. Comet ML 账号: 用于实验追踪（免费层可用）。
4. Qdrant 账号/实例: 用于向量数据库（可使用本地 Docker 或云服务）。
5. OpenAI API Key: 用于部分数据处理流程（预计成本 ~$1）。
6. 基础技能: 具备基本的 Python 和机器学习知识。

安装步骤

1. 克隆项目代码

git clone https://github.com/decodingml/llm-twin-course.git
cd llm-twin-course

2. 创建虚拟环境

推荐使用 venv 或 conda 隔离环境：

python -m venv venv
source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate

3. 安装依赖

安装项目所需的核心 Python 包：

pip install -r requirements.txt

(注：如果下载速度慢，可添加国内镜像源，例如：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

4. 配置环境变量

复制示例配置文件并根据实际情况填入你的 API Keys 和云凭证：

cp .env.example .env

编辑 .env 文件，确保填入以下关键信息：

• AWS_ACCESS_KEY_ID / AWS_SECRET_ACCESS_KEY
• HUGGINGFACE_TOKEN
• COMET_API_KEY
• OPENAI_API_KEY
• QDRANT_URL (如果使用本地 Docker，通常为 http://localhost:6333)

5. 启动本地基础设施 (可选)

如果你选择在本地运行向量数据库和消息队列，可以使用 Docker Compose：

docker-compose up -d

这将启动 Qdrant (向量库) 和 RabbitMQ (消息队列)。

提示: 详细的分步安装和特定模块的配置说明，请参考项目根目录下的 INSTALL_AND_USAGE.md 文档。

基本使用

本项目由 4 个微服务管道组成，建议按照课程顺序依次运行。以下是最核心的数据抓取与推理演示流程示例。

第一步：运行数据抓取管道 (Data Crawling)

从社交媒体（如 Medium, GitHub, Substack）抓取你的数字足迹并清洗数据。

# 进入数据抓取模块目录
cd src/data_crawling

# 运行爬虫脚本 (请确保已在 .env 中配置好相关平台 Token)
python main.py --platforms medium,github --user YOUR_USERNAME

执行后，数据将被清洗并存入 MongoDB，变更将通过 CDC 模式发送至 RabbitMQ。

第二步：运行特征工程管道 (Feature Pipeline)

消费消息队列中的数据，进行分块（Chunking）、嵌入（Embedding）并加载到向量数据库。

cd ../feature_pipeline

# 启动流式处理管道
python main.py

第三步：微调与部署 (Training & Inference)

由于微调和推理主要在 AWS SageMaker 上运行，你需要通过脚本触发云端任务。

触发微调任务：

cd ../training_pipeline

# 提交训练作业到 SageMaker
python submit_training_job.py --model_name llama-3-8b --lora_r 16

部署推理端点并测试： 当模型训练完成并注册到 Hugging Face 后，部署推理服务：

cd ../inference_pipeline

# 部署 SageMaker 端点
python deploy_endpoint.py --model_id YOUR_HF_MODEL_ID

# 调用端点进行简单测试
python test_inference.py --prompt "写一篇关于机器学习的文章，模仿我的风格"

第四步：启动交互界面 (Gradio UI)

项目提供了一个 Gradio 界面，让你可以直接与训练好的 "LLM Twin" 对话。

# 在项目根目录或 inference_pipeline 目录下运行
python app.py

运行后，终端会显示一个本地 URL（通常是 http://127.0.0.1:7860），在浏览器中打开即可开始体验生成符合你写作风格的内容。

---

学习建议： 本项目包含 12 节配套教程。最佳学习路径是：阅读对应章节的文章 -> 运行上述代码复现结果 -> 深入阅读 src 目录下的源码理解实现细节。