Nebius Academy 的 LLM 工程基础课程

📹 我们的活动日历 — 参与问答环节和网络研讨会

想及时了解未来的活动吗？

👉订阅我们的日历

 

🎓 本课程讲什么？

📌 快速入门

通过编写代码、进行实验并构建属于你自己的自定义 AI 驱动 NPC 平台，亲身体验 LLM API 和自托管模型的使用。

这门由学术界和业界专家共同打造的 12 周课程，专为开发者和工程师设计。你将有机会获得资深专业人士的指导，参加定期的问答环节以保持学习进度，并在此过程中结识志同道合的伙伴。

每个主题的相关资料都位于 ./topic* 文件夹中。更多详情和操作说明请参阅 README.md 文件。

如遇任何技术问题、建议、课程材料中的错误或贡献想法，请提交 Issue。

📖 课程路线图

深入学习高级概念，并立即应用所学知识。

参与直播课程，与同学及课程专家交流互动，巩固学习成果。

主题 1️⃣ LLM API 基础

LLM 和多模态 LLM API 的基本用法与提示策略、LLM 使用中常见的问题、创造力与可复现性之间的权衡控制。

项目: 创建一个聊天机器人，并将其部署到云端。

主题 2️⃣ LLM 工作流

LLM 工作流及其扩展：从链式调用到 AI 代理；LLM 推理能力。

项目: 计划制定与记忆摘要；自动化评估流程。

主题 3️⃣ 上下文

RAG 技术及其细节；向量存储与生产环境中的数据库；RAG 评估。

项目: 将 RAG 集成到 NPC Factory 服务中。

主题 4️⃣ 自部署 LLM

开源 LLM 的使用以及 LLM 推理在生产环境中的实际应用。LLM 推理过程中的计算与内存瓶颈。

项目: 部署基于自托管 LLM 的聊天服务。同时部署文本编码器和重排序器，权衡 API 与自托管 LLM 在成本与价值之间的取舍。

主题 5️⃣ 优化与监控

LLM 推理的优化方法，包括量化等技术。生产环境下的监控与可观ability。

项目: 优化开源 LLM 的推理性能。使用 Evidently AI、Prometheus 和 Grafana 建立监控体系。

主题 6️⃣ 微调

LLM 和嵌入向量的微调。参数高效微调与 LoRA 技术。RLHF 和 DPO 方法。

项目: 通过微调让角色更加鲜活生动。

🏗️ NPC Factory 项目

在课程期间，你将构建一个平台，用于提供智能、可信、反应灵敏且自主的 NPC — 即非玩家角色。这些 NPC 是沉浸式游戏的核心，能够推动引人入胜的互动，使游戏世界更加丰富而充满活力。

• 将模型部署到真实服务器上，并集成到游戏环境中。
• 实现代理能力，使 NPC 能够设定目标并动态调整行为。
• 构建可扩展的 API，支持复杂的游戏交互。
• 优化性能、监控行为，并对模型进行微调，以确保流畅、响应迅速的游戏体验。

💬 加入社区

与专家交流、参与讨论、提问，并与其他学员分享见解、经验和反馈，请加入我们的 Discord 社区。直播课程的通知也会在此发布！

此外，你还可以订阅我们的邮件列表以获取最新资讯。

👨‍🏫 认识我们的团队

本课程由 AI 领域专家 Stanislav Fedotov 领衔，由一支致力于让 AI 教育更易获取、帮助从业者保持行业领先地位的 AI 实践者团队共同打造：

Alexey Bukhtiyarov

Nikita Pavlichenko

Sergei Petrov

Sergei Skvortsov

Alex Umnov

LLM-Engineering-Essentials 快速上手指南

本指南旨在帮助开发者快速进入 LLM Engineering Essentials 课程的学习路径，通过动手实践掌握 LLM API、自托管模型及构建自定义 AI NPC 平台的核心技能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (需配合 WSL2)。
• Python 版本：Python 3.9 或更高版本。
• 包管理工具：pip 或 conda。
• 代码编辑器：VS Code 或 PyCharm（推荐安装 Python 和 Markdown 插件）。
• 账号准备：
  • GitHub 账号（用于克隆代码库）。
  • LLM API 密钥（如 OpenAI, Anthropic 等，用于 Topic 1）。
  • Discord 账号（可选，用于加入社区讨论）。
• 硬件建议：
  • 基础学习：任意现代 CPU，8GB+ 内存。
  • 自托管模型与微调（Topic 4-6）：建议配备 NVIDIA GPU (显存 16GB+ 为佳)，或使用云端 GPU 实例。

国内加速建议：

• 克隆仓库时若速度慢，可使用镜像站：

  git clone https://ghp.ci/https://github.com/Nebius-Academy/LLM-Engineering-Essentials.git
  

• 安装 Python 依赖时，推荐使用清华或阿里镜像源：

  pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
  

安装步骤

1. 克隆项目仓库 将课程代码下载到本地：

   git clone https://github.com/Nebius-Academy/LLM-Engineering-Essentials.git
   cd LLM-Engineering-Essentials
   

2. 创建虚拟环境 建议使用 venv 或 conda 隔离环境：

   python -m venv venv
   # Linux/macOS 激活环境
   source venv/bin/activate
   # Windows 激活环境
   # venv\Scripts\activate
   

3. 安装基础依赖 进入具体主题文件夹（以 Topic 1 为例）并安装所需库。每个 topic* 文件夹下通常包含独立的 requirements.txt。

   cd topic1
   pip install -r requirements.txt
   

   注：后续每个主题请进入对应文件夹重复此步骤，因为不同阶段所需的库可能不同。

4. 配置环境变量 在项目根目录或对应主题目录下创建 .env 文件，填入您的 API Key：

   echo "OPENAI_API_KEY=your_api_key_here" > .env
   

基本使用

本课程采用“边学边做”的模式，每个主题包含理论材料和实战项目。以下以 Topic 1: LLM API Basics 为例，展示如何运行第一个示例。

1. 查看主题详情 阅读当前主题的说明文档以了解具体目标：

   cat README.md
   

2. 运行示例代码 通常在主题文件夹的 src 或 notebooks 目录下包含示例脚本。假设存在一个名为 chatbot_basic.py 的入口文件：

   python src/chatbot_basic.py
   

   如果该主题提供 Jupyter Notebook，可启动服务并在浏览器中交互：

   jupyter notebook
   

3. 构建首个项目：云端聊天机器人 按照 topic1 中的指令，修改配置文件中的提示词策略（Prompt Strategies），运行部署脚本将简单的 Chatbot 部署到云端环境（如本地测试或云服务器）：

   # 示例命令，具体文件名请参考 topic1 目录下的实际脚本
   python deploy_cloud_bot.py --config config.yaml
   

4. 进阶探索 完成 Topic 1 后，依次进入 topic2 至 topic6，逐步实现从工作流编排、RAG 检索增强、自托管模型部署到模型微调的完整 NPC Factory 平台构建。

   • Topic 2: 实现具有记忆功能的 Agent。
   • Topic 3: 为 NPC 工厂添加向量数据库支持。
   • Topic 4: 部署开源模型替代 API 调用。
   • Topic 5: 集成 Prometheus/Grafana 进行监控。
   • Topic 6: 使用 LoRA 对角色进行微调。

开始您的 LLM 工程之旅吧！遇到问题欢迎在 GitHub 提交 Issue 或加入 Discord 社区交流。