使用大型语言模型的生成式AI

在“使用大型语言模型的生成式AI”课程中，你将学习生成式AI的工作原理及其基础知识，并掌握如何将其部署到实际应用中。

完成本课程后，你将能够：

• 深入理解生成式AI，描述基于LLM的典型生成式AI生命周期中的关键步骤，从数据收集、模型选择，到性能评估和部署；
• 详细阐述驱动LLM的Transformer架构、其训练方式，以及通过微调使LLM适应各种特定用例的方法；
• 利用经验性的规模法则，在数据集大小、计算预算和推理需求之间优化模型的目标函数；
• 应用最先进的训练、调优、推理技术及工具与部署方法，以在项目的具体约束条件下最大化模型性能；
• 在聆听行业研究人员和从业者的故事后，讨论生成式AI为企业带来的挑战与机遇。

对LLM的工作原理及其训练和部署的最佳实践有扎实基础的开发者，将能够为所在公司做出明智决策，并更快地构建可用原型。本课程将帮助学员建立关于如何最佳利用这一令人振奋的新技术的实用直觉。

第1周

生成式AI用例、项目生命周期与模型预训练

学习目标

• 讨论模型预训练以及持续预训练与微调的价值；
• 定义“生成式AI”、“大型语言模型”、“提示词”等术语，并描述驱动LLM的Transformer架构；
• 描述基于LLM的生成式AI模型生命周期中的各个步骤，探讨在每个阶段推动决策的制约因素；
• 讨论模型预训练过程中的计算挑战，并确定如何高效地减少内存占用；
• 定义“规模法则”这一术语，阐述针对LLM已发现的与训练数据集大小、计算预算、推理需求等因素相关的规律；

实验1 - 生成式AI用例：总结对话

第1周测验

第2周

大型语言模型的微调与评估

学习目标

• 描述如何利用提示词数据集进行指令微调，从而提升模型在一项或多项任务上的表现；
• 定义“灾难性遗忘”，并解释可用于克服该问题的技术；
• 定义“参数高效微调（PEFT）”这一概念；
• 解释PEFT如何降低计算成本并克服灾难性遗忘；
• 解释如何通过使用提示词数据集进行指令微调来提高LLM在一项或多项任务上的性能；

实验2 - 针对话摘要任务微调生成式AI模型

第2周测验

第3周

强化学习与LLM驱动的应用

学习目标

• 描述RLHF如何利用人类反馈来提升大型语言模型的性能与对齐度；
• 解释从人工标注者那里收集的数据如何用于训练RLHF的奖励模型；
• 定义“思维链提示”，并说明其如何用于提升LLM的推理与规划能力；
• 讨论LLM在知识截止方面面临的挑战，并解释信息检索与增强技术如何克服这些挑战；

实验3 - 使用强化学习微调FLAN-T5，生成更积极的摘要

第3周测验

Generative AI with LLMs 快速上手指南

本指南基于 DeepLearning.AI 的《Generative AI with LLMs》课程配套开源项目，旨在帮助开发者快速掌握大语言模型（LLM）的核心原理、微调技术及实际应用。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本：Python 3.8 或更高版本
• 前置知识：具备基础的机器学习概念，了解深度学习基本流程
• 硬件建议：
  • 基础学习：普通 CPU 即可（部分实验可能需要较长时间）
  • 进阶微调/推理：建议使用支持 CUDA 的 NVIDIA GPU (显存 16GB+ 推荐) 或使用云端 GPU 实例
• 依赖管理：推荐使用 conda 或 venv 创建独立虚拟环境

注意：本课程实验主要依托于云端环境（如 Coursera Lab 环境）。若在本地运行，需自行安装相关深度学习框架。

安装步骤

1. 克隆项目仓库

首先，将包含课程代码、Notebook 和测验的仓库克隆到本地：

git clone https://github.com/Ryota-Kawamura/Generative-AI-with-LLMs.git
cd Generative-AI-with-LLMs

(国内用户若下载缓慢，可尝试使用 Gitee 镜像或配置 git 代理)

2. 创建并激活虚拟环境

使用 conda 创建名为 llms-course 的环境：

conda create -n llms-course python=3.9
conda activate llms-course

3. 安装核心依赖

根据实验需求，安装 PyTorch、Transformers、Datasets 等关键库。建议使用国内镜像源加速下载：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers datasets accelerate peft trl evaluate rouge_score nltk -i https://pypi.tuna.tsinghua.edu.cn/simple

注：若无 NVIDIA GPU，请移除 --index-url 参数安装 CPU 版本 PyTorch，或访问 PyTorch 官网获取对应命令。

4. 验证安装

进入任意一个实验目录（例如 Week-1），尝试导入核心库以验证环境：

python -c "import torch; import transformers; print('Environment ready!')"

基本使用

本项目主要通过 Jupyter Notebook 进行交互式学习。以下是启动第一个实验的步骤：

1. 启动 Jupyter Notebook

在项目根目录下运行：

jupyter notebook

2. 运行第一个实验：对话摘要

在浏览器中导航至 Week-1/Lab_1_summarize_dialogue.ipynb。该实验演示了如何使用预训练模型进行零样本（Zero-shot）对话摘要。

核心代码示例（简化版）：

from transformers import pipeline

# 加载预训练的摘要模型
summarizer = pipeline("summarization", model="facebook/bart-large-cnn")

# 准备输入文本
dialogue = """
Alice: Hi Bob, how is the project going?
Bob: It's going well, but we are facing some issues with the database.
Alice: Let's schedule a meeting to discuss the solutions.
"""

# 执行摘要
summary = summarizer(dialogue, max_length=50, min_length=10, do_sample=False)
print(summary[0]['summary_text'])

3. 后续实验路径

完成第一周内容后，可按顺序探索以下核心实验：

• Week 2 (微调): Week-2/Lab_2_fine_tune_generative_ai_model.ipynb
  • 学习如何使用指令数据集对模型进行微调，以及参数高效微调（PEFT）技术。
• Week 3 (强化学习与对齐): Week-3/Lab_3_fine_tune_model_to_detoxify_summaries.ipynb
  • 实践基于人类反馈的强化学习（RLHF），优化模型输出的安全性和积极性。

通过按顺序执行这些 Notebook，您将完整体验从模型预训练理解、微调到最终应用部署的全流程。