这是一个中文的 AI/LLM 大模型入门项目

回顾过去的学习历程，吴恩达和李宏毅老师的视频为我的深度学习之路提供了极大的帮助。他们幽默风趣的讲解方式和简单直观的阐述，让枯燥的理论学习变得生动有趣。

然而，在实践的时候，许多学弟学妹们最初会烦恼于怎么去获取国外大模型的 API ，尽管最终都能找到解决方法，但第一次的畏难情绪总是会拖延学习进度，逐渐转变为“看视频就够了”的状态。我时常在评论区看到类似的讨论，于是决定利用闲暇时间帮学子们跨过这道门槛，这也是项目的初衷。

本项目不会提供🪜科学上网的教程，也不会依赖平台自定义的接口，而是使用更兼容的 OpenAI SDK，帮助大家学习更通用的知识。

项目将从简单的 API 调用入手，带你逐步深入大模型的世界。在此过程中，你将掌握 AI 视频摘要、LLM 微调和 AI 图像生成等技能。

强烈建议观看李宏毅老师的课程「生成式人工智能导论」同步学习：课程相关链接快速访问

现在，项目还开设了🎡CodePlayground，你可以按照文档配置好环境，使用一行代码运行脚本，体验 AI 的魅力。

📑论文随笔位于 PaperNotes，将逐步上传大模型相关的基础论文。

🚀 基础镜像已经准备好，如果你还没有配置好属于自己的深度学习环境，不妨尝试一下 Docker。

祝你旅途愉快！

目录

• Tag 说明:
  • ---: 基础知识，根据需要进行观看，也可以暂时跳过。其中的代码文件结果都会在文章中示出，但仍建议动手运行代码。可能会有显存要求。
  • API: 文章仅使用大模型的 API，不受设备限制，无 GPU 也可运行。
    • Kaggle 目前不允许使用 Gradio，故部分交互文件不提供相关链接（这一类文件可以本地运行）。
  • LLM: 大型语言模型相关的实践，代码文件可能有显存要求。
  • SD: Stable Diffusion，文生图相关的实践，代码文件有显存要求。
• Online 在线链接说明：
  • 与 Code 内容一致，如果提供了 Kaggle 和 Colab，则三选一运行。
    • 前置文章《Kaggle：免费 GPU 使用指南，Colab 的理想替代方案》
  • 如果仅提供了 Colab，说明不受显卡限制可以本地运行，此时不能科学上网的同学可以下载 File 的代码，学习效果一致。
  • 运行时请不要忘记打开对应在线平台的 GPU。
    • Kaggle：Setting -> Accelerator -> 选择 GPU。
    • Colab：代码执行程序 -> 更改运行时类型 -> 选择 GPU。

✨ New

好久不见，更新一篇 MCP 相关的中间文章，或许会对你有所帮助。

因为还没想好模块标题，所以暂时置顶。

另外，目前项目将在叙述上全面使用 uv 进行环境的配置，后续会出一篇文章对 uv 进行介绍（这是一次并不“友好”的改动，但考虑到其目前已经被广泛应用，「长痛不如短痛」，索性从本项目开始“折腾”，希望能让你熟悉 uv 的使用）。

需要注意的是，因为目前的库版本更迭，或许会出现一些关于版本冲突的报错，计划在 8 月全面更新代码进行修复（当然，复制报错去问 AI 基本都可以临时解决）。

Colab 链接因为原账户没绑定恢复邮箱，被暂停了外部访问且无法恢复（引以为戒），后续我会抽空迁移至新账户上。

• 深入 FastMCP 源码：认识 tool()、resource() 和 prompt() 装饰器
• Claude Code 使用指南：安装与进阶技巧
  • Claude Code 必备的用量监控工具：claude-monitor 实践指南
• 【2025-09-02｜旧文留档】Cursor 与 Claude Code Max 5x 订阅体验记录
• 【2026-04-16｜持续更新】Claude / GPT 订阅建议与反代避坑

DeepSeek 使用手册

这部分内容将直接由之前的文章（导论部分）重组得来，故存在重复，此模块将暂时专注于 DeepSeek API 的使用，是 OpenAI SDK 相关的通用知识，也可以作为导论 API 部分的拓展。

DeepSeek API【共享】

导论

[!TIP]

如果你更喜欢拉取仓库到本地进行阅读 .md，那么在出现公式报错的时候，请使用 Ctrl+F 或者 Command+F，搜索\\_并全部替换为\_。

拓展阅读

文件夹解释：

• Demos

  所有的代码文件都将存放在其中。

  • data

    存放代码中可能用到的小型数据，不需要关注这个文件夹。

• GenAI_PDF

  这里是【生成式人工智能导论】课程的作业PDF文件，我上传了它们，因为其最初保存在 Google Drive 中。

• Guide

  所有的指导文件都将存放在其中。

  • assets

    这里是 .md 文件用到的图片，不需要关注这个文件夹。

• PaperNotes

  论文随笔。

  • README.md
    • 目录索引。
  • 对比学习论文随笔 1：正负样本
    • 涉及使用正负样本思想且优化目标一致的基础论文
  • Transformer 论文精读
    • 从零开始复现 Transformer（PyTorch），并对各组件进行解读。
    • 代码 | Kaggle | Colab
  • BERT 论文精读
    • 预训练任务 MLM 和 NSP
    • BERT 模型的输入和输出，以及一些与 Transformer 不同的地方
    • 以 $\text{BERT}_\text{BASE}$ 为例，计算模型的总参数量
    • 作业 - BERT 微调抽取式问答
  • GPT 论文精读
    • GPT 数字系列论文：GPT-1 / GPT-2 / GPT-3 / GPT-4

• CodePlayground

  • 一些有趣的代码脚本示例（Toy 版）。

    • README.md

      • 你需要先阅读这份说明。

    • summarizer.py 🎡脚本

      AI 视频/音频/字幕摘要。

    • sd_lora.py 🎡 脚本

      AI 绘画。

    • chat.py 🎡脚本

      AI 对话。

快速访问

生成式人工智能导论学习资源

• 课程主页

• 官方 | 授权视频: YouTube | Bilibili

中文镜像版的制作与分享已经获得李宏毅老师的授权，感谢老师对于知识的无私分享！

• HW1，2不涉及代码相关知识，你可以通过访问对应的作业PDF来了解其中的内容：HW1 | HW2。
• HW3: 引导文章 | 代码中文镜像 | 中文 Colab | 英文 Colab | 作业PDF
• HW4: 引导文章 | 代码中文镜像 | 中文 Colab | 英文 Colab | Kaggle | 作业PDF
• HW5: 引导文章 | 代码中文镜像 | 中文 Colab | 英文 Colab | Kaggle | 作业PDF
• HW6: 引导文章 | 代码中文镜像 | 中文 Colab | 英文 Colab | Kaggle | 作业PDF
• HW7: 引导文章 | 代码中文镜像 | 中文 Colab | 英文 Colab | Kaggle | 作业PDF
• HW8: 引导文章 | 代码中文镜像 | 中文 Colab | 英文 Colab | Kaggle | 作业PDF
• HW9: 引导文章 | 代码中文镜像 | 中文 Colab | 英文 Colab | Kaggle | 作业PDF
• HW10: 引导文章 | 代码中文镜像 | 中文 Colab | 英文 Colab | Kaggle | 作业PDF

P.S. 中文镜像将完全实现作业代码的所有功能（本地运行），Kaggle 是国内可直连的在线平台，中文 Colab 和 Kaggle 内容一致，英文 Colab 链接对应于原作业，选择其中一个完成学习即可。

根据实际需求，从下方选择一种方式来准备学习环境，点击 ► 或文字展开。

pip --version

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple

# 创建配置目录
mkdir -p ~/.config/uv

# 创建配置文件（Linux/Mac），Windows 在 %APPDATA%\uv\uv.toml
cat > ~/.config/uv/uv.toml << EOF
[[index]]
url = "https://mirrors.aliyun.com/pypi/simple/"
default = true
EOF

git clone https://github.com/Hoper-J/AI-Guide-and-Demos-zh_CN.git
cd AI-Guide-and-Demos-zh_CN

uv sync

uv run jupyter-lab

pip install --timeout 120 <替换成库名>

docker pull <image_name:tag>

docker pull dockerpull.org/hoperj/quickstart:dl-torch2.5.1-cuda11.8-cudnn9-devel

docker pull hoperj/quickstart:dl-torch2.5.1-cuda11.8-cudnn9-devel

cd ~/Downloads

docker load -i dl.tar

docker run --gpus all -it --name ai --network host hoperj/quickstart:dl-torch2.5.1-cuda11.8-cudnn9-devel /bin/zsh

docker run --gpus all -it \
  --name ai \
  --network host \
  -e http_proxy=http://127.0.0.1:7890 \
  -e https_proxy=http://127.0.0.1:7890 \
  -e all_proxy=socks5://127.0.0.1:7891 \
  hoperj/quickstart:dl-torch2.5.1-cuda11.8-cudnn9-devel \
  /bin/zsh

git clone https://github.com/Hoper-J/AI-Guide-and-Demos-zh_CN.git
cd AI-Guide-and-Demos-zh_CN

jupyter lab --ip=0.0.0.0 --port=8888 --no-browser --allow-root

感谢你的STAR🌟，希望这一切对你有所帮助。

AI-Guide-and-Demos-zh_CN 快速上手指南

本指南旨在帮助开发者快速搭建环境并运行 AI-Guide-and-Demos-zh_CN 项目中的示例代码，涵盖从 API 调用到大模型微调的基础实践。

1. 环境准备

系统要求

• 操作系统: Windows, macOS, 或 Linux
• Python 版本: 推荐 Python 3.9 - 3.11
• 硬件要求:
  • API 类任务 (Tag: API): 无 GPU 要求，普通笔记本即可运行。
  • 本地部署/微调类任务 (Tag: LLM, Tag: SD): 建议配备 NVIDIA GPU (显存 ≥ 8GB 用于基础微调，≥ 16GB 用于 Stable Diffusion 训练)。若无本地 GPU，可使用项目提供的 Kaggle 或 Colab 在线链接。

前置依赖

项目推荐使用 uv 进行环境管理（速度快且兼容性好），同时也支持传统的 pip。

2. 安装步骤

方案 A：使用 uv 安装（推荐）

uv 是该项目主要采用的包管理工具，能显著加快依赖安装速度。

1. 安装 uv (如果尚未安装):

   curl -LsSf https://astral.sh/uv/install.sh | sh
   # Windows PowerShell:
   powershell -c "irm https://astral.sh/uv/install.ps1 | iex"
   

2. 克隆项目并创建虚拟环境:

   git clone https://github.com/Hoper-J/AI-Guide-and-Demos-zh_CN.git
   cd AI-Guide-and-Demos-zh_CN
   
   # 创建虚拟环境并激活
   uv venv
   source .venv/bin/activate  # Linux/macOS
   # .venv\Scripts\activate   # Windows
   

3. 安装依赖:

   # 使用国内镜像源加速（如清华源）
   uv pip install -r requirements.txt --index-url https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：若根目录暂无 requirements.txt，可根据具体 Demo 需求安装核心库，例如：

   uv pip install openai gradio transformers peft accelerate datasets --index-url https://pypi.tuna.tsinghua.edu.cn/simple
   

方案 B：使用 pip 安装

git clone https://github.com/Hoper-J/AI-Guide-and-Demos-zh_CN.git
cd AI-Guide-and-Demos-zh_CN

python -m venv venv
source venv/bin/activate  # Linux/macOS
# venv\Scripts\activate   # Windows

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

Docker 快速部署（可选）

如果你希望避免配置本地环境，项目提供了基础镜像支持：

docker pull <project-docker-image> # 具体镜像名请参考项目最新 Docker 章节
docker run -it --gpus all <project-docker-image>

3. 基本使用

本项目核心在于通过 Jupyter Notebook (.ipynb) 学习大模型技术。以下以最基础的 LLM API 对话 为例。

第一步：获取 API Key

本项目兼容 OpenAI SDK 格式。你可以使用 DeepSeek、阿里通义千问、智谱等国内模型的 API。

• 参考文档：00. 大模型 API 获取步骤
• 将获取到的 API_KEY 和 BASE_URL 记录下来。

第二步：运行示例代码

进入 Demos 目录，打开 01. 初识 LLM API：环境配置与多轮对话演示.ipynb。

最简代码示例 (Python):

from openai import OpenAI

# 初始化客户端 (以 DeepSeek 为例，其他模型只需修改 base_url 和 api_key)
client = OpenAI(
    api_key="YOUR_API_KEY", 
    base_url="https://api.deepseek.com" 
)

# 发送对话请求
response = client.chat.completions.create(
    model="deepseek-chat",
    messages=[
        {"role": "system", "content": "你是一个有用的助手。"},
        {"role": "user", "content": "请用一句话介绍什么是 LoRA？"}
    ],
    stream=False
)

# 打印结果
print(response.choices[0].message.content)

第三步：尝试交互式应用 (Gradio)

项目包含多个基于 Gradio 的 Demo，可快速构建 AI 界面。 运行 02. 简单入门：通过 API 与 Gradio 构建 AI 应用.ipynb 中的代码块，即可在本地浏览器启动一个简单的聊天机器人界面。

# 在 Notebook 中运行或直接在终端执行对应的 python 脚本
python Demos/app_fastapi.py 
# 或运行 notebook 中显示的 gradio.launch() 单元格

在线运行替代方案

若本地环境配置困难或显存不足，可直接点击项目 README 中各章节对应的 Kaggle 或 Colab 链接：

1. 点击链接进入在线环境。
2. 确保在设置中开启 GPU Accelerator (Kaggle: Settings -> Accelerator -> GPU; Colab: Runtime -> Change runtime type -> GPU)。
3. 填入你的 API Key 或直接运行预置的本地模型推理代码。