AI速成課

為忙碌的開發者準備的AI速成課程，幫助你在2週內趕上AI研究的前沿。

導言： 我是Henry Shi（LinkedIn: henrythe9th），2016年創立了Super.com，並使其年收入超過1.5億美元，最近已退出。作為一名傳統軟體創業者，我需要迅速了解AI研究的最新進展，以找到下一個機會與空白點。因此，我整理了一份對我至關重要、並且能在兩週內讓你快速入門的資源清單。

如需更多背景資訊，請參閱原始推文串。

從這裡開始：
神經網絡 → LLM系列

接著通過綜述論文快速掌握：

• 選擇你感興趣的綜述論文深入研讀

LLM綜述 - 2024年
代理綜述 - 2023年
提示工程綜述 - 2024年
上下文工程綜述 - 2025年

AI論文：（優先閱讀標有星號的）

基礎模型：
Transformer*（基礎架構，自注意力機制）- 2017年
規模定律/GPT3*（確立擴大GPT2/3/4規模的信念）- 2020年
LoRA（微調）- 2021年
訓練計算效率最優的LLM - 2022年
RLHF*（InstructGPT→ChatGPT）- 2022年
DPO（無需強化學習或獎勵模型）- 2023年
LLM作為評判（與人類評估不相上下）- 2023年
MoE（專家混合模型）- 2024年

規劃與推理：
AlphaZero/MuZero*（無需遊戲或規則先驗知識的強化學習）- 2017/2019年
CoT*（思維鏈）/ToT（思維樹）/GoT（思維圖）/Meta CoT - 2022/2023/2023/2025年
ReACT（交替生成推理痕跡與任務特定行動）- 2022年
讓我們逐步驗證（過程 > 結果）- 2023年
ARC獎項*（解決ARC-AGI問題的最新方法）- 2024年
DeepSeek R1*（純粹強化學習打造O1級推理模型，無SFT、無RM）- 2025年
遞歸語言模型（簡單REPL + 基本工具 → 模型在無明確提示的情況下自發學習適應策略）- 2026年

應用：
Toolformer（讓LLM使用工具）- 2023年
GPT4（GPT4概覽，但較為概括）- 2023年
Llama3*（詳細介紹Meta如何構建Llama3及其各種配置與超參數）- 2024年
Gemini1.5（跨模態，上下文窗口達1000萬詞）- 2024年
Deepseekv3（以遠低於其他公司的成本打造前沿開源模型）- 2024年
SWE-Agent/OpenHands（開源軟體開發代理）- 2024年

基準測試：
BIG-Bench（首個廣泛且多樣化的協作式開源基準測試）- 2022年
SWE-Bench（真實世界軟體開發）- 2023年
Chatbot Arena（實時人類偏好 Elo 排名）- 2024年

---

視頻/講座：
3Blue1Brown關於基礎數學/概念
從零開始構建大型語言模型 #1暢銷書
從零開始構建推理模型
Andrej Karpathy: 從零到英雄系列
Yannic Kilcher論文解說
Noam Brown（o1創始人）談AI中的規劃
史丹佛大學：構建LLM
LLM的基礎理論
為什麼你永遠不會太老而轉行進入AI（動力來源）

有用的網站：
深度學習歷史 - 深度學習重大突破與關鍵概念的時間線總結
全棧深度學習 - 用於構建AI產品的課程
Prompting Guide - 豐富的提示技巧與範例列表
a16z AI典籍 - 相似的資源清單，但更長且略顯過時
2025年AI工程師閱讀清單 - 更長的閱讀清單，按關注領域劃分
2024年生成模型現狀 - 對當前狀況的良好簡要總結

其他（非LLM類）：
Vision Transformer（無需CNN）- 2021年
Latent Diffusion（文本到圖像）- 2021年

簡單易懂的論文（適合剛接觸論文的新手）：
CoT（思維鏈） - 2022年
SELF-REFINE：自我反饋的迭代精煉 - 2023年

AI-Crash-Course 快速上手指南

项目简介
AI-Crash-Course 并非一个可安装的软件包或代码库，而是一份由前 Super.com 创始人 Henry Shi 整理的精选学习路径与资源清单。旨在帮助忙碌的开发者在 2 周内快速掌握从神经网络基础到最新大模型（LLM）、智能体（Agent）及推理规划的前沿研究。本指南将指导你如何利用这些资源构建知识体系。

1. 环境准备

由于本项目是资源索引，无需特定的系统依赖，但为了高效阅读论文、运行示例代码及复现研究，建议准备以下开发环境：

• 操作系统: Linux (推荐 Ubuntu 20.04+), macOS 或 Windows (配合 WSL2)。
• 编程语言: Python 3.9+ (AI 领域标准)。
• 核心依赖:
  • PyTorch 或 TensorFlow: 用于复现论文中的模型架构。
  • Hugging Face Transformers: 调用预训练模型最便捷的工具库。
  • Jupyter Lab / VS Code: 用于阅读代码和运行实验。
• 硬件建议:
  • 入门学习：普通 CPU 即可（阅读论文、运行小型 Demo）。
  • 模型微调/推理：建议配备 NVIDIA GPU (显存 16GB+ 推荐)，或使用云端 GPU 服务。
• 网络环境:
  • 访问 arxiv.org, github.com, youtube.com 及 huggingface.co 可能需要稳定的网络连接。
  • 国内加速方案:
    • 论文下载：推荐使用 ArXiv 国内镜像 或 PaperWithCode。
    • 模型/数据集：配置 Hugging Face 镜像源。
    • 视频课程：Bilibili (搜索对应课程名称，如 "3Blue1Brown", "Andrej Karpathy" 通常有官方或高质量搬运字幕版)。

2. 安装步骤 (学习环境与依赖库)

虽然无需安装"AI-Crash-Course"本身，但你需要搭建一个标准的 AI 开发环境来实践清单中的内容。

第一步：创建虚拟环境

python -m venv ai-crash-course-env
source ai-crash-course-env/bin/activate  # Linux/macOS
# ai-crash-course-env\Scripts\activate  # Windows

第二步：安装核心深度学习库 (推荐使用国内镜像源加速)

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers datasets accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install jupyterlab matplotlib seaborn -i https://pypi.tuna.tsinghua.edu.cn/simple

第三步：获取资源清单

你可以克隆该项目的 GitHub 仓库以便随时查阅链接，或直接收藏其原始页面。

git clone https://github.com/henrythe9th/AI-Crash-Course.git
cd AI-Crash-Course

(注：如果原仓库未公开或仅作为概念存在，请直接保存本文下方的资源映射表)

3. 基本使用 (学习路径执行)

本工具的“使用”即按照推荐顺序消费内容。以下是基于 README 内容的两周速成执行计划：

阶段一：夯实基础 (第 1-3 天)

目标: 理解神经网络到大语言模型 (LLM) 的演变。

1. 观看视频: 访问 3Blue1Brown 神经网络系列 (B 站有高清中字)。
2. 核心论文: 精读 Transformers 论文 (2017)，理解 Self-Attention 机制。
   • 链接: https://arxiv.org/pdf/1706.03762
3. 代码实践: 参考 Andrej Karpathy 的 Zero to Hero 系列，尝试从零手写一个微型 GPT。

阶段二：掌握前沿架构与对齐 (第 4-8 天)

目标: 理解模型如何变大、变强以及如何听从指令。

1. 阅读综述: 快速浏览 LLM Survey (2024) 建立全局观。
2. 关键论文精读 (带 * 号为优先):
   • Scaling Laws & GPT-3: 理解规模效应。
   • RLHF: 理解 ChatGPT 背后的对齐技术 (https://arxiv.org/pdf/2203.02155)。
   • LoRA: 学习高效的微调方法 (https://arxiv.org/abs/2106.09685)。
   • Llama 3: 阅读技术报告了解现代开源模型的构建细节。
3. 动手实验: 使用 Hugging Face transformers 库加载 Llama 3 或 Qwen 模型，尝试使用 LoRA 进行简单微调。

阶段三：推理、智能体与应用 (第 9-14 天)

目标: 让模型具备规划能力和工具使用能力。

1. 推理技术: 研读 Chain of Thought (CoT) 和 DeepSeek R1 (2025) 相关论文，理解纯强化学习如何激发推理能力。
   • CoT: https://arxiv.org/pdf/2201.11903
2. 智能体 (Agents): 阅读 Agent Survey 及 ReACT, SWE-Agent 论文。
3. 综合实践:
   • 尝试构建一个简单的 Agent，使其能调用搜索工具或执行代码 (参考 Toolformer 思路)。
   • 阅读 Prompting Guide 优化你的交互策略。

辅助资源速查表

类别	推荐资源	用途
数学基础	3Blue1Brown	直观理解线性代数与微积分
代码实战	Build a LLM (from Scratch)	书籍/课程，从头构建模型
论文解读	Yannic Kilcher (YouTube)	深度论文视频讲解
工程落地	Full Stack Deep Learning	构建 AI 产品的全流程课程
基准测试	Chatbot Arena / SWE-Bench	了解当前模型的能力边界

通过遵循上述路径，你将完成从理论基础到前沿应用的快速跨越，达到能够识别技术机会和填补空白的水平。