伊利亚·苏茨克弗的深度学习阅读清单

深度学习精炼秘笈

推特上，伊利亚·苏茨克弗曾向约翰·卡马克提供了这份包含约30篇研究论文的阅读清单，并表示：“如果你真的把所有这些都学透了，你就掌握了当今90%最重要的内容。”

[推文] [Arc.net链接]

• 注释版Transformer。 萨沙·拉什等。[博客] [代码]
• 复杂动力学第一定律。 斯科特·阿伦森。[博客]
• 循环神经网络的不可思议有效性。 安德烈·卡帕西。[博客] [代码]
• 理解LSTM网络。 克里斯托弗·奥拉。[博客]
• 循环神经网络正则化。 沃伊切赫·扎任巴等。[ArXiv] [pdf] [代码]
• 通过最小化权重的描述长度来简化神经网络。 杰弗里·E·欣顿和德鲁·范坎普。[论文] [pdf]
• 指针网络。 奥里奥尔·维尼亚尔斯等。[论文] [pdf]
• 基于深度卷积神经网络的ImageNet分类。 亚历克斯·克里泽夫斯基等。[论文] [pdf]
• 顺序很重要：针对集合的序列到序列模型。 奥里奥尔·维尼亚尔斯等。[ArXiv] [pdf]
• GPipe：利用微批次流水线并行轻松扩展。 颜平·黄等。[ArXiv] [pdf]
• 用于图像识别的深度残差学习。 凯明·何等。
• 通过空洞卷积进行多尺度上下文聚合。 费舍尔·于和弗拉德伦·科尔屯。
• 用于量子化学的神经消息传递。 贾斯汀·吉尔默等。
• 注意力就是一切。 阿希什·瓦斯瓦尼等。
• 通过联合学习对齐与翻译实现神经机器翻译。 季米特里·巴赫达诺夫等。
• 深度残差网络中的恒等映射。 凯明·何等。
• 用于关系推理的简单神经网络模块。 亚当·桑托罗等。
• 变分有损自编码器。 西陈等。
• 关系循环神经网络。 亚当·桑托罗等。
• 量化封闭系统中复杂性的兴衰：咖啡自动机。 斯科特·阿伦森等。
• 神经图灵机。 亚历克斯·格雷夫斯等。
• Deep Speech 2：英语和普通话的端到端语音识别。 达里奥·阿莫迪等。
• 神经语言模型的规模法则。 贾里德·卡普兰等。
• 最小描述长度原则教程式介绍。 彼得·格伦瓦尔德。
• 机器超智能。 肖恩·莱格。
• 柯尔莫哥洛夫复杂性和算法随机性。 A.申、V. A. 乌斯宾斯基和N. 维列沙金。
• CS231n：用于视觉识别的卷积神经网络。

Ilya Sutskever 推荐深度学习阅读清单快速上手指南

本指南旨在帮助开发者快速获取并学习由 OpenAI 联合创始人 Ilya Sutskever 推荐的约 30 篇深度学习核心论文与资源。这份清单涵盖了从基础 RNN、LSTM 到 Transformer、残差网络及缩放定律等关键领域，被誉为掌握当今 90% 重要知识的“精炼秘笈”。

注意：本项目为阅读清单（Reading List），并非可安装的软件库或框架。因此无需执行传统的“安装”命令。以下指南将指导你如何获取完整列表并开始高效学习。

环境准备

由于这是一份文档性质的资源集合，对环境要求极低，只需具备基础的阅读与代码查看能力即可。

• 操作系统：Windows / macOS / Linux 均可。
• 前置依赖：
  • 现代浏览器（推荐 Chrome, Edge 或 Firefox）用于访问博客和论文链接。
  • PDF 阅读器（如 Adobe Acrobat, Preview 或浏览器内置功能）。
  • （可选）Git：如果你希望克隆相关论文的官方代码仓库进行本地运行。
  • （可选）Python 环境：若需复现清单中的代码示例（如 char-rnn 或 annotated-transformer），建议安装 Python 3.8+ 及 PyTorch/TensorFlow。

获取与整理步骤

虽然无需安装软件，但你可以通过以下方式将清单保存到本地以便随时查阅。

1. 访问原始资源

直接访问项目托管页面或相关的 Arc.net 文件夹链接：

• GitHub/源地址：查看原始 Markdown 文件以获取所有超链接。
• Arc.net 合集：点击此处访问整理好的文件夹（需使用 Arc 浏览器或查看公开分享链接）。

2. 本地保存清单（可选）

你可以将下方的核心列表复制保存为本地 README.md 或笔记软件（如 Obsidian, Notion）中。

# 如果你想克隆清单中提到的具体代码仓库（例如 Annotated Transformer），可以使用 git：
git clone https://github.com/harvardnlp/annotated-transformer.git
git clone https://github.com/karpathy/char-rnn.git

3. 国内访问加速建议

部分论文链接（如 ArXiv, NIPS proceedings）在国内访问可能较慢，建议使用以下镜像或方案：

• ArXiv 论文：推荐使用 ArXiv 中文镜像 或直接下载 PDF 链接（通常比 HTML 页面加载更快）。
• Google Colab 代码：如果原文提供 Colab 链接且无法打开，可尝试在 Gitee 上搜索对应的中文复刻项目。

基本使用（学习路径建议）

本清单的核心价值在于阅读顺序与深度理解。以下是基于内容逻辑的推荐学习流：

第一步：夯实基础（RNN 与 LSTM）

先理解序列模型的基础，这是理解后续 Transformer 的前提。

1. 阅读 The Unreasonable Effectiveness of Recurrent Neural Networks (Andrej Karpathy) —— 必读入门。
2. 深入 Understanding LSTM Networks (Christopher Olah) —— 图解清晰，强烈推荐。
3. 结合代码：运行 karpathy/char-rnn 体验字符级语言模型。

第二步：核心突破（Attention 与 Transformer）

进入现代大模型的基石部分。

1. 阅读 Attention Is All You Need (Vaswani et al.) —— Transformer 起源。
2. 代码实战：The Annotated Transformer。这是清单中最重要的实践环节，逐行阅读其代码实现。

   # 示例：进入克隆的仓库查看核心实现
   cd annotated-transformer
   # 查看模型定义
   cat TheAnnotatedTransformer.ipynb 
   

第三步：架构演进（ResNet 与 规模化）

理解深度网络的训练技巧与规模化定律。

1. 阅读 Deep Residual Learning for Image Recognition (He et al.) —— 残差网络开山之作。
2. 阅读 Scaling Laws for Neural Language Models (Kaplan et al.) —— 理解大模型性能预测的关键。
3. 阅读 GPipe 了解流水线并行技术。

第四步：理论深化与前沿

针对对数学原理和通用智能感兴趣的开发者。

• 阅读 Scott Aaronson 关于复杂动力学的文章 (The First Law of Complexodynamics)。
• 研读 Hinton 关于最小描述长度 (MDL) 的经典论文。
• 探索 Neural Turing Machines 与 Relational Reasoning 等进阶架构。

通过以上步骤，你将系统性地掌握深度学习过去十年的核心思想与技术脉络。