深度学习资源精选

这是一份我整理的深度学习（Deep Learning）优质资源清单。它对我学习深度学习非常有帮助，我经常用它来复习相关主题或作为参考资料。 我（Guillaume Chevalier）亲自构建了这份清单，并仔细学习了其中列出的所有内容。

目录

• 趋势
• 在线课程
• 书籍
• 文章与博客
• 实践资源
  • 库与实现
  • 常用数据集
• 其他数学理论
  • 梯度下降算法与优化
  • 复数与数字信号处理
• 论文
  • 循环神经网络（RNN）
  • 卷积神经网络（CNN）
  • 注意力机制
  • 其他
• YouTube与视频
• 其他资源与链接
• 许可证

趋势

以下是2004年至2017年9月的Google Trends数据趋势图：

你也可以查看 Andrej Karpathy 的 新文章 了解机器学习研究的最新趋势。

我认为深度学习是让计算机更像人类思考的关键技术，具有巨大潜力。许多原本用传统算法难以解决的自动化任务，现在通过深度学习可以轻松实现。

摩尔定律（Moore's Law）描述的计算机硬件指数级进步，如今更多体现在GPU而非CPU上，因为物理限制使得原子晶体管无法无限缩小。我们正在向并行架构发展[了解更多]。深度学习通过GPU利用了这种并行架构。此外，深度学习算法未来可能结合量子计算（Quantum Computing）并应用于脑机接口（machine-brain interface）领域。

智能与认知的本质是极其有趣的探索课题，目前尚未完全被理解。这些技术充满前景。

在线课程

• DL&RNN 课程 - 我创建的深度学习与循环神经网络（RNN）密集课程。
• Coursera 上 Andrew Ng 的机器学习课程 - 著名的入门级课程，提供证书。讲师：斯坦福大学副教授 Andrew Ng，百度首席科学家，Coursera 联合创始人。
• Coursera 上 Andrew Ng 的深度学习专项课程 - Andrew Ng 新推出的5门深度学习课程系列，使用 Python 而非 Matlab/Octave，完成可获得专项证书。
• Google 的深度学习课程 - 中高级课程，涵盖深度学习高级概念，适合掌握基础后进行创意开发。
• Georgia Tech 的交易机器学习课程 - 介绍交易领域机器学习基础知识及AI与金融概念。Q-Learning部分尤其精彩。
• Hugo Larochelle 的神经网络课程（Sherbrooke大学） - Hugo Larochelle 免费提供的在线神经网络课程，我已观看部分内容。
• GLO-4030/7030 深度神经网络学习 - Laval大学 Philippe Giguère 教授的课程。特别推荐其多头注意力机制（multi-head attention mechanism）的可视化演示，详见第13周第28页幻灯片。
• 深度学习与循环神经网络（DL&RNN） - 本领域最密集的加速课程（滚动至页面底部）。

书籍

• 代码整洁之道 - 回归编程基础！学习如何编写整洁代码以提升职业素养。这本书是我读过的最佳书籍，尽管它与深度学习无关。
• 程序员的职业素养 - 学习如何作为专业程序员与经理沟通。这对任何编程职业都至关重要。
• 如何创造思维 - 通勤时聆听音频版很合适。这本书激励人们反向工程大脑并思考AI编码。
• 神经网络与深度学习 - 覆盖神经网络和深度学习核心概念的经典书籍。
• 深度学习 - MIT出版社书籍 - 书中包含丰富的数学内容，帮助理解实际深度学习原理。
• 其他我读过的书籍 - 部分书籍与深度学习关联较弱，但仍与本清单相关。

文章与帖子

• 雷·库兹韦尔的预测 - 雷·库兹韦尔（Ray Kurzweil）关于中长期未来预测的列表。
• 循环神经网络的惊人有效性 - 必读文章，由安德烈·卡帕蒂（Andrej Karpathy）撰写——正是这篇文章促使我学习循环神经网络（RNN），它展示了RNN在最基础的自然语言处理（NLP）中的应用效果。
• 神经网络、流形与拓扑 - 从新视角探讨神经元如何映射信息。
• 理解长短期记忆网络（LSTM） - 解释LSTM单元的内部工作机制，并在结论部分提供了有趣的链接。
• 注意力机制与增强型循环神经网络 - 通过视觉动画展示注意力机制的入门介绍。
• 使用深度学习在Spotify推荐音乐 - 在音频聚类方面的绝佳案例——由Spotify实习生撰写的文章。
• 发布SyntaxNet：世界上最精确的解析器开源 - Parsey McParseface的诞生，一种神经语法树解析器。
• 改进Inception与TensorFlow中的图像分类 - 非常有趣的卷积神经网络（CNN）架构（例如：Inception风格的卷积层在减少参数数量方面具有高效性）。
• WaveNet：原始音频的生成模型 - 实现逼真语音合成的机器：完美的语音生成。
• 弗朗索瓦·肖莱的推特账号 - Keras作者——拥有有趣的推文和创新性想法。
• Neuralink与大脑的神奇未来 - 关于大脑未来和脑机接口的启发性文章。
• 为开发大型文件的深度学习应用迁移到Git LFS - 轻松管理私有Git项目中的超大文件。
• 深度学习的未来 - 弗朗索瓦·肖莱对深度学习未来的思考。
• 通过决策树发现数据背后的结构 - 构建并可视化决策树，推断数据背后的隐藏逻辑。
• 优化神经网络超参数的Hyperopt教程 - 学习自动优化超参数空间，而非手动调整。
• 估计深度神经网络的最优学习率 - 一种巧妙的技巧，在完整训练之前估计最优学习率。
• 注释版Transformer - 有助于理解《Attention Is All You Need》（AIAYN）论文。
• 图解Transformer - 同样有助于理解《Attention Is All You Need》（AIAYN）论文。
• 通过无监督学习提升语言理解 - 通过大规模语料的无监督预训练，在多个NLP任务中达到SOTA（最先进）水平。
• NLP的ImageNet时刻已到来 - 欢呼NLP的ImageNet时刻。
• 图解BERT、ELMo等（NLP如何攻克迁移学习） - 理解NLP的ImageNet时刻所采用的不同方法。
• Uncle Bob的面向对象设计原则 - 不仅需要SOLID原则来编写干净代码，更进一步的REP、CCP、CRP、ADP、SDP和SAP原则对于开发需要打包成多个独立模块的大型软件至关重要。
• 为什么87%的数据科学项目从未投入生产？ - 数据不可忽视，团队与数据科学家之间的沟通对于正确集成解决方案至关重要。
• 机器学习项目失败的真正原因 - 聚焦清晰的业务目标，避免算法迭代除非代码非常整洁，并能够判断何时代码“足够好”。
• 面向机器学习的SOLID原则 - 将SOLID原则应用于机器学习。

实用资源

库和实现

• Neuraxle（机器学习流水线框架） - 用于构建和部署机器学习项目的最佳框架，且兼容大多数框架（例如：Scikit-Learn、TensorFlow、PyTorch、Keras 等）。
• TensorFlow 的 GitHub 仓库 - 最知名的深度学习框架，兼具高层和底层功能，同时保持灵活性。
• skflow - TensorFlow 的 scikit-learn 风格封装。
• Keras - 另一个类似 TensorFlow 的深度学习框架，主要面向高层接口。
• carpedm20 的仓库 - 韩国开发者 Taehoon Kim（carpedm20）实现了许多有趣的神经网络架构。
• carpedm20/NTM-tensorflow - 基于 TensorFlow 的神经图灵机（Neural Turing Machine）实现。
• 懒人深度学习 - 使用预训练 CNN（AlexNet 2012）的高层嵌入进行视觉领域的迁移学习教程。
• LSTM 用于人体活动识别（HAR） - 我关于使用 LSTM 对时间序列进行分类的教程。
• 深度堆叠残差双向 LSTM 用于 HAR - 对前述项目的改进版本。
• 序列到序列（seq2seq）循环神经网络（RNN）用于时间序列预测 - 我关于预测多通道时间序列的教程。
• Hyperopt 优化 Keras CNN 在 CIFAR-100 上的表现 - 在 CIFAR-100 数据集上自动优化神经网络及其架构。
• 我收藏的 ML/DL 仓库 - GitHub 上有许多优秀的代码示例和项目。
• 平滑融合图像块 - 用于 U-Net 语义分割 的图像块平滑合并工具。
• 自治理神经网络（SGNN）：投影层 - 使用此方法，无需训练或加载嵌入即可在深度学习模型中使用文本。
• Neuraxle - Neuraxle 是一个用于构建整洁流水线的机器学习（ML）库，提供合适的抽象层次以简化 ML 应用的研究、开发和部署。
• Clean Machine Learning，编码练习 - 通过实践学习良好的机器学习设计模式。

一些数据集

这些是我发现的可用于模型开发的有趣资源。

• UCI 机器学习仓库 - 包含大量机器学习数据集。
• 康奈尔电影对话语料库 - 可用于聊天机器人开发。
• SQuAD 斯坦福问答数据集 - 可在线探索的问答数据集，以及表现优异的模型列表。
• LibriSpeech ASR 语料库 - 高质量的免费英语语音数据集，性别和说话人分布均衡。
• Awesome 公共数据集 - 优质公共数据集合集。
• SentEval：通用句子表示评估工具包 - 用于在多个数据集（NLP 任务）上基准测试句子表示的 Python 框架。
• ParlAI：对话研究软件平台 - 另一个用于在多个数据集（NLP 任务）上基准测试句子表示的 Python 框架。

其他数学理论

梯度下降算法与优化理论

• 神经网络与深度学习，第2章 - 反向传播算法（backpropagation）的工作原理概述
• 神经网络与深度学习，第4章 - 神经网络可以计算任何函数的可视化证明
• 是的，你应该理解反向传播 - 揭示反向传播的注意事项及其在模型训练中的重要性
• 人工神经网络：反向传播的数学原理 - 数学角度解析反向传播
• 深度学习第12讲：循环神经网络与LSTM - 详细解释RNN图展开过程及梯度下降算法的潜在问题
• 鞍点中的梯度下降算法 - 可视化不同优化器在鞍点的表现
• 平坦景观中的梯度下降算法 - 可视化不同优化器在接近平坦景观的表现
• 梯度下降 - 已列出Andrew NG的Coursera课程，但此视频作为梯度下降算法的入门介绍特别相关
• 梯度下降：直观理解 - 前一视频的延伸：添加直观理解
• 实践中的梯度下降2：学习率 - 如何调整神经网络的学习率
• 过拟合问题 - 过拟合现象及其解决方案的详细解释
• 偏差与方差诊断 - 理解神经网络预测中的偏差与方差问题及其解决方案
• 自归一化神经网络 - 引入革命性的SELU激活函数
• 通过梯度下降学习如何通过梯度下降学习 - RNN作为优化器：介绍L2L优化器（元神经网络）

复数与数字信号处理

信号处理可能与深度学习无直接关联，但研究它有助于在基于信号设计神经网络架构时获得更深入的直觉。

• 窗口函数 - 维基百科列出的已知窗口函数 - 注意Hann-Poisson窗口对贪婪爬山算法（如梯度下降）特别重要
• MathBox，图形代数与傅里叶分析工具 - 对傅里叶分析的新视角
• 如何折叠朱利亚分形 - 涉及复数和波动方程的动画
• 用动画走向辉煌，数学与物理运动 - 物理引擎中的收敛方法及其在交互设计中的应用
• 用动画走向辉煌 - 第二部分，数学与物理运动 - 使用四元数（处理3D旋转的数学对象）进行旋转和旋转插值的动画
• 信号滤波、STFT绘图与拉普拉斯变换 - 信号处理的Python简单演示

论文

循环神经网络

• 神经网络中的深度学习：概述 - You_Again对深度学习的总结/概述，主要聚焦RNN
• 双向循环神经网络 - 通过时间轴双向扫描提升RNN分类性能
• 使用RNN编码器-解码器进行短语表示学习的统计机器翻译 - 将两个网络组合成seq2seq（序列到序列）编码器-解码器架构。RNN编码器-解码器，1000个隐藏单元。Adadelta优化器
• 神经网络的序列到序列学习 - 4层堆叠的LSTM单元（1000个隐藏层），输入句子反转，并在WMT’14英法数据集上使用波束搜索
• 探索语言建模的极限 - 在字符级CNN基础上使用词级LSTM的递归模型，采用大量GPU资源
• 神经机器翻译与序列到序列模型：教程 - NMT主题的有趣概述，主要阅读第8部分关于带注意力机制的RNN复习
• 通过随机残差学习探索循环神经网络的深度 - 在情感分析案例中，残差连接可能优于堆叠RNN
• 像素循环神经网络 - 类似Photoshop的“内容感知填充”功能，用于图像缺失区域补全
• 循环神经网络的自适应计算时间 - 允许RNN自主决定计算时长。期待其与神经图灵机的结合效果。关于该主题的交互式可视化可在此处找到

卷积神经网络（Convolutional Neural Networks）

• What is the Best Multi-Stage Architecture for Object Recognition? - 局部对比度归一化（local contrast normalization）的出色应用。
• ImageNet Classification with Deep Convolutional Neural Networks - AlexNet，2012 ILSVRC，ReLU激活函数（Rectified Linear Unit）的突破性应用。
• Visualizing and Understanding Convolutional Networks - 引入"去卷积网络层"（deconvnet layer）的概念。
• Fast and Accurate Deep Network Learning by Exponential Linear Units - ELU激活函数（Exponential Linear Unit）在CIFAR视觉任务中的应用。
• Very Deep Convolutional Networks for Large-Scale Image Recognition - 通过堆叠多个3x3卷积+ReLU层实现更大感受野的创新设计，包含"ConvNet配置"的优秀表格。
• Going Deeper with Convolutions - GoogLeNet：引入"Inception"模块，通过并行不同尺寸的卷积层（带"same"填充）在深度维度进行拼接。
• Highway Networks - Highway网络：残差连接（residual connections）的早期探索。
• Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift - 批归一化（Batch Normalization, BN）：通过在批次维度进行归一化，再进行可学习的线性缩放和平移。
• U-Net: Convolutional Networks for Biomedical Image Segmentation - U型网络（U-Net）：具有跳跃连接的编码器-解码器结构，适用于像素级图像分割。
• Deep Residual Learning for Image Recognition - 带批归一化的深度残差层（residual layers），即"如何通过过多层来过拟合任何视觉数据集，并在有足够的数据时使任何视觉模型在识别任务中正常工作"。
• Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning - 通过残差连接改进GoogLeNet。
• WaveNet: a Generative Model for Raw Audio - 基于扩张因果卷积（dilated causal convolutions）的音频生成模型，可生成高质量语音/音乐。
• Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling - 3D-GANs：用于3D模型生成和家具嵌入空间的算术操作（类似word2vec的词向量算术）。
• Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour - 极速分布式CNN训练方法。
• Densely Connected Convolutional Networks - CVPR 2017最佳论文，DenseNet（密集连接卷积网络）在CIFAR-10/100和SVHN数据集上取得SOTA性能。
• The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation - 结合U-Net和DenseNet思想的新型网络，特别适合大规模图像分割任务。
• Prototypical Networks for Few-shot Learning - 通过损失函数中的距离度量实现小样本学习（few-shot learning）。

注意力机制（Attention Mechanisms）

• Neural Machine Translation by Jointly Learning to Align and Translate - LSTM的注意力机制（attention mechanism）！图示和公式解释对我帮助极大。我在这里做过相关演讲。
• Neural Turing Machines - 允许神经网络学习算法并处理长期依赖序列的杰出工作。
• Show, Attend and Tell: Neural Image Caption Generation with Visual Attention - 在CNN特征图上使用LSTM注意力机制的神奇效果。
• Teaching Machines to Read and Comprehend - 文本问答领域的创新性突破性研究。
• Effective Approaches to Attention-based Neural Machine Translation - 探索不同注意力机制实现方式。
• Matching Networks for One Shot Learning - 通过注意力机制和查询机制实现低数据量下的单样本学习。
• Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation - 2016年：带注意力机制的堆叠残差LSTM是神经机器翻译（NMT）的最佳选择。
• Hybrid computing using a neural network with dynamic external memory - 基于NTM的可微分记忆改进，现称为可微分神经计算机（DNC）。
• Massive Exploration of Neural Machine Translation Architectures - 揭示序列到序列框架下NMT有效性的边界。
• Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions - 使用WaveNet作为声码器，结合Tacotron 2 LSTM网络的注意力机制，从文本生成高质量音频。
• Attention Is All You Need (AIAYN) - 引入多头自注意力（multi-head self-attention）和位置编码（positional encoding）的Transformer模型，实现无需RNN/CNN的句子级NLP（必读论文，另见这篇解析和可视化教程）。

其他

• ProjectionNet: Learning Efficient On-Device Deep Networks Using Neural Projections - 在深度神经网络中用词投影（word projections）替代词嵌入（word embeddings），无需预提取词典或存储嵌入矩阵。
• Self-Governing Neural Networks for On-Device Short Text Classification - 本文是对上方ProjectionNet的后续研究。SGNN（自治理神经网络）基于ProjectionNet进一步扩展，详细说明了优化方法（另见我的代码复现尝试以及观看演讲录像）。
• Matching Networks for One Shot Learning - 通过少量示例（无明确类别）对新样本进行分类，每个分类任务数据量少但存在大量相似任务的数据。该方法似乎比孪生网络（Siamese Networks）更优。简而言之：Matching Networks 可直接优化示例间的余弦相似度（类似于自注意力机制的匹配结果），并将结果直接输入softmax。我认为Matching Networks可能可以用于word2vec的CBOW或Skip-gram模型的负采样softmax训练，而无需进行上下文嵌入查找。

YouTube 和 视频

• Attention Mechanisms in Recurrent Neural Networks (RNNs) - IGGG - 关于注意力机制（Paper: Neural Machine Translation by Jointly Learning to Align and Translate）的读书小组讲座。
• Tensor Calculus and the Calculus of Moving Surfaces - 正确理解张量（Tensor）运算的通用方法，仅观看几段视频即可显著提升概念理解。
• Deep Learning & Machine Learning (Advanced topics) - 我整理的深度学习相关视频列表，涵盖各类高级主题。
• Signal Processing Playlist - 我制作的信号处理视频合集，包含DFT/FFT、STFT和拉普拉斯变换等内容（我的软件工程本科课程中几乎没有信号处理内容，除了量子物理课的一小部分）。
• Computer Science - 我制作的另一份计算机科学主题视频合集。
• Siraj's Channel - Siraj 提供的快节奏深度学习趣味教学视频。
• Two Minute Papers' Channel - 对部分研究论文的浅显概述，例如WaveNet或神经风格迁移。
• Geoffrey Hinton interview - Andrew Ng 对Geoffrey Hinton的访谈，后者谈论了他的研究突破并给学生建议。
• Growing Neat Software Architecture from Jupyter Notebooks - 使用Jupyter Notebooks构建机器学习项目的结构指南。

杂项资源与链接

• Hacker News - 可能是我发现机器学习的起点 - 该网站上的有趣趋势通常比主流媒体更早出现。
• DataTau - 类似Hacker News的数据科学专题平台。
• Naver - 韩国搜索引擎 - 建议配合Google翻译使用。令人惊讶的是，有时深度学习搜索结果和高等数学内容在这里比Google搜索更容易找到。
• Arxiv Sanity Preserver - 带TF/IDF功能的arXiv浏览器。
• Awesome Neuraxle - Neuraxle框架的精选资源列表，用于编写生产级机器学习流水线。

授权协议

在法律允许的最大范围内，Guillaume Chevalier 已放弃本作品的所有版权及相关权利。

Awesome-Deep-Learning-Resources 快速上手指南

环境准备

系统要求

• 操作系统：Windows 10/11、macOS 10.14+ 或 Linux（推荐 Ubuntu 20.04+）
• Python 版本：3.7 - 3.11
• 可选：NVIDIA GPU（支持 CUDA 11.0+）

前置依赖

基础环境：

# 安装 Python 包管理器（如 pip/conda）  
# 推荐使用国内镜像源加速安装  
# 以 pip 为例：  
pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple  

GPU 加速环境（可选）：

# 安装 CUDA 工具包（需根据显卡型号选择版本）  
# 安装 cuDNN（需与 CUDA 版本匹配）  

---

安装步骤

1. 创建虚拟环境（推荐）

# 使用 conda  
conda create -n dl_env python=3.9  
conda activate dl_env  

# 或使用 venv  
python -m venv dl_env  
source dl_env/bin/activate  # Linux/macOS  
dl_env\Scripts\activate     # Windows  

2. 安装核心框架

# PyTorch（推荐使用国内镜像）  
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple  

# TensorFlow  
pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple  

# 其他常用工具  
pip install jupyter matplotlib numpy pandas scikit-learn -i https://pypi.tuna.tsinghua.edu.cn/simple  

---

基本使用

最简 PyTorch 示例

import torch  
x = torch.rand(5, 3)  # 创建随机张量  
print(x)  

最简 TensorFlow 示例

import tensorflow as tf  
x = tf.random.normal([5, 3])  # 创建正态分布张量  
print(x)  

启动 Jupyter Notebook

jupyter notebook  # 直接在浏览器中运行代码示例  

---

提示：若需使用 GPU 加速，请确保已正确安装 CUDA 驱动，并在代码中通过 torch.cuda.is_available() 或 tf.config.list_physical_devices('GPU') 验证 GPU 支持。