深度学习研究论文集

概述

本仓库收录了重要的深度学习研究论文，按研究领域和实现方式分类整理。其目标是提供一种结构化的学习路径，帮助理解深度学习的发展历程及核心概念。

免责声明

[!IMPORTANT] 本项目为个人学习用途，其中的实现代码和笔记可能存在错误或简化之处。请谨慎使用，并始终参考原始论文。

灵感与致谢

受adam-maj的启发，并在此基础上增加了更多研究论文和实现代码。

项目目标

• 实现约60篇重要的深度学习论文
• 提供从零开始的实现代码，便于学习和理解
• 打造一份全面的深度学习研究资源

目录

1. 基础深度神经网络

论文

• DNN (1987)：通过误差反向传播学习内部表示 pdf
• CNN (1989)：反向传播算法在手写邮政编码识别中的应用 pdf
• LeNet (1998)：基于梯度的学习在文档识别中的应用 pdf
• AlexNet (2012)：深度卷积网络在ImageNet图像分类中的应用 pdf
• U-Net (2015)：用于生物医学图像分割的卷积网络 pdf

2. 优化与正则化技术

论文

• 权重衰减 (1991)：简单的权重衰减可提升泛化能力 pdf
• ReLU (2011)：深度稀疏修正神经网络 pdf
• 残差连接 (2015)：深度残差学习在图像识别中的应用 pdf
• Dropout (2014)：防止神经网络过拟合 pdf
• 批归一化 (2015)：加速深度网络训练 pdf
• 层归一化 (2016)：层归一化 pdf
• GELU (2016)：高斯误差线性单元 pdf
• Adam (2014)：一种随机优化方法 pdf

3. 序列建模

论文

• RNN (1989)：持续运行的全循环神经网络 pdf
• LSTM (1997)：长短期记忆网络 pdf
• 学会遗忘 (2000)：利用LSTM进行持续预测 pdf
• Word2Vec (2013)：词向量表示 pdf
• Phrase2Vec (2013)：词和短语的分布式表示 pdf
• 编码器-解码器 (2014)：用于机器翻译的RNN编码器-解码器 pdf
• Seq2Seq (2014)：序列到序列学习 pdf
• 注意力机制 (2014)：基于对齐的神经机器翻译 pdf
• 专家混合模型 (2017)：稀疏门控神经网络 pdf

4. 语言建模

论文

• Transformer (2017)：注意力就是你所需要的 pdf
• BERT (2018)：用于语言理解的双向Transformer pdf
• RoBERTa (2019)：鲁棒优化的BERT预训练 pdf
• T5 (2019)：统一的文本到文本Transformer pdf
• GPT系列：
  • GPT (2018)：生成式预训练 pdf
  • GPT-2 (2018)：无监督多任务学习 pdf
  • GPT-3 (2020)：少样本学习 pdf
  • GPT-4 (2023)：先进语言模型 pdf
• LoRA (2021)：大型语言模型的低秩适应 pdf
• RLHF (2019)：基于人类偏好的微调 pdf
• InstructGPT (2022)：结合人类反馈的指令遵循 pdf
• 视觉Transformer (2020)：基于Transformer的图像识别 pdf
• ELECTRA (2020)：判别式预训练 pdf

5. 图像生成建模

论文

• GAN (2014)：生成对抗网络 pdf
• VAE (2013)：变分自编码器 pdf
• VQ VAE (2017)：神经离散表示学习 pdf
• 扩散模型：
  • 初始扩散 (2015)：非平衡热力学 pdf
  • 去噪扩散 (2020)：概率模型 pdf
  • 改进型去噪扩散 (2021) pdf
• CLIP (2021)：基于自然语言监督的视觉模型 pdf
• DALL-E (2021-2022)：文本到图像生成 pdf
• SimCLR (2020)：视觉表征的对比学习 pdf

6. 深度强化学习

论文

• 深度强化学习 (2017)：掌握国际象棋和将棋 pdf
• 深度Q学习 (2013)：玩Atari游戏 pdf
• AlphaGo (2016)：掌握围棋 pdf
• AlphaFold (2021)：蛋白质结构预测 pdf

7. 其他具有影响力的论文

• 深度学习综述（2015）：由LeCun、Bengio和Hinton撰写 pdf
• BigGAN（2018）：大规模生成对抗网络训练 pdf
• WaveNet（2016）：原始音频的生成模型 pdf
• BERTology（2020）：BERT应用场景综述 pdf

扩展与模型优化

• 神经语言模型的扩展规律（2020）：预测模型性能 pdf
• Chinchilla（2022）：训练计算最优的大规模语言模型 pdf
• Gopher（2022）：利用海量计算资源扩展语言模型 pdf

微调与适应

• P-Tuning（2021）：基于软提示的提示调优 pdf
• Prefix-Tuning（2021）：优化连续提示 pdf
• AdaLoRA（2023）：自适应低秩适配 pdf
• QLoRA（2023）：量化模型的高效微调 pdf

推理与优化技术

• FlashAttention（2022）：快速且内存高效的注意力机制 pdf
• FlashAttention-2（2023）：更快速的注意力机制 pdf
• 直接偏好优化（DPO）（2023）：使语言模型与人类偏好对齐 pdf
• LoRA（2021）：大型语言模型的低秩适配 pdf

预训练与模型架构

• 专家混合（MoE）（2022）：通过稀疏专家扩展语言模型 pdf
• GLaM（2021）：利用专家混合实现高效扩展 pdf
• Switch Transformer（2022）：扩展至万亿参数模型 pdf

推理与能力

• 思维链提示（2022）：利用语言模型进行推理 pdf
• 自我一致性（2022）：提升语言模型的推理能力 pdf
• 思维树（2023）：深思熟虑的问题解决方法 pdf

效率与压缩

• DistilBERT（2019）：BERT的蒸馏版本 pdf
• 知识蒸馏（2022）：全面综述 pdf
• 剪枝与量化技术（2022）：模型压缩综述 pdf

History-of-Deep-Learning 快速上手指南

本指南旨在帮助开发者快速搭建环境并理解该项目的核心用途。注意：本项目主要是一个深度学习经典论文的代码复现与学习集合，而非一个直接调用的 Python 库（PyPI 包）。其核心价值在于通过阅读和运行“从零实现”的代码来理解算法原理。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐), macOS, 或 Windows (需配置 WSL2)
• Python 版本：建议 Python 3.8 - 3.10
• 核心依赖：
  • PyTorch (项目主要基于 PyTorch 实现)
  • NumPy, Matplotlib (用于数据处理和可视化)
  • Jupyter Notebook (推荐用于交互式学习论文代码)
• 硬件建议：部分模型（如 Transformer, GANs, Diffusion）训练需要 GPU 支持。若无 GPU，可仅运行小型网络（如 LeNet, MLP）或加载预训练权重进行推理。

国内加速方案

推荐使用国内镜像源安装依赖，以提升下载速度：

• PyTorch: 访问 https://pytorch.org/get-started/locally/ 获取命令，或使用清华源。
• pip 源: 使用清华大学开源软件镜像站 (-i https://pypi.tuna.tsinghua.edu.cn/simple)。

2. 安装步骤

由于该项目是源码集合，需要通过克隆仓库的方式获取代码，并手动安装依赖。

第一步：克隆项目

git clone https://github.com/adam-maj/History-of-Deep-Learning.git
cd History-of-Deep-Learning

(注：如果访问 GitHub 缓慢，可使用国内镜像站如 Gitee 的同步仓库，或配置 Git 代理)

第二步：创建虚拟环境并安装依赖

建议使用 conda 或 venv 隔离环境。

使用 Conda (推荐):

conda create -n dl_history python=3.9
conda activate dl_history

安装 PyTorch (以 CUDA 11.8 为例，其他版本请参考官网):

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 若仅需 CPU 版本:
# pip install torch torchvision torchaudio

安装其他通用依赖:

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

(注意：如果根目录下没有 requirements.txt 文件，请根据具体子文件夹中的 requirements.txt 或 setup.py 进行安装，或直接安装常用库：)

pip install numpy matplotlib tqdm scikit-learn jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

本项目按研究领域分类（如基础网络、优化技术、序列建模等）。使用方式通常是进入特定论文对应的文件夹，运行其训练或演示脚本。

示例：运行一个简单的 CNN (LeNet) 实现

假设我们要学习 1998 年的 LeNet 论文实现（路径可能在 Foundational_Deep_Neural_Networks/LeNet 或类似目录，具体视仓库实际结构而定）：

1. 进入对应目录：

   cd Foundational_Deep_Neural_Networks/LeNet
   

2. 查看文件结构： 通常包含 model.py (模型定义), train.py (训练脚本), README.md (该论文的具体说明)。

3. 运行训练脚本：

   python train.py --epochs 5 --batch_size 64
   

   如果是 Jupyter Notebook 形式：

   jupyter notebook lenet_implementation.ipynb
   

   然后在浏览器中逐个单元格运行代码，观察损失曲线和识别结果。

示例：探索注意力机制 (Attention)

1. 进入序列建模目录：

   cd Sequence_Modeling/Attention
   

2. 运行演示：

   python demo_attention.py
   

   这将可视化注意力权重的分布，帮助理解 "Neural Machine Translation with Alignment" 的核心概念。

学习建议

• 阅读顺序：建议按照仓库目录顺序，从 Foundational Deep Neural Networks 开始，逐步过渡到 Transformer 和 Diffusion Models。
• 代码对照：打开对应的 PDF 论文链接，对照代码中的数学公式实现（如 forward 函数中的矩阵运算），这是本项目最大的价值所在。
• 修改实验：尝试修改超参数（学习率、层数）或替换数据集，观察对模型收敛的影响。