数据科学、机器学习和深度学习必读论文

精选的数据科学、机器学习和深度学习论文、综述及文章合集，均为必读清单中的内容。

---

注意：:construction: 正在更新中，请告诉我您希望添加哪些额外的论文、文章或博客，我会在此处补充。

使用方法

:point_right: :star: 这个仓库

贡献

• :point_right: :arrows_clockwise: 如果链接失效，或者我遗漏了任何重要的论文、博客或文章，请随时 提交 Pull Request。

:point_down: 请阅读此内容 :point_down:

• :point_right: 阅读包含大量数学公式的论文很困难，需要时间和精力去理解。关键在于坚持和动力，不要轻易放弃。不妨多读几遍，直到真正领会并为之震撼。

:1st_place_medal: - 第一次阅读

:2nd_place_medal: - 第二次阅读

:3rd_place_medal: - 第三次阅读

---

数据科学

:bar_chart: 数据预处理与探索性数据分析

:1st_place_medal: :page_facing_up:数据预处理——整洁数据——哈德利·威克姆著

:notebook: 通用数据科学

:1st_place_medal: :page_facing_up: 统计建模：两种文化——莱奥·布雷曼著

:2nd_place_medal: :page_facing_up: 拉什蒙曲线与体积研究：机器学习中泛化与模型简洁性的新视角

• :video_camera: KDD 2019 辛西娅·鲁丁主题演讲

:1st_place_medal: :page_facing_up: 频率主义与贝叶斯主义：杰克·范德普拉斯的Python入门教程

---

机器学习

:dart: 通用机器学习

:1st_place_medal: :page_facing_up: 机器学习中的模型评估、模型选择与算法选择——塞巴斯蒂安·拉斯奇卡著

:1st_place_medal: :page_facing_up: 机器学习简要介绍——冈纳尔·拉茨奇著

:3rd_place_medal: :page_facing_up: 共轭梯度法简介：无需痛苦的讲解——乔纳森·理查德·谢伍克著

:3rd_place_medal: :page_facing_up: 随机种子对模型稳定性的影响研究

:mag: 异常值/异常检测

:1st_place_medal: :newspaper: 异常检测：综述

:rocket: 提升算法

:2nd_place_medal: :page_facing_up: XGBoost：可扩展的树提升系统

:2nd_place_medal: :page_facing_up: LightGBM：高效的梯度提升决策树

:2nd_place_medal: :page_facing_up: AdaBoost与分类器界的超级碗——自适应提升算法教程

:3rd_place_medal: :page_facing_up: 贪婪函数逼近：梯度提升机

:book: 解密黑盒机器学习

:3rd_place_medal: :page_facing_up: 窥探黑盒：用个体条件期望图可视化统计学习

:3rd_place_medal: :page_facing_up: 数据夏普利值：机器学习中数据的公平估值

:scissors: 降维

:1st_place_medal: :page_facing_up: 主成分分析教程

:2nd_place_medal: :page_facing_up: 如何有效使用t-SNE

:3rd_place_medal: :page_facing_up: 使用t-SNE进行数据可视化

:chart_with_upwards_trend: 优化

:1st_place_medal: :page_facing_up: 贝叶斯优化教程

:2nd_place_medal: :page_facing_up: 摆脱人为干预：贝叶斯优化综述

---

著名博客

塞巴斯蒂安·拉斯奇卡 奇普·休恩

---

:8ball: :crystal_ball: 推荐系统

综述

:1st_place_medal: :page_facing_up: 协同过滤技术综述

:1st_place_medal: :page_facing_up: 协同过滤推荐系统

:1st_place_medal: :page_facing_up: 基于深度学习的推荐系统：综述与新视角

:1st_place_medal: :page_facing_up: :thinking: :star: 可解释的推荐：综述与新视角 :star:

案例研究

:2nd_place_medal: :page_facing_up: Netflix推荐系统：算法、商业价值与创新

• :globe_with_meridians: Netflix Medium博客
  • Netflix推荐：超越五星评价 第1部分
  • Netflix推荐：超越五星评价 第2部分

:2nd_place_medal: :page_facing_up: 亚马逊推荐系统二十年回顾

:2nd_place_medal: :globe_with_meridians: Spotify为何如此了解你？

:point_right: 更深入的研究， :closed_book: 推荐系统手册

---

著名的深度学习博客 :cowboy_hat_face:

:globe_with_meridians: 斯坦福UFLDL深度学习教程

:globe_with_meridians: Distill.pub

:globe_with_meridians: Colah的博客

:globe_with_meridians: Andrej Karpathy

:globe_with_meridians: Zack Lipton

:globe_with_meridians: Sebastian Ruder

:globe_with_meridians: Jay Alammar

---

:books: 神经网络与深度学习 神经网络

:star: :1st_place_medal: :newspaper: 深度学习所需的矩阵微积分 - Terence Parr 和 Jeremy Howard :star:

:1st_place_medal: :newspaper: 深度学习 - Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton

:1st_place_medal: :page_facing_up: 深度学习中的泛化

:1st_place_medal: :page_facing_up: 人工神经网络中学习的拓扑结构

:1st_place_medal: :page_facing_up: Dropout：防止神经网络过拟合的简单方法

:2nd_place_medal: :page_facing_up: 多项式回归作为神经网络的替代方案

:2nd_place_medal: :globe_with_meridians: 神经网络动物园

:2nd_place_medal: :globe_with_meridians: 使用TensorFlow进行深度学习的图像补全

:2nd_place_medal: :page_facing_up: 批归一化：通过减少内部协变量偏移加速深度网络训练

:3rd_place_medal: :page_facing_up: 卷积神经网络中类别不平衡问题的系统性研究

:3rd_place_medal: :page_facing_up: 所有神经网络都是平等的

:3rd_place_medal: :page_facing_up: Adam：一种随机优化方法

:3rd_place_medal: :page_facing_up: AutoML：现状综述

:framed_picture: CNNs

:1st_place_medal: :page_facing_up: 可视化与理解卷积网络 - Andrej Karpathy、Justin Johnson 和 Li Fei-Fei

:2nd_place_medal: :page_facing_up: 用于图像识别的深度残差学习

:2nd_place_medal: :page_facing_up:AlexNet-ImageNet分类与深度卷积神经网络

:2nd_place_medal: :page_facing_up:VGG Net-用于大规模图像识别的超深卷积网络

:3rd_place_medal: :page_facing_up: 用于特征提取的深度卷积神经网络的数学理论

:3rd_place_medal: :page_facing_up: 使用卷积神经网络进行大规模视频分类

:3rd_place_medal: :page_facing_up: 自下而上和自上而下的注意力机制在图像字幕生成和视觉问答中的应用

:black_circle: CapsNet :trident:

:1st_place_medal: :page_facing_up: 胶囊之间的动态路由

• 解释性博客，"什么是CapsNet，或胶囊网络？"

• Aureline Geron的胶囊网络教程

:national_park: :speech_balloon: 图像字幕生成

:1st_place_medal: :page_facing_up: 展示与讲述：神经网络图像字幕生成器

:2nd_place_medal: :page_facing_up: 通过联合学习对齐与翻译实现神经机器翻译

:2nd_place_medal: :page_facing_up: StyleNet：以风格生成吸引人的视觉字幕

:2nd_place_medal: :page_facing_up: 展示、关注与讲述：结合视觉注意力的神经网络图像字幕生成

:2nd_place_medal: :page_facing_up: 图像字幕生成器中图像应放置的位置

:2nd_place_medal: :page_facing_up: Dank Learning：利用深度神经网络生成表情包

:car: :walking_man: 物体检测 :eagle: :football:

:2nd_place_medal: :page_facing_up:ResNet-用于图像识别的深度残差学习

:2nd_place_medal: :page_facing_up: YOLO-你只需看一次：统一的实时物体检测

:2nd_place_medal: :page_facing_up: Microsoft COCO：上下文中的常见物体

• COCO数据集

:2nd_place_medal: :page_facing_up: (R-CNN) 用于精确物体检测和语义分割的丰富特征层次结构

:2nd_place_medal: :page_facing_up: Fast R-CNN

• :computer: Papers with Code

:2nd_place_medal: :page_facing_up: Faster R-CNN

• :computer: Papers with Code

:2nd_place_medal: :page_facing_up: Mask R-CNN

• :computer: Papers with Code

:car: :walking_man: :couple: 姿态检测 :runner: :dancer:

:2nd_place_medal: :page_facing_up: DensePose：野外密集人体姿态估计

• :computer: Papers with Code

:2nd_place_medal: :page_facing_up: 用于实例级人体分析的Parsing R-CNN

• :computer: Papers with Code

:abcd: :symbols: 深度NLP :currency_exchange: :1234:

:1st_place_medal: :page_facing_up: 自然语言处理中神经网络模型入门

:1st_place_medal: :page_facing_up: 门控循环神经网络在序列建模中的经验评估

:1st_place_medal: :page_facing_up: 关于神经机器翻译的特性：编码器-解码器方法

:1st_place_medal: :page_facing_up: LSTM：搜索空间之旅——克劳斯·格雷夫等著

:1st_place_medal: :page_facing_up: 递归神经网络用于序列学习的批判性评论

:1st_place_medal: :page_facing_up: 递归网络的可视化与理解

:star: :1st_place_medal: :page_facing_up: 注意力就是一切 :star:

:1st_place_medal: :page_facing_up: 递归网络架构的实证探索

:1st_place_medal: :page_facing_up: OpenAI（GPT-2）语言模型是无监督的多任务学习者

:1st_place_medal: :page_facing_up: BERT：面向语言理解的深度双向Transformer预训练

• Google BERT公告

:3rd_place_medal: :page_facing_up: NLP中的参数高效迁移学习

:3rd_place_medal: :page_facing_up: 卷积神经网络用于句子分类的敏感性分析及实践指南

:3rd_place_medal: :page_facing_up: 深度学习模型在命名实体识别领域的最新进展综述

:3rd_place_medal: :page_facing_up: 卷积神经网络用于句子分类

:3rd_place_medal: :page_facing_up: 普适注意力：用于序列到序列预测的二维卷积神经网络

:3rd_place_medal: :page_facing_up: 单头注意力RNN：停止用大脑思考

:alien: GANs

:1st_place_medal: :page_facing_up: 生成对抗网络——古德费洛等著

:books: GAN深坑 -> GAN论文

:o::heavy_minus_sign::o: GNNs（图神经网络）

:3rd_place_medal: :page_facing_up: 图神经网络综合综述

---

:man_health_worker: :syringe: 医疗AI :pill: :microscope:

机器学习分类器与fMRI：弗朗西斯科等人的教程概述

---

:point_down: 有趣的东西 :point_down:

:loud_sound: :page_facing_up: SoundNet：从无标签视频中学习声音表示

:art: :page_facing_up: CAN：通过学习风格并偏离风格规范来生成“艺术”的创造性对抗网络

:art: :page_facing_up: 深度绘画风格化

• Github代码

:man_dancing: :dancer: :page_facing_up: 大家一起跳舞吧

• 大家一起跳舞吧——YouTube视频

:soccer: 桌面上的足球

:blonde_woman: :haircut_woman: :page_facing_up: SC-FEGAN：基于用户草图和颜色的脸部编辑生成对抗网络

• Github代码

:camera_flash: :page_facing_up: 极低光照下的手持移动摄影

:japanese_castle: :mosque: :page_facing_up: 使用Places数据库学习场景识别的深度特征

:bullettrain_front: :bullettrain_side: :page_facing_up: 基于核相关滤波器的高速目标跟踪

:clapper: :page_facing_up: 语义图像分割的最新进展

深坑 -> :loud_sound: :globe_with_meridians: Analytics Vidhya十大音频处理任务及其论文

:blonde_man: -> :older_man: :page_facing_up: :page_facing_up: 使用条件GAN进行人脸老化

:blonde_man: -> :older_man: :page_facing_up: :page_facing_up: 用于人脸老化与年轻化的双重条件GAN

:balance_scale: :page_facing_up: BAGAN：基于平衡GAN的数据增强

labml.ai注释版PyTorch论文实现

---

:newspaper: 综合项目 :newspaper:

8个超赞的数据科学综合项目

线性代数在数据科学中的10大强大应用

GANs的5大有趣应用

初学者可在几分钟内构建的深度学习应用

---

更改记录

2019年10月28日 启动must-read-papers-for-ml仓库

2019年10月29日 添加Analytics Vidhya用例研究文章链接

2019年10月30日 添加异常检测论文，将提升、CNN、目标检测、NLP论文分开，并添加图像字幕生成论文

2019年10月31日 添加深度学习和机器学习研究者的知名博客

2019年11月1日 修复Markdown问题，添加贡献指南

2019年11月20日 添加推荐系统调查及论文

2019年12月12日 添加R-CNN变体、PoseNets、GNNs

2020年2月23日 添加GRU论文

must-read-papers-for-ml 快速上手指南

must-read-papers-for-ml 并非一个需要编译或安装依赖的软件库，而是一个精选的数据科学、机器学习和深度学习论文、综述及文章清单。它本质上是一个静态资源仓库，旨在为开发者提供高质量的学习路径。

以下是获取和使用该资源的最简指南。

环境准备

本项目无需特定的操作系统或复杂的软件依赖，只需具备以下条件即可：

• 操作系统：Windows, macOS, 或 Linux 均可。
• 前置依赖：
  • 现代 Web 浏览器（用于在线阅读或下载 PDF）。
  • PDF 阅读器（如 Adobe Acrobat, Chrome, Edge 等）。
  • （可选）Git 客户端：如果你希望将列表克隆到本地以便离线浏览或贡献内容。

安装步骤（获取资源）

你可以通过以下两种方式获取论文清单：

方式一：在线浏览（推荐）

直接访问 GitHub 仓库页面查看整理好的分类列表和链接：

https://github.com/hurshd0/must-read-papers-for-ml

方式二：克隆到本地

如果你习惯在本地管理文档或打算提交 PR 补充论文，可以使用 Git 克隆：

git clone https://github.com/hurshd0/must-read-papers-for-ml.git
cd must-read-papers-for-ml

提示：国内用户若遇到克隆速度慢的问题，可使用国内镜像源（如 Gitee 镜像，若有）或配置 Git 代理加速。

基本使用

本项目的核心用法是按图索骥，根据作者标记的优先级阅读论文。

1. 理解优先级标记

作者在 README 中使用了奖牌图标来建议阅读顺序：

• 🥇 (:1st_place_medal:)：首选阅读。该领域最基础或最重要的论文。
• 🥈 (:2nd_place_medal:)：其次阅读。进阶内容或重要变体。
• 🥉 (:3rd_place_medal:)：再次阅读。补充材料或特定场景下的优化方案。

2. 开始学习示例

假设你想学习 机器学习中的降维技术 (Dimensionality Reduction)：

1. 在仓库页面或本地 README.md 文件中找到 ## Machine Learning -> :scissors: Dimensionality Reduction 章节。
2. 第一步：点击 🥇 标记的链接阅读 A Tutorial on Principal Component Analysis（PCA 教程）。
3. 第二步：点击 🥈 标记的链接阅读 How to Use t-SNE Effectively（如何有效使用 t-SNE）。
4. 第三步：结合 🥉 标记的原始论文深入理解算法细节。

3. 阅读建议

正如项目作者所言，阅读包含大量数学公式的论文具有挑战性：

• 不要因初次看不懂而气馁。
• 建议反复阅读（"read once, read twice, read thrice..."），直到完全理解。
• 配合项目中提供的著名博客（如 Sebastian Raschka, Chip Huyen, Andrej Karpathy 等）的解读文章辅助理解。

4. 参与贡献

如果你发现链接失效，或有重要的论文缺失，欢迎通过以下方式贡献：

# 在本地修改 README.md 添加新论文链接后
git add .
git commit -m "Add new paper: [Paper Title]"
git push origin main
# 然后在 GitHub 上发起 Pull Request