重要提示

华盛顿大学本课程的在校学生应参考本课程的PyTorch版本，该版本是目前大学实际开设的课程。本仓库包含的是之前的Keras/TensorFlow版本。

T81 558：深度神经网络应用 - TensorFlow

圣路易斯华盛顿大学

授课教师：杰夫·希顿

本课程内容会随着技术的发展而不断更新，如需了解最新动态，请在GitHub上关注我。

• 第1节：2023年春季，周一下午2:30，地点：Eads / 216
• 第2节：2023年春季，线上

课程简介

深度学习是一系列令人振奋的新技术，专为神经网络设计。通过结合先进的训练方法和独特的神经网络架构组件，如今我们能够构建出既能处理表格数据、图像、文本和音频作为输入，也能生成这些类型数据作为输出的神经网络。深度学习使神经网络能够以类似于人脑的方式学习信息的层次结构。本课程将向学生介绍经典的神经网络结构、卷积神经网络（CNN）、长短期记忆网络（LSTM）、门控循环神经网络（GRU）、生成对抗网络（GAN）以及强化学习。课程还将涵盖这些架构在计算机视觉、时间序列分析、网络安全、自然语言处理（NLP）和数据生成等领域的应用。此外，课程还将探讨高性能计算（HPC）的相关内容，展示如何利用图形处理器（GPU）以及分布式计算集群来加速深度学习任务。本课程主要侧重于深度学习的实际应用，同时也会简要介绍其数学基础。学生将使用Python编程语言，借助Google TensorFlow和Keras实现深度学习模型。无需事先掌握Python，但要求至少熟悉一种编程语言。本课程采用混合教学模式，结合课堂讲授与在线学习。

教材

本课程的完整教材已发布在GitHub上。相同的内容也以书籍形式出版，名为《使用Keras的深度神经网络应用》，ISBN 9798416344269。如需引用本课程或本书中的内容，请使用以下BibTeX格式：

@misc{heaton2020applications,
    title={Applications of Deep Neural Networks},
    author={Jeff Heaton},
    year={2020},
    eprint={2009.05673},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

学习目标

1. 解释神经网络（包括深度神经网络及其他类型）与其他机器学习模型相比有何异同。
2. 判断在特定问题中是否适合使用深度神经网络。
3. 通过在GitHub上提交的期末项目，展示对课程内容的理解。

课程大纲

本课程大纲列出了预期的课程安排、作业截止日期及阅读材料。下载当前课程大纲。

模块	内容
模块1 2023年1月23日见面	模块1：Python预备知识 第1.1部分：课程概述 第1.2部分：Python简介 第1.3部分：Python列表、字典、集合与JSON 第1.4部分：文件处理 第1.5部分：函数、Lambda表达式以及Map/ReducePython预备知识 本周我们将在校园见面！（第一次见面）
模块2 2023年1月30日当周	模块2：用于机器学习的Python 第2.1部分：面向深度学习的Pandas简介 第2.2部分：在Pandas中对分类变量进行编码 第2.3部分：分组、排序和打乱数据 第2.4部分：在Pandas中使用Apply和Map 第2.5部分：在Pandas中进行特征工程 模块1程序截止日期：2023年1月31日 破冰活动截止日期：2023年1月31日
模块3 2023年2月6日当周	模块3：用于神经网络的TensorFlow和Keras 第3.1部分：深度学习与神经网络导论 第3.2部分：Tensorflow与Keras简介 第3.3部分：保存和加载Keras神经网络 第3.4部分：在Keras中使用早停法防止过拟合 第3.5部分：提取Keras权重并手动计算神经网络 模块2：程序截止日期：2023年2月7日
模块4 2023年2月13日当周	模块4：表格型数据的训练 第4.1部分：为Keras深度学习编码特征向量 第4.2部分：具有ROC和AUC的Keras多分类问题 第4.3部分：具有RMSE的Keras回归问题 第4.4部分：反向传播、Nesterov动量及ADAM优化方法 第4.5部分：从头开始计算神经网络的RMSE和对数损失误差 模块3程序截止日期：2023年2月14日
模块5 2023年2月20日见面	模块5：正则化与Dropout 第5.1部分：正则化简介：Ridge和Lasso 第5.2部分：在Keras中使用K折交叉验证 第5.3部分：在Keras中使用L1和L2正则化来减少过拟合 第5.4部分：在Keras中使用Dropout来减少过拟合 第5.5部分：自助法与超参数基准测试 模块4程序截止日期：2023年2月21日 本周我们将在校园见面！（第二次见面）
模块6 2023年2月27日当周	模块6：用于视觉的CNN 第6.1部分：Python中的图像处理 第6.2部分：在Keras中使用卷积网络 第6.3部分：使用预训练的神经网络 第6.4部分：了解Keras生成器和图像增强技术 第6.5部分：使用YOLOv5识别多张图片 模块5程序截止日期：2023年2月28日
模块7 2023年3月6日当周	模块7：生成对抗网络（GANs） 第7.1部分：GANs简介，用于图像和数据生成 第7.2部分：用你自己的图片训练StyleGAN3 第7.3部分：探索StyleGAN的潜在向量 第7.4部分：利用GANs修复旧照片Deoldify 第7.5部分：用于生成合成表格数据的GANs 模块6作业截止日期：2023年3月7日
模块8 2023年3月20日当周	模块8：Kaggle 第8.1部分：Kaggle简介 第8.2部分：使用Scikit-Learn和Keras构建集成模型 第8.3部分：你的Keras神经网络应该如何架构：超参数设置 第8.4部分：针对Keras的贝叶斯超参数优化 第8.5部分：本学期的Kaggle竞赛 模块7作业截止日期：2023年3月21日
模块9 2023年3月27日见面	模块9：迁移学习 第9.1部分：Keras迁移学习简介 第9.2部分：面向计算机视觉的Keras迁移学习 第9.3部分：使用Keras进行NLP领域的迁移学习 第9.4部分：用于面部特征识别的迁移学习 第9.5部分：用于风格迁移的迁移学习 本周我们将在校园见面！（第三次见面） 模块8作业截止日期：2023年3月28日
模块10 2023年4月3日当周	模块10：Keras中的时间序列 第10.1部分：为深度学习和Keras编码时间序列数据 第10.2部分：使用Keras编程LSTM 第10.3部分：使用Keras生成文本 第10.4部分：Transformer简介 第10.5部分：用于时间序列的Transformer 模块9作业截止日期：2023年4月4日
模块11 2023年4月10日当周	模块11：自然语言处理 第11.1部分：Hugging Face简介 第11.2部分：Hugging Face的分词器 第11.3部分：Hugging Face的数据集 第11.4部分：在Hugging Face中训练模型 第11.5部分：Keras中的嵌入层是什么 模块10作业截止日期：2023年4月11日
模块12 2023年4月17日当周	模块12：强化学习 Kaggle作业截止日期：2023年4月17日（大约下午4-6点，因Kaggle采用GMT时区） 第12.1部分：OpenAI Gym简介 第12.2部分：Keras中的Q学习简介 第12.3部分：在OpenAI Gym中进行Keras Q学习 第12.4部分：使用Keras神经网络玩Atari游戏 第12.5部分：强化学习的应用
模块13 2023年4月24日见面	模块13：部署与监控 第13.1部分：Flask与深度学习Web服务 第13.2部分：中断与继续训练 第13.3部分：将Keras深度神经网络与Web应用结合使用 第13.4部分：何时重新训练你的神经网络 第13.5部分：张量处理单元（TPUs） 期末项目截止日期：2023年5月8日 本周我们将在校园见面！（第四次见面）

数据集

• 数据集可在此下载

t81_558_deep_learning 快速上手指南

本仓库是华盛顿大学圣路易斯分校 T81-558 课程（深度神经网络应用）的 Keras/TensorFlow 版本教材与代码实现。适合希望系统学习深度学习架构（如 CNN、LSTM、GAN、强化学习等）并掌握 Python 实现的开发者。

注意：该校当前学期已切换至 PyTorch 版本，本仓库保留的是经典的 Keras/TensorFlow 实现，适合偏好该框架或需要参考旧版教材的用户。

---

环境准备

系统要求

• 操作系统：Windows / macOS / Linux
• Python 版本：3.7 - 3.10（推荐 3.9）
• 内存：建议 8GB 以上（处理图像或大规模数据时建议 16GB+）
• GPU（可选）：支持 CUDA 的 NVIDIA 显卡可加速训练（需安装对应驱动）

前置依赖

• Python 包管理工具：pip 或 conda
• 基础编程知识：熟悉至少一门编程语言（课程涵盖 Python 基础）
• 网络环境：可访问 GitHub 及 Hugging Face、Kaggle 等外部资源

---

安装步骤

1. 克隆仓库

git clone https://github.com/jeffheaton/t81_558_deep_learning.git
cd t81_558_deep_learning

2. 创建虚拟环境（推荐）

python -m venv dl-env
source dl-env/bin/activate  # Linux/macOS
# 或
dl-env\Scripts\activate     # Windows

3. 安装核心依赖

pip install tensorflow==2.10.0 keras pandas numpy matplotlib scikit-learn jupyterlab

💡 国内用户可使用清华镜像加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==2.10.0 keras pandas numpy matplotlib scikit-learn jupyterlab

4. 安装额外模块（按需）

# 图像处理
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python pillow

# NLP 与 Hugging Face
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers datasets tokenizers

# 强化学习
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gym[atari] ale-py autorom[accept-rom-license]

# Web 部署
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple flask

5. 启动 Jupyter Lab

jupyter lab

在浏览器中打开 .ipynb 文件即可开始学习各模块内容。

---

基本使用

以下示例演示如何加载课程提供的第一个笔记本（Module 1），运行 Python 基础与课程概览：

# 在 Jupyter 中打开并运行：
# t81_558_class_01_1_overview.ipynb

# 示例代码片段（来自 Module 1.2）：
import tensorflow as tf
print("TensorFlow version:", tf.__version__)

# 简单神经网络示例（来自 Module 3）
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

model = Sequential([
    Dense(10, activation='relu', input_shape=(5,)),
    Dense(1, activation='sigmoid')
])

model.compile(optimizer='adam', loss='binary_crossentropy')
print("Model built successfully!")

学习路径建议

• 从 Module 1 开始，逐步完成每个 .ipynb notebook
• 每周对应一个模块，包含理论讲解 + 代码实践 + 作业提交链接
• 所有数据集可通过 官方下载页 获取
• 最终需完成一个期末项目并上传至 GitHub

---

📚 教材同步：本课程配套书籍《Applications of Deep Neural Networks with Keras》可在 Heaton Research 获取纸质或电子版。