致所有使用本仓库的朋友们的重要通知（2021年1月5日）

在多个实验代码中，曾出现optimizer.zero_grad()未在每个迭代开始时调用，而仅在每个Epoch结束时执行一次的错误。现已查明并修复了这些问题，已将其修改为在trainloader内部进行调用。由于错误修正，部分代码可能与课程视频中的展示有所不同，但请以本仓库中的代码为准来学习课程，非常感谢！（特别感谢@High-East和李俊宰同学指出此问题。）

Standalone-DeepLearning

这是2019年KAIST“深度学习独立入门”研讨会的代码仓库。

每次研讨会由3至4个理论讲座和若干实践环节组成。

• 如需幻灯片，请点击“幻灯片”链接，然后在页面右侧中部找到“Download”按钮进行下载。
• 线下研讨会的视频资料可通过YouTube频道或“视频”链接查看。
• 实践代码可在“实践代码”链接中获取；若希望使用Google Colab直接运行代码，请参考实践代码内的说明！
• :bookmark_tabs:表示开始前值得阅读的资料，:pencil2:表示理论课程，:bar_chart:表示实践课程，:mortar_board:表示作业，而:loudspeaker:则是每期反馈问卷的链接！

如果您喜欢我们的研讨会，请在右上角点个:star2:Star吧！提前感谢您的支持！

目录

Lec1（1月17日，周四）

本次研讨会介绍了“深度学习独立入门”的整体情况，并讲解了机器学习基础及线性回归的相关内容。

:pencil2: Lec1-A（OT） / 幻灯片 / 视频

:pencil2: Lec1-B（机器学习基础） / 幻灯片 / 视频

:pencil2: Lec1-C（线性回归） / 《面向所有人》机器学习-深度学习课程 幻灯片1, 幻灯片2, 幻灯片3 / 视频

:bar_chart: Lab1（线性回归） / 实践代码 / 视频

:loudspeaker: 如果您享受了第一期的内容，或者觉得有些困难，请留下您的反馈！ / 反馈问卷

Lec2（1月21日，周一）

逻辑回归、多标签分类以及人工神经网络

<开始前值得阅读的资料>

:bookmark_tabs: 对Python类不太熟悉 -> 跳转到Python - 类篇
:bookmark_tabs: 对Python数据类型不熟悉（元组、字典、集合等） -> 跳转到Python - 数据类型篇
:bookmark_tabs: 想快速掌握Numpy -> 金泰完 - Numpy速查表
:bookmark_tabs: 希望管理和可视化多种变量的实验结果 -> 赵在英 - Tox21 MLP

:pencil2: Lec2-A / 幻灯片 / 视频

:pencil2: Lec2-B / 幻灯片 / 视频

:pencil2: Lec2-C / 幻灯片 / 视频

:bar_chart: Lab2（PyTorch回归） / 实践代码 / 视频1, 视频2

:bar_chart: Lab3（PyTorch分类） / 实践代码 / 视频

:mortar_board: Assignment1（PyTorch MNIST） / 起始代码 / 讲解视频 /
      用于反馈和提交作业的问卷 / (截止日期：2019年1月23日（周三）22:00）

:loudspeaker: 如果您享受了第二期的内容，或者觉得有些困难，请留下您的反馈！ / 反馈问卷

Lec3（1月24日，周四）

模型容量、过拟合/欠拟合以及正则化

<开始前值得阅读的资料>

:bookmark_tabs: 训练集、验证集、测试集总是搞混？ -> 关于机器学习中的训练集、验证集和测试集
:bookmark_tabs: Pandas入门 -> 十分钟学会Pandas
:bookmark_tabs: 理解用于实验结果记录的JSON文件格式 -> 使用JSON
:bookmark_tabs: 比matplotlib更强大的可视化库 -> seaborn

:pencil2: Lec3-A / 幻灯片 / 视频

:pencil2: Lec3-B / 幻灯片 / 视频

:pencil2: Lec3-C / 幻灯片 / 视频

:pencil2: Lec3-D / 幻灯片 / 视频

:pencil2: Lec3-E / 幻灯片 / 视频

:bar_chart: Lab4（整洁代码） / 实践代码 / 视频

:mortar_board: Assignment2（CIFAR10超参数调优） / 起始代码 / 讲解视频 /
      用于反馈和提交作业的问卷 / (截止日期：2019年1月27日（周日）22:00）

:loudspeaker: 如果您享受了第三期的内容，或者觉得有些困难，请留下您的反馈！ / 反馈问卷

第4讲（01月28日，周一）

优化器，使用Pandas与Seaborn可视化5维数据

:pencil2: Lec4-A（含Lab5） / 幻灯片 / 实践代码 / 视频

:pencil2: Lec4-B / 幻灯片 / 视频

:bar_chart: Lab6 / 幻灯片 / 实践代码 / 视频

:mortar_board: 作业3（再次，Cifar10超参数调优） / 起始代码 /
      反馈及作业提交问卷 / (截止日期：2019年01月30日（周三）22:00）

:loudspeaker: 如果您享受了第4次课程，或者觉得有些困难，请留下您的反馈！ / 反馈问卷

第5讲（01月31日，周四）

卷积神经网络（CNN）基础

:pencil2: Lec5-A（作业#3回顾） / 作业代码 / 视频

:pencil2: Lec5-B / 幻灯片 / 视频

:bar_chart: Lab7 / 实践代码 / 视频

:mortar_board: 作业4（使用CNN进行CIFAR-10分类） / 起始代码 / 反馈及作业提交问卷 / (截止日期：2019年02月06日（周三）22:00）

:loudspeaker: 如果您享受了第5次课程，或者觉得有些困难，请留下您的反馈！ / 反馈问卷

第6讲（02月07日，周四）

高级CNN架构（跳跃连接、Inception、ResNet）

:pencil2: Lec6-A（作业#4回顾） / 作业代码 / 视频

:pencil2: Lec6-B / 幻灯片 / 视频

:bar_chart: Lab8 / 实践代码 / 视频

:mortar_board: 作业5（使用ResNet进行CIFAR-100分类） / 起始代码 / 反馈及作业提交问卷 / (截止日期：2019年02月10日（周日）22:00）

:loudspeaker: 如果您享受了第6次课程，或者觉得有些困难，请留下您的反馈！ / 反馈问卷

第7讲（02月11日，周一）

循环神经网络（RNN）基础

:pencil2: Lec7-A（作业#5回顾） / 作业代码 / 视频

:pencil2: Lec7-B / 幻灯片 / 视频

:bar_chart: Lab9 / 实践代码 / 视频

:loudspeaker: 如果您享受了第7次课程，或者觉得有些困难，请留下您的反馈！ / 反馈问卷

第8讲（02月14日，周四）

高级RNN架构（LSTM、GRU）

<开始前值得参考的资料>

:bookmark_tabs: 如果想直观易懂地理解LSTM -> 理解LSTM网络 - Colah的博客
:bookmark_tabs: 想在PyTorch中创建自己的数据集吗？ -> 数据加载教程 - PyTorch官方教程
:bookmark_tabs: 想在PyTorch中准确使用LSTM吗？ -> PyTorch中的时间序列LSTM - Jessica的博客

:pencil2: Lec8-A / 幻灯片 / 视频

:bar_chart: Lab10 / 实践代码 / 视频

:loudspeaker: 如果您享受了第8次课程，或者觉得有些困难，请留下您的反馈！ / 反馈问卷

第9讲（02月18日，周一）

图卷积网络（GCN）基础

<开始前值得参考的资料>

:bookmark_tabs: 想仔细深入地重新学习GCN吗？ -> 图卷积网络 - Thomas的博客
:bookmark_tabs: 想进一步了解易于处理分子数据的RDkit库吗？ -> RDkit实践 - Seongok的Jupyter Notebook

:pencil2: Lec9-A / 幻灯片 / 视频

:bar_chart: Lab11 / 实践代码 / 视频

:loudspeaker: 如果您享受了第9次课程，或者觉得有些困难，请留下您的反馈！ / 反馈问卷

第10讲（02月21日，周四）

生成模型：VAE和GAN

<开始前值得参考的资料>

:bookmark_tabs: 想了解最大似然估计吗？ -> 概率与似然

:pencil2: Lec10-A / 幻灯片 / 视频

:pencil2: Lec10-B / 幻灯片 / 视频

:pencil2: Lec10-C / 幻灯片 / 视频

:loudspeaker: 如果您享受了第10次课程，或者觉得有些困难，请留下您的反馈！ / 反馈问卷

课程评价

参加我们研讨会的各位学员留下的最终反馈如下。

老师们总是努力将难点通俗易懂地讲解，每节课都会认真听取反馈并不断改进，还细心关注每位同学是否有困难或疑问，非常感谢这样的授课方式。多亏了老师们的耐心指导，我才有机会深入学习深度学习；最让我受益的是，不仅有理论讲解，还能通过实际代码操作来理解其应用，这种理论与实践相结合的教学方式真的太棒了！一个月来，老师们辛苦了~

-文化技术研究生院硕士生

我一直苦恼于该如何自学深度学习，这次课程让我找到了一些方向。非常感谢精彩的课程！

-生命科学系硕士生

我在对Python基础一无所知的情况下就报名参加了课程，因此在跟上进度时遇到了一些困难。不过，整体来说这门课对我帮助很大。谢谢老师！

-技术管理学博士生

老师们备课和授课一定很辛苦吧。很抱歉从中期开始因为博士课程的缘故没能继续参加。这门课内容非常实用，让我学到了很多东西。

-生命化学工程系博士生

这是我第一次上需要课堂实操的课程，确实各有优劣。对于像我这样刚开始接触编程的人来说，比起直接看已经写好的代码，逐行分析代码的逻辑顺序以及为什么这样写反而更容易理解；遇到问题时，也能更直观地学习如何调试和排查错误，这一点特别有用！当然，对于编程不太熟练的同学来说，在课程后半段，要跟上“有一定编程经验的老师们的写法+当天学到的新概念+基于之前代码新增的模块”可能会有些吃力。不过即便有些难度，现在能亲自参与这样的课程、动手编写代码，也让我觉得很有意义——即使暂时还不完全明白，但比起只反复练习MNIST、CIFAR这类简单数据集，长远来看，这些经验将来一定会派上用场！
至于理论部分，我个人之前也自学过几次，而这次课程既没有过于偏重数学推导，也没有仅仅停留在术语解释上，而是详细讲解了推导过程背后的逻辑，我觉得非常恰当且易于理解。
为了准备这门课，老师您们连觉都睡不好，还要进行现场编码演示、批改作业（虽然后来我几乎没完成，但还是尽力尝试了），如此高强度的备课和授课真的令人敬佩！再次向您表达由衷的感谢！

-文化技术研究生院硕士生

在现有条件下，这真是一门非常优秀的课程！尤其是两位老师的授课水平，每次听课都让我深深折服 :) 如果条件允许的话，以后如果能增加更多真实世界问题的实战练习就更好了，哈哈。多亏了这门课，我的寒假过得充实又有意义。衷心感谢两位主讲老师以及所有为这门课程付出努力的人们☺️

-化学系本科生

能亲眼看到代码是如何一步步写出来的，这个过程本身就很有意思；而且通过修改现成的代码、调整变量以适应自己的需求，让程序运行起来，让我对编程有了更亲切的感受，真是太好了。辛苦各位老师了。

-投资信息学博士生

制作人

赵在英(Kevin Jo)^1,2,3, 金承洙(SeungSu Kim)^1,2,3

¹ _{目前在Autopedia公司开发车辆问题解决服务“Doctor Cha”！}
² _{丁布罗有限公司}
³ _KAIST

Autopedia目前正在招聘！
> 查看职位

Standalone-DeepLearning 快速上手指南

本指南基于 2019 年 KAIST 深度学习研讨会内容整理，涵盖从机器学习基础到 CNN、RNN 及 GCN 的完整学习路径。

环境准备

系统要求

• 操作系统: Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本: Python 3.6+ (推荐 3.7 或 3.8，以匹配原始实验环境)
• 硬件: 建议配备 NVIDIA GPU 以加速模型训练（可选，CPU 亦可运行基础示例）

前置依赖

本项目主要依赖以下核心库：

• PyTorch: 深度学习框架
• NumPy: 数值计算
• Pandas: 数据处理
• Matplotlib / Seaborn: 数据可视化
• Jupyter Notebook: 交互式实验环境

国内加速建议：推荐使用清华源或阿里源安装 Python 包，以提升下载速度。

安装步骤

1. 克隆仓库

首先将项目代码克隆到本地：

git clone https://github.com/heartcored98/Standalone-DeepLearning.git
cd Standalone-DeepLearning

2. 创建虚拟环境 (推荐)

使用 conda 或 venv 隔离环境。以下是使用 conda 的示例：

conda create -n standalone_dl python=3.7
conda activate standalone_dl

3. 安装依赖

使用 pip 安装所需库。国内用户请优先使用镜像源：

# 使用清华镜像源安装 PyTorch (根据是否需 CUDA 选择命令，此处为 CPU 版本示例)
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其他依赖
pip install numpy pandas matplotlib seaborn jupyter notebook -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：若需 GPU 支持，请访问 PyTorch 官网 获取对应的 CUDA 版本安装命令，并将 -i 参数替换为国内镜像地址。

4. 启动 Jupyter Notebook

进入课程目录并启动服务：

jupyter notebook

浏览器打开后，导航至对应的 LecX 文件夹即可开始实验。

基本使用

本仓库的核心内容是每个讲座对应的 .ipynb (Jupyter Notebook) 实验文件。以下以 Lec1 线性回归 (Linear Regression) 为例演示基本流程。

1. 打开实验文件

在 Jupyter 界面中打开 Lec1/Lab1_linear_regression.ipynb。

2. 运行基础代码示例

Notebook 中已包含完整的数据加载、模型定义和训练循环。核心代码逻辑如下（基于 PyTorch）：

import torch
import torch.nn as nn
import torch.optim as optim

# 1. 准备数据 (示例数据)
x_train = torch.FloatTensor([[1], [2], [3]])
y_train = torch.FloatTensor([[1], [2], [3]])

# 2. 定义模型 (线性回归: y = wx + b)
model = nn.Linear(1, 1)

# 3. 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 4. 训练循环
nb_epochs = 1000
for epoch in range(nb_epochs):
    # 前向传播
    prediction = model(x_train)
    
    # 计算损失
    cost = criterion(prediction, y_train)
    
    # 反向传播与优化
    optimizer.zero_grad()  # 梯度清零
    cost.backward()        # 反向传播
    optimizer.step()       # 更新参数
    
    if epoch % 100 == 0:
        print(f'Epoch {epoch}, Cost: {cost.item()}')

# 5. 测试模型
with torch.no_grad():
    test_input = torch.FloatTensor([[4]])
    output = model(test_input)
    print(f'Prediction for input 4: {output.item()}')

3. 进阶学习路径

按照仓库目录顺序依次学习：

• Lec1-2: 机器学习基础、逻辑回归、ANN 基础。
• Lec3-4: 模型容量、过拟合/欠拟合、正则化、优化器。
• Lec5-6: 卷积神经网络 (CNN)、ResNet 等高级架构。
• Lec7-8: 循环神经网络 (RNN)、LSTM、GRU。
• Lec9+: 图卷积网络 (GCN) 及其他高级主题。

每个章节均包含理论幻灯片链接（PDF）和对应的 YouTube 教学视频链接，建议在运行代码前结合视频理解理论部分。