高级深度学习与强化学习

在UCL与DeepMind合作开设的高级深度学习与强化学习课程

深度学习部分

深度学习1：基于机器学习的人工智能导论

[课件] [视频]

深度学习2：TensorFlow入门

[课件] [视频]

深度学习3：神经网络基础

[课件] [视频]

深度学习4：超越图像识别、端到端学习、嵌入

[课件] [视频]

深度学习5：机器学习中的优化

[课件] [视频]

深度学习6：面向自然语言处理的深度学习

[课件] [视频]

深度学习7：深度学习中的注意力机制与记忆

[课件] [视频]

深度学习8：无监督学习与生成模型

[课件] [视频]

强化学习部分

强化学习1：强化学习导论

[课件] [视频]

强化学习2：探索与利用

[课件] [视频]

强化学习3：马尔可夫决策过程与动态规划

[课件] [视频]

强化学习4：无模型预测与控制

[课件] [视频]

强化学习5：函数逼近与深度强化学习

[课件] [视频]

强化学习6：策略梯度与演员-评论家算法

[课件] [视频]

强化学习7：规划与模型

[课件] [视频]

强化学习8：深度强化学习的高级主题

[课件] [视频]

强化学习9：深度强化学习智能体简述

[课件] [视频]

强化学习10：经典游戏案例研究

[课件] [视频]

DeepMind 高级深度学习与强化学习课程快速上手指南

本指南基于伦敦大学学院（UCL）与 DeepMind 合作开设的《高级深度学习与强化学习》课程资源整理。该仓库主要包含课程幻灯片（Slides）和视频讲座链接，旨在帮助开发者系统掌握从基础神经网络到前沿强化学习代理的核心知识。

环境准备

由于本资源主要为教学视频和文档，无需安装特定的大型软件包即可开始学习。但为了复现课程中的代码示例（通常基于 TensorFlow），建议准备以下开发环境：

• 操作系统：Windows, macOS 或 Linux (推荐 Ubuntu 20.04+)
• 编程语言：Python 3.8 或更高版本
• 核心依赖：
  • TensorFlow 2.x (课程早期部分涉及 TensorFlow 基础)
  • PyTorch (可选，用于复现部分现代 RL 算法)
  • Jupyter Notebook (用于运行示例代码)
• 网络环境：需能访问 YouTube 观看视频课程，或具备下载 PDF 幻灯片的能力。

国内加速建议：

• 视频观看：由于原始视频托管于 YouTube，国内用户建议在 Bilibili (B 站) 搜索课程标题 "Advanced Deep Learning and Reinforcement Learning UCL DeepMind"，通常有社区搬运的高清中文字幕版本。
• 依赖安装：配置 pip 使用清华源或阿里源以加速 Python 包下载。

安装步骤

本课程没有单一的“安装命令”，主要是获取学习资料和配置本地实验环境。

1. 克隆课程资源仓库

获取最新的幻灯片和相关资料：

git clone https://github.com/enggen/Advanced-Deep-Learning-and-Reinforcement-Learning-DeepMind.git
cd Advanced-Deep-Learning-and-Reinforcement-Learning-DeepMind

2. 配置 Python 实验环境

创建一个虚拟环境并安装深度学习基础库（以 TensorFlow 为例，参考课程第二部分）：

# 创建虚拟环境
python -m venv adrl-env

# 激活环境
# Windows:
adrl-env\Scripts\activate
# macOS/Linux:
source adrl-env/bin/activate

# 配置国内镜像源并安装依赖
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install tensorflow jupyter numpy matplotlib gymnasium

基本使用

本项目的核心使用方式是跟随课程大纲进行学习。课程分为“深度学习”和“强化学习”两大模块，共 18 讲。

学习路径示例

第一步：入门机器学习与 TensorFlow

从基础概念入手，熟悉课程使用的框架。

• 阅读材料：打开 lecture slides/dl_01 Introduction to Machine Learning Based AI.pdf
• 观看视频：访问对应的 YouTube 链接或在 B 站搜索 "DL 1 Introduction"
• 实践重点：理解张量操作、计算图概念及 TensorFlow 基础 API。

第二步：深入神经网络与优化

学习网络架构设计及训练技巧。

• 关键章节：
  • dl_03: 神经网络基础 (Neural Networks Foundations)
  • dl_05: 机器学习优化 (Optimization for Machine Learning)
  • dl_07: 注意力机制与记忆 (Attention and Memory)
• 代码实践：在 Jupyter Notebook 中复现幻灯片里的简单 CNN 或 RNN 结构。

第三步：强化学习核心算法

进入 RL 部分，从马尔可夫决策过程到深度强化学习。

• 关键章节：
  • rl_03: 马尔可夫决策过程与动态规划
  • rl_05: 函数近似与深度强化学习 (DQN 等)
  • rl_06: 策略梯度与 Actor-Critic 算法
• 实践示例： 使用 gymnasium 创建一个简单的 CartPole 环境，尝试应用课程中学到的 Q-Learning 或 Policy Gradient 思路：

import gymnasium as gym

# 创建环境
env = gym.make("CartPole-v1")
observation, info = env.reset()

# 简单的随机动作演示 (实际学习中请替换为课程算法)
for _ in range(1000):
    action = env.action_space.sample() 
    observation, reward, terminated, truncated, info = env.step(action)
    
    if terminated or truncated:
        observation, info = env.reset()

env.close()

第四步：进阶专题与案例研究

学习最新的多智能体系统、经典游戏案例（如 AlphaGo/AlphaZero 原理）。

• 参考章节：rl_09 (Deep RL Agents Tour) 和 rl_10 (Classic Games Case Study)。

---

提示：所有幻灯片均位于仓库的 lecture slides/ 目录下，文件名清晰对应每一讲的主题。建议结合视频讲解阅读 PDF，并在本地环境中动手复现关键算法逻辑。