TensorFlow与深度学习教程

Google的深度学习教程

• TensorFlow官方深度学习教程 [中文]。
• 带Dropout的多层感知机 TensorFlow [中文] TensorLayer [中文]
• 自编码器 TensorLayer [中文]
• 卷积神经网络 TensorFlow [中文] TensorLayer [中文]
• 循环神经网络 TensorFlow [中文] TensorLayer [中文]
• 深度强化学习 TensorLayer [中文]
• 序列到序列 TensorFlow TensorLayer[中文]
• 词嵌入 TensorFlow [中文] TensorLayer [中文]

复习深度学习的阅读清单

• MIT深度学习书籍
• Karpathy博客
• 斯坦福UFLDL教程
• Colah的博客——词嵌入 [中文]
• Colah的博客——理解LSTM [门控机制]

教程索引

0 - 前置知识

• 机器学习简介（笔记本）
• MNIST 数据集简介（笔记本）

1 - 入门

• Hello World（笔记本）（代码）
• 基本操作（笔记本）（代码）

2 - 基础模型

• 最近邻算法（笔记本）（代码）
• 线性回归（笔记本）（代码）
• 逻辑回归（笔记本）（代码）

3 - 神经网络

• 多层感知机（笔记本）（代码）
• 卷积神经网络（笔记本）（代码）
• 循环神经网络（LSTM）（笔记本）（代码）
• 双向循环神经网络（LSTM）（笔记本）（代码）
• 动态循环神经网络（LSTM）（代码）
• 自编码器（笔记本）（代码）

4 - 工具

• 保存和恢复模型（笔记本）（代码）
• TensorBoard - 图形与损失可视化（笔记本）（代码）
• TensorBoard - 高级可视化（代码）

5 - 多 GPU

• 多 GPU 上的基本操作（笔记本）（代码）

数据集

部分示例需要使用 MNIST 数据集进行训练和测试。不用担心，运行这些示例时，该数据集会自动下载（通过 input_data.py 脚本）。MNIST 是一个手写数字数据库，关于该数据集的简要介绍，可以查看 此笔记本。

官方网站：http://yann.lecun.com/exdb/mnist/

精选仓库

• jtoy/awesome-tensorflow
• nlintz/TensorFlow-Tutoirals
• adatao/tensorspark
• ry/tensorflow-resnet

技巧

• 使用 TensorLayer 的技巧

示例

基础

• 多层感知机（MNIST）- 分类任务，参见 tutorial_mnist_simple.py。
• 多层感知机（MNIST）- 使用迭代器进行分类，参见 method1 和 method2。

计算机视觉

• 去噪自编码器（MNIST）。分类任务，参见 tutorial_mnist.py。
• 堆叠去噪自编码器与微调（MNIST）。分类任务，参见 tutorial_mnist.py。
• 卷积网络（MNIST）。分类任务，参见 tutorial_mnist.py。
• 卷积网络（CIFAR-10）。分类任务，参见 tutorial_cifar10.py 和 tutorial_cifar10_tfrecord.py。
• VGG 16（ImageNet）。分类任务，参见 tutorial_vgg16.py。
• VGG 19（ImageNet）。分类任务，参见 tutorial_vgg19.py。
• InceptionV3（ImageNet）。分类任务，参见 tutorial_inceptionV3_tfslim.py。
• CIFAR 数据集上的 Wide ResNet，由 ritchieng 实现。
• 更多来自 TF-Slim 的卷积神经网络实现可以通过 SlimNetsLayer 连接到 TensorLayer。
• 空间变换网络，由 zsdonghao 实现。
• 用于脑肿瘤分割的 U-Net，由 zsdonghao 实现。
• 变分自编码器（VAE）用于 CelebA 数据集，由 yzwxx 实现。
• 变分自编码器（VAE）用于 MNIST 数据集，由 BUPTLdy 实现。
• 图像字幕生成——Google 的 im2txt 的重新实现，由 zsdonghao 完成。

自然语言处理

• 循环神经网络（LSTM）。将多个 LSTM 应用于 PTB 数据集进行语言建模，参见 tutorial_ptb_lstm.py 和 tutorial_ptb_lstm_state_is_tuple.py。
• 词嵌入（Word2vec）。训练词嵌入矩阵，参见 tutorial_word2vec_basic.py。
• 恢复嵌入矩阵。恢复预训练的词嵌入矩阵，参见 tutorial_generate_text.py。
• 文本生成。使用 LSTM 网络生成新的文本内容，参见 tutorial_generate_text.py。
• 中文文本反垃圾邮件，由 pakrchen 实现。
• 200 行代码实现的聊天机器人，基于 Seq2Seq。
• FastText 句子分类（IMDB），由 tomtung 实现，参见 tutorial_imdb_fasttext.py。

对抗学习

• DCGAN（CelebA）。使用深度卷积生成对抗网络生成图像，由 zsdonghao 实现。
• 生成式对抗文本到图像合成，由 zsdonghao 实现。
• 无监督图像到图像转换与生成对抗网络，由 zsdonghao 实现。
• 改进的 CycleGAN，带有重采样卷积操作，由 luoxier 实现。
• 超分辨率 GAN（SRGAN），由 zsdonghao 实现。
• DAGAN：快速压缩感知 MRI 重建，由 nebulaV 实现。

强化学习

• 策略梯度/网络（Atari 乒乓球游戏），参见 tutorial_atari_pong.py。
• 深度 Q 网络（Frozen Lake），参见 tutorial_frozenlake_dqn.py。
• Q 表学习算法（Frozen Lake），参见 tutorial_frozenlake_q_table.py。
• 使用 TensorDB 的异步策略梯度（Atari 乒乓球游戏），由 nebulaV 实现。
• AC 用于离散动作空间（Cartpole），参见 tutorial_cartpole_ac.py。
• A3C 用于连续动作空间（Bipedal Walker），参见 tutorial_bipedalwalker_a3c*.py。
• DAGGER 用于 (Gym Torcs)，由 zsdonghao 实现。
• TRPO 用于连续和离散动作空间，由 jjkke88 实现。

其他

• 分布式训练。由jorgemf提供的MNIST和ImageNet示例。
• 将TF-Slim合并到TensorLayer中。tutorial_inceptionV3_tfslim.py。
• 将Keras合并到TensorLayer中。tutorial_keras.py。
• 使用TFRecord进行数据增强。这是一种高效的数据加载和预处理方式，详见tutorial_tfrecord*.py和tutorial_cifar10_tfrecord.py。
• 使用TensorLayer进行数据增强，详见tutorial_image_preprocess.py。
• TensorDB由fangde开发，详情请见这里。
• 一个简单的Web服务——TensorFlask，由JoelKronander开发。
• 半精度浮点模型（float 16），详见tutorial_mnist_float16.py。

有用链接

• 使用TensorLayer的技巧

TensorFlow 教程快速上手指南

本指南基于 tensorflow-tutorial 项目整理，旨在帮助开发者快速掌握 TensorFlow 基础操作、经典模型构建及实用工具。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 Linux 以获得最佳性能)
• Python 版本：Python 3.6 - 3.9 (具体版本取决于安装的 TensorFlow 版本)
• 前置依赖：
  • pip (Python 包管理工具)
  • git (用于克隆代码仓库)
  • Jupyter Notebook (可选，用于运行 .ipynb 格式的交互式教程)

提示：部分示例需要 MNIST 数据集。运行代码时，脚本会自动通过 input_data.py 下载该数据集，无需手动准备。

2. 安装步骤

2.1 克隆项目代码

首先，将教程代码仓库克隆到本地：

git clone https://github.com/aymericdamien/TensorFlow-Examples.git
cd TensorFlow-Examples

2.2 安装 TensorFlow

建议使用国内镜像源加速安装。以下命令使用清华大学镜像源安装最新稳定版的 TensorFlow：

pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple

如果您需要使用 GPU 加速（需确保已安装对应的 NVIDIA 驱动和 CUDA Toolkit），请安装 tensorflow-gpu（TF 2.x 版本中通常包含在 tensorflow 包内，只需额外安装 nvidia-cuda-toolkit 相关依赖）：

# 对于较新版本的 TensorFlow，GPU 支持通常包含在主包中，若需特定版本可参考官方文档
pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 安装其他依赖

部分高级示例可能需要 matplotlib, numpy, pillow 等库，建议一并安装：

pip install numpy matplotlib pillow jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

本项目提供了从"Hello World"到复杂神经网络的各种示例，分为 Notebook (交互式) 和 Python 脚本 两种形式。

3.1 运行第一个示例：Hello World

这是最基础的入门示例，用于验证环境是否配置正确。

方式一：运行 Python 脚本

python examples/1_Introduction/helloworld.py

方式二：使用 Jupyter Notebook 启动 Jupyter 服务并打开对应的笔记本书写：

jupyter notebook notebooks/1_Introduction/helloworld.ipynb

3.2 尝试基础模型：线性回归

进入 2_BasicModels 目录，体验经典的机器学习算法实现。

# 运行线性回归示例
python examples/2_BasicModels/linear_regression.py

# 或者运行逻辑回归示例
python examples/2_BasicModels/logistic_regression.py

3.3 构建神经网络

项目核心部分位于 3_NeuralNetworks，包含多层感知机 (MLP)、卷积神经网络 (CNN) 和循环神经网络 (RNN/LSTM)。

运行 CNN 示例 (手写数字识别)：

python examples/3_NeuralNetworks/convolutional_network.py

注：首次运行时会自动下载 MNIST 数据集。

运行 RNN (LSTM) 示例：

python examples/3_NeuralNetworks/recurrent_network.py

3.4 可视化与工具

使用 TensorBoard 查看训练过程中的损失变化和计算图。

# 运行生成日志的脚本
python examples/4_Utils/tensorboard_basic.py

# 启动 TensorBoard 查看可视化结果 (将 <log_dir> 替换为脚本输出的日志路径)
tensorboard --logdir=/tmp/tensorflow_logs

然后在浏览器中访问显示的地址（通常是 http://localhost:6006）。

3.5 进阶资源

• 多 GPU 训练：参考 5_MultiGPU 目录下的示例。
• 中文文档补充：本项目部分概念可参考极客学院整理的 TensorFlow 中文文档 或 TensorLayer 中文教程 以获取更详细的理论解释。