作者：瓦莱里奥·马焦

联系方式：

@leriomaggio

valeriomaggio

valeriomaggio_at_gmail

git clone https://github.com/leriomaggio/deep-learning-keras-tensorflow.git

---

目录

• 第一部分：简介

  • 人工神经网络入门

    • 感知器与多层感知器
    • 原生纯Python实现
    • 前向传播、随机梯度下降、反向传播

  • 深度学习框架简介

    • Theano入门
    • TensorFlow入门
    • Keras入门
      • 概览与主要特性
      • core层概述
      • 多层感知器与全连接网络
        • 使用keras.models.Sequential和Dense的示例
      • Keras后端

• 第二部分：监督学习

  • 全连接网络与嵌入

    • MNIST数据集入门
    • 隐藏层表示与嵌入

  • 卷积神经网络

    • 卷积滤波器的意义

      • ImageNet中的示例

    • 可视化卷积网络

    • 高级卷积网络

      • Dropout
      • 最大池化
      • 批量归一化

    • 实战：MNIST数据集

      • FC与MNIST
      • CNN与MNIST

    • 使用Keras的深度卷积神经网络（参考：keras.applications）

      • VGG16
      • VGG19
      • ResNet50

  • 迁移学习与微调

  • 超参数优化

• 第三部分：无监督学习

  • 自编码器与嵌入
  • 自编码器与MNIST
    • word2vec与doc2vec（gensim）与keras.datasets
    • word2vec与CNN

• 第四部分：循环神经网络

  • Keras中的循环神经网络
    • SimpleRNN、LSTM、GRU
  • LSTM用于句子生成

• 第五部分：附加材料：

  • Keras中的自定义层
  • 使用Keras构建多模态网络拓扑

---

要求

本教程需要以下软件包：

• Python版本3.5

  • Python 3.4也可以
  • 可能Python 2.7也可以，但谁知道呢？ :P

• numpy版本1.10或更高：http://www.numpy.org/

• scipy版本0.16或更高：http://www.scipy.org/

• matplotlib版本1.4或更高：http://matplotlib.org/

• pandas版本0.16或更高：http://pandas.pydata.org

• scikit-learn版本0.15或更高：http://scikit-learn.org

• keras版本2.0或更高：http://keras.io

• tensorflow版本1.0或更高：https://www.tensorflow.org

• ipython/jupyter版本4.0或更高，且支持notebook

（可选但推荐）：

• pyyaml
• hdf5和h5py（如果你使用Keras中的模型保存与加载功能，则需要）
• 如果你的机器上有NVIDIA GPU，请安装NVIDIA cuDNN。 https://developer.nvidia.com/rdp/cudnn-download

最简单的方法是使用像Continuum的Anaconda这样的全能安装程序。这些安装程序适用于多种架构。

---

Python版本

我目前在Anaconda上使用Python 3运行本教程

!python --version

Python 3.5.2

---

设置环境

在这个仓库中，提供了用于在Linux和OSX系统上用conda重建虚拟环境的文件，分别是deep-learning.yml和deep-learning-osx.yml。

要在Linux上重建虚拟环境（例如）：

conda env create -f deep-learning.yml

对于OSX，只需相应地更改文件名即可。

关于安装带有GPU支持的Theano的注意事项

注意：仅当您通过pip install theano后，启用GPU支持时出现错误时才阅读本节！

自版本0.9起，Theano在稳定版中引入了libgpuarray（此前仅在_开发_版本中可用）。

libgpuarray的目标是（来自文档）创建一个通用的GPU ndarray（n维数组），可供所有项目复用，并尽可能具有未来兼容性，同时保持简单易用，适合简单需求或快速测试。

以下是一些有用的技巧（希望有用），帮助你在（Ubuntu）Linux上正确安装并配置带有GPU支持的theano：

1）【如果你使用Anaconda】conda install theano pygpu应该就足够了！

有时建议使用conda-forge通道安装pygpu：

conda install -c conda-forge pygpu

2）【适用于Anaconda Python或官方CPython】

• 从源码安装libgpuarray：逐步安装libgpuarray用户库

• 然后，从源码安装pygpu：（在同一源码文件夹中） python setup.py build && python setup.py install

• pip install theano。

在Theano安装完毕后：

echo "[global]
device = cuda
floatX = float32

[lib]
cnmem = 1.0" > ~/.theanorc

安装 TensorFlow

截至目前，TensorFlow 提供了两种不同的软件包：tensorflow 和 tensorflow-gpu。您可以根据需要选择安装仅支持 CPU 的框架，或同时支持 CPU 和 GPU 的框架。

因此，tensorflow 未包含在 Conda 环境中，必须单独安装。

仅支持 CPU 的 TensorFlow：

pip install tensorflow

支持 GPU 的 TensorFlow：

pip install tensorflow-gpu

注意：在安装之前，您必须先安装并配置好 NVIDIA 驱动程序和 CuDNN。有关详细信息，请参阅官方 TensorFlow 文档。

重要提示：

本教程中提供的所有代码即使未安装 TensorFlow 也能正常运行，因此您也可以使用 Theano 作为默认后端！

这正是 Keras 的强大之处！

因此，安装 TensorFlow 并不是必需的！

• 但请注意，除了 1.2 TensorFlow 简介 教程之外。

使用 TensorFlow 配置 Keras

默认情况下，Keras 使用 Theano 作为后端。

如果您希望改用 TensorFlow，只需按照以下简单步骤操作即可：

1. 创建 keras.json 文件（如果该文件不存在）：

touch $HOME/.keras/keras.json

2. 将以下内容复制到该文件中：

{
    "epsilon": 1e-07,
    "backend": "tensorflow",
    "floatx": "float32",
    "image_data_format": "channels_last"
}

3. 检查配置是否正确：

!cat ~/.keras/keras.json

{
	"epsilon": 1e-07,
	"backend": "tensorflow",
	"floatx": "float32",
	"image_data_format": "channels_last"
}

---

测试一切是否正常运行

1. 检查导入

import numpy as np
import scipy as sp
import pandas as pd
import matplotlib.pyplot as plt
import sklearn

import keras

使用 TensorFlow 后端。

2. 检查已安装的版本

import numpy
print('numpy:', numpy.__version__)

import scipy
print('scipy:', scipy.__version__)

import matplotlib
print('matplotlib:', matplotlib.__version__)

import IPython
print('iPython:', IPython.__version__)

import sklearn
print('scikit-learn:', sklearn.__version__)

numpy: 1.11.1
scipy: 0.18.0
matplotlib: 1.5.2
iPython: 5.1.0
scikit-learn: 0.18

import keras
print('keras: ', keras.__version__)

# 可选
import theano
print('Theano: ', theano.__version__)

import tensorflow as tf
print('Tensorflow: ', tf.__version__)

keras:  2.0.2
Theano:  0.9.0
Tensorflow:  1.0.1

如果到这里一切顺利，您就可以开始啦！

git clone https://github.com/leriomaggio/deep-learning-keras-tensorflow.git
cd deep-learning-keras-tensorflow

conda env create -f deep-learning.yml

conda activate deep-learning

pip install tensorflow

pip install tensorflow-gpu

mkdir -p $HOME/.keras
echo '{
    "epsilon": 1e-07,
    "backend": "tensorflow",
    "floatx": "float32",
    "image_data_format": "channels_last"
}' > $HOME/.keras/keras.json

import keras
from keras.models import Sequential
from keras.layers import Dense
from keras.datasets import mnist

# 加载数据
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape(60000, 784).astype('float32') / 255
x_test = x_test.reshape(10000, 784).astype('float32') / 255
y_train = keras.utils.to_categorical(y_train, 10)
y_test = keras.utils.to_categorical(y_test, 10)

# 构建模型
model = Sequential()
model.add(Dense(512, activation='relu', input_shape=(784,)))
model.add(Dense(10, activation='softmax'))

# 编译与训练
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, batch_size=128, epochs=5, verbose=1)

# 评估
score = model.evaluate(x_test, y_test, verbose=0)
print('Test accuracy:', score[1])