人工神经网络与深度学习导论：基于 Python 的实践指南

本书《人工神经网络与深度学习导论：基于 Python 的实践指南》的代码仓库。

---

深度学习不仅仅是科技圈内的热门话题。它使我们能够解决复杂问题，通过训练人工神经网络来识别图像和语音中的复杂模式。在本书中，我们将延续《Python 机器学习》（GitHub 项目链接）的内容，并在 PyTorch 中实现深度学习算法。

---

• 本仓库将包含各章节“动手实践”和“练习”部分的说明、代码示例及解答。
• 本书的 PDF 和电子书版本将在 Leanpub 上提供。

ISBN-10：待定
ISBN-13：待定
平装本：预计 2018 年出版

---

手稿 / 提前访问草稿

• 01 - 引言
• 02 - 感知器
• 03 - 使用梯度下降优化损失函数
• 04 - 逻辑回归与 Softmax 回归
• 05 - 从 Softmax 回归到多层感知器
• 06 - 交叉验证与性能指标
• 07 - 神经网络中的正则化
• 08 - 学习率与权重初始化
• 09 - 卷积神经网络
• 10 - 循环神经网络
• 11 - 自编码器
• 12 - 通用对抗神经网络
• 13 - 深度生成模型
• 14 - 强化学习

支持材料

• 附录 A：数学符号 [PDF]
• 附录 B：代数基础 [PDF]
• 附录 C：线性代数要点
• 附录 D：微积分与导数入门 [PDF]
• 附录 E：概率论概述
• 附录 F：符号约定参考
• 附录 G：Python 环境搭建
• 附录 H：NumPy 入门 [PDF] [代码笔记本]
• 附录 I：PyTorch 基础
• 附录 I（替代版）：TensorFlow 基础 [PDF] [代码笔记本]
• 附录 J：云计算 [PDF]

模型库

• 模型库：Jupyter Notebook 中的独立 TensorFlow 和 PyTorch 模型集合

---

关于本书

机器学习已经成为我们生活的核心组成部分——无论是作为消费者、客户，还是作为研究人员和从业者！我非常感谢大家对《Python 机器学习》（GitHub 项目链接）给予的积极反馈，也很高兴得知它对你们的学习、商业应用和研究项目都大有裨益。自该书出版以来，我收到了许多邮件，其中不少读者询问是否有续集或前传的可能性。

起初，我曾考虑深入探讨“数学”部分，因为这对大多数没有数学专业背景的人来说确实是一大障碍。我一度认为编写一本关于“机器学习数学”的书会很有意义。如今，我已经积累了约 15 章关于预微积分、微积分、线性代数、统计学和概率论的笔记。然而，经过深思熟虑后，我意识到市面上已经有许多优秀的数学书籍，它们不仅内容更全面、准确，而且质量远超我计划撰写的这本约 500 页的入门读物。毕竟，真正驱动我们学习和理解一门学科的动力，往往来自于对它的热情；如果你对机器学习充满兴趣，当遇到微积分中的链式法则时，如今借助你常用的搜索引擎就能轻松找到可靠的参考资料。

因此，与其写那本“前传”，不如围绕我在《Python 机器学习》（GitHub 项目链接）后几章中介绍的概念继续展开——即深度学习的相关算法。在亲手实现了一个多层感知器（一种前馈式人工神经网络）之后，我们简要了解了几种用于实现深度学习算法的 Python 库，并从概念层面介绍了卷积神经网络和循环神经网络。

在这本书中，我打算继续之前的探索，使用 Python、NumPy 和 SciPy 从头开始实现深度神经网络及相关算法，贯穿整个学习过程。除了原生的 Python 科学计算栈之外，我们还将利用高性能且易于使用的深度学习框架 TensorFlow，将其应用于实际问题中。

许可协议

代码

本仓库中的所有代码（包括 Jupyter Notebook 中的示例代码）均采用开源许可，遵循 MIT 软件许可证。简而言之，宽松的 MIT 许可允许你在适当注明出处且不提供任何担保的情况下自由使用这些代码；更多详细信息请参阅 LICENSE 文件中的 MIT 许可声明。

文字与图形

本仓库中的所有非代码内容及创意作品，包括文字和图形，均由作者 Sebastian Raschka 独家拥有版权。除非另有说明，本仓库中分享的文字内容仅供个人使用。您可以引用、修改或分享本文中的短小段落，但需注明作者出处。然而，如果您计划对本书的大量内容进行修改并用于其他创作，例如博客文章、杂志专栏或教学材料，请事先联系作者获取许可。

标有 知识共享署名-相同方式共享 4.0 国际许可 的图片和图形，可在遵守相应许可条款（详见 LICENSE 文件中“知识共享署名-相同方式共享 4.0 国际许可”部分）及正确注明出处的前提下自由分享。

致谢

我要特别感谢各位读者，他们发现了文中的各种错别字和错误，并提出了许多有助于澄清我写作的建议。

• 附录A：阿特姆·索博列夫、瑞安·孙
• 附录B：布雷特·米勒、瑞安·孙
• 附录D：马塞尔·布拉特纳、伊格纳西奥·坎帕巴达尔、瑞安·孙
• 附录F：吉列尔莫·蒙塞奇、盖德·里奇韦
• 附录H：布雷特·米勒

deep-learning-book 快速上手指南

本指南基于 Sebastian Raschka 的开源书籍《Introduction to Artificial Neural Networks and Deep Learning》，旨在帮助开发者快速搭建环境并运行书中的代码示例。本书重点使用 Python、NumPy、SciPy 以及 PyTorch（部分旧材料包含 TensorFlow）从零实现深度学习算法。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.6 或更高版本
• 核心依赖库：
  • numpy
  • scipy
  • matplotlib
  • torch (PyTorch)
  • jupyter (用于运行笔记本示例)

国内加速建议： 推荐使用清华或阿里镜像源安装 Python 包，以提升下载速度。

• 清华源：https://pypi.tuna.tsinghua.edu.cn/simple
• 阿里源：https://mirrors.aliyun.com/pypi/simple/

安装步骤

1. 克隆项目仓库

首先，将代码仓库克隆到本地：

git clone https://github.com/rasbt/deeplearning-book.git
cd deeplearning-book

2. 创建虚拟环境（推荐）

为了避免依赖冲突，建议创建独立的虚拟环境：

python -m venv dl-env
source dl-env/bin/activate  # Windows 用户请使用: dl-env\Scripts\activate

3. 安装依赖

使用 pip 安装所需库。以下是使用清华镜像源的安装命令：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy scipy matplotlib jupyter torch torchvision

注意：如果需要特定版本的 PyTorch（例如支持 CUDA），请访问 PyTorch 官网 获取对应的安装命令。书中主要示例基于 CPU 即可运行，但建议使用支持 CUDA 的版本以获得更好性能。

基本使用

本项目主要包含各章节的“动手实践”（Hands-On）和“练习”（Exercise）部分的代码，格式为 Jupyter Notebooks。

1. 启动 Jupyter Notebook

在项目根目录下启动 Jupyter：

jupyter notebook

浏览器会自动打开界面，显示项目目录结构。

2. 运行示例代码

根据书籍目录，进入对应的章节文件夹。例如，要运行第 9 章“卷积神经网络”的示例：

1. 在 Jupyter 界面中导航至 code/ch09-cnn/ 目录（具体路径可能随版本更新略有变化，请参考仓库实际结构）。
2. 点击 .ipynb 文件打开笔记本。
3. 按顺序执行单元格（Cell），即可复现书中的神经网络构建、训练及可视化过程。

3. 最小化代码示例

如果您想快速测试 PyTorch 环境是否配置成功，可以新建一个 Notebook 并运行以下基础代码（对应书中从基础构建神经网络的思路）：

import torch
import torch.nn as nn
import numpy as np

# 检查是否有可用的 GPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print(f"Using device: {device}")

# 定义一个简单的感知机 (Perceptron) 类示例
class Perceptron(torch.nn.Module):
    def __init__(self, input_dim):
        super(Perceptron, self).__init__()
        self.linear = nn.Linear(input_dim, 1)
        
    def forward(self, x):
        return torch.sigmoid(self.linear(x))

# 实例化模型
model = Perceptron(input_dim=3).to(device)
print(model)

# 模拟输入数据
X = torch.tensor([[1.0, 2.0, 3.0]], device=device)
output = model(X)
print(f"Output: {output.item():.4f}")

4. 获取更多资源

• 独立模型库：书中提到的更多独立模型示例已整理在 deeplearning-models 仓库中。
• 数学附录：如需复习线性代数、微积分等基础知识，可查看仓库中的 appendix 文件夹下的 PDF 文档或对应的 Code Notebook。