云端、移动和边缘设备上的实用深度学习

这是 O'Reilly 出版社官方代码仓库，对应书籍 《云端、移动和边缘设备上的实用深度学习》（Practical Deep Learning for Cloud, Mobile, and Edge） 作者：Anirudh Koul、Siddha Ganju 和 Meher Kasam。 ** 被选为官方 Keras 网站的学习资源 **

[在 Safari 上阅读] | [在亚马逊购买] | [在 Google 图书上阅读] | [书籍官网] | [Slideshare 演示文稿]

目录

• 书籍简介
• 章节列表
• 如何使用本仓库
  • 环境配置
  • 错误报告
• 关于作者
• 引用

书籍简介

无论您是渴望进入深度学习领域的软件工程师、经验丰富的数据科学家，还是怀揣打造下一款爆款 AI 应用梦想的业余爱好者，您可能都曾困惑：我该从哪里开始？本书以循序渐进的方式，通过动手实践指导您构建适用于云端、移动设备、浏览器以及边缘设备的实用深度学习应用。

凭借多年将深度学习研究转化为屡获殊荣应用的行业经验，Anirudh Koul、Siddha Ganju 和 Meher Kasam 带您一步步将想法转化为现实世界中可实际使用的成果。

• 使用 Keras、TensorFlow、Core ML 和 TensorFlow Lite 训练、调优并部署计算机视觉模型
• 针对树莓派、Jetson Nano 和 Google Coral 等多种设备开发 AI 应用
• 探索趣味项目，从硅谷的“不是热狗”应用到 40 多个行业案例
• 在视频游戏环境中模拟自动驾驶汽车，并利用强化学习搭建微型版本
• 通过迁移学习在几分钟内训练出模型
• 发现 50 多条实用技巧，帮助您最大化模型精度与速度、调试问题并将应用扩展至数百万用户

章节列表

第 1 章 - 探索人工智能领域全景 | 在线阅读 | 插图

我们将纵览这一不断演化的领域，从 20 世纪 50 年代至今，剖析构成完美深度学习方案的关键要素，熟悉常见的人工智能术语与数据集，并一窥负责任的人工智能世界。

第 2 章 - 图片里有什么：使用 Keras 进行图像分类 | 在线阅读 | 插图

我们仅用五行 Keras 代码便深入图像分类的世界。随后，通过在视频上叠加热力图，了解神经网络在做出预测时关注的内容。额外惊喜：我们将聆听 Keras 的创始人 François Chollet 的励志个人经历，体会单个人也能产生的巨大影响。

第 3 章 - 猫 vs. 狗：使用 Keras 在 30 行代码中实现迁移学习 | 在线阅读 | 插图

我们利用迁移学习，将先前训练好的网络复用于新的自定义分类任务，在短短几分钟内获得接近最先进水平的准确率。接着，我们对结果进行细致分析，以评估分类效果。在此过程中，我们建立了一个贯穿全书的通用机器学习流水线。额外福利：我们将听取 fast.ai 联合创始人 Jeremy Howard 的分享，了解数十万学员如何借助迁移学习开启他们的 AI 之旅。

第 4 章 - 构建反向图像搜索引擎：理解嵌入表示 | 在线阅读 | 插图

仿照 Google 反向图像搜索，我们探索如何利用嵌入——一种图像的上下文表示——在不到十行代码中找到相似图片。随后，乐趣来了！我们将尝试不同的策略和算法，以在大规模场景下加速这一过程，从数千张图片扩展到数百万张，并实现在微秒级内完成搜索。

第 5 章 - 从新手到预测大师：提升卷积神经网络的准确率 | 在线阅读 | 插图

借助 TensorBoard、What-If Tool、tf-explain、TensorFlow Datasets、AutoKeras 和 AutoAugment 等工具，我们探讨如何最大限度地提高分类器的准确率。在此过程中，我们还会进行一系列实验，帮助您直观地理解哪些参数可能适合或不适合您的 AI 任务。

第 6 章 - 提升 TensorFlow 的速度与性能：实用清单 | 在线阅读 | 插图

我们通过一份包含 30 条技巧的清单，彻底优化训练与推理的速度，尽可能减少各种低效因素，从而最大化现有硬件的价值。

第 7 章 - 实用工具、技巧与窍门 | 在线阅读 | 插图

我们在多个主题和工具上培养多样化的实践技能，涵盖安装、数据收集、实验管理、可视化、跟踪研究前沿进展，以及探索构建深度学习理论基础的进一步途径。

第8章 - 用于计算机视觉的云API：15分钟内快速上手 | 在线阅读 | 图表

聪明地工作，而不是辛苦地工作。我们利用Google、Microsoft、Amazon、IBM和Clarifai的云端AI平台，在不到15分钟内完成部署。对于现有API无法解决的任务，我们则使用自定义分类服务，在无需编码的情况下训练分类器。随后，我们将这些模型放在一个开放的基准测试中进行对比，结果可能会让你大吃一惊。

第9章 - 使用TensorFlow Serving和KubeFlow在云端实现可扩展的推理服务 | 在线阅读 | 图表

我们将自定义训练好的模型部署到云端或本地环境中，以支持从数十次到数百万次请求的可扩展服务。我们探讨了Flask、Google Cloud ML Engine、TensorFlow Serving和KubeFlow等技术，展示了各自的投入、适用场景以及成本效益分析。

第10章 - 使用TensorFlow.js和ml5.js在浏览器中实现AI | 在线阅读 | 图表

每位使用电脑或智能手机的人都可以无差别地访问一种软件——他们的浏览器。通过基于浏览器的深度学习库，如TensorFlow.js和ml5.js，我们可以触达所有这些用户。特邀作者Zaid Alyafeai为我们介绍了人体姿态估计、生成对抗网络（GAN）、Pix2Pix图像到图像转换等技术和任务，这些操作并非在服务器上运行，而是在浏览器本身中完成。额外福利：聆听TensorFlow.js和ml5.js团队分享项目孵化过程中的经验。

第11章 - 使用Core ML在iOS上进行实时目标分类 | 在线阅读 | 图表

我们深入探索移动端深度学习领域，重点关注Apple生态系统中的Core ML。我们对不同型号的iPhone上的模型进行基准测试，研究减少应用体积和能耗影响的策略、动态模型部署、设备端训练，以及专业级应用的开发方法。

第12章 - 使用Core ML和Create ML在iOS上实现“不是热狗”功能 | 在线阅读 | 图表

硅谷的“不是热狗”应用（来自HBO）被视为移动AI领域的“Hello World”，因此我们以三种不同的方式构建其实时版本，向其致敬。

第13章 - 食物版的Shazam：使用TensorFlow Lite和ML Kit开发Android应用 | 在线阅读 | 图表

借助TensorFlow Lite，我们将AI引入Android系统。随后，我们使用基于TensorFlow Lite构建的ML Kit和Fritz工具，探索端到端的应用开发生命周期，以打造一款能够自我改进的AI应用。在此过程中，我们还将讨论模型版本控制、A/B测试、效果评估、动态更新、模型优化等话题。额外惊喜：我们有幸听取Mobile and Embedded TensorFlow的技术负责人Pete Warden分享将AI引入边缘设备的丰富经验。

第14章 - 使用TensorFlow对象检测API构建完美的猫咪定位应用 | 在线阅读 | 图表

我们探讨了四种不同的方法来定位图像中的物体位置。同时，我们回顾了对象检测技术多年来的演进历程，并分析了速度与精度之间的权衡。这为人群计数、人脸检测以及自动驾驶汽车等案例研究奠定了基础。

第15章 - 成为创客：探索边缘端的嵌入式AI | 在线阅读 | 图表

特邀作者Sam Sterckval将深度学习引入低功耗设备，他展示了多种具备AI能力的边缘设备，这些设备具有不同的计算能力和价格，包括Raspberry Pi、NVIDIA Jetson Nano、Google Coral、Intel Movidius、PYNQ-Z2 FPGA等，为机器人和创客项目打开了大门。额外福利：聆听NVIDIA Jetson Nano团队分享如何根据其开源配方快速构建创意机器人。

第16章 - 使用Keras通过端到端深度学习模拟自动驾驶汽车 | 在线阅读 | 图表

借助Microsoft AirSim的逼真仿真环境，特邀作者Aditya Sharma和Mitchell Spryn指导我们训练一辆虚拟汽车：先在仿真环境中驾驶它，再教会AI模型模仿其行为。在此过程中，本章还涵盖了多项适用于自动驾驶行业的概念。

第17章 - 一小时内构建自动驾驶汽车：使用AWS DeepRacer进行强化学习 | 在线阅读 | 图表

从虚拟世界走向现实世界，特邀作者Sunil Mallya展示了如何在不到一小时内组装、训练并驾驶AWS DeepRacer这款微型赛车。借助强化学习技术，这辆车能够自主学习驾驶，通过惩罚错误并最大化成功来不断提升性能。我们还将了解到如何将这些知识应用到各类赛事中，例如AI自动驾驶奥运会和RoboRace（使用全尺寸自动驾驶汽车）。额外福利：聆听**Anima Anandkumar（NVIDIA）和Chris Anderson（DIY Robocars创始人）**分享关于自动驾驶汽车行业未来发展方向的观点。

如何使用本仓库

首先，欢迎！我们很高兴您选择本书及其代码来深入学习深度学习。祝您学习之旅一切顺利。在使用本仓库时，请注意以下几点。

• 每章的代码都位于code文件夹中。
• 每章都有相应的README文件，其中提供了该章节的具体操作说明以及需要下载的数据信息。

请按照这些步骤，在Google Colab上加载GitHub仓库。请注意，您需要访问自己的Google Drive，因为我们将使用本地系统中的数据。

环境

本书将全程使用名为practicaldl的virtualenv环境。该环境的requirements.txt文件位于根目录下。有关安装virtualenv的帮助和说明，请参阅FAQ文档中的安装部分。

错误报告

请根据CONTRIBUTING提交问题，我们将进行调查。

关于作者

@AnirudhKoul 是一位知名的人工智能专家、联合国及TEDx演讲者，曾任微软人工智能与研究部门科学家，并在那里创立了Seeing AI，该产品常被认为是继iPhone之后盲人群体中最常用的技术之一。目前，Anirudh担任Aira公司的人工智能与研究负责人，该公司曾被《时代》杂志评为2018年最佳发明之一。他拥有超过十年的大规模生产型应用研究经验，处理过PB级别的数据集。他一直致力于利用人工智能技术开发增强现实、机器人、语音、生产力以及辅助功能等领域的解决方案。他在“AI向善”领域的工作被IEEE称为“改变生活的”，并获得了CES、FCC、麻省理工学院、戛纳狮子奖、美国盲人协会等多项大奖，相关成果还在联合国、世界经济论坛、白宫、英国上议院、Netflix、国家地理等重要场合展出，同时受到贾斯汀·特鲁多和特雷莎·梅等全球领导人的高度赞誉。

@SiddhaGanju，一位曾入选福布斯30岁以下精英榜的人工智能研究员，现为NVIDIA的自动驾驶架构师。作为NASA FDL的人工智能顾问，她协助构建了NASA CAMS项目的自动化流星探测流水线，最终促成了新彗星的发现。此前在Deep Vision工作期间，她曾为资源受限的边缘设备开发深度学习模型。她的研究涵盖视觉问答、生成对抗网络等多个方向，并从欧洲核子研究中心的PB级数据中提取洞见，相关成果多次发表于CVPR和NeurIPS等顶级会议。她还曾担任CES等多个国际科技竞赛的评委。作为一名倡导科技领域多元化与包容性的积极人士，她在学校和大学中发表演讲，激励来自不同背景的新一代科技人才成长。

@MeherKasam 是一位经验丰富的软件开发人员，其开发的应用每天服务数千万用户。目前他在Square公司担任iOS开发工程师，此前曾在微软和亚马逊工作，参与开发了包括Square POS系统和Bing iPhone应用在内的多项功能。他曾就职于微软，担任Seeing AI应用的移动开发负责人，该应用曾荣获移动世界大会、CES、美国盲人协会等诸多奖项和广泛认可。他天生是一名黑客，擅长快速原型设计，曾多次赢得黑客马拉松比赛，并将这些创意转化为实际产品中的功能。此外，他还担任Global Mobile Awards和Edison Awards等国际竞赛的评委。

引用

如果您使用我们的代码，请引用我们：

@book{Koul2019PracticalDLBook,
  title={云端、移动端与边缘端实用深度学习：基于Python、Keras和TensorFlow的现实世界AI与计算机视觉项目},
  author={Koul, A. and Ganju, S. and Kasam, M.},
  isbn={9781492034865},
  url={https://www.oreilly.com/library/view/practical-deep-learning/9781492034858/},
  year={2019},
  publisher={O'Reilly Media, Incorporated}
}

Practical-Deep-Learning-Book 快速上手指南

本指南基于 O'Reilly 出版物《Practical Deep Learning for Cloud, Mobile, and Edge》的官方代码仓库，旨在帮助开发者快速搭建环境并运行书中的深度学习实战项目。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 18.04+), macOS, 或 Windows (需使用 WSL2)。
• Python 版本：Python 3.6 - 3.9 (推荐 Python 3.8)。
• 硬件要求：
  • 基础章节：任意现代 CPU。
  • 加速训练/推理章节：建议配备 NVIDIA GPU (需安装 CUDA 和 cuDNN)。
  • 移动端/边缘端章节：如需实践 iOS/Android 或 Raspberry Pi 章节，需准备相应设备。
• 前置依赖：
  • git：用于克隆代码仓库。
  • pip 或 conda：用于管理 Python 包。

国内加速建议： 推荐使用国内镜像源加速 Python 包下载（如清华源、阿里源），并在克隆仓库时使用 Gitee 镜像（如有）或配置 Git 代理。

安装步骤

1. 克隆代码仓库

git clone https://github.com/practicaldl/Practical-Deep-Learning-Book.git
cd Practical-Deep-Learning-Book

2. 创建虚拟环境

建议使用 conda 或 venv 隔离环境，避免依赖冲突。

使用 Conda (推荐):

conda create -n practical-dl python=3.8
conda activate practical-dl

使用 venv:

python3 -m venv venv
source venv/bin/activate  # Linux/macOS
# venv\Scripts\activate   # Windows

3. 安装依赖库

书中不同章节可能依赖不同的库（如 TensorFlow, PyTorch, CoreMLTools 等）。为了快速开始，建议先安装核心通用依赖。

使用 pip 安装（配置国内镜像）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注：如果根目录没有统一的 requirements.txt，请进入具体章节目录（例如 code/chapter-2）安装该章特定的依赖：

cd code/chapter-2
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

提示：部分章节涉及特定平台工具（如 tensorflow-lite, coremltools, flask 等），请根据您想学习的章节进入对应文件夹安装依赖。

基本使用

本书以“动手实践”为核心，每个章节都是一个独立的教程。以下以 第二章：使用 Keras 进行图像分类 为例，演示如何运行最简单的示例。

1. 进入章节目录

cd code/chapter-2

2. 查看示例代码结构

该目录通常包含 Jupyter Notebook (.ipynb) 文件或 Python 脚本 (.py)。

• Notebook 用户：直接启动 Jupyter Lab。
• 脚本用户：运行对应的 .py 文件。

3. 运行第一个示例 (图像分类)

方式 A：使用 Jupyter Notebook (推荐，便于交互学习)

jupyter lab

在浏览器中打开 chapter-2.ipynb (或类似名称的文件)，按顺序执行单元格。代码将自动下载示例数据集（如花卉图片），构建 Keras 模型并进行训练。

方式 B：直接运行 Python 脚本 如果目录下有独立的脚本文件（例如 image_classification.py）：

python image_classification.py

4. 预期输出

成功运行后，您将看到：

• 模型训练过程中的损失值 (loss) 和准确率 (accuracy) 日志。
• 生成的预测结果或可视化热力图（展示神经网络关注的图像区域）。
• 保存的模型文件（通常为 .h5 或 .keras 格式）。

---

下一步：完成基础章节后，您可以根据兴趣探索其他场景：

• 移动端部署：前往 code/chapter-11 (iOS/Core ML) 或 code/chapter-13 (Android/TFLite)。
• 云端服务：前往 code/chapter-9 学习如何使用 TensorFlow Serving 部署模型。
• 边缘计算：前往 code/chapter-15 探索 Raspberry Pi 或 Jetson Nano 上的 AI 应用。