构建机器学习驱动的应用程序

欢迎来到 O'Reilly 出版社书籍《构建机器学习驱动的应用程序》的配套代码仓库，网址为：Building ML Powered Applications。该书也可在 Amazon 上购买。

本仓库包含三个部分：

• notebook 文件夹中的一组 Jupyter 笔记本用于演示书中涵盖的概念。
• ml_editor 文件夹中的库包含本书案例研究——一款由机器学习驱动的写作助手——的核心功能。
• 一个 Flask 应用程序展示了向用户提供结果的简单方式。
• images/bmlpa_figures 文件夹中包含了部分图表的复刻版本，这些图表在初版印刷时难以辨认。

特别感谢 Bruno Guisard 对本仓库中的代码进行了 thorough 的审查。

设置说明

Python 环境

本仓库已在 Python 3.6 和 3.7 上测试通过，并计划支持所有 Python 3 版本。

设置步骤如下：首先克隆仓库：

git clone https://github.com/hundredblocks/ml-powered-applications.git

然后进入仓库目录，并使用 virtualenv 创建一个 Python 虚拟环境：

cd ml-powered-applications

virtualenv ml_editor

激活虚拟环境：

source ml_editor/bin/activate

接着安装项目依赖：

pip install -r requirements.txt

该库使用了 spaCy 中的几个模型。要下载小型和大型英语模型（运行应用程序和笔记本所必需），请在虚拟环境中执行以下命令：

python -m spacy download en_core_web_sm

python -m spacy download en_core_web_lg

最后，笔记本和库还依赖于 nltk 包。nltk 自带一些需要单独下载的资源。为此，在已激活的虚拟环境中打开 Python 会话，导入 nltk 并下载所需资源。

以下是在已安装 nltk 的虚拟环境中为 punkt 包下载资源的示例：

python

import nltk

nltk.download('punkt')

笔记本示例

notebook 文件夹中包含了书中概念的使用示例。大多数示例仅使用归档中的一个子文件夹（即包含 writers.stackexchange.com 数据的那个）。

为了方便起见，我还提供了一个处理后的数据 .csv 文件。

如果您希望自行生成这些数据，或为其他子文件夹生成数据，可以按照以下步骤操作：

• 从 Stack Overflow archives 下载相应的子文件夹。
• 运行 parse_xml_to_csv 将其转换为 DataFrame。
• 运行 generate_model_text_features 生成包含预计算特征的 DataFrame。

这些笔记本可分为以下几个类别，具体说明如下。

数据探索与转换

• 数据集探索
• 数据拆分
• 文本向量化
• 数据聚类
• 表格数据向量化
• 通过探索数据生成特征

初始模型训练与性能分析

• 训练简单模型
• 比较数据与预测结果
• Top K
• 特征重要性
• 黑盒解释器

模型优化

• 第二模型
• 第三模型

模型比较

• 模型比较

从模型生成建议

• 生成推荐

预训练模型

您可以使用 notebook 文件夹中的笔记本训练并保存模型。为方便起见，我在 models 文件夹中提供了三个已训练好的模型和两个向量化器的序列化文件。这些模型将在演示模型结果比较方法的笔记本以及 Flask 应用程序中被加载。

运行原型 Flask 应用程序

要运行应用程序，只需进入仓库根目录并执行：

FLASK_APP=app.py flask run

上述命令将启动一个本地 Web 应用程序，您可以通过 http://127.0.0.1:5000/ 访问。

故障排除

如果您有任何问题或遇到任何困难，请随时提交 issue 或发送邮件至 mlpoweredapplications@gmail.com。

项目结构灵感来源于优秀的 Cookiecutter Data Science。

ml-powered-applications 快速上手指南

本指南基于 O'Reilly 书籍《Building ML Powered Applications》的配套代码库，帮助你快速搭建一个由机器学习驱动的写作助手原型。

环境准备

• 操作系统：Linux / macOS / Windows (需支持 Bash 命令)
• Python 版本：推荐 Python 3.6 或 3.7（兼容其他 Python 3.x 版本）
• 前置工具：
  • git
  • virtualenv
  • pip

安装步骤

1. 克隆项目

首先将代码仓库克隆到本地：

git clone https://github.com/hundredblocks/ml-powered-applications.git
cd ml-powered-applications

2. 创建并激活虚拟环境

使用 virtualenv 创建隔离环境并激活它：

virtualenv ml_editor
source ml_editor/bin/activate

(Windows 用户请使用 ml_editor\Scripts\activate)

3. 安装依赖

安装项目所需的 Python 包（建议配置国内镜像源以加速下载）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 下载 NLP 模型资源

本项目依赖 spacy 和 nltk 的语言模型与数据资源，请依次执行以下命令：

下载 Spacy 英文模型：

python -m spacy download en_core_web_sm
python -m spacy download en_core_web_lg

下载 NLTK 资源： 启动 Python 交互界面并下载 punkt 数据包：

python
>>> import nltk
>>> nltk.download('punkt')
>>> exit()

基本使用

本项目包含 Jupyter Notebook 示例、核心库以及一个 Flask 演示应用。以下是启动演示应用的步骤：

启动 Flask 原型应用

在项目根目录下运行以下命令启动本地 Web 服务：

FLASK_APP=app.py flask run

启动成功后，在浏览器中访问： http://127.0.0.1:5000/

运行 Notebook 示例

如需探索数据处理、模型训练及评估等具体概念，可启动 Jupyter Notebook：

jupyter notebook

进入 notebooks 文件夹，选择对应的 .ipynb 文件（如 dataset_exploration.ipynb 或 train_simple_model.ipynb）进行交互式学习。项目中已预置了部分处理好的数据集和训练好的模型（位于 models 文件夹），可直接运行示例。