机器学习流水线的端到端教程

本教程试图做到大多数在线机器学习教程所做不到的事情。它并非那种教你如何“训练你自己的神经网络”或“在30分钟内学会深度学习”的半小时速成教程。而是一个完整的机器学习流程，涵盖了你在实际工作中可能遇到的所有环节、实现决策以及需要考虑的细节。数据集也不是MNIST或CIFAR这类标准数据集，而是由你自己创建的专属数据集。随后，你将依次尝试几种经典的机器学习算法，最后才进入深度学习领域！

2016年秋季，我在哈佛大学担任“数据科学高级专题（CS209/109）”研究生课程的教学助教（相当于助教）。我负责设计该课程的学生项目，而本教程正是基于我为这门课设计的项目开发而成。

更新：2018年10月24日

感谢Anshul Basia的努力，本教程现已使用PyTorch重写（https://github.com/AnshulBasia）。

你可以通过以下链接访问HTML版本：https://spandan-madan.github.io/DeepLearningProject/PyTorch_version/Deep_Learning_Project-Pytorch.html
以及包含PyTorch代码的IPython Notebook：https://github.com/Spandan-Madan/DeepLearningProject/blob/master/PyTorch_version/Deep_Learning_Project-Pytorch.ipynb

引用说明

如果你希望引用本项目，请使用以下DOI进行引用：

阅读/查看教程

如需以HTML文件形式查看该项目，请访问：https://spandan-madan.github.io/DeepLearningProject/

代码

如需获取代码，请参阅IPython Notebook文件 Deep_Learning_Project.ipynb。

环境搭建

Python

• 我们将使用Python 2.7。主要原因是TensorFlow与Python 3.5及以上版本不兼容，同时其他一些库也不支持Python 3。 为了简化环境配置，我们将使用conda。
• 请从https://www.continuum.io/downloads下载并安装Conda 3。
• 仓库中提供了一个conda配置文件，名为deeplearningproject_environment.yml，可以极大简化环境搭建过程。只需运行以下命令即可创建新环境：

conda env create -f deeplearningproject_environment.yml

然后激活环境：

source activate deeplearningproject

• jupyter notebook 如果所有依赖都成功安装，那么你的环境就准备好了！如果没有，请确保安装以下包：requests imDbPy wget tmdbsimple seaborn sklearn Pillow keras tensorflow h5py gensim nltk stop_words

请注意，安装imdbpy时应使用pip install imdbpy==6.6，因为早期版本存在缺陷。

在Jupyter Notebook中设置Conda环境

为了能够在Jupyter Notebook中使用刚刚创建的环境，首先确认已安装ipykernel包。若未安装，可使用以下命令进行安装：

pip install ipykernel

接着，通过以下命令将其添加到Jupyter Notebook中：

python -m ipykernel install --user --name deeplearningproject --display-name "deeplearningproject"

注意，在执行命令前请移除所有单引号。

进入相应目录后，运行jupyter notebook，并在浏览器中打开对应的Notebook。 安装TMDB：pip install tmdbsimple
使用import tmdbsimple as tmdb。

使用Docker Compose搭建Docker容器

前置条件

• Docker：https://docs.docker.com/install/
• Docker Compose：https://docs.docker.com/compose/install/

运行Docker Compose

为了在一个隔离的环境中工作，并确保其能在不同系统上顺利运行，你可以使用以下Docker Compose命令：

docker-compose up

该命令会根据Dockerfile构建deeplearningproject镜像，然后通过Docker Compose启动容器。更多相关信息请参考Docker和Docker Compose官方文档：

• https://docs.docker.com/
• https://docs.docker.com/compose/

之后，你可以在浏览器中通过http://localhost:8888访问Notebook。

需要注意的是，Notebook文件已被复制到notebooks目录下，并通过绑定卷挂载到容器中。因此，你在Notebook中所做的任何更改都会保存在主机的notebooks目录中。

添加软件包

你可以通过更新deeplearningproject_environment.yml文件来向镜像（进而容器）中添加conda或pip包，然后运行：

docker-compose build

这将构建一个新的deeplearningproject镜像，其中包含新增的conda/pip包。先停止正在运行的容器（按CTRL-C），再运行docker-compose up以启动一个全新的容器。

已知常见问题

我会持续更新此部分，以记录在此仓库中出现的问题。

• 其中一个已知问题是Keras 2.0与某些Keras 1.2的功能不兼容。你可能会在导入VGG16时遇到错误。如果是这样，可以通过以下命令升级Keras：

sudo pip install git+git://github.com/fchollet/keras.git --upgrade

• 操作系统错误：打开文件过多 参考：https://stackoverflow.com/questions/16526783/python-subprocess-too-many-open-files
  或者关闭Notebook，在同一终端中执行以下命令：

ulimit -Sn 10000

然后重新启动Jupyter Notebook。

希望这个仓库能帮助你全面了解机器学习的完整流程！如果你发现了任何错误，请提交issue，以便帮助其他使用本资源的人！

为了避免安装和配置过程中出现问题，本仓库附带了一个Conda环境配置文件。你只需要安装最新版本的Conda，然后使用该配置文件创建新环境，它将自动配置好教程所需的所有库。

DeepLearningProject 快速上手指南

DeepLearningProject 是一个端到端的机器学习流水线教程，源自哈佛大学数据科学课程项目。它不局限于简单的模型训练，而是引导用户从零构建数据集、尝试传统机器学习算法，最终深入深度学习实战。本项目已提供 PyTorch 版本。

环境准备

• 操作系统：Linux / macOS / Windows (需安装 Docker 或 Conda)
• Python 版本：推荐使用 Python 2.7 (原始 TensorFlow 版本依赖)，但 PyTorch 版本通常兼容 Python 3+。建议优先使用提供的 Conda 环境配置以确保依赖一致性。
• 核心工具：
  • Conda (推荐用于管理环境)
  • Docker & Docker Compose (可选，用于隔离环境)
• 网络提示：由于部分依赖库（如 imdbpy, tmdbsimple）及数据集下载涉及海外源，国内用户建议在终端配置代理，或在 pip/conda 命令中指定国内镜像源（如清华源、阿里源）以加速安装。

安装步骤

方法一：使用 Conda 环境（推荐）

1. 安装 Conda 访问官网下载并安装最新版 Conda。

2. 创建虚拟环境 在项目根目录下，利用提供的配置文件一键创建环境：

   conda env create -f deeplearningproject_environment.yml
   

   注：若下载缓慢，可尝试添加 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main 等镜像参数，或手动编辑 yml 文件替换源地址。

3. 激活环境

   source activate deeplearningproject
   # Windows 用户使用: activate deeplearningproject
   

4. 修复特定依赖 根据说明，需强制安装特定版本的 imdbpy 以避免错误：

   pip install imdbpy==6.6
   

   如需使用 TMDB 数据，确保安装：

   pip install tmdbsimple
   

5. 注册 Jupyter Kernel 为了让 Jupyter Notebook 识别该环境，执行以下命令：

   pip install ipykernel
   python -m ipykernel install --user --name deeplearningproject --display-name "deeplearningproject"
   

方法二：使用 Docker（隔离环境）

如果你希望避免本地环境冲突，可以使用 Docker Compose：

1. 启动容器 在项目根目录执行：

   docker-compose up
   

   该命令会自动构建镜像并启动容器，将本地的 notebooks 目录挂载到容器中。

2. 访问服务 启动成功后，在浏览器访问：

   http://localhost:8888
   

基本使用

1. 启动 Jupyter Notebook 如果使用 Conda 环境，激活后运行：

   jupyter notebook
   

   如果使用 Docker，直接通过浏览器访问上述 localhost 地址即可。

2. 打开教程笔记

   • 原始版本 (TensorFlow/Keras)：打开 Deep_Learning_Project.ipynb
   • PyTorch 版本 (推荐)：打开 PyTorch_version/Deep_Learning_Project-Pytorch.ipynb
     • 在线预览 HTML 版可访问：https://spandan-madan.github.io/DeepLearningProject/PyTorch_version/Deep_Learning_Project-Pytorch.html

3. 运行流程 按顺序执行 Notebook 中的单元格。教程将引导你完成以下步骤：

   • 数据收集：调用 API 构建自定义数据集（非 MNIST/CIFAR 等标准集）。
   • 数据预处理：清洗与格式化数据。
   • 传统机器学习：使用 sklearn 等库进行基准测试。
   • 深度学习：构建并训练神经网络模型。

4. 代码示例片段 在 Notebook 中，你将看到类似以下的导入与初始化代码（以 PyTorch 版为例）：

   import torch
   import tmdbsimple as tmdb
   
   # 初始化 TMDB API (需自行填入 API Key)
   tmdb.API_KEY = 'YOUR_API_KEY'
   
   # 后续步骤将跟随 Notebook 指引进行数据抓取与模型训练
   

开始你的端到端机器学习之旅吧！