数据科学 IPython 笔记本

索引

• 深度学习
  • TensorFlow
  • Theano
  • Keras
  • Caffe
• scikit-learn
• 统计推断 - SciPy
• Pandas
• Matplotlib
• NumPy
• Python 数据处理
• Kaggle 与商业分析
• Spark
• MapReduce - Python
• 亚马逊云服务
• 命令行
• 杂项
• 笔记本安装
• 致谢
• 贡献
• 联系方式
• 许可证

深度学习

演示深度学习功能的 IPython 笔记本。

TensorFlow 教程

额外的 TensorFlow 教程：

• pkmital/tensorflow_tutorials
• nlintz/TensorFlow-Tutorials
• alrojo/tensorflow-tutorial
• BinRoot/TensorFlow-Book
• tuanavu/tensorflow-basic-tutorials

笔记本	描述
tsf-basics	学习 TensorFlow 中的基本操作，TensorFlow 是 Google 开发的一个用于各种感知和语言理解任务的库。
tsf-linear	在 TensorFlow 中实现线性回归。
tsf-logistic	在 TensorFlow 中实现逻辑回归。
tsf-nn	在 TensorFlow 中实现最近邻算法。
tsf-alex	在 TensorFlow 中实现 AlexNet。
tsf-cnn	在 TensorFlow 中实现卷积神经网络。
tsf-mlp	在 TensorFlow 中实现多层感知器。
tsf-rnn	在 TensorFlow 中实现循环神经网络。
tsf-gpu	学习 TensorFlow 中的基本多 GPU 计算。
tsf-gviz	学习 TensorFlow 中的图可视化。
tsf-lviz	学习 TensorFlow 中的损失可视化。

TensorFlow 练习

笔记本	描述
tsf-not-mnist	学习简单的数据整理，通过创建包含训练、开发和测试数据集的 pickle 文件来为 TensorFlow 准备数据。
tsf-fully-connected	使用逻辑回归和神经网络逐步训练更深层、更精确的模型。
tsf-regularization	通过训练全连接网络对 notMNIST 字符进行分类，探索正则化技术。
tsf-convolutions	在 TensorFlow 中创建卷积神经网络。
tsf-word2vec	在 TensorFlow 中基于 Text8 数据训练 skip-gram 模型。
tsf-lstm	在 TensorFlow 中基于 Text8 数据训练 LSTM 字符模型。

theano教程

笔记本	描述
theano-intro	Theano简介，它允许你高效地定义、优化和评估涉及多维数组的数学表达式。它可以利用GPU，并进行高效的符号微分。
theano-scan	学习扫描操作，这是在Theano图中执行循环的一种机制。
theano-logistic	在Theano中实现逻辑回归。
theano-rnn	在Theano中实现循环神经网络。
theano-mlp	在Theano中实现多层感知机。

keras教程

笔记本	描述
keras	Keras是一个用Python编写的开源神经网络库。它可以运行在TensorFlow或Theano之上。
setup	了解本教程的目标以及如何设置你的Keras环境。
intro-deep-learning-ann	通过Keras和人工神经网络（ANN）入门深度学习。
theano	通过处理权重矩阵和梯度来学习Theano。
keras-otto	通过Kaggle Otto挑战来学习Keras。
ann-mnist	回顾使用Keras对MNIST数据集的简单ANN实现。
conv-nets	使用Keras学习卷积神经网络（CNNs）。
conv-net-1	使用Keras识别MNIST中的手写数字——第一部分。
conv-net-2	使用Keras识别MNIST中的手写数字——第二部分。
keras-models	使用Keras调用预训练模型，如VGG16、VGG19、ResNet50和Inception v3。
auto-encoders	使用Keras学习自动编码器。
rnn-lstm	使用Keras学习循环神经网络（RNNs）。
lstm-sentence-gen	使用Keras的长短期记忆（LSTM）网络学习RNNs。

深度学习杂项

笔记本	描述
deep-dream	基于Caffe的计算机视觉程序，利用卷积神经网络在图像中寻找并增强模式。

scikit-learn

演示 scikit-learn 功能的 IPython 笔记本。

笔记本	描述
intro	scikit-learn 入门笔记本。scikit-learn 为 Python 增加了对大型多维数组和矩阵的支持，并提供了一个庞大的高级数学函数库，用于对这些数组进行操作。
knn	在 scikit-learn 中实现 k 近邻分类器。
linear-reg	在 scikit-learn 中实现线性回归。
svm	在 scikit-learn 中实现带核与不带核的支持向量机分类器。
random-forest	在 scikit-learn 中实现随机森林分类器和回归器。
k-means	在 scikit-learn 中实现 k 均值聚类。
pca	在 scikit-learn 中实现主成分分析。
gmm	在 scikit-learn 中实现高斯混合模型。
validation	在 scikit-learn 中实现验证和模型选择。

statistical-inference-scipy

演示使用 SciPy 功能进行统计推断的 IPython 笔记本。

笔记本	描述
scipy	SciPy 是基于 Python 的 NumPy 扩展构建的一组数学算法和便捷函数集合。它通过为用户提供用于数据操作和可视化的高级命令和类，显著增强了交互式 Python 会话的功能。
effect-size	通过分析男性和女性身高的差异，探讨量化效应大小的统计指标。利用行为风险因素监测系统 (BRFSS) 的数据，估算美国成年女性和男性的平均身高及标准差。
sampling	通过使用 BRFSS 数据分析美国男性和女性的平均体重，探索随机抽样方法。
hypothesis	通过比较第一胎婴儿与其他婴儿的差异，探讨假设检验的方法。

pandas

演示 pandas 功能的 IPython Notebook。

Notebook	描述
pandas	一个用 Python 编写的用于数据处理和分析的软件库。提供用于操作数值表格和时间序列的数据结构及操作。
github-data-wrangling	通过分析 Viz 仓库中的 GitHub 数据，学习如何加载、清洗、合并以及进行特征工程。
Introduction-to-Pandas	Pandas 入门。
Introducing-Pandas-Objects	学习 Pandas 的对象。
Data Indexing and Selection	学习 Pandas 中的数据索引与选择。
Operations-in-Pandas	学习在 Pandas 中对数据进行操作。
Missing-Values	学习如何处理 Pandas 中的缺失数据。
Hierarchical-Indexing	学习 Pandas 中的层次化索引。
Concat-And-Append	学习如何在 Pandas 中组合数据集：使用 concat 和 append。
Merge-and-Join	学习如何在 Pandas 中组合数据集：使用 merge 和 join。
Aggregation-and-Grouping	学习 Pandas 中的聚合与分组操作。
Pivot-Tables	学习 Pandas 中的透视表。
Working-With-Strings	学习 Pandas 中的向量化字符串操作。
Working-with-Time-Series	学习如何在 Pandas 中处理时间序列数据。
Performance-Eval-and-Query	学习高性能 Pandas：eval() 和 query() 方法。

matplotlib

展示 matplotlib 功能的 IPython 笔记本。

笔记本	描述
matplotlib	Python 2D 绘图库，可在多种打印格式和跨平台的交互式环境中生成出版质量的图表。
matplotlib-applied	将 matplotlib 可视化应用于 Kaggle 竞赛中的探索性数据分析。学习如何创建条形图、直方图、subplot2grid 布局、归一化图表、散点图、子图以及核密度估计图。
Introduction-To-Matplotlib	matplotlib 入门。
Simple-Line-Plots	学习 matplotlib 中的简单折线图。
Simple-Scatter-Plots	学习 matplotlib 中的简单散点图。
Errorbars.ipynb	学习在 matplotlib 中可视化误差。
Density-and-Contour-Plots	学习 matplotlib 中的密度图和等高线图。
Histograms-and-Binnings	学习 matplotlib 中的直方图、分箱和密度估计。
Customizing-Legends	学习在 matplotlib 中自定义图例。
Customizing-Colorbars	学习在 matplotlib 中自定义颜色条。
Multiple-Subplots	学习 matplotlib 中的多个子图。
Text-and-Annotation	学习 matplotlib 中的文本和注释。
Customizing-Ticks	学习在 matplotlib 中自定义刻度。
Settings-and-Stylesheets	学习自定义 matplotlib：配置和样式表。
Three-Dimensional-Plotting	学习 matplotlib 中的三维绘图。
Geographic-Data-With-Basemap	学习在 matplotlib 中使用 basemap 处理地理数据。
Visualization-With-Seaborn	学习使用 Seaborn 进行可视化。

numpy

演示 NumPy 功能的 IPython 笔记本。

笔记本	描述
numpy	为 Python 添加对大型多维数组和矩阵的支持，并提供大量用于操作这些数组的高级数学函数库。
Introduction-to-NumPy	NumPy 简介。
Understanding-Data-Types	学习 Python 中的数据类型。
The-Basics-Of-NumPy-Arrays	学习 NumPy 数组的基础知识。
Computation-on-arrays-ufuncs	学习 NumPy 数组上的计算：通用函数。
Computation-on-arrays-aggregates	学习聚合操作：NumPy 中的最小值、最大值以及介于两者之间的所有内容。
Computation-on-arrays-broadcasting	学习数组上的计算：NumPy 中的广播机制。
Boolean-Arrays-and-Masks	学习 NumPy 中的比较、掩码和布尔逻辑。
Fancy-Indexing	学习 NumPy 中的高级索引技术。
Sorting	学习 NumPy 中的数组排序。
Structured-Data-NumPy	学习结构化数据：NumPy 的结构化数组。

python-data

面向数据分析的 Python 功能演示 IPython 笔记本。

笔记本	描述
data structures	使用元组、列表、字典、集合学习 Python 基础知识。
data structure utilities	学习 Python 操作，如切片、range、xrange、bisect、sort、sorted、reversed、enumerate、zip 以及列表推导式。
functions	学习更高级的 Python 特性：函数作为对象、lambda 函数、闭包、*args、**kwargs currying、生成器、生成器表达式、itertools。
datetime	学习如何使用 Python 处理日期和时间：datetime、strftime、strptime、timedelta。
logging	学习使用 RotatingFileHandler 和 TimedRotatingFileHandler 进行 Python 日志记录。
pdb	学习使用交互式源代码调试器在 Python 中进行调试。
unit tests	学习使用 Nose 单元测试框架进行 Python 测试。

kaggle-and-business-analyses

用于 kaggle 竞赛和商业分析的 IPython 笔记本。

笔记本	描述
titanic	预测泰坦尼克号乘客的生存情况。学习数据清洗、探索性数据分析和机器学习。
churn-analysis	预测客户流失。实践逻辑回归、梯度提升分类器、支持向量机、随机森林和 k 最近邻算法。包含混淆矩阵、ROC 曲线、特征重要性、预测概率以及校准/区分度的讨论。

spark

展示 Spark 和 HDFS 功能的 IPython Notebook。

Notebook	描述
spark	基于内存的集群计算框架，在某些应用场景下速度可提升至 100 倍，非常适合机器学习算法。
hdfs	可靠地将超大文件跨多台机器存储在一个大型集群中。

mapreduce-python

展示使用 mrjob 实现 Hadoop MapReduce 功能的 IPython Notebook。

Notebook	描述
mapreduce-python	以 Python 运行 MapReduce 作业，可在本地或 Hadoop 集群上执行。演示了如何在 Python 代码中使用 Hadoop Streaming，并结合单元测试及 mrjob 配置文件来分析 Elastic MapReduce 上的 Amazon S3 存储桶日志。Disco 是另一个基于 Python 的替代方案。

aws

展示亚马逊云服务（AWS）及其工具功能的 IPython Notebook。

还可查看：

• SAWS：一款功能强大的 AWS 命令行界面（CLI）。
• Awesome AWS：精选的库、开源项目、指南、博客及其他资源列表。

Notebook	描述
boto	官方的 AWS Python SDK。
s3cmd	通过命令行与 S3 进行交互。
s3distcp	根据指定模式和目标文件，将较小的文件合并并聚合在一起。S3DistCp 还可用于将大量数据从 S3 传输到您的 Hadoop 集群。
s3-parallel-put	并行上传多个文件至 S3。
redshift	作为基于大规模并行处理（MPP）技术构建的快速数据仓库。
kinesis	实时流式传输数据，每秒可处理数千个数据流。
lambda	根据事件触发运行代码，并自动管理计算资源。

命令

展示 Linux、Git 等各种命令行的 IPython 笔记本。

笔记本	描述
linux	类 Unix 且大多符合 POSIX 标准的计算机操作系统。包括磁盘使用情况、文件分割、grep、sed、curl、查看运行中的进程、终端语法高亮以及 Vim。
anaconda	面向大规模数据处理、预测分析和科学计算的 Python 编程语言发行版，旨在简化包管理和部署。
ipython notebook	基于 Web 的交互式计算环境，可将代码执行、文本、数学公式、图表和富媒体整合到一个文档中。
git	分布式版本控制系统，强调速度、数据完整性以及对分布式、非线性工作流的支持。
ruby	用于与 AWS 命令行交互，以及 Jekyll——一个可在 GitHub Pages 上托管的博客框架。
jekyll	简单、具备博客功能的静态网站生成器，适用于个人、项目或组织的网站。它会渲染 Markdown 或 Textile 和 Liquid 模板，并生成一个完整的静态网站，可由 Apache HTTP Server、Nginx 或其他 Web 服务器提供服务。
pelican	基于 Python 的 Jekyll 替代方案。
django	高级 Python Web 框架，鼓励快速开发及简洁、实用的设计。可用于分享报告/分析内容，也可用于博客。更轻量级的替代方案包括 Pyramid、Flask、Tornado 和 Bottle。

杂项

展示各种功能的 IPython 笔记本。

笔记本	描述
regex	正则表达式速查表，适用于数据清洗。
algorithmia	Algorithmia 是一个算法市场。该笔记本展示了四种不同的算法：人脸检测、内容摘要、潜在狄利克雷分配和光学字符识别。

笔记本安装

anaconda

Anaconda 是面向大规模数据处理、预测分析和科学计算的免费 Python 发行版，旨在简化包管理和部署。

请按照说明安装 Anaconda 或更轻量级的 miniconda。

开发环境搭建

如需详细说明、脚本和工具来设置您的数据分析开发环境，请查看 dev-setup 仓库。

运行笔记本

要查看交互式内容或修改 IPython 笔记本中的元素，您需要先克隆或下载仓库，然后运行笔记本。有关 IPython 笔记本的更多信息，请参阅 此处。

$ git clone https://github.com/donnemartin/data-science-ipython-notebooks.git
$ cd data-science-ipython-notebooks
$ jupyter notebook

笔记本已在 Python 2.7.x 上测试通过。

致谢

• 《Python 数据分析：使用 Pandas、NumPy 和 IPython 进行数据清洗》（作者：Wes McKinney）链接
• 2015 年 PyCon scikit-learn 教程（作者：Jake VanderPlas）链接
• 《Python 数据科学手册》（作者：Jake VanderPlas）链接
• 使用 scikit-learn 和 IPython 进行并行机器学习教程（作者：Olivier Grisel）链接
• 使用 Python 计算方法进行统计推断（作者：Allen Downey）链接
• TensorFlow 示例（作者：Aymeric Damien）链接
• TensorFlow 教程（作者：Parag K Mital）链接
• TensorFlow 教程（作者：Nathan Lintz）链接
• TensorFlow 教程（作者：Alexander R Johansen）链接
• TensorFlow 书籍（作者：Nishant Shukla）链接
• 2015 年夏季学校（由 mila-udem 组织）链接
• Keras 教程（作者：Valerio Maggio）链接
• Kaggle 网站
• Yhat 博客 网站

贡献

欢迎贡献！如发现 bug 或有需求，请 提交 issue。

联系方式

如有任何问题、疑问或意见，欢迎随时联系我。

• 邮箱：donne.martin@gmail.com
• Twitter：@donne_martin
• GitHub：donnemartin
• LinkedIn：donnemartin
• 网站：donnemartin.com

许可证

本仓库包含多种内容，其中一部分由Donne Martin开发，另一部分来自第三方。第三方内容根据其各自提供的许可证进行分发。

由Donne Martin开发的内容依据以下许可证进行分发：

我在此仓库中提供的代码和资源均采用开源许可证授权给您。由于这是我的个人仓库，您所获得的对我代码和资源的使用许可来自我本人，而非我的雇主（Facebook）。

版权所有 © 2015 Donne Martin

根据Apache许可证第2.0版（“许可证”）授权；

除非遵守该许可证的规定，否则不得使用本文件。

您可以在以下网址获取许可证的副本：

   http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或双方书面同意，否则软件按“原样”提供，不提供任何形式的担保或条件。有关具体语言的权限及限制，请参阅该许可证。

data-science-ipython-notebooks 快速上手指南

data-science-ipython-notebooks 是一个汇集了数据科学核心领域（深度学习、机器学习、数据分析等）的 IPython Notebook 教程集合。本指南将帮助你快速搭建环境并运行这些示例代码。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本：建议 Python 3.8 及以上
• 前置依赖：
  • pip 或 conda (推荐使用 Anaconda/Miniconda 管理环境)
  • git (用于克隆仓库)
  • 硬件加速 (可选)：若需运行深度学习 (TensorFlow/Theano/Keras) 示例，建议配备 NVIDIA GPU 并安装对应的 CUDA/cuDNN。

国内开发者提示：为避免下载依赖包速度过慢，建议配置国内镜像源。

• pip: pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
• conda: conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

安装步骤

1. 克隆项目仓库

使用 git 将项目下载到本地：

git clone https://github.com/donnemartin/data-science-ipython-notebooks.git
cd data-science-ipython-notebooks

2. 创建虚拟环境

推荐使用 conda 创建一个隔离环境，以避免依赖冲突：

conda create -n ds-notebooks python=3.9
conda activate ds-notebooks

3. 安装核心依赖库

根据目录结构，该项目涵盖了多个主流库。你可以一次性安装基础数据科学栈，或按需安装深度学习框架。

安装基础数据科学栈 (Pandas, NumPy, Scikit-learn, Matplotlib 等):

pip install pandas numpy scipy matplotlib scikit-learn jupyter seaborn

安装深度学习框架 (按需选择):

• TensorFlow:

  pip install tensorflow
  # 若有 GPU，可安装 tensorflow-gpu (TF 2.x 已内置 GPU 支持，只需确保驱动正常)
  

• Keras: (通常随 TensorFlow 安装，也可独立安装)

  pip install keras
  

• Theano: (注：Theano 已停止维护，仅建议用于学习旧代码，需特定版本)

  pip install Theano
  

4. 启动 Jupyter Notebook

在项目根目录下启动服务：

jupyter notebook

浏览器会自动打开，即可看到各个分类的文件夹（如 deep-learning, scikit-learn 等）。

基本使用

本项目以交互式笔记本形式组织内容，无需编写额外脚本即可直接运行学习。

1. 浏览教程目录

在 Jupyter 界面中，进入你感兴趣的领域，例如深度学习中的 TensorFlow 教程：

• 路径：deep-learning/tensor-flow-examples/notebooks/1_intro/
• 文件：basic_operations.ipynb

2. 运行示例代码

点击 .ipynb 文件打开笔记本。

• 查看代码：每个单元格 (Cell) 包含具体的实现代码和说明。
• 执行代码：选中一个代码单元格，按下 Shift + Enter 运行。
• 观察结果：代码下方会直接显示输出结果、图表或模型训练进度。

3. 最小化实践示例

以 Pandas 数据分析为例，你可以直接新建一个 Notebook 或修改现有文件，运行以下标准代码测试环境：

import pandas as pd
import numpy as np

# 创建简单的 DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'City': ['Beijing', 'Shanghai', 'Shenzhen']}

df = pd.DataFrame(data)

# 显示前几行
print(df.head())

# 简单统计
print(df['Age'].mean())

4. 探索特定主题

项目索引涵盖了以下核心模块，可直接跳转对应文件夹学习：

• 深度学习: deep-learning/ (含 TensorFlow, Keras, Theano 实战)
• 机器学习: scikit-learn/ (经典算法实现)
• 数据处理: pandas/, numpy/
• 可视化: matplotlib/
• 大数据: spark/, mapreduce-python/
• 云平台: amazon web services/ (AWS 相关操作)

通过直接运行这些现成的 Notebook，你可以快速复现经典数据科学工作流，并根据注释修改参数进行实验。