数据科学45分钟入门

每周*，我们的数据科学团队@Gnip（又名@TwitterBoulder）都会聚在一起，花大约50分钟时间学习新知识。

这些活动最初是为了帮助大家共同克服数据清洗和分析任务中的常见障碍而设立的，但后来逐渐扩展到了机器学习、统计学以及通用编程等领域。只要能帮助我们更好地完成工作，任何主题都可以纳入讨论范围。

每次活动都会由一位成员准备课程内容并带领大家进行讨论。常用的展示方式包括编写清晰的README文件、IPython笔记本、knitr文档以及交互式代码会话等——实践性越强越好。

欢迎大家将这些资源用于自身或团队的学习，并且如果有什么补充内容，也欢迎提交Pull Request。

*当然，虽然我们尽量每周都举办一次，但有时也会因为各种原因无法如期进行。遇到这种情况时，我们就会想办法“道德绑架”那位没按时组织的人啦！

当前主题

Python

• 面向对象编程概念 + 模块与打包
• 使用unittest进行单元测试
• 迭代器 + 生成器
• Pandas入门
• Vertica数据库与vertica_python简介
• Python多进程编程入门
• Python装饰器
• Python接口
• Python日志记录

Bash + 命令行工具

• 使用jq
• Bash中的数据结构
• 正则表达式

统计学

• 最大似然估计
• Count-Min算法
• A/B测试
• 因果推断
• 误差统计
• 经典统计在社交数据分析中的应用
• 有序列表的有效比较
• 计数与最大似然估计
• 估计总体中类别的数量
• 长尾分布I
• 长尾分布II
• 最大似然参数估计
• 概率图模型

机器学习

• Scikit-learn入门
• K均值聚类简介
• 如何选择K均值聚类中的K值
• 逻辑回归
• 朴素贝叶斯分类器
• k近邻算法入门
• AdaBoost算法入门
• 决策树
• 基函数展开 + 核方法
• 模型选择
• 支持向量机入门
• 使用Scikit-learn进行文本挖掘
• 多臂老虎机算法
• 核平滑
• 神经网络I
• 神经网络II

自然语言处理

• 主题建模入门
• 主题建模进阶及实战案例
• 词性标注
• 文本处理
• 词向量空间

网络结构

• 网络统计 + igraph
• 网络分析：使用零模型
• 网络分析：社区结构
• 网络分析：中心性度量

算法

• Count Min Sketch算法

工程实践

• 代码重构

地理信息系统

• Shapefile工具 + 反向地理编码（以及Makefile）

Web开发

• WebSockets入门
• Python + Flask基础

可视化

• D3.js与JavaScript入门
• D3可重用图表：热力图
• 实时数据 - WebSockets入门
• 地平线图入门
• Bokeh
• Matplotlib：Python中的科学绘图

数据库

• SQL 201 - 基于脚本的数据与查询
• Vertica数据库

Data-Science-45min-Intros 快速上手指南

Data-Science-45min-Intros 是 Twitter Boulder 团队（原 Gnip）内部用于数据科学技能提升的开源教程集合。内容涵盖 Python 编程、统计学、机器学习、自然语言处理及可视化等多个领域，以实战导向的 Jupyter Notebook 和代码示例为主。

环境准备

本教程集主要基于 Python 生态，部分章节涉及 Bash、SQL 或 JavaScript。

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• 核心依赖：
  • Python 3.6+
  • Jupyter Notebook / JupyterLab
  • 常用数据科学库：pandas, numpy, scikit-learn, matplotlib, seaborn
  • 特定库（按需）：vertica-python, igraph, flask, bokeh 等
• 前置知识：具备基础的 Python 编程能力，了解基本的数据分析概念。

国内加速建议： 在安装 Python 依赖时，强烈建议使用清华或阿里云镜像源以提升下载速度。 临时使用命令：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆项目仓库

首先将项目代码拉取到本地：

git clone https://github.com/DrSkippy/Data-Science-45min-Intros.git
cd Data-Science-45min-Intros

2. 创建虚拟环境并安装依赖

建议为该项目创建一个独立的虚拟环境，避免污染全局环境。

# 创建虚拟环境
python -m venv ds-intro-env

# 激活环境
# Linux/macOS:
source ds-intro-env/bin/activate
# Windows:
ds-intro-env\Scripts\activate

# 升级 pip 并使用国内镜像安装基础数据科学栈
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jupyter pandas numpy scikit-learn matplotlib seaborn

# 根据你想学习的具体主题安装额外依赖
# 例如学习 Vertica 相关章节：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple vertica-python
# 例如学习网络分析相关章节：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple python-igraph

3. 启动 Jupyter Notebook

进入包含具体教程的目录并启动服务：

jupyter notebook

浏览器会自动打开 Jupyter 界面，即可浏览项目中的 .ipynb 文件。

基本使用

本项目没有统一的入口脚本，每个主题都是一个独立的教学单元。使用流程如下：

1. 选择主题：在 Jupyter 文件列表中，根据目录结构找到感兴趣的主题文件夹（如 python-oop-101, sklearn-101, k-means-101 等）。
2. 打开 Notebook：点击对应的 .ipynb 文件。
3. 交互式学习：
   • 阅读单元格中的理论讲解和注释。
   • 选中代码单元格，按 Shift + Enter 运行代码，观察输出结果。
   • 尝试修改代码参数，验证不同场景下的效果。

示例：运行 K-Means 聚类教程

假设你想学习 K-Means 算法：

1. 在文件列表中找到 Machine Learning 目录下的 k-means-101 文件夹。
2. 打开其中的 .ipynb 文件（通常命名为 k-means-intro.ipynb 或类似名称）。
3. 依次运行以下典型代码单元格（内容示意）：

# 导入必要的库
from sklearn.cluster import KMeans
import numpy as np
import matplotlib.pyplot as plt

# 生成模拟数据
X = np.array([[1, 2], [1, 4], [1, 0],
              [10, 2], [10, 4], [10, 0]])

# 初始化并训练模型
kmeans = KMeans(n_clusters=2, random_state=0).fit(X)

# 查看聚类中心和标签
print("Cluster centers:\n", kmeans.cluster_centers_)
print("Labels:", kmeans.labels_)

# 可视化结果
plt.scatter(X[:, 0], X[:, 1], c=kmeans.labels_, s=50, cmap='viridis')
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], c='red', s=200, alpha=0.75, marker='X')
plt.show()

通过这种方式，你可以逐个攻克列表中的 50+ 个主题，从基础的 Python 装饰器到复杂的神经网络和因果推断。