代码仓库 用于 数据科学的概率与统计

本书 数据科学的概率与统计 的代码。免费预印本、视频、代码、幻灯片以及习题解答均可在 https://www.ps4ds.net 上获取。

概率

• 美国众议院议员投票情况 经验概率、条件概率、独立性、条件独立性
• 随机硬币抛掷 抽样
• 3对3篮球奥运会比赛 蒙特卡洛方法
• 拳击冠军赛 蒙特卡洛方法
• 电子游戏 蒙特卡洛方法

离散变量

• 骰子投掷（真实数据） 经验概率质量函数
• 公平骰子投掷 经验概率质量函数
• 杜兰特的罚球连中纪录 非参数与参数模型、几何分布、最大似然估计
• 模拟罚球的最大似然估计 参数模型、几何分布、最大似然估计
• 电话呼叫 非参数与参数模型、泊松分布、最大似然估计
• 经验概率估计量的分布 经验概率、二项分布

连续变量

• 身高 累积分布函数、分位数、概率密度函数、直方图、核密度估计、箱线图、正态分布、最大似然估计、参数与非参数模型
• 国内生产总值 累积分布函数、分位数、概率密度函数、直方图、核密度估计、箱线图
• 牛津市气温 箱线图、四分位数
• 电话呼叫的到达间隔时间 核密度估计、非参数与参数模型、指数分布、最大似然估计
• 模拟指数分布 逆变换抽样

多个离散变量

• 电影评分 联合概率质量函数、边缘分布、条件分布
• 俄勒冈州（以及夏威夷和罗德岛）的降水量 联合概率质量函数、边缘分布、条件分布、独立性、条件独立性
• 维度灾难
• 降水量时间序列 马尔可夫链、平稳性
• 汽车租赁 时间齐次马尔可夫链、平稳分布
• 政治倾向 朴素贝叶斯、分类

多个连续变量

• 曼哈顿和凡尔赛的气温 联合概率密度函数、边缘分布、条件分布
• 更多温度数据 联合概率密度函数、边缘分布、条件分布、条件独立性
• 人体测量数据 联合概率密度函数、核密度估计、高斯随机向量、最大似然估计、参数与非参数模型
• 二维核密度估计
• 电影时长与票房收入 联合概率密度函数、条件概率密度函数、独立性
• 高斯随机变量的条件分布
• 多元正态分布的特征分解分析
• 奇异水果 高斯随机向量
• 模拟湖泊 逆变换抽样、随机变量之间的依赖关系
• 模拟三角形

离散与连续变量

• 冒纳罗亚的温度与降水 离散与连续变量的联合分布、边缘分布、条件分布、核密度估计
• 身高与性别 混合模型、高斯参数模型、离散与连续变量的联合分布、边缘分布、条件分布
• 身高与惯用手 离散与连续变量的联合分布、独立性、核密度估计
• 阿尔茨海默病诊断 分类、高斯随机向量、高斯判别分析、二次判别分析、线性判别分析、最大似然估计、参数模型
• 按身高聚类 高斯混合模型、期望最大化算法、聚类、无监督学习
• NBA球员聚类 高斯混合模型、期望最大化算法、聚类、无监督学习
• 选举民调 贝叶斯参数建模、贝塔分布、先验分布与后验分布、共轭先验
• 如何不预测选举 贝叶斯参数建模、独立性、条件独立性、蒙特卡洛方法

平均值

• NBA薪资 均值、中位数、异常值
• 电影评分 样本条件均值、条件期望
• 美国各州气温 样本均值、样本方差、样本标准差
• 曼哈顿与凡尔赛的气温 样本条件均值、回归分析
• 私人辅导能提高成绩吗？ 因果推断、平均处理效应、混杂因素、调整混杂因素
• 标题大小写会增加YouTube观看量吗？ 因果推断、平均处理效应

相关性

• 身高与NBA数据 相关系数、标准化、解释方差、线性估计、非线性估计、不相关、独立性
• 高斯随机向量 相关系数、解释方差
• 高斯变量中不相关意味着独立
• 喂养豚鼠 相关性与因果关系、混杂因素、因果推断
• 西班牙失业率 相关性与因果关系、混杂因素、因果推断、线性回归、调整混杂因素

总体参数估计

• 身高 样本均值、随机抽样、大数定律、偏误、标准误差、一致性、切比雪夫不等式、依概率收敛、中心极限定理、依分布收敛
• 国内生产总值 样本均值、随机抽样、大数定律
• COVID-19 患病率 样本比例、随机抽样、大数定律、偏误、标准误差、一致性、依概率收敛、中心极限定理、依分布收敛
• 赌徒悖论 大数定律、样本均值
• 大数定律不适用于柯西分布
• 地方经济活动 大数定律、样本均值的一致性、异常值
• 中心极限定理（离散型变量） 中心极限定理、卷积、独立随机变量之和
• 中心极限定理（连续型变量） 中心极限定理、卷积、独立随机变量之和
• 篮球战术 中心极限定理、二项分布的正态近似、蒙特卡洛方法
• 金融危机 中心极限定理、独立性、蒙特卡洛方法
• 样本均值的置信区间
• 降水量的置信区间 置信区间、样本比例、随机抽样
• 自助法样本均值 自助法、自助法标准误差、样本均值
• 自助法正态置信区间
• 自助法百分位数置信区间
• 身高与脚长 相关系数、样本相关系数、正态置信区间、自助法、自助法百分位数置信区间、费舍尔变换

假设检验

• 骰子投掷 零假设、检验统计量、p值、参数检验、功效函数
• 字母哥的罚球 零假设、检验统计量、p值、两样本检验、z检验、单尾检验、双尾检验、参数检验、功效函数、置换检验、非参数检验
• 汉堡价格 置换检验、非参数检验、p值
• 汤姆·布雷迪与飓风 置换检验、非参数检验
• 比较学生成绩 置换检验、非参数检验、中位数
• 关键时段三分球命中率 多重检验、邦费罗尼校正、p值
• NBA球员评估 多重检验、邦费罗尼校正、p值、置换检验、平均处理效应
• 实际意义与统计意义
• p值操纵 p值操纵、发表偏倚

主成分分析与低秩模型

• 高斯随机向量 随机向量的均值、协方差矩阵、方向方差、主成分分析、谱定理
• 加拿大城市 向量的样本均值、样本协方差矩阵、主成分分析、谱定理
• 人脸 主成分分析、降维、向量的样本均值
• 小麦种子 模型协方差矩阵、主成分分析、降维
• 人脸分类 主成分分析、降维、最近邻法
• 美国气温 模型协方差矩阵、奇异值分解、主成分分析、低秩模型
• 电影评分预测（卡通示例） 低秩模型、奇异值分解、矩阵补全、协同过滤、奇异值阈值化、插值
• 电影评分预测（真实数据） 低秩模型、奇异值分解、矩阵补全、协同过滤、奇异值阈值化、插值
• 主题建模 低秩模型、奇异值分解、非负矩阵分解

回归与分类

• 美国各县过早死亡率 线性回归、普通最小二乘法、决定系数、解释方差
• 过拟合与泛化的卡通示例
• 线性回归中的噪声放大1 普通最小二乘法、岭回归
• 线性回归中的噪声放大2 普通最小二乘法、岭回归
• 凡尔赛气温 线性回归、普通最小二乘法、岭回归、稀疏回归、Lasso、正则化、过拟合
• 稀疏回归1 稀疏性、Lasso、正则化
• 稀疏回归2 稀疏性、Lasso、正则化
• 身高与性别 逻辑回归、最大似然估计、对数似然、逻辑函数
• 阿尔茨海默病诊断 分类、逻辑回归、分类模型评估、校准
• 通过Softmax回归估计小麦品种
• 数字分类 Softmax回归、过拟合、正则化
• 通过回归树估计气温
• 通过树集成方法估计气温 装袋法、随机森林、提升法、过拟合
• 分类树的对数似然
• 通过神经网络估计气温 回归、神经网络、深度学习、过拟合、早停法
• 通过分类树估计小麦品种
• 通过神经网络估计小麦品种

ps4ds 快速上手指南

ps4ds 是书籍《Probability and Statistics for Data Science》（数据科学概率与统计）的配套开源代码库。它包含了一系列基于 Jupyter Notebook 的实战案例，涵盖从基础概率、离散/连续变量分布到贝叶斯推断、因果推断等核心数据科学主题。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Windows、macOS 或 Linux
• Python 版本：推荐 Python 3.8 或更高版本
• 前置依赖：
  • pip (Python 包管理工具)
  • git (版本控制工具，用于克隆仓库)
  • Jupyter Lab 或 Jupyter Notebook (用于运行交互式代码)

国内加速建议： 推荐使用国内镜像源安装依赖，以提升下载速度。本指南后续步骤将默认配置使用清华大学 (TUNA) 镜像源。

安装步骤

1. 克隆项目仓库

打开终端（Terminal 或 CMD），执行以下命令将代码库下载到本地：

git clone https://github.com/cfgranda/ps4ds.git
cd ps4ds

2. 创建虚拟环境（推荐）

为避免依赖冲突，建议创建一个独立的虚拟环境：

python -m venv ps4ds-env

激活虚拟环境：

• Windows:

  ps4ds-env\Scripts\activate
  

• macOS / Linux:

  source ps4ds-env/bin/activate
  

3. 安装依赖库

该项目主要依赖 numpy, pandas, matplotlib, scipy, scikit-learn 等数据科学常用库。使用国内镜像源快速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注：如果根目录下没有 requirements.txt 文件，可以直接安装核心依赖：

pip install numpy pandas matplotlib scipy scikit-learn jupyterlab -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

安装完成后，您可以启动 Jupyter Lab 来浏览和运行书中的示例代码。

1. 启动 Jupyter Lab

在项目根目录下执行：

jupyter lab

浏览器会自动打开一个标签页，显示项目文件目录。

2. 运行示例 Notebook

根据您想学习的主题，进入对应的文件夹并打开 .ipynb 文件。例如，要学习基础概率中的“美国国会投票”案例：

1. 在文件浏览器中点击进入 probability 文件夹。
2. 点击打开 US_congress_votes.ipynb。
3. 点击菜单栏的 Kernel -> Restart Kernel and Run All Cells，即可从头到尾运行代码并查看可视化结果。

3. 代码结构速览

项目按统计学主题分类，主要目录如下：

• probability/: 基础概率、条件概率、蒙特卡洛方法
• discrete_variables/: 离散变量分布（几何分布、泊松分布等）
• continuous_variables/: 连续变量分布（高斯分布、指数分布等）
• multiple_discrete_variables/: 多离散变量、马尔可夫链、朴素贝叶斯
• multiple_continuous_variables/: 多连续变量、联合分布、主成分分析基础
• discrete_and_continuous_variables/: 混合模型、高斯判别分析、聚类 (GMM)
• averaging/: 均值、方差、因果推断基础
• correlation/: 相关性分析、线性回归
• estimation_population_parameters/: 参数估计、大数定律、中心极限定理

您可以直接修改 Notebook 中的代码单元格，尝试不同的参数或数据集，以加深对统计学概念的理解。