机器学习

我Medium博客中关于实用机器学习主题的文章

内容

1. 通用设置
2. 数据分析
   • Pandas
   • 应用数据分析与EDA
3. 网页爬虫
4. 数据可视化
5. TensorFlow
6. PyTorch
7. Scikit-Learn

通用设置

• 使用“virtualenv”创建虚拟环境并将其添加到Jupyter Notebook
• 使用“conda”创建虚拟环境并将其添加到Jupyter Notebook
• 7种将外部数据加载到Google Colab的方法

数据分析

Pandas

• 读取与写入数据
  • 使用 Pandas read_csv() 解析日期列的 4 个技巧 |
  • 你应该掌握的 Pandas read_csv() 技巧 |
  • 从 HTML 表格中抓取数据时应掌握的 Pandas read_html() 全部知识 |
  • 如何将 JSON 转换为 Pandas DataFrame？ |
  • 使用 Pandas json_normalize() 展平 JSON 数据 |
• 数据剖析
  • 9 个 Pandas value_counts() 技巧 |
  • 从 Pandas count() 中获得更多价值 |
• 数据预处理
  • 什么是独热编码以及如何使用 get_dummies() |
  • 在 Pandas 中处理缺失值 | 即将发布
  • 在 Pandas DataFrame 中处理日期时间数据 |
  • 掌握 Pandas 中 sort_values() 的 11 个技巧 |
  • 如何对 Pandas DataFrame 进行自定义排序 |
  • 使用 Pandas cut() 将数值数据转换为分类数据 |
  • 使用 Pandas qcut() 基于样本分位数对数值数据进行分箱 |
  • 查找并删除 Pandas DataFrame 中的重复行 |
  • 重命名 Pandas DataFrame 中的列 |
  • 将数据转换为数值类型的 10 个技巧 |
  • 将数字和字符串转换为日期时间的 10 个技巧 |
  • 用于操作时间序列数据的 Pandas resample() 技巧 |
  • 何时使用 Pandas transform() 函数 |
  • Pandas 中 apply() 和 transform() 的区别 |
  • Pandas apply()、applymap() 和 map() 简介 | 即将发布
  • 你应该掌握的 Pandas shift() 全部知识 |
  • 使用 drop() 删除 DataFrame 中的行或列 |
  • 展平 MultiIndex 列和行 |
• 数据合并
  • 用于合并数据集的 Pandas merge() 全部知识 |
  • 加速数据分析的 Pandas concat() 技巧 |
  • 掌握 Pandas append() 的 5 个技巧 |
• 数据选择与查询
  • 使用 Pandas loc 和 iloc 选择数据 |
  • 各种 SQL 查询的 Pandas 等价物 | 即将发布
  • 使用 Numpy 的 select() 和 where() 方法创建条件列 |
  • 访问 MultiIndex DataFrame 中的数据 |
• 数据重塑
  • 使用 melt() 将 DataFrame 从宽格式重塑为长格式 |
  • 使用 pivot() 将 DataFrame 从长格式重塑为宽格式 |
  • 使用 stack() 和 unstack() 重塑 DataFrame/Series |
  • 使用 Pandas explode() 方法展开列表型列 |
• 分组与汇总
  • 使用 Pandas groupby() 对数据进行分组和操作 |
  • Pandas pivot_table() 的实用入门 |
  • 使用 Pandas crosstab() 汇总数据 |
• 最佳实践与代码可读性
  • 使用 Pandas pipe() 提高代码可读性 |
  • 使用 Pandas 方法链式调用提高代码可读性 |
  • 数据科学项目开始时应包含的 7 种设置 |
  • 加速数据分析的 6 个 Pandas 技巧 |
  • 你应该掌握的 8 种常用的 Pandas 显示选项 |
• 入门与其他
  • Pandas Series 的实用入门 |

应用数据分析与探索性数据分析

• 使用Pandas DataFrame处理COVID-19数据 | 即将发布

网页爬取

• 使用Selenium、BeautifulSoup和Pandas从JavaScript网页中抓取表格 |

数据可视化

• Python中的双轴组合图 - Matplotlib、Seaborn和Pandas plot() |
• 在Python的组合图中添加第3个Y轴 - Matplotlib、Seaborn和Pandas plot() |

Altair

• 使用Altair进行Python交互式数据可视化 | Gist
• 用于探索新冠病毒传播的交互式数据可视化 | Gist

Matplotlib

• Jupyter Notebook中的Matplotlib动画 |
• Jupyter Notebook中的Matplotlib线性回归动画 |

TensorFlow

• 谷歌机器学习七步实践法 |
• 使用Keras和TensorFlow 2.0创建机器学习模型的三种方法 |
• 模型正则化实践 |
• 批量归一化实践 |
• 早停法实践 |
• 学习率调度实践 |
• Keras回调实践 |
• Keras自定义回调 |
• 深度学习中7种流行的激活函数 |
• 为什么在深度学习中使用ReLU以及最佳实践 |

PyTorch

待定

Scikit-Learn与通用机器学习

• 网格搜索、随机搜索和贝叶斯搜索的实用介绍 |
• 9种回归算法的实用介绍 |
• 机器学习中你应该了解的训练-测试集划分与交叉验证（待定） |

Machine Learning 快速上手指南

本仓库是 Bindi Chen 在 Medium 博客上发布的机器学习实战教程合集，涵盖数据清洗、分析、可视化及主流深度学习框架（TensorFlow, PyTorch, Scikit-Learn）的应用技巧。以下内容基于仓库结构整理，助你快速开始学习。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Windows, macOS 或 Linux
• Python 版本：推荐 Python 3.8 或更高版本
• 核心依赖：
  • pandas (数据分析)
  • numpy (数值计算)
  • matplotlib / seaborn (数据可视化)
  • scikit-learn (传统机器学习)
  • tensorflow 或 pytorch (深度学习，按需安装)
  • jupyter notebook 或 jupyter lab (运行示例代码)
• 网络环境：部分教程涉及网页爬虫 (web scraping) 和加载外部数据，需确保网络通畅。

安装步骤

推荐使用 conda 或 virtualenv 创建独立的虚拟环境，以避免依赖冲突。

方案一：使用 Conda (推荐)

如果你已安装 Anaconda 或 Miniconda，可以使用以下命令创建环境并安装基础库。国内用户建议使用清华源加速下载。

# 创建名为 ml-env 的虚拟环境，指定 Python 版本
conda create -n ml-env python=3.9 -y

# 激活环境
conda activate ml-env

# 配置清华镜像源 (可选，加速下载)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

# 安装核心数据科学库
conda install pandas numpy matplotlib seaborn scikit-learn jupyter -y

# 按需安装深度学习框架 (二选一或全选)
# conda install tensorflow
# conda install pytorch torchvision torchaudio -c pytorch

方案二：使用 Pip + Virtualenv

# 创建虚拟环境
python -m venv ml-env

# 激活环境
# Windows:
ml-env\Scripts\activate
# macOS/Linux:
source ml-env/bin/activate

# 升级 pip 并使用国内镜像安装依赖
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas numpy matplotlib seaborn scikit-learn jupyter

# 按需安装深度学习框架
# pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow
# pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision

将环境添加到 Jupyter Notebook

安装完成后，若要在 Jupyter 中使用该特定环境，需执行以下命令：

# Conda 环境
conda install ipykernel -y
python -m ipykernel install --user --name=ml-env --display-name "Python (ml-env)"

# Virtualenv 环境
pip install ipykernel
python -m ipykernel install --user --name=ml-env --display-name "Python (ml-env)"

基本使用

本仓库的核心内容是位于 data-analysis 等目录下的 Jupyter Notebook (.ipynb) 文件。每个文件对应一个具体的技术点（如 Pandas 技巧、数据清洗方法等）。

1. 启动 Jupyter Notebook

在终端中激活环境并启动服务：

conda activate ml-env  # 或 source ml-env/bin/activate
jupyter notebook

2. 运行示例代码

在浏览器打开的 Jupyter 界面中，导航至仓库对应的文件夹（例如 data-analysis/006-pandas-read_csv/），点击 .ipynb 文件即可打开。

以下是一个基于仓库中 Pandas 数据读取技巧 的最简使用示例，演示如何高效读取 CSV 并解析日期列：

import pandas as pd

# 模拟数据内容 (实际使用时请替换为真实文件路径)
# 教程重点：使用 parse_dates 参数直接解析日期，无需后续转换
data = """date,sales,region
2023-01-01,100,North
2023-01-02,150,South
2023-01-03,200,East"""

# 将字符串保存为临时 CSV 文件用于演示
with open('sample_data.csv', 'w') as f:
    f.write(data)

# 【核心技巧】一步完成读取与日期解析
# 对应仓库教程：4 tricks to parse date columns with Pandas read_csv()
df = pd.read_csv('sample_data.csv', parse_dates=['date'])

# 验证日期列类型
print(df.dtypes)
print("\n前几行数据：")
print(df.head())

# 清理演示文件
import os
os.remove('sample_data.csv')

3. 探索更多主题

你可以根据需求浏览仓库中的不同模块：

• 数据预处理：查看 data-analysis 目录下的 one-hot-encoding, pandas-datetime, pandas-drop 等笔记。
• 数据合并与重塑：参考 pandas-merge, pandas-melt, pandas-pivot 等示例。
• 深度学习：进入 tensorflow 或 pytorch 目录查找相关模型构建与训练笔记。
• Google Colab 用户：参考 General Setup 中的教程，学习如何将外部数据加载到 Colab 环境中。