说明

机器学习、深度学习、自然语言处理基础知识总结。

目前主要参考李航老师的《统计学习方法》一书，也有一些内容例如XGBoost、聚类、深度学习相关内容、NLP相关内容等是书中未提及的。

由于github的markdown解析器不支持latex，因此笔记部分需要在本地使用Typora才能正常浏览，也可以直接访问下面给出的博客链接。

Document文件夹下为笔记，Code文件夹下为代码，Data文件夹下为某些代码所使用的数据集，Image文件夹下为笔记部分所用到的图片。

由于时间和精力有限，部分代码来自github开源项目，如Seq2Seq、Transformer等部分的代码，部分章节代码待补充。

机器学习

• 线性回归（笔记）
• 感知机（笔记+代码）
• KNN（笔记+代码）
• 朴素贝叶斯（笔记+代码）
• 决策树（笔记+代码）
• 逻辑回归（笔记+代码）
• 最大熵（笔记+代码）
• SVM（笔记+代码）
• AdaBoost（笔记+代码）
• GBDT（笔记+代码）
• EM算法（笔记+代码）
• 隐马尔可夫模型（笔记+代码）
• 条件随机场（笔记）
• 随机森林（笔记+代码）
• XGBoost（笔记）
• 聚类（笔记）
• 特征工程之特征选择（笔记）
• 特征工程之降维算法（笔记）

深度学习

• 神经网络（笔记+代码）
• RNN(笔记)
• LSTM和GRU(笔记)
• CNN(笔记)
• 深度学习中的最优化方法（笔记）

自然语言处理

• 词嵌入之Word2Vec(笔记)
• 词嵌入之GloVe(笔记)
• 词嵌入之FastText(笔记)
• TextCNN（笔记+代码）
• Seq2Seq（笔记+代码）
• Transformer（笔记+代码）
• BERT（笔记）
• LSTM+CRF进行序列标注（笔记）
• 主题模型（笔记）

Basic4AI 快速上手指南

Basic4AI 是一个涵盖机器学习、深度学习及自然语言处理基础知识的开源项目，内容主要参考李航《统计学习方法》，并补充了 XGBoost、聚类、Transformer 等现代算法。本项目包含详细的理论笔记（需本地查看）和对应的 Python 代码实现。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows / macOS / Linux
• Python 版本：推荐 Python 3.6+
• 核心依赖库：
  • numpy
  • pandas
  • scikit-learn
  • matplotlib
  • torch (用于深度学习和 NLP 部分代码)
• 笔记阅读工具：由于 GitHub 不支持 LaTeX 公式渲染，阅读 Document 文件夹下的笔记建议使用 Typora 编辑器，或直接访问项目中提供的博客链接。

安装步骤

1. 克隆项目仓库 使用 git 将代码下载到本地：

   git clone https://github.com/1033020837/Basic4AI.git
   cd Basic4AI
   

2. 安装依赖包 建议创建虚拟环境后安装依赖。如果项目中未提供 requirements.txt，可手动安装核心库（推荐使用国内镜像源加速）：

   pip install numpy pandas scikit-learn matplotlib torch -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

本项目结构清晰，Code 文件夹存放算法实现，Data 文件夹存放数据集，Document 文件夹存放理论笔记。

1. 运行机器学习算法示例

以感知机 (Perceptron) 为例，进入 Code 目录直接运行脚本：

cd Code
python perceptron.py

注：其他经典算法如 KNN、决策树、SVM 等均可通过类似方式运行（例如 python knn.py, python svm.py）。

2. 运行深度学习/NLP 示例

对于需要 PyTorch 支持的模型（如 TextCNN），确保已安装 torch 后运行：

python textcnn.py

3. 查看理论笔记

• 本地查看：使用 Typora 打开 Document 文件夹下的 .md 文件，即可看到渲染完美的数学公式和图表。
• 在线查看：若不便安装 Typora，可直接点击 README 中各章节对应的博客链接（如 cnblogs 链接）在线阅读。

4. 数据说明

部分代码运行时需要读取 Data 文件夹下的数据集。请确保运行脚本时路径正确，通常脚本内已相对路径引用，直接在项目根目录或 Code 目录下运行即可。