AI 工程：动手实践

一本全面的、实践导向的指南，助你成为一名 AI 工程师。

本仓库旨在帮助你从基础原理出发学习 AI，构建真正的神经网络，并端到端地理解现代 LLM 系统。你将逐步深入数学、PyTorch、深度学习、Transformer、RAG 和 OCR 等领域——每一步都有清晰直观的 Jupyter 笔记本引导你前进。

无论你是初学者，还是希望进一步提升技能的工程师，这个仓库都能为你提供构建真实 AI 系统所需的清晰思路、系统化结构和直观理解。

⭐ 给本仓库点个赞

如果你学到了有用的知识，给个 star 表示感谢吧！

仓库结构

1. 数学基础

• 数学函数、导数、向量与梯度
• 矩阵运算与线性代数
• 概率与统计

2. PyTorch 基础

• 创建和操作张量
• 矩阵乘法、转置与重塑
• 张量的索引、切片与拼接
• 特殊张量创建函数

3. 神经网络 (NN)

• 从零开始构建神经元、层和网络
• 归一化技术（RMSNorm）
• 激活函数
• 优化器（Adam、Muon）及学习率衰减

4. Transformer

• 注意力机制与自注意力机制
• 多头注意力
• 解码器-only 架构的 Transformer

5. 检索增强生成 (RAG)

• 端到端构建 RAG 流水线
• 索引、检索与分块策略
• 与嵌入模型和向量数据库的集成

6. 光学字符识别 (OCR)

• OCR 流水线与实用工具
• 图像预处理与文本提取

书籍推荐

以下是一些有助于加深理解的推荐读物（未包含在本仓库中）：

• Chip Huyen 的《AI 工程》
• Aurélien Géron 的《使用 Scikit-Learn、Keras 和 TensorFlow 的机器学习实战》
• Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 的《深度学习》
• Trevor Hastie、Robert Tibshirani 和 Jerome Friedman 的《统计学习要素》
• Michael Nielsen 的《神经网络与深度学习》
• Anthony Molinaro 的《SQL 烹饪书》

如需更多 AI/ML 方面的书籍，我已创建了另一个仓库 点击这里。未来几天或几个月内，我会继续添加更多内容。如果你对阅读相关书籍感兴趣，不妨去看看这个仓库。

学习路径

关于材料的推荐循序渐进学习路径，请参阅：

• Start_here/learning_path.md

依赖安装

通过以下命令安装依赖：

pip install -r requirements.txt

部分子文件夹（例如 5.RAG/ 和 6.OCR/）包含各自的 requirements.txt 文件，用于安装额外的依赖项。

使用说明

推荐的工作流程如下：

1. 在项目根目录下打开 Jupyter：

   jupyter lab
   # 或
   jupyter notebook
   

2. 按顺序依次学习各笔记本：

   • 1.Math/
   • 2.PyTorch/
   • 3.Neural-Network(NN)/
   • 4.Transformer/

3. 需要单独运行的文件夹：

   • 5.RAG/
   • 6.OCR/

4. 资源部分

5. 基础机器学习模型实现（监督学习 + 非监督学习 + 强化学习）：

   • 1.线性回归
   • 2.逻辑回归
   • 3.决策树模型
   • 4.朴素贝叶斯分类

机器学习框架

工具	类别	链接
Scikit-learn	传统机器学习	https://scikit-learn.org/stable/
XGBoost	梯度提升	https://xgboost.ai/
LightGBM	梯度提升	https://lightgbm.readthedocs.io/en/stable/
CatBoost	梯度提升	https://catboost.ai/

生成式AI参考资料

资源	重点领域	链接
微软面向初学者的生成式AI	生成式AI入门	https://github.com/microsoft/generative-ai-for-beginners
每个人都能懂的生成式AI	非技术性概述	https://www.coursera.org/learn/generative-ai-for-everyone
生成式AI的构建模块	概念基础	https://shriftman.substack.com/p/the-building-blocks-of-generative
图解Transformer	Transformer模型	https://jalammar.github.io/illustrated-transformer/
LLM简要解析	LLM基础知识视频	https://www.youtube.com/watch?v=LPZh9BOjkQs
LLM入门	LLM概述视频	https://www.youtube.com/watch?v=zjkBMFhNj_g
理解LLM	深度解析	https://magazine.sebastianraschka.com/p/understanding-large-language-models
理性LLM视觉指南	理性模型	https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-reasoning-llms
理解理性LLM	理论分析	https://magazine.sebastianraschka.com/p/understanding-reasoning-llms
多模态LLM的理解	视觉+文本模型	https://magazine.sebastianraschka.com/p/understanding-multimodal-llms
MoE视觉指南	混合专家模型	https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mixture-of-experts
LLM微调	模型训练	https://magazine.sebastianraschka.com/p/finetuning-large-language-models
Transformer LLM的工作原理	架构	https://www.deeplearning.ai/short-courses/how-transformer-llms-work/
从零开始构建GPT	实践操作	https://www.youtube.com/watch?v=kCc8FmEb1nY
LLM课程（GitHub）	结构化学习	https://github.com/mlabonne/llm-course
LLM课程（Hugging Face）	实用LLM	https://huggingface.co/learn/llm-course/chapter1/1
优秀的LLM应用	项目创意	https://github.com/Shubhamsaboo/awesome-llm-apps
RAG如何增强LLM	RAG	https://awesomeneuron.substack.com/p/how-rag-enhances-llms-a-step-by-step
AI代理视觉指南	AI代理	https://awesomeneuron.substack.com/p/a-visual-guide-to-ai-agents

贡献说明

欢迎各位贡献！

请确保：

• 笔记本整洁（提交前重启并运行所有单元）
• 遵循现有结构与命名规范
• PR内容聚焦、易读且有文档说明
• 在RAG、OCR等文件夹中，请保持已清理的结构部分
• 如需新增文件夹，请按照规范结构创建。

许可证

• 本项目采用MIT许可证。详情请参阅LICENSE文件。

与我联系

ai-hands-on 快速上手指南

本指南旨在帮助开发者从零开始掌握 AI 工程化技能，涵盖数学基础、PyTorch、神经网络、Transformer、RAG 及 OCR 等核心内容。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows, macOS 或 Linux
• Python 版本：推荐 Python 3.8 及以上版本
• 包管理器：pip
• 运行环境：推荐安装 Jupyter Lab 或 Jupyter Notebook 以交互式运行教程笔记

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone https://github.com/Ramakm/ai-hands-on.git
   cd ai-hands-on
   

2. 安装核心依赖 安装项目主目录所需的基础依赖包。 注：国内用户可使用清华源或阿里源加速安装。

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 安装子模块依赖（可选） 如果您计划学习 RAG 或 OCR 章节，需分别进入对应文件夹安装额外依赖：

   # 安装 RAG 模块依赖
   cd 5.RAG
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   cd ..
   
   # 安装 OCR 模块依赖
   cd 6.OCR
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   cd ..
   

4. 启动 Jupyter 环境 在项目根目录启动 Jupyter Lab：

   jupyter lab
   # 或者使用经典笔记本界面
   # jupyter notebook
   

基本使用

启动 Jupyter 后，浏览器会自动打开项目目录。请按照以下推荐路径进行学习实践：

1. 核心学习路径（按顺序执行）

依次打开并运行以下文件夹中的 .ipynb 文件，构建从数学到 Transformer 的完整知识体系：

• 1.Math/：数学基础（微积分、线性代数、概率统计）
• 2.PyTorch/：PyTorch 张量操作与基础
• 3.Neural-Network(NN)/：从零构建神经网络、激活函数与优化器
• 4.Transformer/：注意力机制与 Decoder-only 架构

2. 专项实战模块（独立运行）

完成核心路径后，可单独探索以下高级应用：

• 5.RAG/：检索增强生成全流程（索引、检索、向量数据库集成）
• 6.OCR/：光学字符识别管道与图像预处理

3. 传统机器学习回顾

如需复习基础模型，可参考以下实现：

• 1.Linear Regression
• 2.Logistic Regression
• 3.Decision Tree Model
• 4.Naive Bayes Classification

提示：在提交代码或深入新章节前，建议在 Jupyter 中选择 "Kernel" -> "Restart & Run All" 以确保笔记运行干净无误。