AI系统学校

💫💫💫 机器学习、LLM（大型语言模型）、GenAI（生成式AI）的系统

更新：

• 视频教程 [YouTube] [bilibili] [小红书]
• 我们正在为这个仓库准备一个新的网站 [Lets Go AI]！！！

通往AI系统的道路 [必读白皮书]

一份精心整理的机器学习系统研究列表。如果可用，还提供了代码链接。现在我们有一个 团队 来维护这个项目。欢迎使用我们的模板提交拉取请求。

AI系统（按类别排序）

ML/DL基础设施

• 数据处理
• 训练系统
• 推理系统
• 机器学习基础设施

LLM基础设施

• LLM训练
• LLM服务

领域特定基础设施

• 视频系统
• AutoML系统
• 边缘AI
• GNN系统
• 联邦学习系统
• 深度强化学习系统

ML/LLM系统会议

会议

• OSDI
• SOSP
• SIGCOMM
• NSDI
• MLSys
• ATC
• Eurosys
• Middleware
• SoCC
• TinyML

通用资源

• 综述
• 书籍
• 视频
• 课程
• 博客

综述

• 朝着高可用性、智能化的云和机器学习系统发展 [幻灯片]
• 一份精选的关于分布式计算（即大数据）的系统设计文章、视频和资源列表。[GitHub]
• awesome-production-machine-learning：一份精选的用于部署、监控、版本控制和扩展机器学习的优秀开源库列表 [GitHub]
• 生产环境中机器学习加速器的机会与挑战 [论文]
  • Ananthanarayanan, Rajagopal, 等人。
  • 2019年{USENIX}操作型机器学习会议（OpML 19）。2019年。
• 如何（以及如何不）撰写一篇优秀的系统论文 [建议]
• Facebook中的应用机器学习：从数据中心基础设施的角度来看 [论文]
  • Hazelwood, Kim, 等人。（HPCA 2018）
• 可用机器学习的基础设施：斯坦福DAWN项目
  • Bailis, Peter, Kunle Olukotun, Christopher Ré, 和 Matei Zaharia。（2017年预印本）
• 机器学习系统中的隐藏技术债务 [论文]
  • Sculley, David, 等人。（NIPS 2015）
• 系统设计中的端到端论证 [论文]
  • Saltzer, Jerome H., David P. Reed, 和 David D. Clark。
• 大规模机器学习的系统设计 [论文]
• Facebook数据中心中的深度学习推理：特性分析、性能优化及硬件影响 [论文]
  • Park, Jongsoo, Maxim Naumov, Protonu Basu等。arXiv 2018
  • 摘要：本文对DL模型进行了特性分析，并提出了DL硬件的新设计原则。
• 伯克利对AI系统挑战的看法 [论文]

书籍

• 计算机体系结构：定量方法 [必读]
• 分布式机器学习模式 [网站]
• 流式系统 [书籍]
• Kubernetes实战（开始阅读） [书籍]
• 机器学习系统：可扩展的设计 [网站]
• 机器学习中的信任 [网站]
• 自动化机器学习实战 [网站]
• 机器学习系统：工程人工智能系统的原则与实践 [网站]

视频

• ScalaDML2020：向机器学习领域的顶尖专家学习。[视频]
• 杰夫·迪恩：“在大型在线服务中实现快速响应时间”主题演讲——Velocity 2014 [YouTube]
• 从研究到生产：使用 PyTorch [视频]
• 微服务、Docker 和 Kubernetes 入门 [YouTube]
• ICML 主题演讲：帮助 20 万非机器学习专家使用机器学习的经验教训 [视频]
• 自适应与多任务学习系统 [网站]
• 系统思维：一场 TED 演讲。[YouTube]
• 灵活的系统是机器学习的下一个前沿。杰夫·迪恩 [YouTube]
• 是时候用 Rust 重写操作系统了吗？[YouTube]
• InfoQ：AI、机器学习与数据工程 [YouTube]
  • 开始观看。
• Netflix：以人为本的机器学习基础设施 [InfoQ]
• SysML 2019：[YouTube]
• ScaledML 2019：大卫·帕特森、伊昂·斯托伊卡、邓恩·宋等 [YouTube]
• ScaledML 2018：杰夫·迪恩、伊昂·斯托伊卡、贾扬青等 [YouTube] [幻灯片]
• 计算机体系结构的新黄金时代：历史、挑战与机遇。大卫·帕特森 [YouTube]
• 如何拥有糟糕的职业生涯。大卫·帕特森（我非常崇拜他）[YouTube]
• SysML 18：视角与挑战。迈克尔·乔丹 [YouTube]
• SysML 18：系统与机器学习的共生关系。杰夫·迪恩 [YouTube]
• AutoML 基础：自动化机器学习实战。宋清泉、金海峰、胡霞 [YouTube]

课程

• CS692 研讨会：面向机器学习的系统，面向系统的机器学习 [GitHub]
• 网络专题：面向网络与系统的机器学习，2019 年秋季 [课程网站]
• CS6465：新兴云技术与系统挑战 [康奈尔大学]
• CS294：面向系统的 AI 与面向 AI 的系统。[加州大学伯克利分校春季]（强烈推荐）[机器学习系统（2019 年秋季）]
• CSE 599W：面向 ML 的系统。[陈天奇] [华盛顿大学]
• EECS 598：面向 AI 的系统（2021 年冬季）。[莫沙拉夫·乔杜里] [面向 AI 的系统（2021 年冬季）]
• 如何用 2000 行代码构建自己的深度学习系统教程代码 [GitHub]
• CSE 291F：高级数据分析与 ML 系统。[加州大学圣地亚哥分校]
• CSci 8980：计算机系统中的机器学习 [明尼苏达大学双城校区]
• 李沐（MxNet、参数服务器）：深度学习入门 [我认为最好的深度学习课程] [书籍]
• 10-605：大规模数据集上的机器学习。[卡内基梅隆大学]
• CS 329S：机器学习系统设计。[斯坦福大学]

博客

• 在多个CPU/GPU上并行化，以加速边缘端的深度学习推理 [亚马逊博客]
• 在几分钟内构建健壮的生产就绪型深度学习视觉模型 [博客]
• 使用Keras、FastAPI、Redis和Docker部署机器学习模型 [博客]
• 如何部署机器学习模型——使用FastAPI + Uvicorn创建生产就绪的API [博客] [GitHub]
• 将机器学习模型部署为REST API [博客]
• 机器学习的持续交付 [博客]
• A4尺寸的Kubernetes速查表 [GitHub]
• Kubernetes入门指南 [博客]
• 带有Web界面的机器学习模型训练与部署——Docker、PyTorch与Flask [GitHub]
• 以中国道家的方式学习Kubernetes [GitHub]
• 数据管道、Luigi、Airflow：你需要知道的一切 [博客]
• 深度学习工具集——概述 [博客]
• CSE 599W：面向机器学习的系统课程总结 [中文博客]
• 使用Polyaxon、Argo和Seldon在Kubernetes中进行模型训练、打包与部署 [博客]
• 将机器学习（ML）模型投入生产的不同方法概述 [博客]
• 成为数据科学家并不意味着你就是软件工程师 [第一部分] 构建机器学习流水线 [第二部分]
• PyTorch中的模型服务 [博客]
• Netflix中的机器学习 [Medium]
• SciPy大会资料（幻灯片、代码库） [GitHub]
• 继Spark之后，UC Berkeley推出新一代AI计算引擎——Ray [博客]
• 了解或从事机器学习/深度学习系统相关研究需要什么样的知识结构？ [知乎]
• 三小时内学会Kubernetes：容器编排详细指南 [博客] [GitHub]
• 数据工程师路线图：借鉴硅谷多家公司经验。Netflix、Facebook、Google、初创企业 [GitHub]
• TensorFlow Serving + Docker + Tornado实现机器学习模型的生产级快速部署 [博客]
• 将机器学习模型部署为REST API [博客]
• Colossal-AI：面向大模型时代的统一深度学习系统 [博客] [GitHub]
• 数据工程师路线图 [Scaler博客]
• 从零开始构建一个机器学习框架 [博客] [GitHub]

AI-Infra-from-Zero-to-Hero 快速上手指南

项目简介： 本项目（原名 Awesome-System-for-Machine-Learning）并非一个单一的可安装软件包，而是一个系统化的学习路径与资源索引库。它汇集了机器学习（ML）、大语言模型（LLM）及生成式 AI（GenAI）基础设施领域的顶级论文、开源代码、课程、书籍及技术博客。本指南将帮助你快速利用该资源库构建自己的 AI 系统知识体系。

1. 环境准备

由于本项目主要是文档和资源链接的集合，无需复杂的运行时环境，仅需基础的开发工具即可浏览和运行其中链接的代码示例。

• 操作系统：Linux / macOS / Windows (推荐 Linux 以获得最佳兼容性)
• 前置依赖：
  • Git：用于克隆仓库
  • Python 3.8+：用于运行部分关联的代码示例
  • 浏览器：访问文档及外部资源
• 网络建议：
  • 部分资源托管于 GitHub 或 Google Drive，国内访问可能较慢。
  • 视频资源：项目提供了 Bilibili 和 小红书 的国内镜像链接，优先使用这些链接观看教程。
  • 论文/代码：如遇 GitHub 访问困难，建议使用国内 Gitee 镜像或配置代理加速。

2. 安装步骤（获取资源）

通过 Git 克隆项目到本地，以便离线查阅分类整理的 Markdown 文档。

# 克隆仓库
git clone https://github.com/HuaizhengZhang/Awesome-System-for-Machine-Learning.git

# 进入目录
cd Awesome-System-for-Machine-Learning

# (可选) 如果 GitHub 连接缓慢，可尝试使用国内镜像源（如有）或直接下载 ZIP
# 例如：git clone https://gitee.com/mirror/Awesome-System-for-Machine-Learning.git

注意：本项目不包含统一的 pip install 命令。每个子模块（如训练系统、推理系统）对应的具体工具，请参考目录下对应的 .md 文件中的链接，前往其原始仓库进行独立安装。

3. 基本使用

本项目的使用核心在于按图索骥，根据你的需求查阅对应的分类文档。

3.1 浏览核心路线图

打开根目录下的 README.md 或查看项目图片 imgs/AI_system.png，了解从数据处理到模型部署的全景图。

3.2 查找特定领域资源

根据你想学习的方向，直接打开对应的 Markdown 文件。所有文件均位于项目根目录：

• 通用 ML/DL 基建：
  • 数据处理：查看 data_processing.md
  • 训练系统：查看 training.md
  • 推理系统：查看 inference.md
• 大模型 (LLM) 专项：
  • LLM 训练：查看 llm_training.md
  • LLM 服务部署：查看 llm_serving.md
• 特定场景：
  • 边缘计算：查看 edge_system.md
  • 联邦学习：查看 federated_learning_system.md

3.3 快速开始学习（示例：学习 LLM 推理）

假设你想了解如何搭建一个大模型的推理系统：

1. 阅读综述：在终端或编辑器中打开 llm_serving.md，阅读列出的关键论文和架构设计。
2. 获取代码：找到文档中推荐的开源项目链接（如 vLLM, TGI 等），点击跳转或其 GitHub 地址。
3. 观看教程：
   • 访问项目提供的国内视频链接：Bilibili 教程
   • 或 YouTube 教程
4. 深入理论：阅读必读白皮书 ./paper/mlsys-whitepaper.pdf 以理解底层系统设计原理。

3.4 利用课程资源自学

在 README.md 的 Course 章节中，推荐以下高价值课程进行系统学习：

• UC Berkeley CS294: AI For Systems and Systems For AI (强烈推荐)
• Stanford CS329S: Machine Learning Systems Design
• CMU 10-605: Machine Learning with Large Datasets

通过这些课程链接，你可以找到完整的 syllabus、作业代码和 lecture videos。