[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-HuaizhengZhang--AI-Infra-from-Zero-to-Hero":3,"similar-HuaizhengZhang--AI-Infra-from-Zero-to-Hero":92},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":19,"owner_email":20,"owner_twitter":21,"owner_website":22,"owner_url":23,"languages":24,"stars":25,"forks":26,"last_commit_at":27,"license":28,"difficulty_score":29,"env_os":30,"env_gpu":31,"env_ram":31,"env_deps":32,"category_tags":35,"github_topics":38,"view_count":46,"oss_zip_url":24,"oss_zip_packed_at":24,"status":47,"created_at":48,"updated_at":49,"faqs":50,"releases":91},2794,"HuaizhengZhang\u002FAI-Infra-from-Zero-to-Hero","AI-Infra-from-Zero-to-Hero","🚀 Awesome System for Machine Learning ⚡️ AI System Papers and Industry Practice. ⚡️ System for Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑‍💻 Video Tutorials. ","AI-Infra-from-Zero-to-Hero 是一个专为机器学习系统打造的开源知识库，旨在帮助开发者从零开始构建高效的 AI 基础设施。它系统性地整理了涵盖传统机器学习、大语言模型（LLM）及生成式 AI（GenAI）的全链路技术资源，包括数据处理、模型训练、推理服务以及边缘计算等核心环节。\n\n面对 AI 系统架构复杂、顶级论文分散且工业界实践难以获取的痛点，该项目提供了一站式的解决方案。它不仅收录了 OSDI、NSDI、MLSys 等顶级会议的前沿论文，还关联了 Llama3、Mistral 等主流模型的代码实现，并配有详细的视频教程，极大地降低了学习门槛。\n\n无论是希望深入理解系统底层的研究人员，还是需要落地高性能 AI 应用的工程师，都能从中获益。其独特亮点在于将学术理论与工业实践紧密结合，提供了从“必读白皮书”到具体分类指南的清晰成长路径，甚至包含撰写高质量系统论文的指导。如果你渴望掌握构建可扩展、高可用 AI 系统的核心能力，这里将是你的最佳起点。","[![Maintenance](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FMaintained%3F-YES-green.svg)](https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning\u002Fgraphs\u002Fcommit-activity)\n[![Commit Activity](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fcommit-activity\u002Fm\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning.svg?color=red)](https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning\u002Fgraphs\u002Fcommit-activity)\n[![Last Commit](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flast-commit\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning.svg)](https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning\u002Fcommits\u002Fmaster)\n[![Ask Me Anything !](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FAsk%20me-anything-1abc9c.svg)](https:\u002F\u002FGitHub.com\u002FNaereen\u002Fama)\n[![Awesome](https:\u002F\u002Fawesome.re\u002Fbadge.svg)](https:\u002F\u002Fawesome.re)\n[![GitHub license](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning.svg?color=blue)](https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning\u002Fblob\u002Fmaster\u002FLICENSE)\n[![GitHub stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning.svg?style=social)](https:\u002F\u002FGitHub.com\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning\u002Fstargazers\u002F)\n\n# AI System School \n\n### 💫💫💫 System for Machine Learning, LLM (Large Language Model), GenAI (Generative AI)\n\n### Updates: \n\n- Video Tutorials [[YouTube]](https:\u002F\u002Fyoutu.be\u002FChD1_aVZJ0g?si=Kg-yB3F4Iea0Xp9J) [[bilibili]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1ZwYUerEtL\u002F) [[小红书]](http:\u002F\u002Fxhslink.com\u002FMmrjcT)\n- We are preparing a new website [[Lets Go AI]](https:\u002F\u002Fletsgoai.pro\u002F) for this repo!!!\n\n### *Path to System for AI* [[Whitepaper You Must Read]](.\u002Fpaper\u002Fmlsys-whitepaper.pdf)\n\nA curated list of research in machine learning systems. Link to the code if available is also present. Now we have a [team](#maintainer) to maintain this project. *You are very welcome to pull request by using our template*.\n\n![AI system](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHuaizhengZhang_AI-Infra-from-Zero-to-Hero_readme_e576782874a1.png)\n\n## System for AI (Ordered by Category)\n\n### ML \u002F DL Infra\n\n- [Data Processing](data_processing.md#data-processing)\n- [Training System](training.md#training-system)\n- [Inference System](inference.md#inference-system)\n- [Machine Learning Infrastructure](infra.md#machine-learning-infrastructure)\n\n### LLM Infra\n\n- [LLM Training](llm_training.md#llm_training)\n- [LLM Serving](llm_serving.md#llm_serving)\n\n### Domain-Specific Infra\n\n- [Video System](video_system.md#video-system)\n- [AutoML System](AutoML_system.md#automl-system)\n- [Edge AI](edge_system.md#edge-or-mobile-papers)\n- [GNN System](GNN_system.md#system-for-gnn-traininginference)\n- [Federated Learning System](federated_learning_system.md#federated-learning-system)\n- [Deep Reinforcement Learning System](drl_system.md#deep-reinforcement-learning-system)\n\n## System for ML\u002FLLM Conference\n\n### Conference\n\n- OSDI\n- SOSP\n- SIGCOMM\n- NSDI\n- MLSys\n- ATC\n- Eurosys \n- Middleware\n- SoCC\n- TinyML\n\n## General Resources\n\n- [Survey](#survey)\n- [Book](#book)\n- [Video](#video)\n- [Course](#course)\n- [Blog](#blog)\n\n## Survey\n\n- Toward Highly Available, Intelligent Cloud and ML Systems [[Slide]](http:\u002F\u002Fsysnetome.com\u002FTalks\u002Fcguo_netai_2018.pdf)\n- A curated list of awesome System Designing articles, videos and resources for distributed computing, AKA Big Data. [[GitHub]](https:\u002F\u002Fgithub.com\u002Fmadd86\u002Fawesome-system-design)\n- awesome-production-machine-learning: A curated list of awesome open source libraries to deploy, monitor, version and scale your machine learning [[GitHub]](https:\u002F\u002Fgithub.com\u002FEthicalML\u002Fawesome-production-machine-learning)\n- Opportunities and Challenges Of Machine Learning Accelerators In Production [[Paper]](https:\u002F\u002Fwww.usenix.org\u002Fsystem\u002Ffiles\u002Fopml19papers-ananthanarayanan.pdf)\n  - Ananthanarayanan, Rajagopal, et al. \"\n  - 2019 {USENIX} Conference on Operational Machine Learning (OpML 19). 2019.\n- How (and How Not) to Write a Good Systems Paper [[Advice]](https:\u002F\u002Fwww.usenix.org\u002Flegacy\u002Fevents\u002Fsamples\u002Fsubmit\u002Fadvice_old.html)\n- Applied machine learning at Facebook: a datacenter infrastructure perspective [[Paper]](https:\u002F\u002Fresearch.fb.com\u002Fwp-content\u002Fuploads\u002F2017\u002F12\u002Fhpca-2018-facebook.pdf)\n  - Hazelwood, Kim, et al. (*HPCA 2018*)\n- Infrastructure for Usable Machine Learning: The Stanford DAWN Project\n  - Bailis, Peter, Kunle Olukotun, Christopher Ré, and Matei Zaharia. (*preprint 2017*)\n- Hidden technical debt in machine learning systems [[Paper]](https:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F5656-hidden-technical-debt-in-machine-learning-systems.pdf)\n  - Sculley, David, et al. (*NIPS 2015*)\n- End-to-end arguments in system design [[Paper]](http:\u002F\u002Fweb.mit.edu\u002FSaltzer\u002Fwww\u002Fpublications\u002Fendtoend\u002Fendtoend.pdf)\n  - Saltzer, Jerome H., David P. Reed, and David D. Clark. \n- System Design for Large Scale Machine Learning [[Thesis]](http:\u002F\u002Fshivaram.org\u002Fpublications\u002Fshivaram-dissertation.pdf)\n- Deep Learning Inference in Facebook Data Centers: Characterization, Performance Optimizations and Hardware Implications [[Paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1811.09886.pdf)\n  - Park, Jongsoo, Maxim Naumov, Protonu Basu et al. *arXiv 2018*\n  - Summary: This paper presents a characterizations of DL models and then shows the new design principle of DL hardware.\n- A Berkeley View of Systems Challenges for AI [[Paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1712.05855.pdf)\n\n\n## Book\n\n- Computer Architecture: A Quantitative Approach [[Must read]](http:\u002F\u002Fciteseerx.ist.psu.edu\u002Fviewdoc\u002Fdownload?doi=10.1.1.115.1881&rep=rep1&type=pdf)\n- Distributed Machine Learning Patterns [[Website]](https:\u002F\u002Fwww.manning.com\u002Fbooks\u002Fdistributed-machine-learning-patterns)\n- Streaming Systems [[Book]](https:\u002F\u002Fwww.oreilly.com\u002Flibrary\u002Fview\u002Fstreaming-systems\u002F9781491983867\u002F)\n- Kubernetes in Action (start to read) [[Book]](https:\u002F\u002Fwww.oreilly.com\u002Flibrary\u002Fview\u002Fkubernetes-in-action\u002F9781617293726\u002F)\n- Machine Learning Systems: Designs that scale [[Website]](https:\u002F\u002Fwww.manning.com\u002Fbooks\u002Fmachine-learning-systems)\n- Trust in Machine Learning [[Website]](https:\u002F\u002Fwww.manning.com\u002Fbooks\u002Ftrust-in-machine-learning)\n- Automated Machine Learning in Action [[Website]](https:\u002F\u002Fwww.manning.com\u002Fbooks\u002Fautomated-machine-learning-in-action)\n- Machine Learning Systems: Principles and Practices of Engineering Artificially Intelligent Systems [[Website]](https:\u002F\u002Fmlsysbook.ai\u002F)\n## Video\n\n- ScalaDML2020: Learn from the best minds in the machine learning community. [[Video]](https:\u002F\u002Finfo.matroid.com\u002Fscaledml-media-archive-preview)\n- Jeff Dean: \"Achieving Rapid Response Times in Large Online Services\" Keynote - Velocity 2014 [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=1-3Ahy7Fxsc)\n- From Research to Production with PyTorch [[Video]](https:\u002F\u002Fwww.infoq.com\u002Fpresentations\u002Fpytorch-torchscript-botorch\u002F#downloadPdf\u002F)\n- Introduction to Microservices, Docker, and Kubernetes [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=1xo-0gCVhTU)\n- ICML Keynote: Lessons Learned from Helping 200,000 non-ML experts use ML [[Video]](https:\u002F\u002Fslideslive.com\u002F38916584\u002Fkeynote-lessons-learned-from-helping-200000-nonml-experts-use-ml)\n- Adaptive & Multitask Learning Systems [[Website]](https:\u002F\u002Fwww.amtl-workshop.org\u002Fschedule)\n- System thinking. A TED talk. [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=_vS_b7cJn2A)\n- Flexible systems are the next frontier of machine learning. Jeff Dean [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Jnunp-EymJQ&list=WL&index=12)\n- Is It Time to Rewrite the Operating System in Rust? [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=HgtRAbE1nBM&list=WL&index=17&t=0s)\n- InfoQ: AI, ML and Data Engineering [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fplaylist?list=PLndbWGuLoHeYsZk6VpCEj_SSd9IFgjJ-2)\n  - Start to watch.\n- Netflix: Human-centric Machine Learning Infrastructure [[InfoQ]](https:\u002F\u002Fwww.infoq.com\u002Fpresentations\u002Fnetflix-ml-infrastructure?utm_source=youtube&utm_medium=link&utm_campaign=qcontalks)\n- SysML 2019: [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fchannel\u002FUChutDKIa-AYyAmbT45s991g\u002Fvideos)\n- ScaledML 2019: David Patterson, Ion Stoica, Dawn Song and so on [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fplaylist?list=PLRM2gQVaW_wWXoUnSfZTxpgDmNaAS1RtG)\n- ScaledML 2018: Jeff Dean, Ion Stoica, Yangqing Jia and so on [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fplaylist?list=PLRM2gQVaW_wW9KAxcibxdqY_TDyvmEjzm) [[Slides]](https:\u002F\u002Fwww.matroid.com\u002Fblog\u002Fpost\u002Fslides-and-videos-from-scaledml-2018)\n- A New Golden Age for Computer Architecture History, Challenges, and Opportunities. David Patterson [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=uyc_pDBJotI&t=767s)\n- How to Have a Bad Career. David Patterson (I am a big fan) [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Rn1w4MRHIhc)\n- SysML 18: Perspectives and Challenges. Michael Jordan [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=4inIBmY8dQI&t=26s)\n- SysML 18: Systems and Machine Learning Symbiosis. Jeff Dean [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Nj6uxDki6-0)\n- AutoML Basics: Automated Machine Learning in Action. Qingquan Song, Haifeng Jin, Xia Hu [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=9KpieG0B7VM)\n\n## Course\n\n- CS692 Seminar: Systems for Machine Learning, Machine Learning for Systems [[GitHub]](https:\u002F\u002Fgithub.com\u002Fguanh01\u002FCS692-mlsys)\n- Topics in Networks: Machine Learning for Networking and Systems, Autumn 2019 [[Course Website]](https:\u002F\u002Fpeople.cs.uchicago.edu\u002F~junchenj\u002F34702-fall19\u002Fsyllabus.html)\n- CS6465: Emerging Cloud Technologies and Systems Challenges [[Cornell]](http:\u002F\u002Fwww.cs.cornell.edu\u002Fcourses\u002Fcs6465\u002F2019fa\u002F)\n- CS294: AI For Systems and Systems For AI. [[UC Berkeley Spring]](https:\u002F\u002Fgithub.com\u002Fucbrise\u002Fcs294-ai-sys-sp19) (*Strong Recommendation*) [[Machine Learning Systems (Fall 2019)]](https:\u002F\u002Fucbrise.github.io\u002Fcs294-ai-sys-fa19\u002F)\n- CSE 599W: System for ML.  [[Chen Tianqi]](https:\u002F\u002Fgithub.com\u002Ftqchen) [[University of Washington]](http:\u002F\u002Fdlsys.cs.washington.edu\u002F)\n- EECS 598: Systems for AI (W'21). [[Mosharaf Chowdhury]](https:\u002F\u002Fwww.mosharaf.com\u002F) [[Systems for AI (W'21)]](https:\u002F\u002Fgithub.com\u002Fmosharaf\u002Feecs598\u002Ftree\u002Fw21-ai)\n- Tutorial code on how to build your own Deep Learning System in 2k Lines [[GitHub]](https:\u002F\u002Fgithub.com\u002Ftqchen\u002Ftinyflow)\n- CSE 291F: Advanced Data Analytics and ML Systems. [[UCSD]](http:\u002F\u002Fcseweb.ucsd.edu\u002Fclasses\u002Fwi19\u002Fcse291-f\u002F)\n- CSci 8980: Machine Learning in Computer Systems [[University of Minnesota, Twin Cities]](http:\u002F\u002Fwww-users.cselabs.umn.edu\u002Fclasses\u002FSpring-2019\u002Fcsci8980\u002F)\n- Mu Li (MxNet, Parameter Server): Introduction to Deep Learning [[Best DL Course I think]](https:\u002F\u002Fcourses.d2l.ai\u002Fberkeley-stat-157\u002Findex.html)  [[Book]](https:\u002F\u002Fwww.d2l.ai\u002F)\n- 10-605: Machine Learning with Large Datasets. [[CMU]](https:\u002F\u002F10605.github.io\u002Ffall2020\u002Findex.html)\n- CS 329S: Machine Learning Systems Design. [[Stanford]](https:\u002F\u002Fstanford-cs329s.github.io\u002Findex.html)\n\n## Blog\n\n- Parallelizing across multiple CPU\u002FGPUs to speed up deep learning inference at the edge [[Amazon Blog]](https:\u002F\u002Faws.amazon.com\u002Fblogs\u002Fmachine-learning\u002Fparallelizing-across-multiple-cpu-gpus-to-speed-up-deep-learning-inference-at-the-edge\u002F)\n- Building Robust Production-Ready Deep Learning Vision Models in Minutes [[Blog]](https:\u002F\u002Fmedium.com\u002Fgoogle-developer-experts\u002Fbuilding-robust-production-ready-deep-learning-vision-models-in-minutes-acd716f6450a)\n- Deploy Machine Learning Models with Keras, FastAPI, Redis and Docker [[Blog]](https:\u002F\u002Fmedium.com\u002F@shane.soh\u002Fdeploy-machine-learning-models-with-keras-fastapi-redis-and-docker-4940df614ece)\n- How to Deploy a Machine Learning Model -- Creating a production-ready API using FastAPI + Uvicorn [[Blog]](https:\u002F\u002Ftowardsdatascience.com\u002Fhow-to-deploy-a-machine-learning-model-dc51200fe8cf) [[GitHub]](https:\u002F\u002Fgithub.com\u002FMaartenGr\u002FML-API)\n- Deploying a Machine Learning Model as a REST API [[Blog]](https:\u002F\u002Ftowardsdatascience.com\u002Fdeploying-a-machine-learning-model-as-a-rest-api-4a03b865c166)\n- Continuous Delivery for Machine Learning [[Blog]](https:\u002F\u002Fmartinfowler.com\u002Farticles\u002Fcd4ml.html)\n- Kubernetes CheatSheets In A4 [[GitHub]](https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002Fcheatsheet-kubernetes-A4)\n- A Gentle Introduction to Kubernetes [[Blog]](https:\u002F\u002Fmedium.com\u002Ffaun\u002Fa-gentle-introduction-to-kubernetes-4961e443ba26)\n- Train and Deploy Machine Learning Model With Web Interface - Docker, PyTorch & Flask [[GitHub]](https:\u002F\u002Fgithub.com\u002Fimadelh\u002FML-web-app)\n- Learning Kubernetes, The Chinese Taoist Way [[GitHub]](https:\u002F\u002Fgithub.com\u002Fcaicloud\u002Fkube-ladder)\n- Data pipelines, Luigi, Airflow: everything you need to know [[Blog]](https:\u002F\u002Ftowardsdatascience.com\u002Fdata-pipelines-luigi-airflow-everything-you-need-to-know-18dc741449b7)\n- The Deep Learning Toolset — An Overview [[Blog]](https:\u002F\u002Fmedium.com\u002Fluminovo\u002Fthe-deep-learning-toolset-an-overview-b71756016c06)\n- Summary of CSE 599W: Systems for ML [[Chinese Blog]](http:\u002F\u002Fjcf94.com\u002F2018\u002F10\u002F04\u002F2018-10-04-cse559w\u002F)\n- Polyaxon, Argo and Seldon for Model Training, Package and Deployment in Kubernetes [[Blog]](https:\u002F\u002Fmedium.com\u002Fanalytics-vidhya\u002Fpolyaxon-argo-and-seldon-for-model-training-package-and-deployment-in-kubernetes-fa089ba7d60b)\n- Overview of the different approaches to putting Machine Learning (ML) models in production [[Blog]](https:\u002F\u002Fmedium.com\u002Fanalytics-and-data\u002Foverview-of-the-different-approaches-to-putting-machinelearning-ml-models-in-production-c699b34abf86)\n- Being a Data Scientist does not make you a Software Engineer [[Part1]](https:\u002F\u002Ftowardsdatascience.com\u002Fbeing-a-data-scientist-does-not-make-you-a-software-engineer-c64081526372)\n  Architecting a Machine Learning Pipeline [[Part2]](https:\u002F\u002Ftowardsdatascience.com\u002Farchitecting-a-machine-learning-pipeline-a847f094d1c7)\n- Model Serving in PyTorch [[Blog]](https:\u002F\u002Fpytorch.org\u002Fblog\u002Fmodel-serving-in-pyorch\u002F)\n- Machine learning in Netflix [[Medium]](https:\u002F\u002Fmedium.com\u002F@NetflixTechBlog)\n- SciPy Conference Materials (slides, repo) [[GitHub]](https:\u002F\u002Fgithub.com\u002Fdeniederhut\u002FSlides-SciPyConf-2018)\n- 继Spark之后，UC Berkeley 推出新一代AI计算引擎——Ray [[Blog]](http:\u002F\u002Fwww.qtmuniao.com\u002F2019\u002F04\u002F06\u002Fray\u002F)\n- 了解\u002F从事机器学习\u002F深度学习系统相关的研究需要什么样的知识结构？ [[Zhihu]](https:\u002F\u002Fwww.zhihu.com\u002Fquestion\u002F315611053\u002Fanswer\u002F623529977)\n- Learn Kubernetes in Under 3 Hours: A Detailed Guide to Orchestrating Containers [[Blog]](https:\u002F\u002Fwww.freecodecamp.org\u002Fnews\u002Flearn-kubernetes-in-under-3-hours-a-detailed-guide-to-orchestrating-containers-114ff420e882\u002F) [[GitHub]](https:\u002F\u002Fgithub.com\u002Frinormaloku\u002Fk8s-mastery)\n- data-engineer-roadmap: Learning from multiple companies in Silicon Valley. Netflix, Facebook, Google, Startups [[GitHub]](https:\u002F\u002Fgithub.com\u002Fhasbrain\u002Fdata-engineer-roadmap)\n- TensorFlow Serving + Docker + Tornado机器学习模型生产级快速部署 [[Blog]](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F52096200?utm_source=wechat_session&utm_medium=social&utm_oi=38612796178432)\n- Deploying a Machine Learning Model as a REST API [[Blog]](https:\u002F\u002Ftowardsdatascience.com\u002Fdeploying-a-machine-learning-model-as-a-rest-api-4a03b865c166)\n- Colossal-AI: A Unified Deep Learning System for Big Model Era [[Blog]](https:\u002F\u002Fmedium.com\u002F@hpcaitech\u002Ftrain-18-billion-parameter-gpt-models-with-a-single-gpu-on-your-personal-computer-8793d08332dc) [[GitHub]](https:\u002F\u002Fgithub.com\u002Fhpcaitech\u002FColossalAI)\n- Data Engineer Roadmap [[Scaler Blogs]](https:\u002F\u002Fwww.scaler.com\u002Fblog\u002Fdata-engineer-roadmap\u002F)\n- Build an ML Framework from Scratch [[Blog]](https:\u002F\u002Fhaifengjin.com\u002Fbuild-an-ml-framework-from-scratch\u002F) [[GitHub]](https:\u002F\u002Fgithub.com\u002Fhaifeng-jin\u002Freadable-ml-framework)\n\n","[![维护中](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FMaintained%3F-YES-green.svg)](https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning\u002Fgraphs\u002Fcommit-activity)\n[![提交活动](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fcommit-activity\u002Fm\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning.svg?color=red)](https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning\u002Fgraphs\u002Fcommit-activity)\n[![最近一次提交](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flast-commit\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning.svg)](https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning\u002Fcommits\u002Fmaster)\n[![问我任何问题！](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FAsk%20me-anything-1abc9c.svg)](https:\u002F\u002FGitHub.com\u002FNaereen\u002Fama)\n[![Awesome](https:\u002F\u002Fawesome.re\u002Fbadge.svg)](https:\u002F\u002Fawesome.re)\n[![GitHub许可证](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning.svg?color=blue)](https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning\u002Fblob\u002Fmaster\u002FLICENSE)\n[![GitHub星标数](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning.svg?style=social)](https:\u002F\u002FGitHub.com\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning\u002Fstargazers\u002F)\n\n# AI系统学校\n\n### 💫💫💫 机器学习、LLM（大型语言模型）、GenAI（生成式AI）的系统\n\n### 更新：\n\n- 视频教程 [[YouTube]](https:\u002F\u002Fyoutu.be\u002FChD1_aVZJ0g?si=Kg-yB3F4Iea0Xp9J) [[bilibili]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1ZwYUerEtL\u002F) [[小红书]](http:\u002F\u002Fxhslink.com\u002FMmrjcT)\n- 我们正在为这个仓库准备一个新的网站 [[Lets Go AI]](https:\u002F\u002Fletsgoai.pro\u002F)！！！\n\n### *通往AI系统的道路* [[必读白皮书]](.\u002Fpaper\u002Fmlsys-whitepaper.pdf)\n\n一份精心整理的机器学习系统研究列表。如果可用，还提供了代码链接。现在我们有一个 [团队](#maintainer) 来维护这个项目。*欢迎使用我们的模板提交拉取请求*。\n\n![AI系统](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHuaizhengZhang_AI-Infra-from-Zero-to-Hero_readme_e576782874a1.png)\n\n## AI系统（按类别排序）\n\n### ML\u002FDL基础设施\n\n- [数据处理](data_processing.md#data-processing)\n- [训练系统](training.md#training-system)\n- [推理系统](inference.md#inference-system)\n- [机器学习基础设施](infra.md#machine-learning-infrastructure)\n\n### LLM基础设施\n\n- [LLM训练](llm_training.md#llm_training)\n- [LLM服务](llm_serving.md#llm_serving)\n\n### 领域特定基础设施\n\n- [视频系统](video_system.md#video-system)\n- [AutoML系统](AutoML_system.md#automl-system)\n- [边缘AI](edge_system.md#edge-or-mobile-papers)\n- [GNN系统](GNN_system.md#system-for-gnn-traininginference)\n- [联邦学习系统](federated_learning_system.md#federated-learning-system)\n- [深度强化学习系统](drl_system.md#deep-reinforcement-learning-system)\n\n## ML\u002FLLM系统会议\n\n### 会议\n\n- OSDI\n- SOSP\n- SIGCOMM\n- NSDI\n- MLSys\n- ATC\n- Eurosys\n- Middleware\n- SoCC\n- TinyML\n\n## 通用资源\n\n- [综述](#survey)\n- [书籍](#book)\n- [视频](#video)\n- [课程](#course)\n- [博客](#blog)\n\n## 综述\n\n- 朝着高可用性、智能化的云和机器学习系统发展 [[幻灯片]](http:\u002F\u002Fsysnetome.com\u002FTalks\u002Fcguo_netai_2018.pdf)\n- 一份精选的关于分布式计算（即大数据）的系统设计文章、视频和资源列表。[[GitHub]](https:\u002F\u002Fgithub.com\u002Fmadd86\u002Fawesome-system-design)\n- awesome-production-machine-learning：一份精选的用于部署、监控、版本控制和扩展机器学习的优秀开源库列表 [[GitHub]](https:\u002F\u002Fgithub.com\u002FEthicalML\u002Fawesome-production-machine-learning)\n- 生产环境中机器学习加速器的机会与挑战 [[论文]](https:\u002F\u002Fwww.usenix.org\u002Fsystem\u002Ffiles\u002Fopml19papers-ananthanarayanan.pdf)\n  - Ananthanarayanan, Rajagopal, 等人。\n  - 2019年{USENIX}操作型机器学习会议（OpML 19）。2019年。\n- 如何（以及如何不）撰写一篇优秀的系统论文 [[建议]](https:\u002F\u002Fwww.usenix.org\u002Flegacy\u002Fevents\u002Fsamples\u002Fsubmit\u002Fadvice_old.html)\n- Facebook中的应用机器学习：从数据中心基础设施的角度来看 [[论文]](https:\u002F\u002Fresearch.fb.com\u002Fwp-content\u002Fuploads\u002F2017\u002F12\u002Fhpca-2018-facebook.pdf)\n  - Hazelwood, Kim, 等人。（HPCA 2018）\n- 可用机器学习的基础设施：斯坦福DAWN项目\n  - Bailis, Peter, Kunle Olukotun, Christopher Ré, 和 Matei Zaharia。（2017年预印本）\n- 机器学习系统中的隐藏技术债务 [[论文]](https:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F5656-hidden-technical-debt-in-machine-learning-systems.pdf)\n  - Sculley, David, 等人。（NIPS 2015）\n- 系统设计中的端到端论证 [[论文]](http:\u002F\u002Fweb.mit.edu\u002FSaltzer\u002Fwww\u002Fpublications\u002Fendtoend\u002Fendtoend.pdf)\n  - Saltzer, Jerome H., David P. Reed, 和 David D. Clark。\n- 大规模机器学习的系统设计 [[论文]](http:\u002F\u002Fshivaram.org\u002Fpublications\u002Fshivaram-dissertation.pdf)\n- Facebook数据中心中的深度学习推理：特性分析、性能优化及硬件影响 [[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1811.09886.pdf)\n  - Park, Jongsoo, Maxim Naumov, Protonu Basu等。*arXiv 2018*\n  - 摘要：本文对DL模型进行了特性分析，并提出了DL硬件的新设计原则。\n- 伯克利对AI系统挑战的看法 [[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1712.05855.pdf)\n\n\n## 书籍\n\n- 计算机体系结构：定量方法 [[必读]](http:\u002F\u002Fciteseerx.ist.psu.edu\u002Fviewdoc\u002Fdownload?doi=10.1.1.115.1881&rep=rep1&type=pdf)\n- 分布式机器学习模式 [[网站]](https:\u002F\u002Fwww.manning.com\u002Fbooks\u002Fdistributed-machine-learning-patterns)\n- 流式系统 [[书籍]](https:\u002F\u002Fwww.oreilly.com\u002Flibrary\u002Fview\u002Fstreaming-systems\u002F9781491983867\u002F)\n- Kubernetes实战（开始阅读） [[书籍]](https:\u002F\u002Fwww.oreilly.com\u002Flibrary\u002Fview\u002Fkubernetes-in-action\u002F9781617293726\u002F)\n- 机器学习系统：可扩展的设计 [[网站]](https:\u002F\u002Fwww.manning.com\u002Fbooks\u002Fmachine-learning-systems)\n- 机器学习中的信任 [[网站]](https:\u002F\u002Fwww.manning.com\u002Fbooks\u002Ftrust-in-machine-learning)\n- 自动化机器学习实战 [[网站]](https:\u002F\u002Fwww.manning.com\u002Fbooks\u002Fautomated-machine-learning-in-action)\n- 机器学习系统：工程人工智能系统的原则与实践 [[网站]](https:\u002F\u002Fmlsysbook.ai\u002F)\n\n## 视频\n\n- ScalaDML2020：向机器学习领域的顶尖专家学习。[[视频]](https:\u002F\u002Finfo.matroid.com\u002Fscaledml-media-archive-preview)\n- 杰夫·迪恩：“在大型在线服务中实现快速响应时间”主题演讲——Velocity 2014 [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=1-3Ahy7Fxsc)\n- 从研究到生产：使用 PyTorch [[视频]](https:\u002F\u002Fwww.infoq.com\u002Fpresentations\u002Fpytorch-torchscript-botorch\u002F#downloadPdf\u002F)\n- 微服务、Docker 和 Kubernetes 入门 [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=1xo-0gCVhTU)\n- ICML 主题演讲：帮助 20 万非机器学习专家使用机器学习的经验教训 [[视频]](https:\u002F\u002Fslideslive.com\u002F38916584\u002Fkeynote-lessons-learned-from-helping-200000-nonml-experts-use-ml)\n- 自适应与多任务学习系统 [[网站]](https:\u002F\u002Fwww.amtl-workshop.org\u002Fschedule)\n- 系统思维：一场 TED 演讲。[[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=_vS_b7cJn2A)\n- 灵活的系统是机器学习的下一个前沿。杰夫·迪恩 [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Jnunp-EymJQ&list=WL&index=12)\n- 是时候用 Rust 重写操作系统了吗？[[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=HgtRAbE1nBM&list=WL&index=17&t=0s)\n- InfoQ：AI、机器学习与数据工程 [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fplaylist?list=PLndbWGuLoHeYsZk6VpCEj_SSd9IFgjJ-2)\n  - 开始观看。\n- Netflix：以人为本的机器学习基础设施 [[InfoQ]](https:\u002F\u002Fwww.infoq.com\u002Fpresentations\u002Fnetflix-ml-infrastructure?utm_source=youtube&utm_medium=link&utm_campaign=qcontalks)\n- SysML 2019：[[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fchannel\u002FUChutDKIa-AYyAmbT45s991g\u002Fvideos)\n- ScaledML 2019：大卫·帕特森、伊昂·斯托伊卡、邓恩·宋等 [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fplaylist?list=PLRM2gQVaW_wWXoUnSfZTxpgDmNaAS1RtG)\n- ScaledML 2018：杰夫·迪恩、伊昂·斯托伊卡、贾扬青等 [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fplaylist?list=PLRM2gQVaW_wW9KAxcibxdqY_TDyvmEjzm) [[幻灯片]](https:\u002F\u002Fwww.matroid.com\u002Fblog\u002Fpost\u002Fslides-and-videos-from-scaledml-2018)\n- 计算机体系结构的新黄金时代：历史、挑战与机遇。大卫·帕特森 [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=uyc_pDBJotI&t=767s)\n- 如何拥有糟糕的职业生涯。大卫·帕特森（我非常崇拜他）[[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Rn1w4MRHIhc)\n- SysML 18：视角与挑战。迈克尔·乔丹 [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=4inIBmY8dQI&t=26s)\n- SysML 18：系统与机器学习的共生关系。杰夫·迪恩 [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Nj6uxDki6-0)\n- AutoML 基础：自动化机器学习实战。宋清泉、金海峰、胡霞 [[YouTube]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=9KpieG0B7VM)\n\n## 课程\n\n- CS692 研讨会：面向机器学习的系统，面向系统的机器学习 [[GitHub]](https:\u002F\u002Fgithub.com\u002Fguanh01\u002FCS692-mlsys)\n- 网络专题：面向网络与系统的机器学习，2019 年秋季 [[课程网站]](https:\u002F\u002Fpeople.cs.uchicago.edu\u002F~junchenj\u002F34702-fall19\u002Fsyllabus.html)\n- CS6465：新兴云技术与系统挑战 [[康奈尔大学]](http:\u002F\u002Fwww.cs.cornell.edu\u002Fcourses\u002Fcs6465\u002F2019fa\u002F)\n- CS294：面向系统的 AI 与面向 AI 的系统。[[加州大学伯克利分校春季]](https:\u002F\u002Fgithub.com\u002Fucbrise\u002Fcs294-ai-sys-sp19)（强烈推荐）[[机器学习系统（2019 年秋季）]](https:\u002F\u002Fucbrise.github.io\u002Fcs294-ai-sys-fa19\u002F)\n- CSE 599W：面向 ML 的系统。[[陈天奇]](https:\u002F\u002Fgithub.com\u002Ftqchen) [[华盛顿大学]](http:\u002F\u002Fdlsys.cs.washington.edu\u002F)\n- EECS 598：面向 AI 的系统（2021 年冬季）。[[莫沙拉夫·乔杜里]](https:\u002F\u002Fwww.mosharaf.com\u002F) [[面向 AI 的系统（2021 年冬季）]](https:\u002F\u002Fgithub.com\u002Fmosharaf\u002Feecs598\u002Ftree\u002Fw21-ai)\n- 如何用 2000 行代码构建自己的深度学习系统教程代码 [[GitHub]](https:\u002F\u002Fgithub.com\u002Ftqchen\u002Ftinyflow)\n- CSE 291F：高级数据分析与 ML 系统。[[加州大学圣地亚哥分校]](http:\u002F\u002Fcseweb.ucsd.edu\u002Fclasses\u002Fwi19\u002Fcse291-f\u002F)\n- CSci 8980：计算机系统中的机器学习 [[明尼苏达大学双城校区]](http:\u002F\u002Fwww-users.cselabs.umn.edu\u002Fclasses\u002FSpring-2019\u002Fcsci8980\u002F)\n- 李沐（MxNet、参数服务器）：深度学习入门 [[我认为最好的深度学习课程]](https:\u002F\u002Fcourses.d2l.ai\u002Fberkeley-stat-157\u002Findex.html) [[书籍]](https:\u002F\u002Fwww.d2l.ai\u002F)\n- 10-605：大规模数据集上的机器学习。[[卡内基梅隆大学]](https:\u002F\u002F10605.github.io\u002Ffall2020\u002Findex.html)\n- CS 329S：机器学习系统设计。[[斯坦福大学]](https:\u002F\u002Fstanford-cs329s.github.io\u002Findex.html)\n\n## 博客\n\n- 在多个CPU\u002FGPU上并行化，以加速边缘端的深度学习推理 [[亚马逊博客]](https:\u002F\u002Faws.amazon.com\u002Fblogs\u002Fmachine-learning\u002Fparallelizing-across-multiple-cpu-gpus-to-speed-up-deep-learning-inference-at-the-edge\u002F)\n- 在几分钟内构建健壮的生产就绪型深度学习视觉模型 [[博客]](https:\u002F\u002Fmedium.com\u002Fgoogle-developer-experts\u002Fbuilding-robust-production-ready-deep-learning-vision-models-in-minutes-acd716f6450a)\n- 使用Keras、FastAPI、Redis和Docker部署机器学习模型 [[博客]](https:\u002F\u002Fmedium.com\u002F@shane.soh\u002Fdeploy-machine-learning-models-with-keras-fastapi-redis-and-docker-4940df614ece)\n- 如何部署机器学习模型——使用FastAPI + Uvicorn创建生产就绪的API [[博客]](https:\u002F\u002Ftowardsdatascience.com\u002Fhow-to-deploy-a-machine-learning-model-dc51200fe8cf) [[GitHub]](https:\u002F\u002Fgithub.com\u002FMaartenGr\u002FML-API)\n- 将机器学习模型部署为REST API [[博客]](https:\u002F\u002Ftowardsdatascience.com\u002Fdeploying-a-machine-learning-model-as-a-rest-api-4a03b865c166)\n- 机器学习的持续交付 [[博客]](https:\u002F\u002Fmartinfowler.com\u002Farticles\u002Fcd4ml.html)\n- A4尺寸的Kubernetes速查表 [[GitHub]](https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002Fcheatsheet-kubernetes-A4)\n- Kubernetes入门指南 [[博客]](https:\u002F\u002Fmedium.com\u002Ffaun\u002Fa-gentle-introduction-to-kubernetes-4961e443ba26)\n- 带有Web界面的机器学习模型训练与部署——Docker、PyTorch与Flask [[GitHub]](https:\u002F\u002Fgithub.com\u002Fimadelh\u002FML-web-app)\n- 以中国道家的方式学习Kubernetes [[GitHub]](https:\u002F\u002Fgithub.com\u002Fcaicloud\u002Fkube-ladder)\n- 数据管道、Luigi、Airflow：你需要知道的一切 [[博客]](https:\u002F\u002Ftowardsdatascience.com\u002Fdata-pipelines-luigi-airflow-everything-you-need-to-know-18dc741449b7)\n- 深度学习工具集——概述 [[博客]](https:\u002F\u002Fmedium.com\u002Fluminovo\u002Fthe-deep-learning-toolset-an-overview-b71756016c06)\n- CSE 599W：面向机器学习的系统课程总结 [[中文博客]](http:\u002F\u002Fjcf94.com\u002F2018\u002F10\u002F04\u002F2018-10-04-cse559w\u002F)\n- 使用Polyaxon、Argo和Seldon在Kubernetes中进行模型训练、打包与部署 [[博客]](https:\u002F\u002Fmedium.com\u002Fanalytics-vidhya\u002Fpolyaxon-argo-and-seldon-for-model-training-package-and-deployment-in-kubernetes-fa089ba7d60b)\n- 将机器学习（ML）模型投入生产的不同方法概述 [[博客]](https:\u002F\u002Fmedium.com\u002Fanalytics-and-data\u002Foverview-of-the-different-approaches-to-putting-machinelearning-ml-models-in-production-c699b34abf86)\n- 成为数据科学家并不意味着你就是软件工程师 [[第一部分]](https:\u002F\u002Ftowardsdatascience.com\u002Fbeing-a-data-scientist-does-not-make-you-a-software-engineer-c64081526372)\n  构建机器学习流水线 [[第二部分]](https:\u002F\u002Ftowardsdatascience.com\u002Farchitecting-a-machine-learning-pipeline-a847f094d1c7)\n- PyTorch中的模型服务 [[博客]](https:\u002F\u002Fpytorch.org\u002Fblog\u002Fmodel-serving-in-pyorch\u002F)\n- Netflix中的机器学习 [[Medium]](https:\u002F\u002Fmedium.com\u002F@NetflixTechBlog)\n- SciPy大会资料（幻灯片、代码库） [[GitHub]](https:\u002F\u002Fgithub.com\u002Fdeniederhut\u002FSlides-SciPyConf-2018)\n- 继Spark之后，UC Berkeley推出新一代AI计算引擎——Ray [[博客]](http:\u002F\u002Fwww.qtmuniao.com\u002F2019\u002F04\u002F06\u002Fray\u002F)\n- 了解或从事机器学习\u002F深度学习系统相关研究需要什么样的知识结构？ [[知乎]](https:\u002F\u002Fwww.zhihu.com\u002Fquestion\u002F315611053\u002Fanswer\u002F623529977)\n- 三小时内学会Kubernetes：容器编排详细指南 [[博客]](https:\u002F\u002Fwww.freecodecamp.org\u002Fnews\u002Flearn-kubernetes-in-under-3-hours-a-detailed-guide-to-orchestrating-containers-114ff420e882\u002F) [[GitHub]](https:\u002F\u002Fgithub.com\u002Frinormaloku\u002Fk8s-mastery)\n- 数据工程师路线图：借鉴硅谷多家公司经验。Netflix、Facebook、Google、初创企业 [[GitHub]](https:\u002F\u002Fgithub.com\u002Fhasbrain\u002Fdata-engineer-roadmap)\n- TensorFlow Serving + Docker + Tornado实现机器学习模型的生产级快速部署 [[博客]](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F52096200?utm_source=wechat_session&utm_medium=social&utm_oi=38612796178432)\n- 将机器学习模型部署为REST API [[博客]](https:\u002F\u002Ftowardsdatascience.com\u002Fdeploying-a-machine-learning-model-as-a-rest-api-4a03b865c166)\n- Colossal-AI：面向大模型时代的统一深度学习系统 [[博客]](https:\u002F\u002Fmedium.com\u002F@hpcaitech\u002Ftrain-18-billion-parameter-gpt-models-with-a-single-gpu-on-your-personal-computer-8793d08332dc) [[GitHub]](https:\u002F\u002Fgithub.com\u002Fhpcaitech\u002FColossalAI)\n- 数据工程师路线图 [[Scaler博客]](https:\u002F\u002Fwww.scaler.com\u002Fblog\u002Fdata-engineer-roadmap\u002F)\n- 从零开始构建一个机器学习框架 [[博客]](https:\u002F\u002Fhaifengjin.com\u002Fbuild-an-ml-framework-from-scratch\u002F) [[GitHub]](https:\u002F\u002Fgithub.com\u002Fhaifeng-jin\u002Freadable-ml-framework)","# AI-Infra-from-Zero-to-Hero 快速上手指南\n\n**项目简介**：\n本项目（原名 *Awesome-System-for-Machine-Learning*）并非一个单一的可安装软件包，而是一个**系统化的学习路径与资源索引库**。它汇集了机器学习（ML）、大语言模型（LLM）及生成式 AI（GenAI）基础设施领域的顶级论文、开源代码、课程、书籍及技术博客。本指南将帮助你快速利用该资源库构建自己的 AI 系统知识体系。\n\n## 1. 环境准备\n\n由于本项目主要是文档和资源链接的集合，无需复杂的运行时环境，仅需基础的开发工具即可浏览和运行其中链接的代码示例。\n\n*   **操作系统**：Linux \u002F macOS \u002F Windows (推荐 Linux 以获得最佳兼容性)\n*   **前置依赖**：\n    *   `Git`：用于克隆仓库\n    *   `Python 3.8+`：用于运行部分关联的代码示例\n    *   浏览器：访问文档及外部资源\n*   **网络建议**：\n    *   部分资源托管于 GitHub 或 Google Drive，国内访问可能较慢。\n    *   **视频资源**：项目提供了 **Bilibili** 和 **小红书** 的国内镜像链接，优先使用这些链接观看教程。\n    *   **论文\u002F代码**：如遇 GitHub 访问困难，建议使用国内 Gitee 镜像或配置代理加速。\n\n## 2. 安装步骤（获取资源）\n\n通过 Git 克隆项目到本地，以便离线查阅分类整理的 Markdown 文档。\n\n```bash\n# 克隆仓库\ngit clone https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAwesome-System-for-Machine-Learning.git\n\n# 进入目录\ncd Awesome-System-for-Machine-Learning\n\n# (可选) 如果 GitHub 连接缓慢，可尝试使用国内镜像源（如有）或直接下载 ZIP\n# 例如：git clone https:\u002F\u002Fgitee.com\u002Fmirror\u002FAwesome-System-for-Machine-Learning.git\n```\n\n> **注意**：本项目不包含统一的 `pip install` 命令。每个子模块（如训练系统、推理系统）对应的具体工具，请参考目录下对应的 `.md` 文件中的链接，前往其原始仓库进行独立安装。\n\n## 3. 基本使用\n\n本项目的使用核心在于**按图索骥**，根据你的需求查阅对应的分类文档。\n\n### 3.1 浏览核心路线图\n打开根目录下的 `README.md` 或查看项目图片 `imgs\u002FAI_system.png`，了解从数据处理到模型部署的全景图。\n\n### 3.2 查找特定领域资源\n根据你想学习的方向，直接打开对应的 Markdown 文件。所有文件均位于项目根目录：\n\n*   **通用 ML\u002FDL 基建**：\n    *   数据处理：查看 `data_processing.md`\n    *   训练系统：查看 `training.md`\n    *   推理系统：查看 `inference.md`\n*   **大模型 (LLM) 专项**：\n    *   LLM 训练：查看 `llm_training.md`\n    *   LLM 服务部署：查看 `llm_serving.md`\n*   **特定场景**：\n    *   边缘计算：查看 `edge_system.md`\n    *   联邦学习：查看 `federated_learning_system.md`\n\n### 3.3 快速开始学习（示例：学习 LLM 推理）\n\n假设你想了解如何搭建一个大模型的推理系统：\n\n1.  **阅读综述**：在终端或编辑器中打开 `llm_serving.md`，阅读列出的关键论文和架构设计。\n2.  **获取代码**：找到文档中推荐的开源项目链接（如 vLLM, TGI 等），点击跳转或其 GitHub 地址。\n3.  **观看教程**：\n    *   访问项目提供的国内视频链接：[Bilibili 教程](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1ZwYUerEtL\u002F)\n    *   或 [YouTube 教程](https:\u002F\u002Fyoutu.be\u002FChD1_aVZJ0g?si=Kg-yB3F4Iea0Xp9J)\n4.  **深入理论**：阅读必读白皮书 `.\u002Fpaper\u002Fmlsys-whitepaper.pdf` 以理解底层系统设计原理。\n\n### 3.4 利用课程资源自学\n在 `README.md` 的 **Course** 章节中，推荐以下高价值课程进行系统学习：\n*   **UC Berkeley CS294**: *AI For Systems and Systems For AI* (强烈推荐)\n*   **Stanford CS329S**: *Machine Learning Systems Design*\n*   **CMU 10-605**: *Machine Learning with Large Datasets*\n\n通过这些课程链接，你可以找到完整的 syllabus、作业代码和 lecture videos。","某初创团队正急于将自研的垂直领域大模型从实验阶段推向生产环境，急需构建高可用的训练与推理系统。\n\n### 没有 AI-Infra-from-Zero-to-Hero 时\n- **技术选型迷茫**：面对 OSDI、MLSys 等顶会中海量的论文和碎片化代码，团队难以辨别哪些方案适合当前业务规模，耗费数周调研仍无定论。\n- **架构设计重复造轮子**：缺乏对 LLM 训练和服务化（Serving）最佳实践的了解，自行设计的分布式训练架构存在通信瓶颈，导致显卡利用率极低。\n- **故障排查无据可依**：遇到显存溢出或推理延迟抖动时，因不了解工业界成熟的监控与优化模式，只能盲目试错，严重拖慢上线进度。\n- **知识体系断层**：团队成员背景各异，缺乏统一的系统知识基准，对 Data Processing 到 Inference 的全链路理解支离破碎，协作效率低下。\n\n### 使用 AI-Infra-from-Zero-to-Hero 后\n- **精准锁定方案**：利用其按类别整理的 LLM Training 和 Serving 清单，团队迅速锁定了适配 Mistral\u002FLlama3 的成熟开源架构，将选型周期从数周缩短至两天。\n- **复用工业级实践**：参考收录的顶会论文与视频教程，直接复用经过验证的并行策略和显存优化技术，使集群训练效率提升 40% 以上。\n- **系统化解决瓶颈**：对照 Infra 分类中的故障处理案例，快速定位并解决了推理服务的延迟问题，建立了稳定的监控指标体系。\n- **统一认知语言**：通过共读白皮书和课程资源，团队快速拉齐了对机器学习系统全链路的认知，实现了从数据预处理到模型部署的高效协同。\n\nAI-Infra-from-Zero-to-Hero 不仅是一份资源列表，更是连接学术前沿与工业落地的桥梁，帮助团队以最低成本构建出专业级的 AI 基础设施。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHuaizhengZhang_AI-Infra-from-Zero-to-Hero_b4c218b0.png","HuaizhengZhang","Hunter Zhang","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FHuaizhengZhang_d1407e14.jpg","😹PhD@NTUsg ❤️ Focus on MLSys and LLM Agent","ByteDance Seed","Bay Area","HUAIZHEN001@e.ntu.edu.sg","zhzHNN","https:\u002F\u002Fhuaizheng.xyz\u002F","https:\u002F\u002Fgithub.com\u002FHuaizhengZhang",null,3839,376,"2026-04-03T08:25:54","MIT",1,"","未说明",{"notes":33,"python":31,"dependencies":34},"该项目是一个机器学习系统研究的精选列表（Awesome List），主要包含论文、书籍、视频课程和博客文章的链接汇总，并非一个可直接运行的软件工具或代码库，因此没有具体的运行环境、依赖库或硬件需求。用户可根据列表中提到的具体子项目（如特定的训练框架或推理系统）去查阅相应项目的文档以获取环境要求。",[],[36,37],"语言模型","开发框架",[39,40,41,42,43,44,45],"large-language-models","ai-infra","genai","mlsys","model-serving","model-training","llmsys",2,"ready","2026-03-27T02:49:30.150509","2026-04-06T10:26:25.364281",[51,56,61,66,71,76,81,86],{"id":52,"question_zh":53,"answer_zh":54,"source_url":55},12916,"Katib 项目的最新状态和设计文档在哪里？","该论文仅介绍了 Katib 的第一版。目前第二版即将发布，团队正在编写新设计的文档，建议等待官方文档更新以获取最新信息。","https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAI-Infra-from-Zero-to-Hero\u002Fissues\u002F9",{"id":57,"question_zh":58,"answer_zh":59,"source_url":60},12917,"在生产环境中部署机器学习加速器时，系统设计需要考虑哪些关键因素？","主要考虑三个方面：1. 生产部署：包括平衡 I\u002FO 与计算的系统设计、多样化硬件池的利用以及资源规划；2. 开发者体验：涉及模型适用性与分解、批次大小与学习率调整、工具链的可复现性\u002F性能\u002F测试；3. 硬件层面：关注指令集、内存层级结构以及主机系统与网络配置。","https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAI-Infra-from-Zero-to-Hero\u002Fissues\u002F2",{"id":62,"question_zh":63,"answer_zh":64,"source_url":65},12918,"项目关联的网站链接无法访问，网站是否还在维护？","原网站已过时并下线。维护者计划重新推出一个新的网站，目前处于筹备阶段。","https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAI-Infra-from-Zero-to-Hero\u002Fissues\u002F70",{"id":67,"question_zh":68,"answer_zh":69,"source_url":70},12919,"有哪些推荐的分布式训练工具适合大语言模型（LLM）训练？","推荐尝试 DLRover (intelligent-machine-learning\u002Fdlrover)。这是一个强大的分布式训练工具，特别适用于 LLM 训练场景，已被收录到项目列表中。","https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAI-Infra-from-Zero-to-Hero\u002Fissues\u002F66",{"id":72,"question_zh":73,"answer_zh":74,"source_url":75},12920,"哪里可以找到斯坦福大学关于机器学习系统设计的课程资源？","推荐斯坦福课程 CS 329S: Machine Learning Systems Design，由 Chip Huyen 主讲。该课程旨在提供开发可部署、可靠且可扩展的现实世界机器学习系统的迭代框架。课程主页地址为：https:\u002F\u002Fstanford-cs329s.github.io\u002Findex.html","https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAI-Infra-from-Zero-to-Hero\u002Fissues\u002F57",{"id":77,"question_zh":78,"answer_zh":79,"source_url":80},12921,"INFaaS 推理服务系统的代码仓库在哪里？","INFaaS (A Model-less Inference Serving System) 的开源代码托管在 GitHub 上，地址为：https:\u002F\u002Fgithub.com\u002Fstanford-mast\u002FINFaaS","https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAI-Infra-from-Zero-to-Hero\u002Fissues\u002F25",{"id":82,"question_zh":83,"answer_zh":84,"source_url":85},12922,"微软在深度学习推理服务方面有哪些核心设计原则？","微软的核心设计原则包括：智能模型放置 (Intelligent Model Placement)、低延迟模型执行 (Low-Latency Model Execution) 以及高效路由 (Efficient Routing)，以优化推理服务的性能和资源利用率。","https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAI-Infra-from-Zero-to-Hero\u002Fissues\u002F7",{"id":87,"question_zh":88,"answer_zh":89,"source_url":90},12923,"在使用 DeepCPU 加速大规模深度学习推理时面临哪些挑战及解决方案？","面临的挑战包括：用户对低延迟推理结果的需求、请求量超过单机容量时的水平扩展需求、以及部署基础设施的限制。解决方案是采用称为 SLT（场景 Scenario、库 Library、技术 Technique）的协同开发方法，以充分利用 CPU 资源处理关键业务场景，同时加速部署和优化迭代周期。","https:\u002F\u002Fgithub.com\u002FHuaizhengZhang\u002FAI-Infra-from-Zero-to-Hero\u002Fissues\u002F4",[],[93,104,112,120,128,141],{"id":94,"name":95,"github_repo":96,"description_zh":97,"stars":98,"difficulty_score":99,"last_commit_at":100,"category_tags":101,"status":47},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[37,102,103],"图像","Agent",{"id":105,"name":106,"github_repo":107,"description_zh":108,"stars":109,"difficulty_score":46,"last_commit_at":110,"category_tags":111,"status":47},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,"2026-04-05T23:32:43",[37,103,36],{"id":113,"name":114,"github_repo":115,"description_zh":116,"stars":117,"difficulty_score":46,"last_commit_at":118,"category_tags":119,"status":47},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[37,102,103],{"id":121,"name":122,"github_repo":123,"description_zh":124,"stars":125,"difficulty_score":46,"last_commit_at":126,"category_tags":127,"status":47},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[37,36],{"id":129,"name":130,"github_repo":131,"description_zh":132,"stars":133,"difficulty_score":46,"last_commit_at":134,"category_tags":135,"status":47},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[102,136,137,138,103,139,36,37,140],"数据工具","视频","插件","其他","音频",{"id":142,"name":143,"github_repo":144,"description_zh":145,"stars":146,"difficulty_score":99,"last_commit_at":147,"category_tags":148,"status":47},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[103,102,37,36,139]]