[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-EleutherAI--cookbook":3,"tool-EleutherAI--cookbook":61},[4,18,28,37,45,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,2,"2026-04-19T23:22:26",[16,14,13,15,27],"插件",{"id":29,"name":30,"github_repo":31,"description_zh":32,"stars":33,"difficulty_score":10,"last_commit_at":34,"category_tags":35,"status":17},10095,"AutoGPT","Significant-Gravitas\u002FAutoGPT","AutoGPT 是一个旨在让每个人都能轻松使用和构建 AI 的强大平台，核心功能是帮助用户创建、部署和管理能够自动执行复杂任务的连续型 AI 智能体。它解决了传统 AI 应用中需要频繁人工干预、难以自动化长流程工作的痛点，让用户只需设定目标，AI 即可自主规划步骤、调用工具并持续运行直至完成任务。\n\n无论是开发者、研究人员，还是希望提升工作效率的普通用户，都能从 AutoGPT 中受益。开发者可利用其低代码界面快速定制专属智能体；研究人员能基于开源架构探索多智能体协作机制；而非技术背景用户也可直接选用预置的智能体模板，立即投入实际工作场景。\n\nAutoGPT 的技术亮点在于其模块化“积木式”工作流设计——用户通过连接功能块即可构建复杂逻辑，每个块负责单一动作，灵活且易于调试。同时，平台支持本地自托管与云端部署两种模式，兼顾数据隐私与使用便捷性。配合完善的文档和一键安装脚本，即使是初次接触的用户也能在几分钟内启动自己的第一个 AI 智能体。AutoGPT 正致力于降低 AI 应用门槛，让人人都能成为 AI 的创造者与受益者。",183572,"2026-04-20T04:47:55",[13,36,27,14,15],"语言模型",{"id":38,"name":39,"github_repo":40,"description_zh":41,"stars":42,"difficulty_score":10,"last_commit_at":43,"category_tags":44,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":46,"name":47,"github_repo":48,"description_zh":49,"stars":50,"difficulty_score":24,"last_commit_at":51,"category_tags":52,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",161692,"2026-04-20T11:33:57",[14,13,36],{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":24,"last_commit_at":59,"category_tags":60,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":76,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":108,"forks":109,"last_commit_at":110,"license":111,"difficulty_score":92,"env_os":74,"env_gpu":112,"env_ram":112,"env_deps":113,"category_tags":116,"github_topics":75,"view_count":24,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":117,"updated_at":118,"faqs":119,"releases":150},8111,"EleutherAI\u002Fcookbook","cookbook","Deep learning for dummies. All the practical details and useful utilities that go into working with real models.","Cookbook 是一本专为深度学习实践者打造的“傻瓜式”指南，旨在填补理论知识与真实模型落地之间的鸿沟。它由 Quentin Anthony 等专家共同编写，汇集了训练和推理过程中必不可少的实用细节、计算工具及最佳实践资源。\n\n针对初学者和研究者在面对大语言模型（LLM）时常见的困惑，如显存占用估算、FLOPs 计算、分布式训练策略选择等痛点，Cookbook 提供了清晰的解决方案。它不仅收录了实用的计算脚本和基准测试工具，还整理了一份高质量的阅读清单，涵盖从 Transformer 基础可视化到分布式并行训练的深入解析，帮助用户快速掌握核心概念。\n\n这份资源特别适合刚入门的开发者、需要优化模型性能的研究人员，以及希望系统理解深度学习工程细节的技术爱好者。无论是想动手复现经典论文，还是规划大规模集群训练，Cookbook 都能提供切实可行的指导。其独特亮点在于将复杂的数学推导和工程技巧转化为通俗易懂的教程与工具，让深奥的深度学习变得触手可及，真正实现了“像傻瓜一样简单”的学习体验。","# The Cookbook\nDeep learning for dummies, by Quentin Anthony, Jacob Hatef, Hailey Schoelkopf, and Stella Biderman\n\nAll the practical details and utilities that go into working with real models! If you're just getting started, we recommend jumping ahead to [Basics](#basics) for some introductory resources on transformers.\n\n## Table of Contents\n\n- [The Cookbook](#the-cookbook)\n  * [Utilities](#utilities)\n    + [Calculations](#calculations)\n    + [Benchmarks](#benchmarks)\n  * [Reading List](#reading-list)\n    + [Basics](#basics)\n    + [How to do LLM Calculations](#how-to-do-llm-calculations)\n    + [Distributed Deep Learning](#distributed-deep-learning)\n    + [Best Practices](#best-practices)\n    + [Data\u002FModel Directories](#data-and-model-directories)\n  * [Minimal Repositories for Educational Purposes](#minimal-repositories-for-educational-purposes)\n  * [Contributing](#contributing)\n\n## Utilities\n\n### Calculations\n\nFor training\u002Finference calculations (e.g. FLOPs, memory overhead, and parameter count)\n- **[calc](.\u002Fcalc\u002F)**\n\nUseful external calculators include\n\n[Cerebras Model Lab](https:\u002F\u002Fwww.cerebras.net\u002Fmodel-lab\u002F). User-friendly tool to apply Chinchilla scaling laws.\n\n[Transformer Training and Inference VRAM Estimator](https:\u002F\u002Fvram.asmirnov.xyz\u002F) by Alexander Smirnov. A user-friendly tool to estimate VRAM overhead.\n\n### Benchmarks\n\nCommunication benchmarks\n- **[benchmarks\u002Fcommunication](.\u002Fbenchmarks\u002Fcommunication)**\n\nTransformer sizing and GEMM benchmarks\n- **[benchmarks\u002Fsizing](.\u002Fbenchmarks\u002Fsizing)**\n\n## Reading List\n\n### Basics\n\n[LLM Visualizations](https:\u002F\u002Fbbycroft.net\u002Fllm). Clear LLM visualizations and animations for basic transformer understanding.\n\n[Annotated PyTorch Paper Implementations](https:\u002F\u002Fnn.labml.ai\u002F)\n\n[Jay Alammar's blog](https:\u002F\u002Fjalammar.github.io\u002Fblog) contains many blog posts pitched to be accessible to a wide range of backgrounds. We recommend his posts [the Illustrated Transformer](https:\u002F\u002Fjalammar.github.io\u002Fillustrated-transformer\u002F), and [the Illustrated GPT-2](https:\u002F\u002Fjalammar.github.io\u002Fillustrated-gpt2\u002F) in particular.\n\n[The Annotated Transformer](https:\u002F\u002Fnlp.seas.harvard.edu\u002Fannotated-transformer\u002F) by Sasha Rush, Austin Huang, Suraj Subramanian, Jonathan Sum, Khalid Almubarak, and Stella Biderman. A walk through of the seminal paper \"Attention is All You Need\" along with in-line implementations in PyTorch.\n\n[Transformer Explainer](https:\u002F\u002Fpoloclub.github.io\u002Ftransformer-explainer\u002F) by Aeree Cho, Grace C. Kim, Alexander Karpekov, Alec Helbling, Jay Wang, Seongmin Lee, Benjamin Hoover, and Polo Chau. It runs a gpt-2 model live in your browser, with visualization and customization options.\n\n### How to do LLM Calculations\n\n[Transformers Math 101](https:\u002F\u002Fblog.eleuther.ai\u002Ftransformer-math\u002F). A blog post from EleutherAI on training\u002Finference memory estimations, parallelism, FLOP calculations, and deep learning datatypes.\n\n[Transformer Inference Arithmetic](https:\u002F\u002Fkipp.ly\u002Ftransformer-inference-arithmetic\u002F) by Carol Chen. A breakdown on the memory overhead, FLOPs, and latency of transformer inference\n\n[LLM Finetuning Memory Requirements](https:\u002F\u002Fblog.scottlogic.com\u002F2023\u002F11\u002F24\u002Fllm-mem.html) by Alex Birch. A practical guide on the memory overhead of finetuning models.\n\n### Distributed Deep Learning\n\n[Everything about Distributed Training and Efficient Finetuning](https:\u002F\u002Fsumanthrh.com\u002Fpost\u002Fdistributed-and-efficient-finetuning\u002F) by Sumanth R Hegde. High-level descriptions and links on parallelism and efficient finetuning.\n\n[Efficient Training on Multiple GPUs](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmain\u002Fen\u002Fperf_train_gpu_many) by Hugging Face. Contains a detailed walk-through of model, tensor, and data parallelism along with the ZeRO optimizer.\n\nPapers\n- [Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM](https:\u002F\u002Farxiv.org\u002Fabs\u002F2104.04473)\n- [Demystifying Parallel and Distributed Deep Learning: An In-Depth Concurrency Analysis](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.09941)\n- [ZeRO: Memory Optimizations Toward Training Trillion Parameter Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F1910.02054)\n- [PyTorch FSDP: Experiences on Scaling Fully Sharded Data Parallel](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.11277)\n- [PyTorch Distributed: Experiences on Accelerating Data Parallel Training](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.15704)\n\n### Best Practices\n\n[ML-Engineering Repository](https:\u002F\u002Fgithub.com\u002Fstas00\u002Fml-engineering). Containing community notes and practical details of everything deep learning training led by Stas Bekman\n\n[Common HParam Settings](https:\u002F\u002Fdocs.google.com\u002Fspreadsheets\u002Fd\u002F14vbBbuRMEHoqeuMHkTfw3uiZVmyXNuoSp8s-aHvfvZk\u002Fedit?usp=sharing) by Stella Biderman. Records common settings for model training hyperparameters and her current recommendations for training new models.\n\n[The Practitioner's Guide to muP](https:\u002F\u002Fblog.eleuther.ai\u002Fmutransfer\u002F) is a joint project by [Cerebras](https:\u002F\u002Fcerebras.ai\u002F) and EleutherAI. Provides a clear picture of muP basics, with an accompanying basic implementation in [nanoGPT](https:\u002F\u002Fgithub.com\u002FEleutherAI\u002FnanoGPT-mup)\n\n### Data and Model Directories\n\n[Directory of LLMs](https:\u002F\u002Fdocs.google.com\u002Fspreadsheets\u002Fd\u002F1gc6yse74XCwBx028HV_cvdxwXkmXejVjkO-Mz2uwE0k\u002Fedit?usp=sharing) by Stella Biderman. Records details of trained LLMs including license, architecture type, and dataset.\n\n[Data Provenance Explorer](https:\u002F\u002Fdataprovenance.org\u002F) A tool for tracing and filtering on data provenance for the most popular open source finetuning data collections.\n\n## Minimal Repositories for Educational Purposes\n\nLarge language models are frequently trained using very complex codebases due to the need to optimize things to work at scale and support a wide variety of configurable options. This can make them less useful pedagogical tools, so some people have developed striped-down so-called \"Minimal Implementations\" that are sufficient for smaller scale work and more pedagogically useful.\n\nGPT Inference\n- https:\u002F\u002Fgithub.com\u002Fpytorch-labs\u002Fgpt-fast\u002Ftree\u002Fmain\n\nGPT Training\n- https:\u002F\u002Fgithub.com\u002Fkarpathy\u002FminGPT\n\nArchitecture-Specific Examples\n- https:\u002F\u002Fgithub.com\u002Fzphang\u002Fminimal-gpt-neox-20b\n- https:\u002F\u002Fgithub.com\u002Fzphang\u002Fminimal-llama\n- https:\u002F\u002Fgithub.com\u002Fzphang\u002Fminimal-opt\n\n[RWKV](https:\u002F\u002Fwww.rwkv.com\u002F)\n- https:\u002F\u002Fgithub.com\u002FHannibal046\u002FnanoRWKV\u002Ftree\u002Fmain\n\n\n## Contributing\n\nIf you found a bug, typo, or would like to propose an improvement please don't hesitate to open an [Issue](https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook\u002Fissues) or contribute a [PR](https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook\u002Fpulls).\n\n## Cite As\n\nIf you found this repository helpful, please consider citing it using\n\n```bibtex\n@misc{anthony2024cookbook,\n    title = {{The EleutherAI Model Training Cookbook}},\n    author = {Anthony, Quentin and Hatef, Jacob and Schoelkopf, Hailey and Biderman, Stella},\n    howpublished = {GitHub Repo},\n    url = {https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook},\n    year = {2024}\n}\n```\n","# 烹饪书\n面向初学者的深度学习，作者：Quentin Anthony、Jacob Hatef、Hailey Schoelkopf 和 Stella Biderman\n\n包含处理真实模型所需的所有实用细节和工具！如果你刚刚入门，建议直接跳转到[基础](#basics)，那里有一些关于 Transformer 的入门资源。\n\n## 目录\n\n- [烹饪书](#the-cookbook)\n  * [实用工具](#utilities)\n    + [计算](#calculations)\n    + [基准测试](#benchmarks)\n  * [阅读清单](#reading-list)\n    + [基础](#basics)\n    + [如何进行 LLM 计算](#how-to-do-llm-calculations)\n    + [分布式深度学习](#distributed-deep-learning)\n    + [最佳实践](#best-practices)\n    + [数据\u002F模型目录](#data-and-model-directories)\n  * [用于教育目的的极简仓库](#minimal-repositories-for-educational-purposes)\n  * [贡献](#contributing)\n\n## 实用工具\n\n### 计算\n\n用于训练\u002F推理相关的计算（例如 FLOPs、内存开销和参数量）\n- **[calc](.\u002Fcalc\u002F)**\n\n一些有用的外部计算器包括：\n\n[Cerebras Model Lab](https:\u002F\u002Fwww.cerebras.net\u002Fmodel-lab\u002F)。一个用户友好的工具，可用于应用 Chinchilla 缩放法则。\n\n[Transformer 训练与推理 VRAM 估算器](https:\u002F\u002Fvram.asmirnov.xyz\u002F)，由 Alexander Smirnov 开发。这是一个易于使用的工具，用于估算 VRAM 开销。\n\n### 基准测试\n\n通信基准测试\n- **[benchmarks\u002Fcommunication](.\u002Fbenchmarks\u002Fcommunication)**\n\nTransformer 尺寸选择及 GEMM 基准测试\n- **[benchmarks\u002Fsizing](.\u002Fbenchmarks\u002Fsizing)**\n\n## 阅读清单\n\n### 基础\n\n[LLM 可视化](https:\u002F\u002Fbbycroft.net\u002Fllm)。清晰的 LLM 可视化和动画，帮助理解基本的 Transformer 结构。\n\n[PyTorch 论文注释实现](https:\u002F\u002Fnn.labml.ai\u002F)\n\n[Jay Alammar 的博客](https:\u002F\u002Fjalammar.github.io\u002Fblog) 包含许多适合不同背景读者的文章。我们特别推荐他的文章《图解 Transformer》(https:\u002F\u002Fjalammar.github.io\u002Fillustrated-transformer\u002F) 和《图解 GPT-2》(https:\u002F\u002Fjalammar.github.io\u002Fillustrated-gpt2\u002F)。\n\n[注释版 Transformer](https:\u002F\u002Fnlp.seas.harvard.edu\u002Fannotated-transformer\u002F)，由 Sasha Rush、Austin Huang、Suraj Subramanian、Jonathan Sum、Khalid Almubarak 和 Stella Biderman 共同编写。该资源详细解读了经典论文《Attention is All You Need》，并附带 PyTorch 中的代码实现。\n\n[Transformer 解释器](https:\u002F\u002Fpoloclub.github.io\u002Ftransformer-explainer\u002F)，由 Aeree Cho、Grace C. Kim、Alexander Karpekov、Alec Helbling、Jay Wang、Seongmin Lee、Benjamin Hoover 和 Polo Chau 共同开发。它可以在你的浏览器中实时运行一个 gpt-2 模型，并提供可视化和自定义选项。\n\n### 如何进行 LLM 计算\n\n[Transformer 数学入门](https:\u002F\u002Fblog.eleuther.ai\u002Ftransformer-math\u002F)。EleutherAI 发布的一篇博客文章，介绍了训练\u002F推理中的内存估算、并行性、FLOP 计算以及深度学习的数据类型。\n\n[Transformer 推理中的算术](https:\u002F\u002Fkipp.ly\u002Ftransformer-inference-arithmetic\u002F)，由 Carol Chen 撰写。详细分析了 Transformer 推理过程中的内存开销、FLOPs 和延迟。\n\n[LLM 微调的内存需求](https:\u002F\u002Fblog.scottlogic.com\u002F2023\u002F11\u002F24\u002Fllm-mem.html)，由 Alex Birch 撰写。这是一份关于微调模型内存开销的实用指南。\n\n### 分布式深度学习\n\n[关于分布式训练和高效微调的一切](https:\u002F\u002Fsumanthrh.com\u002Fpost\u002Fdistributed-and-efficient-finetuning\u002F)，由 Sumanth R Hegde 撰写。提供了关于并行性和高效微调的高层次描述及相关链接。\n\n[多 GPU 上的高效训练](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmain\u002Fen\u002Fperf_train_gpu_many)，由 Hugging Face 提供。其中详细介绍了模型并行、张量并行和数据并行技术，以及 ZeRO 优化器的使用。\n\n论文：\n- [使用 Megatron-LM 在 GPU 集群上高效训练大规模语言模型](https:\u002F\u002Farxiv.org\u002Fabs\u002F2104.04473)\n- [揭秘并行与分布式深度学习：深入的并发分析](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.09941)\n- [ZeRO：面向万亿参数模型训练的内存优化](https:\u002F\u002Farxiv.org\u002Fabs\u002F1910.02054)\n- [PyTorch FSDP：全切片数据并行扩展经验](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.11277)\n- [PyTorch 分布式：加速数据并行训练的经验](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.15704)\n\n### 最佳实践\n\n[ML-Engineering 仓库](https:\u002F\u002Fgithub.com\u002Fstas00\u002Fml-engineering)。由 Stas Bekman 主导，包含了社区分享的深度学习训练相关笔记和实用细节。\n\n[常见超参数设置](https:\u002F\u002Fdocs.google.com\u002Fspreadsheets\u002Fd\u002F14vbBbuRMEHoqeuMHkTfw3uiZVmyXNuoSp8s-aHvfvZk\u002Fedit?usp=sharing)，由 Stella Biderman 整理。记录了模型训练中超参数的常用设置，以及她目前对新模型训练的建议。\n\n[muP 实践指南](https:\u002F\u002Fblog.eleuther.ai\u002Fmutransfer\u002F) 是 [Cerebras](https:\u002F\u002Fcerebras.ai\u002F) 和 EleutherAI 联合推出的一个项目。它清晰地介绍了 muP 的基础知识，并附带了一个基于 [nanoGPT](https:\u002F\u002Fgithub.com\u002FEleutherAI\u002FnanoGPT-mup) 的简单实现。\n\n### 数据和模型目录\n\n[LLM 目录](https:\u002F\u002Fdocs.google.com\u002Fspreadsheets\u002Fd\u002F1gc6yse74XCwBx028HV_cvdxwXkmXejVjkO-Mz2uwE0k\u002Fedit?usp=sharing)，由 Stella Biderman 整理。记录了已训练 LLM 的详细信息，包括许可证、架构类型和数据集。\n\n[数据溯源探索器](https:\u002F\u002Fdataprovenance.org\u002F)。一个用于追踪和筛选最受欢迎的开源微调数据集来源的工具。\n\n## 用于教育目的的极简仓库\n\n大型语言模型通常使用非常复杂的代码库进行训练，因为需要优化以支持大规模运行和多种可配置选项。这使得它们作为教学工具时效果不佳。因此，一些人开发了精简版的“极简实现”，这些实现足以应对小规模任务，且更适合作为教学工具。\n\nGPT 推理\n- https:\u002F\u002Fgithub.com\u002Fpytorch-labs\u002Fgpt-fast\u002Ftree\u002Fmain\n\nGPT 训练\n- https:\u002F\u002Fgithub.com\u002Fkarpathy\u002FminGPT\n\n特定架构示例：\n- https:\u002F\u002Fgithub.com\u002Fzphang\u002Fminimal-gpt-neox-20b\n- https:\u002F\u002Fgithub.com\u002Fzphang\u002Fminimal-llama\n- https:\u002F\u002Fgithub.com\u002Fzphang\u002Fminimal-opt\n\n[RWKV](https:\u002F\u002Fwww.rwkv.com\u002F)\n- https:\u002F\u002Fgithub.com\u002FHannibal046\u002FnanoRWKV\u002Ftree\u002Fmain\n\n## 贡献\n\n如果你发现了 bug、错别字，或者想提出改进建议，请随时打开一个 [Issue](https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook\u002Fissues) 或提交一个 [PR](https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook\u002Fpulls)。\n\n## 引用方式\n\n如果你觉得这个仓库对你有帮助，请考虑使用以下格式引用：\n\n```bibtex\n@misc{anthony2024cookbook,\n    title = {{The EleutherAI Model Training Cookbook}},\n    author = {Anthony, Quentin and Hatef, Jacob and Schoelkopf, Hailey and Biderman, Stella},\n    howpublished = {GitHub Repo},\n    url = {https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook},\n    year = {2024}\n}\n```","# Cookbook 快速上手指南\n\nCookbook 是由 EleutherAI 社区维护的深度学习实用资源库，专注于大语言模型（LLM）训练与推理中的实际计算、基准测试及最佳实践。它并非一个需要编译安装的软件包，而是一个包含计算工具、阅读清单和最小化代码示例的资源集合。\n\n## 环境准备\n\n本项目主要作为文档和资源索引使用，部分子模块（如 `calc` 或 `benchmarks`）可能需要基础的 Python 环境。\n\n*   **系统要求**：Linux \u002F macOS \u002F Windows (WSL 推荐)\n*   **前置依赖**：\n    *   Python 3.8+\n    *   Git\n    *   PyTorch (用于运行部分计算脚本和基准测试)\n    *   NVIDIA GPU (可选，用于运行通信基准测试或本地推理演示)\n\n## 安装步骤\n\n由于 Cookbook 是资源集合，推荐使用 `git clone` 获取完整内容，以便访问本地的计算工具和基准测试代码。\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook.git\n    cd cookbook\n    ```\n\n2.  **安装 Python 依赖（可选）**\n    如果您计划运行 `calc\u002F` 目录下的计算脚本或 `benchmarks\u002F` 中的基准测试，建议安装基础深度学习依赖。国内用户可使用清华源加速安装：\n    ```bash\n    pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n    *(注：若根目录无 `requirements.txt`，请根据具体子模块需求安装 `torch`, `numpy` 等)*\n\n3.  **验证安装**\n    进入计算工具目录查看可用脚本：\n    ```bash\n    ls calc\u002F\n    ```\n\n## 基本使用\n\nCookbook 的核心价值在于其提供的**计算工具**、**学习路径**和**极简代码实现**。以下是三种最常用的场景：\n\n### 1. 使用本地计算工具 (Calculations)\n用于估算训练\u002F推理所需的 FLOPs、显存占用及参数量。\n\n进入 `calc` 目录运行相关脚本（示例）：\n```bash\ncd calc\npython calculate_memory.py --model-size 7b --batch-size 4\n```\n*提示：若不想运行本地脚本，可直接访问 README 中推荐的在线工具，如 [Cerebras Model Lab](https:\u002F\u002Fwww.cerebras.net\u002Fmodel-lab\u002F) 或 [VRAM Estimator](https:\u002F\u002Fvram.asmirnov.xyz\u002F)。*\n\n### 2. 运行基准测试 (Benchmarks)\n用于测试通信效率或 Transformer 算子性能。\n\n运行通信基准测试：\n```bash\ncd benchmarks\u002Fcommunication\npython run_benchmark.py\n```\n\n运行模型尺寸与 GEMM 基准测试：\n```bash\ncd benchmarks\u002Fsizing\npython benchmark_gemm.py\n```\n\n### 3. 参考极简代码进行教学 (Minimal Repositories)\n对于希望从零理解 LLM 架构的开发者，直接参考 `Minimal Repositories` 章节中链接的轻量级仓库是最佳起点。例如，学习 GPT 训练逻辑：\n\n```bash\n# 克隆 karpathy 的 minGPT 进行学习\ngit clone https:\u002F\u002Fgithub.com\u002Fkarpathy\u002FminGPT\ncd minGPT\npip install -e .\n```\n\n或者在浏览器中直接体验交互式解释器：\n*   [Transformer Explainer](https:\u002F\u002Fpoloclub.github.io\u002Ftransformer-explainer\u002F) (浏览器内运行 GPT-2 可视化)\n*   [LLM Visualizations](https:\u002F\u002Fbbycroft.net\u002Fllm)\n\n> **提示**：更多详细的数学推导、分布式训练策略及超参数设置建议，请直接查阅项目根目录下的文档或访问 README 中列出的 \"Reading List\" 博客文章。","一家初创公司的算法工程师团队正计划基于开源架构从头训练一个中等规模的垂直领域大语言模型，急需评估硬件成本并制定训练策略。\n\n### 没有 cookbook 时\n- 团队成员分散在各类技术博客、论文附录和论坛中查找显存估算公式，信息碎片化严重且难以验证准确性。\n- 由于缺乏统一的计算标准，团队对 FLOPs 和参数量的预估出现偏差，导致初期申请的 GPU 资源不足，训练任务频繁因显存溢出（OOM）而中断。\n- 面对分布式训练中的数据并行、张量并行等复杂概念，新人只能啃读晦涩的原始论文，学习曲线陡峭，项目启动周期被大幅拉长。\n- 在选型时无法快速对比不同模型尺寸的实际推理延迟和内存开销，导致技术决策主要靠“猜”，增加了试错成本。\n\n### 使用 cookbook 后\n- 团队直接利用 cookbook 集成的 `calc` 工具及推荐的 Cerebras Model Lab，一键获得了精准的显存占用和 FLOPs 估算数据，资源规划一次到位。\n- 参考其中关于\"LLM 计算原理”和“分布式深度学习”的精选阅读列表，成员迅速掌握了 ZeRO 优化器和并行策略的核心逻辑，统一了内部技术语言。\n- 通过查阅具体的基准测试（Benchmarks）部分，团队快速确定了适合当前硬件条件的最佳模型配置，避免了盲目尝试带来的算力浪费。\n- 借助可视化的 Transformer 解释资源和最小化教育代码库，新入职工程师在两天内就完成了从理论到实战的过渡，显著提升了研发效率。\n\ncookbook 将深奥的深度学习理论转化为可执行的实用工具与清晰指南，让团队从繁琐的公式推导中解放出来，专注于模型本身的创新与落地。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FEleutherAI_cookbook_7f1a41b5.png","EleutherAI","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FEleutherAI_cadf9bbb.png","",null,"contact@eleuther.ai","AIEleuther","www.eleuther.ai","https:\u002F\u002Fgithub.com\u002FEleutherAI",[81,85,89,93,97,101,105],{"name":82,"color":83,"percentage":84},"Python","#3572A5",86.4,{"name":86,"color":87,"percentage":88},"C++","#f34b7d",11.6,{"name":90,"color":91,"percentage":92},"Cuda","#3A4E3A",1,{"name":94,"color":95,"percentage":96},"C","#555555",0.8,{"name":98,"color":99,"percentage":100},"Jupyter Notebook","#DA5B0B",0.1,{"name":102,"color":103,"percentage":104},"Makefile","#427819",0,{"name":106,"color":107,"percentage":104},"Shell","#89e051",837,43,"2026-04-15T11:29:15","Apache-2.0","未说明",{"notes":114,"python":112,"dependencies":115},"该仓库（cookbook）主要是一个教育资源集合，包含深度学习计算工具、基准测试脚本、阅读清单链接以及最小化实现代码的索引，而非一个需要特定环境安装的独立软件包。README 中未列出具体的操作系统、GPU、内存、Python 版本或依赖库要求。具体的运行环境需求取决于用户选择运行的子模块（如 calc、benchmarks）或参考的外部项目（如 nanoGPT、minGPT 等）。",[],[36,14],"2026-03-27T02:49:30.150509","2026-04-20T20:33:49.089690",[120,125,130,135,140,145],{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},36287,"模型参数量计算是否包含语言模型头（lm-head）？","是的，参数量计算包含 lm-head。此外，可以通过 `--tied-embeddings` 参数来控制输入嵌入层和 lm-head 的参数是否共享。","https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook\u002Fissues\u002F45",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},36288,"为什么计算 Llama 等模型的内存或参数量时结果不准确（例如 Qwen1.5-72B 显示为 56B）？","这通常是因为脚本默认假设每个 MLP 块只有两个线性层，而 Llama、Mixtral、Qwen 等主流开源模型实际上有三个线性层。此外，Llama 模型的 FFN 扩展因子（ffn-expansion-factor）可能是非整数（如 3.5），旧版本可能不支持。请确保使用支持三层 MLP 结构和非整数扩展因子的最新版本工具。","https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook\u002Fissues\u002F36",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},36289,"如何计算 Llama 模型的内存，当其 FFN 扩展因子为非整数（如 3.5）时报错怎么办？","该问题已被修复。现在工具支持非整数的 `--ffn-expansion-factor` 参数值（例如 3.5）。请更新到最新版本后重试，命令示例：`--ffn-expansion-factor 3.5`。","https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook\u002Fissues\u002F52",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},36290,"FLOPs 计算的具体含义是什么？它等同于吞吐量或延迟吗？","FLOPs 计算的是在给定数量的 token 上训练或推理模型所需的浮点运算总数，而不是吞吐量（throughput）。FLOPs 不等于延迟（latency），因为延迟还受 GPU 并行计算能力、显存带宽等硬件因素影响。若要估算延迟，可先计算前向传播所需的 FLOP-seconds，再除以本地 GPU 在实际推理框架下能达到的有效 FLOPs。","https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook\u002Fissues\u002F15",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},36291,"如何在没有本地模型文件的情况下估算大模型的延迟？","目前没有自动从 Hugging Face 拉取模型并预测延迟的功能。粗略估算方法是：首先使用 `calc_transformer_flops.py` 计算目标模型前向传播所需的 FLOPs，然后将其除以你的本地 GPU 在目标推理框架下实际能达到的 FLOPs 数值，从而得到估算的时间。","https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook\u002Fissues\u002F16",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},36292,"如何仅计算推理（Inference）阶段的 FLOPs 而不包含反向传播？","可以通过添加 `--workload infer` 参数来实现。该参数默认为 `train`（包含反向传播），设置为 `infer` 后将只计算前向传播的 FLOPs。","https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Fcookbook\u002Fissues\u002F2",[]]