[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-tanishqkumar--beyond-nanogpt":3,"tool-tanishqkumar--beyond-nanogpt":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159636,2,"2026-04-17T23:33:34",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":76,"owner_twitter":76,"owner_website":76,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":10,"env_os":92,"env_gpu":93,"env_ram":94,"env_deps":95,"category_tags":108,"github_topics":76,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":110,"updated_at":111,"faqs":112,"releases":113},8784,"tanishqkumar\u002Fbeyond-nanogpt","beyond-nanogpt","Minimal and annotated implementations of key ideas from modern deep learning research. ","Beyond-NanoGPT 是一个专为深度学习爱好者打造的教育型开源项目，旨在帮助用户从大语言模型初学者稳步进阶为具备独立实验能力的 AI 研究者。它填补了基础教程（如 nanoGPT）与前沿科研代码之间的巨大鸿沟，解决了新手在面对复杂论文和工业级代码库时，往往难以理解关键细节且缺乏从零实现经验的痛点。\n\n该项目适合希望深入理解底层原理的开发者、学生及初级研究人员使用。其核心亮点在于“从零手写”了近 100 种现代深度学习关键技术，涵盖 KV 缓存、推测解码等 LLM 优化技巧，Vision Transformer、MLP-Mixer 等主流架构，以及扩散模型、流匹配和 PPO 等强化学习算法。与通常只展示结果的代码不同，Beyond-NanoGPT 的每一行代码都配有详尽注释，专门剖析那些在学术论文和生产环境中常被略过的微妙实现细节。通过阅读、修改并对比这些自包含的代码，用户不仅能直观看到训练效果，更能真正掌握构建先进 AI 系统的核心逻辑。","## Beyond NanoGPT: Go From LLM Beginner to AI Researcher!\n\n\u003Cp align=\"center\">\n  \u003Cspan style=\"display: inline-block; text-align: center; margin: 0 10px;\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftanishqkumar_beyond-nanogpt_readme_7cc74a5d21d5.png\" style=\"width: 350px; height: auto;\" \u002F>\n  \u003C\u002Fspan>\n\u003C\u002Fp>\n\n**Beyond-NanoGPT** is the minimal and educational repo aiming to **bridge between nanoGPT and research-level deep learning.** \nThis repo includes annotated and from-scratch implementations of almost 100 crucial modern techniques in frontier deep learning, aiming to help newcomers learn enough to start running experiments of their own. \n\nThe repo implements everything from KV caching and speculative decoding for LLMs to \narchitectures like vision transformers and MLP-mixers; from attention variants like linear or multi-latent attention to generative models like denoising diffusion models and flow matching algorithms; from landmark RL papers like PPO, A3C, and AlphaZero to \nsystems fundamentals like GPU communication algorithms and data\u002Ftensor parallelism. \n\n**Because everything is implemented by-hand, the code comments explain the especially subtle details often glossed over both in papers and production codebases.**\n\n\u003Cp align=\"center\">\n  \u003Cspan style=\"display: inline-block; text-align: center; margin: 0 10px;\">\n    \u003Ca href=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftanishqkumar_beyond-nanogpt_readme_992b2fd1728c.png\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftanishqkumar_beyond-nanogpt_readme_992b2fd1728c.png\" \u002F>\n    \u003C\u002Fa>\n    \u003Cdiv style=\"text-align: center; max-width: 600px; margin-top: 8px;\">\n      \u003Csub>\n        A glimpse of some plots you can make! \u003Cbr \u002F>\n        \u003Cb>(Left)\u003C\u002Fb> Language model speedups from \n        \u003Ccode>attention-variants\u002Flinear_attention.ipynb\u003C\u002Fcode>,\u003Cbr \u002F>\n        \u003Cb>(Center)\u003C\u002Fb> Samples from a small denoising diffusion model trained on MNIST in \n        \u003Ccode>generative-models\u002Ftrain_ddpm.py\u003C\u002Fcode>,\u003Cbr \u002F>\n        \u003Cb>(Right)\u003C\u002Fb> Reward over time for a small MLP policy on CartPole in \n        \u003Ccode>rl\u002Ffundamentals\u002Ftrain_ppo.py\u003C\u002Fcode>.\n      \u003C\u002Fsub>\n    \u003C\u002Fdiv>\n  \u003C\u002Fspan>\n\u003C\u002Fp>\n\n`LESSONS.md` documents some of the things I've learned in the months spent writing this codebase. \n\n## Quickstart\n1. **Clone the Repo:**\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Ftanishqkumar\u002Fbeyond-nanogpt.git\n   ```\n2. **Get Minimal Dependencies:**\n\n   ```bash\n   pip install torch numpy torchvision wandb tqdm transformers datasets diffusers matplotlib pillow jupyter gym \n   ```\n\n3. **Start learning!**\n   The code is meant for you to read carefully, hack around with, then re-implement yourself from scratch and compare to. \n   You can just run `.py` files with vanilla Python in the following way. \n   ```bash \n   cd architectures\u002F\n   python train_dit.py\n   ```\n   or for instance \n   ```bash \n   cd rl\u002Ffundamentals\u002F\n   python train_reinforce.py --verbose --wandb \n   ```\n   Everything is written to be run on a single GPU. The code is self-documenting with comments for intuition and elaborating \n   on subtleties I found tricky to implement. \n   Arguments are specified at the bottom of each file. \n   Jupyter notebooks are meant to be stepped through.\n\n\n\n## Current Implementations and Roadmap\n\nAsterisks (*) denote particularly tricky implementations. \n\n### Architectures\n- [x] Basic Transformer `language-models\u002Ftransformer.py` and `train_naive.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762)\n- [x] Vision Transformer (ViT) `architectures\u002Ftrain_vit.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2010.11929)\n- [x] Diffusion Transformer (DiT) `architectures\u002Ftrain_dit.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.09748)\n- [x] Recurrent Neural Network (RNN) `architectures\u002Ftrain_rnn.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1506.00019)\n- [x] Residual Networks (ResNet) `architectures\u002Ftrain_resnet.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1512.03385)\n- [x] MLP-Mixer `architectures\u002Ftrain_mlp_mixer.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2105.01601)\n- [x] LSTM `architectures\u002Ftrain_lstm.py` [[paper]](https:\u002F\u002Fwww.bioinf.jku.at\u002Fpublications\u002Folder\u002F2604.pdf)\n- [x] Mixture-of-Experts* (MoE) `architectures\u002Ftrain_moe.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2101.03961)\n- [x] Mamba* `architectures\u002Ftrain_mamba.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.00752)\n\n### Attention Variants\n- [x] Vanilla Self-Attention `attention-variants\u002Fvanilla_attention.ipynb` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762)\n- [x] Multi-head Self-Attention `attention-variants\u002Fmhsa.ipynb` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762)\n- [x] Grouped-Query Attention `attention-variants\u002Fgqa.ipynb` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.13245)\n- [x] Linear Attention* `attention-variants\u002Flinear_attention.ipynb` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.16236)\n- [x] Sparse Attention `attention-variants\u002Fsparse_attention.ipynb` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.10509)\n- [x] Cross Attention `attention-variants\u002Fcross_attention.ipynb` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762)\n- [x] Multi-Latent Attention* `attention-variants\u002Fmla.ipynb` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2405.04434)\n\n### Language Models\n\n- [x] Optimized Dataloading `language-models\u002Fdataloaders` [[reference]](https:\u002F\u002Fgist.github.com\u002FZijiaLewisLu\u002Feabdca955110833c0ce984d34eb7ff39)\n   - [x] Producer-consumer asynchronous dataloading \n   - [x] Sequence packing \n- [x] Byte-Pair Encoding `language-models\u002Fbpe.ipynb` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1508.07909)\n- [x] KV Caching `language-models\u002FKV_cache.ipynb` [[reference]](https:\u002F\u002Fhuggingface.co\u002Fblog\u002Fnot-lain\u002Fkv-caching)\n- [x] Speculative Decoding `language-models\u002Fspeculative_decoding.ipynb` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.17192)\n- [x] RoPE embeddings* `language-models\u002Frope.ipynb` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2104.09864)\n- [x] Multi-token Prediction `language-models\u002Ftrain_mtp.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.19737)\n\n### Reinforcement Learning\n- Deep RL\n   - Fundamentals `rl\u002Ffundamentals`\n      - [x] DQN `train_dqn.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1312.5602)\n      - [x] REINFORCE `train_reinforce.py` [[paper]](https:\u002F\u002Flink.springer.com\u002Farticle\u002F10.1007\u002FBF00992696)\n      - [x] PPO `train_ppo.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06347)\n   - Actor-Critic and Key Variants `rl\u002Factor-critic`\n      - [x] Advantage Actor-Critic (A2C) `train_a2c.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1602.01783)\n      - [x] Asynchronous Advantage Actor-Critic (A3C) `train_a3c.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1602.01783)\n      - [x] IMPALA* (distributed RL) `train_impala.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.01561)\n      - [x] Deep Deterministic Policy Gradient (DDPG) `train_ddpg.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1509.02971)\n      - [x] Soft Actor-Critic* (SAC) `train_sac.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.01290)\n   - Model-based RL  `rl\u002Fmodel-based`\n      - [x] Model Predictive Control (MPC) `train_mpc.py`[[reference]](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FModel_predictive_control)\n      - [x] Expert Iteration (MCTS) `train_expert_iteration.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1705.08439)\n      - [ ] Probabilistic Ensembles with Trajectory Sampling (PETS)\n   - [ ] Neural Chess Engine (AlphaZero) `rl\u002Fchess` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1712.01815)\n      - [x] Define the architecture and environment `model.py` and `env.py`\n      - [x] MCTS for move search `mcts.py`\n      - [x] Self-play `train.py`\n      - [ ] Dynamic batching and multiprocessing `mcts.py`\n- LLMs `rl\u002Fllms`\n   - [ ] RLHF a base model with UltraFeedback \n   - [ ] DPO a base model with UltraFeedback\n   - [x] GRPO for reasoning `train_grpo_gsm.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2402.03300)\n   - [x] GRPO for humor `train_grpo_humor.py` \n\n### Generative Models\n\n- [x] Generative Adversarial Networks (GAN) `generative-models\u002Ftrain_gan.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1406.2661)\n- [x] Pix2Pix (Conditional GANs) `generative-models\u002Ftrain_pix2pix.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1611.07004)\n- [x] Variational Autoencoders (VAE) `generative-models\u002Ftrain_vae.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1312.6114)\n   - [x] Train an autoencoder for reconstruction `generative-models\u002Ftrain_autoencoder.py` \n- [ ] Neural Radiance Fields (NeRF)\n- [x] Denoising Diffusion Probablistic Models* (DDPM) `generative-models\u002Ftrain_ddpm.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.11239)\n- [x] Classifier-based diffusion guidance `generative-models\u002Fddpm_classifier_guidance.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2105.05233)\n   - [x] Classifier-free diffusion guidance `generative-models\u002Fddpm_classifier_free_guidance.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2207.12598)\n- [x] Flow matching `generative-models\u002Ftrain_flow_matching.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.02747)\n\n### MLSys \n- [x] GPU Communication Algorithms* (scatter, gather, ring\u002Ftree allreduce) `mlsys\u002Fcomms.py` [[reference]](https:\u002F\u002Fdeveloper.nvidia.com\u002Fnccl)\n- [x] Distributed Data Parallel `mlsys\u002Ftrain_ddp.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2006.15704)\n- [x] Tensor Parallel* `mlsys\u002Ftrain_tp.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1909.08053)\n- [ ] Ring Attention (Context Parallel)\n- [ ] Paged Attention\n- [ ] Continuous Batching \n- [x] Triton Kernels `mlsys\u002Fkernels`\n   - [x] Vector Addition `vector_add.py`\n   - [x] 1D Convolution (naive + tiled) `conv1d.py`\n   - [x] 2D Strided Copy `copy2d.py`\n   - [x] LayerNorm Forward `layernorm.py`\n   - [x] Reverse Array `reverse_array.py`\n   - [x] SwiGLU Activation `swiglu.py`\n   - [x] Tiled GEMM `tiled_gemm.py`\n   - [ ] FlashAttention Forward \n\n### Evals\n\n- [ ] BERT on SST-2 (old-school NLP)\n- [x] GSM8k (generative) `evals\u002Feval_gsm8k.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2110.14168)\n- [x] MMLU (multiple-choice) `evals\u002Feval_mmlu.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2009.03300)\n- [x] SimpleQA (LLM judge) `evals\u002Feval_simpleqa.py` [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2411.04368)\n- [ ] Design our own eval (\"good taste\")\n\n### RAG \n- [ ] Train Small Embedding and Reranking Models\n- [x] RAG 101: Retrieval on Q&A Answers `rag\u002Fintro_rag.py` \n- [ ] Multi-Hop Decomposition RAG\n- [ ] Sparse and Dense Retrieval \n- [ ] Graph RAG\n\n### Agents \n- [x] Let an LLM use internet search for Q&A `agents\u002Fbasic-search-use` \n- [x] Coding Agent `agents\u002Fcoding-agent`\n   - [x] Tool use (search, run code, read\u002Fwrite files) & sandboxing for powerful tools [`\u002Ftools`]\n   - [x] ReAct (iterated CoT with tool use in between) `agent.py` \n   - [x] Memory\u002Fcontext management distinguishing short vs long term memory `memory.py` \n   - [x] Evaluate: can it make a correct PR end-to-end in reponse to a GitHub issue? [[demo]](https:\u002F\u002Fx.com\u002Ftanishqkumar07\u002Fstatus\u002F1931709892236116293)\n- [ ] Simulate a society with language models\n- [ ] Tree-of-Thoughts deep research agents \n- [ ] Parallel multi-agent deep research  \n\n---\n\n## Notes\n\n- The codebase will generally work with either a CPU or GPU, but most implementations basically require \na GPU as they will be untenably slow otherwise. I recommend either a consumer laptop with GPU, paying for Colab\u002FRunpod, \nor simply asking a compute provider or local university for a compute grant if those are out of \nbudget (this works surprisingly well, people are very generous). Obvious exceptions like data\u002Ftensor parallel require \nmulti-GPU nodes. \n- All `.py` scripts take in `--verbose` and `--wandb` as command line arguments when you run them. Feel free to hack these to your needs. \n- Feel free to email me at [tanishq@stanford.edu](mailto:tanishq@stanford.edu) with feedback, implementation\u002Ffeature requests, \nand to raise any bugs as GitHub issues.\nIf this codebase helped you, please share it and give it a star! You can cite the repository \nin your work as follows. \n\n```bibtex\n@misc{kumar2025beyond,\n  author = {Tanishq Kumar},\n  title = {Beyond-NanoGPT: From LLM Beginner to AI Researcher},\n  year = {2025},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Ftanishqkumar\u002Fbeyond-nanogpt}},\n  note = {Accessed: 2025-01-XX}\n}\n```\n\n**Happy coding, and may your gradients never vanish!**\n\n","## 超越 NanoGPT：从 LLM 初学者到 AI 研究者！\n\n\u003Cp align=\"center\">\n  \u003Cspan style=\"display: inline-block; text-align: center; margin: 0 10px;\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftanishqkumar_beyond-nanogpt_readme_7cc74a5d21d5.png\" style=\"width: 350px; height: auto;\" \u002F>\n  \u003C\u002Fspan>\n\u003C\u002Fp>\n\n**Beyond-NanoGPT** 是一个极简且具有教育意义的代码库，旨在 **连接 NanoGPT 与研究级别的深度学习**。  \n该仓库包含了近 100 种前沿深度学习中关键技术的注释版和从零开始实现的代码，帮助初学者掌握足够的知识，从而能够独立开展实验。\n\n仓库涵盖了从 LLM 中的 KV 缓存和推测解码，到视觉 Transformer 和 MLP 混合器等架构；从线性注意力或多潜在空间注意力等变体，到去噪扩散模型和流匹配算法等生成模型；以及 PPO、A3C 和 AlphaZero 等强化学习领域的里程碑式论文，再到 GPU 通信算法和数据\u002F张量并行等系统基础内容。\n\n**由于所有内容都是手写实现的，代码注释详细解释了那些在论文和生产级代码库中常常被忽略的微妙细节。**\n\n\u003Cp align=\"center\">\n  \u003Cspan style=\"display: inline-block; text-align: center; margin: 0 10px;\">\n    \u003Ca href=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftanishqkumar_beyond-nanogpt_readme_992b2fd1728c.png\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftanishqkumar_beyond-nanogpt_readme_992b2fd1728c.png\" \u002F>\n    \u003C\u002Fa>\n    \u003Cdiv style=\"text-align: center; max-width: 600px; margin-top: 8px;\">\n      \u003Csub>\n        一些你可以绘制的图表预览！ \u003Cbr \u002F>\n        \u003Cb>(左)\u003C\u002Fb> 来自 `attention-variants\u002Flinear_attention.ipynb` 的语言模型加速效果,\u003Cbr \u002F>\n        \u003Cb>(中)\u003C\u002Fb> 在 MNIST 数据集上训练的小型去噪扩散模型生成的样本，来自 `generative-models\u002Ftrain_ddpm.py`,\u003Cbr \u002F>\n        \u003Cb>(右)\u003C\u002Fb> CartPole 任务中小型 MLP 策略随时间变化的奖励，来自 `rl\u002Ffundamentals\u002Ftrain_ppo.py`。\n      \u003C\u002Fsub>\n    \u003C\u002Fdiv>\n  \u003C\u002Fspan>\n\u003C\u002Fp>\n\n`LESSONS.md` 记录了我在编写这个代码库的几个月里所学到的一些经验教训。\n\n## 快速入门\n1. **克隆仓库：**\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Ftanishqkumar\u002Fbeyond-nanogpt.git\n   ```\n2. **安装最小依赖：**\n\n   ```bash\n   pip install torch numpy torchvision wandb tqdm transformers datasets diffusers matplotlib pillow jupyter gym \n   ```\n\n3. **开始学习吧！**  \n   这些代码的设计目的是供你仔细阅读、动手修改，然后尝试从头自行实现，并与原版进行对比。  \n   你可以使用原生 Python 直接运行 `.py` 文件，例如：\n   ```bash\n   cd architectures\u002F\n   python train_dit.py\n   ```\n   或者：\n   ```bash\n   cd rl\u002Ffundamentals\u002F\n   python train_reinforce.py --verbose --wandb\n   ```\n   所有代码都设计为在单个 GPU 上运行。代码本身带有注释，帮助理解背后的直觉，并详细阐述我在实现过程中遇到的难点。  \n   每个文件底部都列出了可配置的参数。Jupyter 笔记本则适合逐步浏览。\n\n## 当前实现与路线图\n\n星号 (*) 表示特别复杂的实现。\n\n### 架构\n- [x] 基础 Transformer `language-models\u002Ftransformer.py` 和 `train_naive.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762)\n- [x] 视觉 Transformer (ViT) `architectures\u002Ftrain_vit.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2010.11929)\n- [x] 扩散 Transformer (DiT) `architectures\u002Ftrain_dit.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.09748)\n- [x] 循环神经网络 (RNN) `architectures\u002Ftrain_rnn.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1506.00019)\n- [x] 残差网络 (ResNet) `architectures\u002Ftrain_resnet.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1512.03385)\n- [x] MLP 混合器 `architectures\u002Ftrain_mlp_mixer.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2105.01601)\n- [x] LSTM `architectures\u002Ftrain_lstm.py` [[论文]](https:\u002F\u002Fwww.bioinf.jku.at\u002Fpublications\u002Folder\u002F2604.pdf)\n- [x] 专家混合模型* (MoE) `architectures\u002Ftrain_moe.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2101.03961)\n- [x] Mamba* `architectures\u002Ftrain_mamba.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.00752)\n\n### 注意力变体\n- [x] 原始自注意力 `attention-variants\u002Fvanilla_attention.ipynb` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762)\n- [x] 多头自注意力 `attention-variants\u002Fmhsa.ipynb` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762)\n- [x] 分组查询注意力 `attention-variants\u002Fgqa.ipynb` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.13245)\n- [x] 线性注意力* `attention-variants\u002Flinear_attention.ipynb` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.16236)\n- [x] 稀疏注意力 `attention-variants\u002Fsparse_attention.ipynb` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.10509)\n- [x] 交叉注意力 `attention-variants\u002Fcross_attention.ipynb` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762)\n- [x] 多潜在空间注意力* `attention-variants\u002Fmla.ipynb` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2405.04434)\n\n### 语言模型\n- [x] 优化的数据加载 `language-models\u002Fdataloaders` [[参考]](https:\u002F\u002Fgist.github.com\u002FZijiaLewisLu\u002Feabdca955110833c0ce984d34eb7ff39)\n   - [x] 生产者-消费者异步数据加载\n   - [x] 序列打包\n- [x] 字节对编码 `language-models\u002Fbpe.ipynb` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1508.07909)\n- [x] KV 缓存 `language-models\u002FKV_cache.ipynb` [[参考]](https:\u002F\u002Fhuggingface.co\u002Fblog\u002Fnot-lain\u002Fkv-caching)\n- [x] 推测解码 `language-models\u002Fspeculative_decoding.ipynb` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.17192)\n- [x] RoPE 嵌入* `language-models\u002Frope.ipynb` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2104.09864)\n- [x] 多标记预测 `language-models\u002Ftrain_mtp.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.19737)\n\n### 强化学习\n- 深度强化学习\n   - 基础知识 `rl\u002Ffundamentals`\n      - [x] DQN `train_dqn.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1312.5602)\n      - [x] REINFORCE `train_reinforce.py` [[论文]](https:\u002F\u002Flink.springer.com\u002Farticle\u002F10.1007\u002FBF00992696)\n      - [x] PPO `train_ppo.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06347)\n   - 策略-价值网络及其主要变体 `rl\u002Factor-critic`\n      - [x] 优势策略-价值网络 (A2C) `train_a2c.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1602.01783)\n      - [x] 异步优势策略-价值网络 (A3C) `train_a3c.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1602.01783)\n      - [x] IMPALA*（分布式强化学习）`train_impala.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.01561)\n      - [x] 深度确定性策略梯度 (DDPG) `train_ddpg.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1509.02971)\n      - [x] 软策略-价值网络* (SAC) `train_sac.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.01290)\n   - 基于模型的强化学习 `rl\u002Fmodel-based`\n      - [x] 模型预测控制 (MPC) `train_mpc.py`[[参考文献]](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FModel_predictive_control)\n      - [x] 专家迭代 (MCTS) `train_expert_iteration.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1705.08439)\n      - [ ] 轨迹采样概率集成 (PETS)\n   - [ ] 神经国际象棋引擎 (AlphaZero) `rl\u002Fchess` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1712.01815)\n      - [x] 定义架构和环境 `model.py` 和 `env.py`\n      - [x] MCTS 用于走法搜索 `mcts.py`\n      - [x] 自对弈 `train.py`\n      - [ ] 动态批处理和多进程 `mcts.py`\n- 大语言模型 `rl\u002Fllms`\n   - [ ] RLHF：使用 UltraFeedback 对基础模型进行微调\n   - [ ] DPO：使用 UltraFeedback 对基础模型进行微调\n   - [x] GRPO 用于推理 `train_grpo_gsm.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2402.03300)\n   - [x] GRPO 用于幽默生成 `train_grpo_humor.py`\n\n### 生成模型\n\n- [x] 生成对抗网络 (GAN) `generative-models\u002Ftrain_gan.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1406.2661)\n- [x] Pix2Pix（条件 GAN）`generative-models\u002Ftrain_pix2pix.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1611.07004)\n- [x] 变分自编码器 (VAE) `generative-models\u002Ftrain_vae.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1312.6114)\n   - [x] 训练用于重建的自编码器 `generative-models\u002Ftrain_autoencoder.py` \n- [ ] 神经辐射场 (NeRF)\n- [x] 去噪扩散概率模型* (DDPM) `generative-models\u002Ftrain_ddpm.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.11239)\n- [x] 基于分类器的扩散引导 `generative-models\u002Fddpm_classifier_guidance.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2105.05233)\n   - [x] 无分类器扩散引导 `generative-models\u002Fddpm_classifier_free_guidance.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2207.12598)\n- [x] 流匹配 `generative-models\u002Ftrain_flow_matching.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.02747)\n\n### MLSys\n- [x] GPU 通信算法*（scatter、gather、ring\u002Ftree allreduce）`mlsys\u002Fcomms.py` [[参考文献]](https:\u002F\u002Fdeveloper.nvidia.com\u002Fnccl)\n- [x] 分布式数据并行 `mlsys\u002Ftrain_ddp.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2006.15704)\n- [x] 张量并行* `mlsys\u002Ftrain_tp.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1909.08053)\n- [ ] 环形注意力（上下文并行）\n- [ ] 分页注意力\n- [ ] 连续批处理\n- [x] Triton 内核 `mlsys\u002Fkernels`\n   - [x] 向量加法 `vector_add.py`\n   - [x] 一维卷积（朴素 + 分块）`conv1d.py`\n   - [x] 二维步进复制 `copy2d.py`\n   - [x] 层归一化前向传播 `layernorm.py`\n   - [x] 数组反转 `reverse_array.py`\n   - [x] SwiGLU 激活函数 `swiglu.py`\n   - [x] 分块 GEMM `tiled_gemm.py`\n   - [ ] FlashAttention 前向传播\n\n### 评估\n\n- [ ] BERT 在 SST-2 数据集上的表现（传统 NLP）\n- [x] GSM8k（生成任务）`evals\u002Feval_gsm8k.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2110.14168)\n- [x] MMLU（多项选择题）`evals\u002Feval_mmlu.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2009.03300)\n- [x] SimpleQA（LLM 评判）`evals\u002Feval_simpleqa.py` [[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2411.04368)\n- [ ] 设计我们自己的评估标准（“良好品味”）\n\n### RAG\n- [ ] 训练小型嵌入模型和重排序模型\n- [x] RAG 入门：基于问答答案的检索 `rag\u002Fintro_rag.py`\n- [ ] 多跳分解 RAG\n- [ ] 稀疏与稠密检索\n- [ ] 图 RAG\n\n### 代理\n- [x] 让 LLM 使用互联网搜索进行问答 `agents\u002Fbasic-search-use`\n- [x] 编码代理 `agents\u002Fcoding-agent`\n   - [x] 工具使用（搜索、运行代码、读写文件）及强大工具的沙箱隔离 [`\u002Ftools`]\n   - [x] ReAct（迭代思维链，中间穿插工具使用）`agent.py` \n   - [x] 短期与长期记忆的区分及记忆\u002F上下文管理 `memory.py` \n   - [x] 评估：它能否针对 GitHub 问题端到端地提交一个正确的 PR？[[演示]](https:\u002F\u002Fx.com\u002Ftanishqkumar07\u002Fstatus\u002F1931709892236116293)\n- [ ] 模拟由语言模型构成的社会\n- [ ] 思维树深度研究代理\n- [ ] 并行多代理深度研究\n\n---\n\n## 注释\n\n- 该代码库通常可以在 CPU 或 GPU 上运行，但大多数实现实际上需要 GPU，否则速度会慢得难以忍受。建议使用带有 GPU 的消费级笔记本电脑，或者付费使用 Colab\u002FRunpod，如果预算不足，也可以向计算资源提供商或当地大学申请计算资助（这种方法往往效果很好，人们通常非常慷慨）。显而易见的例外情况，如数据并行或张量并行，则需要多 GPU 节点。\n- 所有 `.py` 脚本在运行时都接受 `--verbose` 和 `--wandb` 作为命令行参数。您可以根据需要随意修改这些参数。\n- 如有任何反馈、实现或功能请求，或发现任何错误，请随时通过电子邮件 [tanishq@stanford.edu](mailto:tanishq@stanford.edu) 与我联系，并将其作为 GitHub 问题提交。如果您觉得这个代码库对您有所帮助，请分享并给它一颗星！您可以在您的工作中按如下方式引用该仓库。\n\n```bibtex\n@misc{kumar2025beyond,\n  author = {Tanishq Kumar},\n  title = {超越 NanoGPT：从 LLM 初学者到 AI 研究者},\n  year = {2025},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Ftanishqkumar\u002Fbeyond-nanogpt}},\n  note = {访问日期：2025-01-XX}\n}\n```\n\n**祝编程愉快，愿您的梯度永不消失！**","# Beyond-NanoGPT 快速上手指南\n\n**Beyond-NanoGPT** 是一个极简的教育性开源项目，旨在填补 `nanoGPT` 与前沿深度学习研究之间的空白。它从零开始实现了近 100 种现代关键技术（包括 LLM 优化、注意力变体、强化学习、生成模型及系统底层原理），并通过详细的代码注释解释了许多在论文和生产代码中常被忽略的细节。适合希望从 LLM 初学者进阶为 AI 研究者的开发者。\n\n## 环境准备\n\n本项目主要基于 PyTorch 构建，虽然部分代码可在 CPU 上运行，但绝大多数实现（尤其是训练任务）**强烈建议使用 GPU**，否则速度将极慢。\n\n*   **操作系统**: Linux, macOS, Windows (需配置 CUDA 环境)\n*   **硬件要求**: \n    *   单张 NVIDIA GPU (推荐显存 ≥ 8GB)\n    *   部分分布式训练示例（如 Tensor Parallelism）需要多卡环境\n*   **软件依赖**:\n    *   Python 3.8+\n    *   CUDA Toolkit (根据显卡型号安装对应版本)\n    *   Git\n\n## 安装步骤\n\n### 1. 克隆仓库\n首先将项目代码克隆到本地：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ftanishqkumar\u002Fbeyond-nanogpt.git\ncd beyond-nanogpt\n```\n\n### 2. 安装依赖\n使用 `pip` 安装所需的最小化依赖包。\n> **国内加速建议**：如果您在中国大陆，建议使用清华或阿里镜像源以加快下载速度：\n\n```bash\n# 使用默认源\npip install torch numpy torchvision wandb tqdm transformers datasets diffusers matplotlib pillow jupyter gym \n\n# 或使用清华镜像源 (推荐国内用户)\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple torch numpy torchvision wandb tqdm transformers datasets diffusers matplotlib pillow jupyter gym\n```\n\n## 基本使用\n\n本项目的核心理念是**阅读代码、修改实验、并尝试从头复现**。所有 `.py` 文件均包含自文档化的注释，参数定义在文件底部。\n\n### 运行单个训练脚本\n你可以直接使用原生 Python 运行任意脚本。以下是两个典型示例：\n\n**示例 1：训练扩散 Transformer (DiT)**\n进入架构目录并运行：\n```bash\ncd architectures\u002F\npython train_dit.py\n```\n\n**示例 2：运行强化学习 (REINFORCE 算法)**\n进入强化学习基础目录，并开启详细日志与 WandB 监控：\n```bash\ncd rl\u002Ffundamentals\u002F\npython train_reinforce.py --verbose --wandb\n```\n\n### 探索 Jupyter Notebook\n对于注意力机制变体（如 Linear Attention, MLA）和数据加载优化等内容，项目提供了交互式 Notebook。请在 Jupyter Lab 或 VS Code 中逐步运行以下文件以可视化结果：\n\n```bash\n# 例如查看注意力变体的速度对比图\njupyter lab attention-variants\u002Flinear_attention.ipynb\n```\n\n### 自定义参数\n每个脚本底部的 `argparse` 部分定义了可调整的参数。您可以直接编辑代码或在命令行中传递参数（如 `--batch_size`, `--lr` 等）来进行自己的实验。\n\n---\n*提示：更多学习心得和实现细节请参阅项目根目录下的 `LESSONS.md` 文件。*","一名刚掌握基础 Transformer 的算法工程师，试图复现论文中的线性注意力机制或 PPO 强化学习算法以进行实验验证。\n\n### 没有 beyond-nanogpt 时\n- **理论落地困难**：面对论文中简略的数学公式，难以将其转化为可运行的代码，常卡在矩阵维度匹配等细节上。\n- **黑盒调优迷茫**：直接调用高层框架（如 Hugging Face）导致无法理解 KV Cache、推测解码等核心优化技术的内部实现逻辑。\n- **调试成本高昂**：自行从零编写复杂架构（如 DiT 或 MLP-Mixer）时，因缺乏标准参考，难以判断是代码错误还是原理理解偏差。\n- **知识断层明显**：从入门教程（如 nanoGPT）到前沿研究之间存在巨大鸿沟，缺乏中间过渡的实战案例来填补空白。\n\n### 使用 beyond-nanogpt 后\n- **代码即教材**：直接研读其中带详细注释的从头实现代码，清晰理解线性注意力等微妙细节如何从公式变为逻辑。\n- **白盒掌控全局**：通过修改库中单 GPU 可运行的脚本（如 `train_ppo.py`），深入剖析数据并行、GPU 通信等系统底层原理。\n- **快速验证迭代**：以库中近 100 种已验证的架构（如 Vision Transformer、扩散模型）为基准，快速对比并修正自己的复现代码。\n- **平滑进阶路径**：借助其精心设计的“桥梁”作用，从简单模型自然过渡到能够独立运行和修改前沿深度学习实验。\n\nbeyond-nanogpt 通过将前沿论文转化为透明、可执行的代码，让开发者从“调包侠”真正蜕变为能独立探索未知的 AI 研究者。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftanishqkumar_beyond-nanogpt_992b2fd1.png","tanishqkumar","Tanishq Kumar","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ftanishqkumar_db0559ad.png","CS PhD student at Stanford. \r\n\r\npreviously math undergrad at Harvard. \r\n",null,"SF, London & Bombay","https:\u002F\u002Fgithub.com\u002Ftanishqkumar",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",57.9,{"name":85,"color":86,"percentage":87},"Jupyter Notebook","#DA5B0B",42.1,1298,107,"2026-04-16T15:12:01","MIT","Linux, macOS, Windows","非绝对必需但强烈推荐（单卡即可运行大部分代码，多卡用于分布式训练）；未指定具体型号，建议具备 CUDA 支持的 NVIDIA GPU；显存大小未说明（视具体模型架构和批量大小而定）；CUDA 版本未说明","未说明",{"notes":96,"python":94,"dependencies":97},"代码设计为在单个 GPU 上运行，部分高级功能（如数据并行、张量并行）需要多 GPU 节点。虽然代码可在 CPU 上运行，但除少数例外外，大多数实现在没有 GPU 的情况下速度极慢甚至无法实用。推荐使用带有 GPU 的消费级笔记本电脑、Colab\u002FRunpod 云服务，或向高校\u002F机构申请计算资源。所有脚本支持 --verbose 和 --wandb 参数。",[98,99,100,101,102,103,104,105,106,107],"torch","numpy","torchvision","wandb","tqdm","transformers","datasets","diffusers","matplotlib","gym",[35,15,14,109],"其他","2026-03-27T02:49:30.150509","2026-04-18T09:20:14.049379",[],[]]