[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-datawhalechina--llms-from-scratch-cn":3,"tool-datawhalechina--llms-from-scratch-cn":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",145895,2,"2026-04-08T11:32:59",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":32,"env_os":92,"env_gpu":92,"env_ram":92,"env_deps":93,"category_tags":97,"github_topics":98,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":104,"updated_at":105,"faqs":106,"releases":107},5617,"datawhalechina\u002Fllms-from-scratch-cn","llms-from-scratch-cn","仅需Python基础，从0构建大语言模型；从0逐步构建GLM4\\Llama3\\RWKV6， 深入理解大模型原理","llms-from-scratch-cn 是一个由 Datawhale 推出的开源实战教程，旨在帮助学习者从零开始手写代码，构建属于自己的大语言模型。它解决了当前大模型学习资源中“重应用微调、轻底层原理”的痛点，让用户不再仅仅停留在调用 API 或微调现成模型的层面，而是深入理解模型架构的核心机制。\n\n该项目非常适合具备 Python 和 PyTorch 基础的开发者、学生及研究人员使用。通过清晰的章节安排和可运行的 Notebook 代码，用户将逐步掌握文本数据处理、注意力机制实现、GPT 模型构建以及预训练与微调的全流程。项目不仅复现了类似 ChatGPT 的模型架构，还涵盖了 GLM4、Llama3、RWKV6 等主流模型的构建教程。\n\n其独特亮点在于“教育优先”的设计理念：代码简洁易懂，摒弃了复杂框架的黑盒封装，强调通过动手实践来内化理论知识。无论你是想夯实深度学习基础的学生，还是希望深入探究大模型内部原理的技术人员，llms-from-scratch-cn 都能提供一条系统化的进阶路径，助你真正看透大模型的“黑盒”。","\u003Ccenter>\n\n# 动手学LLM\n\n# LLMs From Scratch: Hands-on Building Your Own Large Language Models\n\n\n\u003C\u002Fcenter>\n\n[![GitHub stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fdatawhalechina\u002Fllms-from-scratch-cn.svg?style=social)](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn)\n[![GitHub forks](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fforks\u002Fdatawhalechina\u002Fllms-from-scratch-cn.svg?style=social)](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn)\n[![GitHub issues](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fissues\u002Fdatawhalechina\u002Fllms-from-scratch-cn.svg)](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn\u002Fissues)\n[![Code License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCode%20License-Apache_2.0-brightgreen.svg)](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn\u002Fblob\u002Fmain\u002FLICENSE.txt)\n\n\n\n\n---\n\n## 📘 项目介绍\n如果你想从0手写代码，构建大语言模型，本项目很适合你。\n本项目 \"LLMs From Scratch\" 是由 Datawhale 提供的一个从头开始构建类似 ChatGPT 大型语言模型（LLM）的实践教程。\n我们旨在通过详细的指导、代码示例和深度学习资源，帮助开发者和研究者掌握创建大语言模型和大语言模型架构的核心技术。\n本项目包括了从0逐步构建GLM4\\Llama3\\RWKV6的教程，从0构建大模型，一起深入理解大模型原理。\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_llms-from-scratch-cn_readme_8437f02a416b.png)\n\n\n---\n\n\n## 🌟 项目亮点\n\n- **全面的学习路径**: 提供从基础理论到实际编码的系统化学习路径。\n- **实践导向**: 强调通过实际操作掌握 LLM 的开发和训练。\n- **重点关注LLM架构**: 在微调、部署相关教程较为丰富的背景下，我们着重关注大模型的架构实现。\n\n## 🚀 主要内容\n\n### （1）基础知识\n\n在基础知识部分，我们基于\"rasbt\u002FLLMs-from-scratch\"提供了一个如何从头开始实现类似ChatGPT的大语言模型（LLM）的详细教程，特别感谢@[rasbt](https:\u002F\u002Fgithub.com\u002Frasbt)。\n\n如果你想快速入门，请参考Codes路径下的notebook，简洁的代码可以帮助你快速入门。\n\n如果你想详细学习，请参考Translated_Book路径下的notebook，提供了更为详细的相关知识。\n\n\n👨‍💻 **代码实现**: 该项目包含了创建GPT-like大语言模型的全部代码，涵盖了编码、预训练和微调过程。\n\n📖 **逐步学习**: 教程通过清晰的文本、图表和示例，分步骤教授如何创建自己的LLM。\n\n💡 **教育目的**: 该方法主要用于教育，帮助学习者训练和开发小型但功能性的模型，这与创建像ChatGPT这样的大型基础模型的方法相似。\n\n🔧 **简洁易懂的代码**: 利用简洁且可运行的notebook代码，即使只有PyTorch基础，也能完成大模型的构建。\n\n🤔 **深入理解模型原理**: 通过本教程，读者可以深入理解大型语言模型的工作原理。\n\n\n📖 详细章节安排如下：\n\n| 章节标题                          | 主要代码                                                                                                     | 所有代码和补充                                                                                         |\n|-----------------------------------|----------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------|\n| 第1章: 理解大型语言模型           | 没有代码                                                                                                        | 没有代码                                                                                               |\n| 第2章: 处理文本数据               | - [ch02.ipynb](.\u002FCodes\u002Fch02\u002F01_main-chapter-code\u002Fch02.ipynb)\u003Cbr\u002F>- [dataloader.ipynb](.\u002FCodes\u002Fch02\u002F01_main-chapter-code\u002Fdataloader.ipynb)\u003Cbr\u002F>- [exercise-solutions.ipynb](.\u002FCodes\u002Fch02\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [.\u002FCodes\u002Fch02](.\u002FCodes\u002Fch02)                                                                          |\n| 第3章: 编写注意力机制             | - [ch03.ipynb](.\u002FCodes\u002Fch03\u002F01_main-chapter-code\u002Fch03.ipynb)\u003Cbr\u002F>- [multihead-attention.ipynb](.\u002FCodes\u002Fch03\u002F01_main-chapter-code\u002Fmultihead-attention.ipynb)\u003Cbr\u002F>- [exercise-solutions.ipynb](.\u002FCodes\u002Fch03\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [.\u002FCodes\u002Fch03](.\u002FCodes\u002Fch03)                                                                          |\n| 第4章: 从零开始实现GPT模型        | - [ch04.ipynb](.\u002FCodes\u002Fch04\u002F01_main-chapter-code\u002Fch04.ipynb)\u003Cbr\u002F>- [gpt.py](.\u002FCodes\u002Fch04\u002F01_main-chapter-code\u002Fgpt.py)\u003Cbr\u002F>- [exercise-solutions.ipynb](.\u002FCodes\u002Fch04\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb)                 | [.\u002FCodes\u002Fch04](.\u002FCodes\u002Fch04)                                                                          |\n| 第5章: 使用未标记数据进行预训练   | - [ch05.ipynb](.\u002FCodes\u002Fch05\u002F01_main-chapter-code\u002Fch05.ipynb)\u003Cbr\u002F>- [train.py](.\u002FCodes\u002Fch05\u002F01_main-chapter-code\u002Ftrain.py)\u003Cbr\u002F>- [generate.py](.\u002FCodes\u002Fch05\u002F01_main-chapter-code\u002Fgenerate.py)\u003Cbr\u002F>- [exercise-solutions.ipynb](.\u002FCodes\u002Fch05\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [.\u002FCodes\u002Fch05](.\u002FCodes\u002Fch05)                                                                          |\n| 第6章: 用于文本分类的微调         | 即将发布                                                                                                         | 即将发布                                                                                               |\n| 第7章: 使用人类反馈进行微调       | 即将发布                                                                                                         | 即将发布                                                                                               |\n| 第8章: 在实践中使用大型语言模型   | 即将发布                                                                                                         | 即将发布                                                                                               |\n| 附录A: PyTorch简介                | - [code-part1.ipynb](.\u002FCodes\u002Fappendix-A\u002F03_main-chapter-code\u002Fcode-part1.ipynb)\u003Cbr\u002F>- [code-part2.ipynb](.\u002FCodes\u002Fappendix-A\u002F03_main-chapter-code\u002Fcode-part2.ipynb)\u003Cbr\u002F>- [DDP-script.py](.\u002FCodes\u002Fappendix-A\u002F03_main-chapter-code\u002FDDP-script.py)\u003Cbr\u002F>- [exercise-solutions.ipynb](.\u002FCodes\u002Fappendix-A\u002F03_main-chapter-code\u002Fexercise-solutions.ipynb) | [appendix-A](.\u002FCodes\u002Fappendix-A)                                                                       |\n| 附录B: 参考文献和进一步的阅读材料 | 没有代码                                                                                                        | -                                                                                                      |\n| 附录C: 练习                       | 没有代码                                                                                                        | -                                                                                                      |\n| 附录D: 为训练过程添加额外的功能和特性 | - [appendix-D.ipynb](.\u002FCodes\u002Fappendix-D\u002F01_main-chapter-code\u002Fappendix-D.ipynb)                                        | [appendix-D](.\u002FCodes\u002Fappendix-D)                                                                       |\n\n---\n\n\n### （2）模型架构的讨论和搭建\n\n- **支持多种大型模型**: 项目涵盖了 ChatGLM、Llama、RWKV 等多个大型模型的架构讨论与实现，详见 `.\u002FModel_Architecture_Discussions` 目录。\n- **架构详细解析**: 包括每个模型的配置文件、训练脚本和核心代码，帮助学习者深入理解不同模型的内部机制。\n\n\n| 模型类型 | Notebook 笔记本 | 贡献者 |\n| --- | --- | --- |\n| ChatGLM3 | [chatglm3.ipynb](.\u002FModel_Architecture_Discussions\u002FChatGLM3\u002F加载模型权重.ipynb) | [@Tangent-90C](https:\u002F\u002Fgithub.com\u002FTangent-90C) |\n| Llama3 | [llama3.ipynb](.\u002FModel_Architecture_Discussions\u002Fllama3\u002Fllama3-from-scratch.ipynb) | [@A10-research](https:\u002F\u002Fwww.aaaaaaaaaa.org\u002F) |\n| RWKV V2 | [rwkv-v2.ipynb](.\u002FModel_Architecture_Discussions\u002Frwkv-v2\u002Frwkv-v2-guide.ipynb) | [@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus) |\n| RWKV V3 | [rwkv-v3.ipynb](.\u002FModel_Architecture_Discussions\u002Frwkv-v3\u002Frwkv-v3-guide.ipynb) | [@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus) |\n| RWKV V4 | [rwkv-v4.ipynb](.\u002FModel_Architecture_Discussions\u002Frwkv-v4\u002Frwkv-v4-guide.ipynb) | [@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus) |\n| RWKV V5 | [rwkv-v5.ipynb](.\u002FModel_Architecture_Discussions\u002Frwkv-v5\u002Frwkv-v5-guide.ipynb) | [@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus) |\n| RWKV V6 | [rwkv-v6.ipynb](.\u002FModel_Architecture_Discussions\u002Frwkv-v6\u002Frwkv-v6-guide.ipynb) | [@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus) |\n| ChatGLM4 | [chatglm4.ipynb](.\u002FModel_Architecture_Discussions\u002FChatGLM4\u002Fchatglm4-guide.ipynb) | [@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus) |\n| MiniCPM | [minicpm.ipynb](.\u002FModel_Architecture_Discussions\u002FMiniCPM\u002FMiniCPM.ipynb) | [@0-yy-0](https:\u002F\u002Fgithub.com\u002F0-yy-0) |\n\n\n---\n\n\n\n\n\n---\n\n## 📅 Roadmap\n\n*注：规划未来任务，并通过 Issue 形式对外发布。*\n\n---\n\n## 👫 参与贡献\n\n- 如果你想参与到项目中，欢迎查看项目的 [Issue](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn\u002Fissues) 查看没有被分配的任务。\n- 如果你发现了问题，请在 [Issue](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn\u002Fissues) 中进行反馈🐛。\n- 如果你对本项目感兴趣，欢迎通过 [Discussion](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn\u002Fdiscussions) 进行交流💬。\n\n\u003Ccenter>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_llms-from-scratch-cn_readme_3ad2dbf0d3cb.jpg\" width=\"600px\">\n\u003C\u002Fcenter>\n\n\n\n- 项目受众\n- \n  - 技术背景：该项目适合有一定编程基础的人员，特别是对大型语言模型（LLM）感兴趣的开发者和研究者。\n  - 学习目标：适合那些希望深入了解LLM工作原理，并愿意投入时间从零开始构建和训练自己的LLM的学习者。\n  - 应用领域：适用于对自然语言处理、人工智能领域感兴趣的开发者，以及希望在教育或研究环境中应用LLM的人员。\n- 项目亮点\n\n  - 系统化学习：该项目提供了一个系统化的学习路径，从理论基础到实际编码，帮助学习者全面理解LLM。\n  - 实践导向：与仅仅介绍理论或API使用不同，该项目强调实践，让学习者通过实际操作来掌握LLM的开发和训练。\n  - 深入浅出：该项目以清晰的语言、图表和示例来解释复杂的概念，使得非专业背景的学习者也能较好地理解。\n\n\n\n如果你对 Datawhale 很感兴趣并想要发起一个新的项目，欢迎查看 [Datawhale 贡献指南](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002FDOPMC#%E4%B8%BA-datawhale-%E5%81%9A%E5%87%BA%E8%B4%A1%E7%8C%AE)。\n\n\n\n希望这个项目能够帮助你更好地理解和构建大型语言模型！ 🌐\n\n\n\n\n\n## 贡献者名单（教程部分）\n\n| 姓名   | 职责        | 简介         | GitHub |\n| :-----:| :----------:| :-----------:|:------:|\n| 陈可为 | 项目负责人  | 中国科学院大学 |[@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus)|\n| 王训志 | 第2章贡献者 | 南开大学     |[@aJupyter](https:\u002F\u002Fgithub.com\u002FaJupyter)|\n| 汪健麟 | 第2章贡献者 |              ||\n| Aria  | 第2章贡献者 |             |[@ariafyy](https:\u002F\u002Fgithub.com\u002Fariafyy)|\n| 汪健麟 | 第2章贡献者 |              ||\n| 张友东 | 第3章贡献者 |              ||\n| 邹雨衡 | 第3章贡献者 |              ||\n| 曹 妍  | 第3章贡献者 |              |[@SamanthaTso](https:\u002F\u002Fgithub.com\u002FSamanthaTso)|\n| 陈嘉诺 | 第4章贡献者 |   广州大学    |[@Tangent-90C](https:\u002F\u002Fgithub.com\u002FTangent-90C)|\n| 高立业 | 第4章贡献者 |              |[@0-yy-0](https:\u002F\u002Fgithub.com\u002F0-yy-0)|\n| 蒋文力 | 第4章贡献者 |              |[@morcake](https:\u002F\u002Fgithub.com\u002Fmorcake)|\n| 丁悦 | 第5章贡献者 | 哈尔滨工业大学（威海）|[@dingyue772](https:\u002F\u002Fgithub.com\u002Fdingyue772)|\n| 周景林 | 附录贡献者  |              |[@Beyondzjl](https:\u002F\u002Fgithub.com\u002FBeyondzjl)|\n| 陈可为 | 附录贡献者  |              |[@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus)|\n\n\n## 关注我们\n\n\u003Cdiv align=center>\n\u003Cp>扫描下方二维码关注公众号：Datawhale\u003C\u002Fp>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_llms-from-scratch-cn_readme_303cd5dfe9c5.jpeg\" width = \"180\" height = \"180\">\n\u003C\u002Fdiv>\n\n## LICENSE\n\n\u003Ca rel=\"license\" href=\"http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002F\">\u003Cimg alt=\"知识共享许可协议\" style=\"border-width:0\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-CC%20BY--NC--SA%204.0-lightgrey\" \u002F>\u003C\u002Fa>\u003Cbr \u002F>本作品采用\u003Ca rel=\"license\" href=\"http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002F\">知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议\u003C\u002Fa>进行许可。\n\n*注：默认使用CC 4.0协议，也可根据自身项目情况选用其他协议*\n","\u003Ccenter>\n\n# 动手学LLM\n\n# LLMs From Scratch: Hands-on Building Your Own Large Language Models\n\n\n\u003C\u002Fcenter>\n\n[![GitHub stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fdatawhalechina\u002Fllms-from-scratch-cn.svg?style=social)](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn)\n[![GitHub forks](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fforks\u002Fdatawhalechina\u002Fllms-from-scratch-cn.svg?style=social)](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn)\n[![GitHub issues](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fissues\u002Fdatawhalechina\u002Fllms-from-scratch-cn.svg)](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn\u002Fissues)\n[![Code License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCode%20License-Apache_2.0-brightgreen.svg)](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn\u002Fblob\u002Fmain\u002FLICENSE.txt)\n\n\n\n\n---\n\n## 📘 项目介绍\n如果你想从0手写代码，构建大语言模型，本项目很适合你。\n本项目 \"LLMs From Scratch\" 是由 Datawhale 提供的一个从头开始构建类似 ChatGPT 大型语言模型（LLM）的实践教程。\n我们旨在通过详细的指导、代码示例和深度学习资源，帮助开发者和研究者掌握创建大语言模型和大语言模型架构的核心技术。\n本项目包括了从0逐步构建GLM4\\Llama3\\RWKV6的教程，从0构建大模型，一起深入理解大模型原理。\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_llms-from-scratch-cn_readme_8437f02a416b.png)\n\n\n---\n\n\n## 🌟 项目亮点\n\n- **全面的学习路径**: 提供从基础理论到实际编码的系统化学习路径。\n- **实践导向**: 强调通过实际操作掌握 LLM 的开发和训练。\n- **重点关注LLM架构**: 在微调、部署相关教程较为丰富的背景下，我们着重关注大模型的架构实现。\n\n## 🚀 主要内容\n\n### （1）基础知识\n\n在基础知识部分，我们基于\"rasbt\u002FLLMs-from-scratch\"提供了一个如何从头开始实现类似ChatGPT的大语言模型（LLM）的详细教程，特别感谢@[rasbt](https:\u002F\u002Fgithub.com\u002Frasbt).\n\n如果你想快速入门，请参考Codes路径下的notebook，简洁的代码可以帮助你快速入门。\n\n如果你想详细学习，请参考Translated_Book路径下的notebook，提供了更为详细的相关知识。\n\n\n👨‍💻 **代码实现**: 该项目包含了创建GPT-like大语言模型的全部代码，涵盖了编码、预训练和微调过程。\n\n📖 **逐步学习**: 教程通过清晰的文本、图表和示例，分步骤教授如何创建自己的LLM。\n\n💡 **教育目的**: 该方法主要用于教育，帮助学习者训练和开发小型但功能性的模型，这与创建像ChatGPT这样的大型基础模型的方法相似。\n\n🔧 **简洁易懂的代码**: 利用简洁且可运行的notebook代码，即使只有PyTorch基础，也能完成大模型的构建。\n\n🤔 **深入理解模型原理**: 通过本教程，读者可以深入理解大型语言模型的工作原理。\n\n\n📖 详细章节安排如下：\n\n| 章节标题                          | 主要代码                                                                                                     | 所有代码和补充                                                                                         |\n|-----------------------------------|----------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------|\n| 第1章: 理解大型语言模型           | 没有代码                                                                                                        | 没有代码                                                                                               |\n| 第2章: 处理文本数据               | - [ch02.ipynb](.\u002FCodes\u002Fch02\u002F01_main-chapter-code\u002Fch02.ipynb)\u003Cbr\u002F>- [dataloader.ipynb](.\u002FCodes\u002Fch02\u002F01_main-chapter-code\u002Fdataloader.ipynb)\u003Cbr\u002F>- [exercise-solutions.ipynb](.\u002FCodes\u002Fch02\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [.\u002FCodes\u002Fch02](.\u002FCodes\u002Fch02)                                                                          |\n| 第3章: 编写注意力机制             | - [ch03.ipynb](.\u002FCodes\u002Fch03\u002F01_main-chapter-code\u002Fch03.ipynb)\u003Cbr\u002F>- [multihead-attention.ipynb](.\u002FCodes\u002Fch03\u002F01_main-chapter-code\u002Fmultihead-attention.ipynb)\u003Cbr\u002F>- [exercise-solutions.ipynb](.\u002FCodes\u002Fch03\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [.\u002FCodes\u002Fch03](.\u002FCodes\u002Fch03)                                                                          |\n| 第4章: 从零开始实现GPT模型        | - [ch04.ipynb](.\u002FCodes\u002Fch04\u002F01_main-chapter-code\u002Fch04.ipynb)\u003Cbr\u002F>- [gpt.py](.\u002FCodes\u002Fch04\u002F01_main-chapter-code\u002Fgpt.py)\u003Cbr\u002F>- [exercise-solutions.ipynb](.\u002FCodes\u002Fch04\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb)                 | [.\u002FCodes\u002Fch04](.\u002FCodes\u002Fch04)                                                                          |\n| 第5章: 使用未标记数据进行预训练   | - [ch05.ipynb](.\u002FCodes\u002Fch05\u002F01_main-chapter-code\u002Fch05.ipynb)\u003Cbr\u002F>- [train.py](.\u002FCodes\u002Fch05\u002F01_main-chapter-code\u002Ftrain.py)\u003Cbr\u002F>- [generate.py](.\u002FCodes\u002Fch05\u002F01_main-chapter-code\u002Fgenerate.py)\u003Cbr\u002F>- [exercise-solutions.ipynb](.\u002FCodes\u002Fch05\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [.\u002FCodes\u002Fch05](.\u002FCodes\u002Fch05)                                                                          |\n| 第6章: 用于文本分类的微调         | 即将发布                                                                                                         | 即将发布                                                                                               |\n| 第7章: 使用人类反馈进行微调       | 即将发布                                                                                                         | 即将发布                                                                                               |\n| 第8章: 在实践中使用大型语言模型   | 即将发布                                                                                                         | 即将发布                                                                                               |\n| 附录A: PyTorch简介                | - [code-part1.ipynb](.\u002FCodes\u002Fappendix-A\u002F03_main-chapter-code\u002Fcode-part1.ipynb)\u003Cbr\u002F>- [code-part2.ipynb](.\u002FCodes\u002Fappendix-A\u002F03_main-chapter-code\u002Fcode-part2.ipynb)\u003Cbr\u002F>- [DDP-script.py](.\u002FCodes\u002Fappendix-A\u002F03_main-chapter-code\u002FDDP-script.py)\u003Cbr\u002F>- [exercise-solutions.ipynb](.\u002FCodes\u002Fappendix-A\u002F03_main-chapter-code\u002Fexercise-solutions.ipynb) | [appendix-A](.\u002FCodes\u002Fappendix-A)                                                                       |\n| 附录B: 参考文献和进一步的阅读材料 | 没有代码                                                                                                        | -                                                                                                      |\n| 附录C: 练习                       | 没有代码                                                                                                        | -                                                                                                      |\n| 附录D: 为训练过程添加额外的功能和特性 | - [appendix-D.ipynb](.\u002FCodes\u002Fappendix-D\u002F01_main-chapter-code\u002Fappendix-D.ipynb)                                        | [appendix-D](.\u002FCodes\u002Fappendix-D)                                                                       |\n\n---\n\n### （2）模型架构的讨论和搭建\n\n- **支持多种大型模型**: 项目涵盖了 ChatGLM、Llama、RWKV 等多个大型模型的架构讨论与实现，详见 `.\u002FModel_Architecture_Discussions` 目录。\n- **架构详细解析**: 包括每个模型的配置文件、训练脚本和核心代码，帮助学习者深入理解不同模型的内部机制。\n\n\n| 模型类型 | Notebook 笔记本 | 贡献者 |\n| --- | --- | --- |\n| ChatGLM3 | [chatglm3.ipynb](.\u002FModel_Architecture_Discussions\u002FChatGLM3\u002F加载模型权重.ipynb) | [@Tangent-90C](https:\u002F\u002Fgithub.com\u002FTangent-90C) |\n| Llama3 | [llama3.ipynb](.\u002FModel_Architecture_Discussions\u002Fllama3\u002Fllama3-from-scratch.ipynb) | [@A10-research](https:\u002F\u002Fwww.aaaaaaaaaa.org\u002F) |\n| RWKV V2 | [rwkv-v2.ipynb](.\u002FModel_Architecture_Discussions\u002Frwkv-v2\u002Frwkv-v2-guide.ipynb) | [@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus) |\n| RWKV V3 | [rwkv-v3.ipynb](.\u002FModel_Architecture_Discussions\u002Frwkv-v3\u002Frwkv-v3-guide.ipynb) | [@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus) |\n| RWKV V4 | [rwkv-v4.ipynb](.\u002FModel_Architecture_Discussions\u002Frwkv-v4\u002Frwkv-v4-guide.ipynb) | [@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus) |\n| RWKV V5 | [rwkv-v5.ipynb](.\u002FModel_Architecture_Discussions\u002Frwkv-v5\u002Frwkv-v5-guide.ipynb) | [@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus) |\n| RWKV V6 | [rwkv-v6.ipynb](.\u002FModel_Architecture_Discussions\u002Frwkv-v6\u002Frwkv-v6-guide.ipynb) | [@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus) |\n| ChatGLM4 | [chatglm4.ipynb](.\u002FModel_Architecture_Discussions\u002FChatGLM4\u002Fchatglm4-guide.ipynb) | [@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus) |\n| MiniCPM | [minicpm.ipynb](.\u002FModel_Architecture_Discussions\u002FMiniCPM\u002FMiniCPM.ipynb) | [@0-yy-0](https:\u002F\u002Fgithub.com\u002F0-yy-0) |\n\n\n---\n\n\n\n\n\n---\n\n## 📅 路线图\n\n*注：规划未来任务，并通过 Issue 形式对外发布。*\n\n---\n\n## 👫 参与贡献\n\n- 如果你想参与到项目中，欢迎查看项目的 [Issue](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn\u002Fissues) 查看没有被分配的任务。\n- 如果你发现了问题，请在 [Issue](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn\u002Fissues) 中进行反馈🐛。\n- 如果你对本项目感兴趣，欢迎通过 [Discussion](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn\u002Fdiscussions) 进行交流💬。\n\n\u003Ccenter>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_llms-from-scratch-cn_readme_3ad2dbf0d3cb.jpg\" width=\"600px\">\n\u003C\u002Fcenter>\n\n\n\n- 项目受众\n- \n  - 技术背景：该项目适合有一定编程基础的人员，特别是对大型语言模型（LLM）感兴趣的开发者和研究者。\n  - 学习目标：适合那些希望深入了解LLM工作原理，并愿意投入时间从零开始构建和训练自己的LLM的学习者。\n  - 应用领域：适用于对自然语言处理、人工智能领域感兴趣的开发者，以及希望在教育或研究环境中应用LLM的人员。\n- 项目亮点\n\n  - 系统化学习：该项目提供了一个系统化的学习路径，从理论基础到实际编码，帮助学习者全面理解LLM。\n  - 实践导向：与仅仅介绍理论或API使用不同，该项目强调实践，让学习者通过实际操作来掌握LLM的开发和训练。\n  - 深入浅出：该项目以清晰的语言、图表和示例来解释复杂的概念，使得非专业背景的学习者也能较好地理解。\n\n\n\n如果你对 Datawhale 很感兴趣并想要发起一个新的项目，欢迎查看 [Datawhale 贡献指南](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002FDOPMC#%E4%B8%BA-datawhale-%E5%81%9A%E5%87%BA%E8%B4%A1%E7%8C%AE)。\n\n\n\n希望这个项目能够帮助你更好地理解和构建大型语言模型！ 🌐\n\n\n\n\n\n## 贡献者名单（教程部分）\n\n| 姓名   | 职责        | 简介         | GitHub |\n| :-----:| :----------:| :-----------:|:------:|\n| 陈可为 | 项目负责人  | 中国科学院大学 |[@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus)|\n| 王训志 | 第2章贡献者 | 南开大学     |[@aJupyter](https:\u002F\u002Fgithub.com\u002FaJupyter)|\n| 汪健麟 | 第2章贡献者 |              ||\n| Aria  | 第2章贡献者 |             |[@ariafyy](https:\u002F\u002Fgithub.com\u002Fariafyy)|\n| 汪健麟 | 第2章贡献者 |              ||\n| 张友东 | 第3章贡献者 |              ||\n| 邹雨衡 | 第3章贡献者 |              ||\n| 曹 妍  | 第3章贡献者 |              |[@SamanthaTso](https:\u002F\u002Fgithub.com\u002FSamanthaTso)|\n| 陈嘉诺 | 第4章贡献者 |   广州大学    |[@Tangent-90C](https:\u002F\u002Fgithub.com\u002FTangent-90C)|\n| 高立业 | 第4章贡献者 |              |[@0-yy-0](https:\u002F\u002Fgithub.com\u002F0-yy-0)|\n| 蒋文力 | 第4章贡献者 |              |[@morcake](https:\u002F\u002Fgithub.com\u002Fmorcake)|\n| 丁悦 | 第5章贡献者 | 哈尔滨工业大学（威海）|[@dingyue772](https:\u002F\u002Fgithub.com\u002Fdingyue772)|\n| 周景林 | 附录贡献者  |              |[@Beyondzjl](https:\u002F\u002Fgithub.com\u002FBeyondzjl)|\n| 陈可为 | 附录贡献者  |              |[@Ethan-Chen-plus](https:\u002F\u002Fgithub.com\u002FEthan-Chen-plus)|\n\n\n## 关注我们\n\n\u003Cdiv align=center>\n\u003Cp>扫描下方二维码关注公众号：Datawhale\u003C\u002Fp>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_llms-from-scratch-cn_readme_303cd5dfe9c5.jpeg\" width = \"180\" height = \"180\">\n\u003C\u002Fdiv>\n\n## LICENSE\n\n\u003Ca rel=\"license\" href=\"http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002F\">\u003Cimg alt=\"知识共享许可协议\" style=\"border-width:0\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-CC%20BY--NC--SA%204.0-lightgrey\" \u002F>\u003C\u002Fa>\u003Cbr \u002F>本作品采用\u003Ca rel=\"license\" href=\"http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002F\">知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议\u003C\u002Fa>进行许可。\n\n*注：默认使用CC 4.0协议，也可根据自身项目情况选用其他协议*","# llms-from-scratch-cn 快速上手指南\n\n## 环境准备\n\n本项目适合有一定 Python 和 PyTorch 基础的开发者。在开始之前，请确保你的开发环境满足以下要求：\n\n*   **操作系统**: Linux, macOS 或 Windows\n*   **Python**: 3.8 或更高版本 (推荐 3.10+)\n*   **核心依赖**:\n    *   `torch` (PyTorch)\n    *   `jupyter` (用于运行 Notebook)\n    *   `tiktoken` (分词器)\n    *   `matplotlib` (可视化)\n    *   `numpy`, `pandas` 等基础数据科学库\n\n> **💡 国内加速建议**\n> 推荐使用国内镜像源安装依赖，以提升下载速度：\n> *   PyTorch 官方国内源：`https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118` (根据 CUDA 版本调整)\n> *   Pip 清华源：`https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n## 安装步骤\n\n### 1. 克隆项目\n首先，将项目代码克隆到本地：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllms-from-scratch-cn.git\ncd llms-from-scratch-cn\n```\n\n### 2. 创建虚拟环境 (推荐)\n建议使用 `conda` 或 `venv` 创建独立的虚拟环境：\n\n```bash\n# 使用 conda\nconda create -n llms-scratch python=3.10\nconda activate llms-scratch\n\n# 或者使用 venv\npython -m venv llms-env\nsource llms-env\u002Fbin\u002Factivate  # Windows: llms-env\\Scripts\\activate\n```\n\n### 3. 安装依赖\n项目根目录下通常包含 `requirements.txt`。请使用国内镜像源进行安装：\n\n```bash\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n如果项目中未提供 `requirements.txt`，请手动安装核心库：\n\n```bash\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\npip install jupyter tiktoken matplotlib numpy pandas -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 基本使用\n\n本项目主要包含两部分内容：**基础教程代码** (`Codes`) 和 **模型架构讨论** (`Model_Architecture_Discussions`)。\n\n### 1. 运行基础教程 (从零实现 GPT)\n这是最核心的学习路径，带你从头编写代码构建 LLM。\n\n*   **启动 Jupyter Lab**:\n    ```bash\n    jupyter lab\n    ```\n*   **导航至章节目录**:\n    在浏览器中打开 `Codes\u002Fch02` (处理文本数据) 或 `Codes\u002Fch04` (实现 GPT 模型)。\n*   **运行示例**:\n    打开 `ch04.ipynb`，按顺序执行单元格。你将看到如何定义注意力机制、构建模型类以及进行简单的文本生成。\n\n    ```python\n    # 示例：在 ch04.ipynb 中实例化模型\n    import torch\n    from gpt import GPTModel\n\n    GPT_CONFIG_124M = {\n        \"vocab_size\": 50257,     # 词汇表大小\n        \"context_length\": 1024,  # 上下文长度\n        \"emb_dim\": 768,          # 嵌入维度\n        \"n_heads\": 12,           # 注意力头数\n        \"n_layers\": 12,          # 层数\n        \"drop_rate\": 0.1,\n        \"qkv_bias\": False\n    }\n\n    model = GPTModel(GPT_CONFIG_124M)\n    print(model)\n    ```\n\n### 2. 探索主流模型架构\n如果你想研究特定模型（如 Llama3, ChatGLM4, RWKV）的内部实现：\n\n*   进入 `Model_Architecture_Discussions` 目录。\n*   选择对应的模型文件夹，例如 `llama3` 或 `ChatGLM4`。\n*   运行对应的 `.ipynb` 文件（如 `llama3-from-scratch.ipynb`），加载配置文件并复现模型结构。\n\n### 3. 训练与生成\n在完成了第 5 章 (`Codes\u002Fch05`) 的学习后，你可以使用提供的脚本进行预训练：\n\n```bash\n# 进入第 5 章代码目录\ncd Codes\u002Fch05\u002F01_main-chapter-code\n\n# 运行训练脚本 (需准备数据集)\npython train.py\n\n# 运行文本生成脚本\npython generate.py\n```\n\n现在，你已经准备好开始深入理解并从头构建属于自己的大语言模型了！","某高校人工智能实验室的研究生团队正试图复现一篇关于改进 Transformer 注意力机制的学术论文，以便在低资源场景下验证其有效性。\n\n### 没有 llms-from-scratch-cn 时\n- **黑盒困境**：团队成员过度依赖 Hugging Face 等高层封装库，面对模型内部复杂的矩阵运算和注意力流向时如同“盲人摸象”，难以定位论文中提到的梯度消失具体发生在哪一层。\n- **试错成本高昂**：想要修改底层架构（如将标准注意力替换为线性注意力）需要阅读大量晦涩的源码，往往花费数周时间调试却因基础逻辑错误而一无所获。\n- **理论与实践脱节**：虽然熟读《Attention Is All You Need》等经典论文，但无法将公式转化为可运行的 PyTorch 代码，导致对 GLM4 或 Llama3 等现代架构的理解仅停留在概念层面。\n- **缺乏系统路径**：网上教程碎片化严重，从数据清洗到预训练的代码风格迥异，团队不得不自行拼凑流程，极易在数据对齐或损失函数计算上引入隐蔽 Bug。\n\n### 使用 llms-from-scratch-cn 后\n- **白盒化掌控**：通过跟随项目从 0 手写 GPT-like 模型，成员们清晰掌握了从文本分词、位置编码到多头注意力机制的每一行代码逻辑，迅速定位并复现了论文中的异常梯度问题。\n- **高效架构迭代**：借助项目中简洁易懂的 Notebook 代码结构，团队在几天内就完成了对 RWKV6 架构的拆解与修改，快速验证了自定义算子的有效性。\n- **深度原理内化**：项目提供的从预训练到微调的全流程实战，让成员真正理解了大模型如何“学会”语言，从而能针对性地设计实验来优化小样本学习效果。\n- **标准化学习曲线**：依托其系统化的章节安排，新手成员能在短时间内补齐短板，团队整体研发效率显著提升，不再被基础工程问题卡脖子。\n\nllms-from-scratch-cn 将大模型从神秘的“黑盒”变成了透明的“白盒”，让开发者真正具备了从零构建和深度定制大语言模型的核心能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_llms-from-scratch-cn_8437f02a.png","datawhalechina","Datawhale","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fdatawhalechina_f57a6118.png","for the learner，和学习者一起成长",null,"https:\u002F\u002Fdatawhale.cn","https:\u002F\u002Fgithub.com\u002Fdatawhalechina",[80,84],{"name":81,"color":82,"percentage":83},"Jupyter Notebook","#DA5B0B",73.1,{"name":85,"color":86,"percentage":87},"Python","#3572A5",26.9,4064,561,"2026-04-08T08:42:07","NOASSERTION","未说明",{"notes":94,"python":92,"dependencies":95},"该项目为教育性质的教程，旨在通过简洁的代码帮助学习者从零构建大语言模型。虽然 README 未明确列出具体版本要求，但提到只需具备 PyTorch 基础即可运行。项目包含从数据处理、注意力机制实现到模型预训练和微调的完整代码（Notebook 形式）。部分高级模型架构（如 Llama3, ChatGLM4, RWKV6）的实现细节可在 Model_Architecture_Discussions 目录中找到。建议参考原书仓库 (rasbt\u002FLLMs-from-scratch) 获取更详细的依赖环境配置。",[96],"PyTorch",[35,14],[99,100,101,102,103],"glm","llama","llm","rwkv","llms-from-scratch","2026-03-27T02:49:30.150509","2026-04-09T02:36:12.973427",[],[]]