[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-datawhalechina--happy-llm":3,"tool-datawhalechina--happy-llm":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",153609,2,"2026-04-13T11:34:59",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":32,"env_os":92,"env_gpu":93,"env_ram":93,"env_deps":94,"category_tags":100,"github_topics":101,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":105,"updated_at":106,"faqs":107,"releases":143},7196,"datawhalechina\u002Fhappy-llm","happy-llm","📚 从零开始构建大模型","Happy-LLM 是由 Datawhale 社区推出的开源学习项目，旨在帮助学习者从零开始系统掌握大语言模型（LLM）的核心原理与构建流程。针对许多初学者在了解大模型应用后，渴望深入理解其底层架构与训练机制却缺乏系统指引的痛点，该项目提供了一套完整的理论与实践教程。\n\n内容涵盖从 NLP 基础、Transformer 架构解析，到预训练语言模型原理及 LLM 训练策略的全链路知识。其独特亮点在于“授人以渔”的实战导向：不仅讲解理论，更引导用户亲手实现一个完整的 LLaMA2 模型，并演练从分词器训练、预训练到有监督微调（SFT）、LoRA 高效微调的全过程，同时涉及 RAG 检索增强与 Agent 智能体等前沿应用。\n\nHappy-LLM 非常适合希望深入 AI 底层的开发者、研究生及对大模型技术有浓厚兴趣的学习者使用。无论你是想夯实算法基础，还是计划动手搭建自己的大模型，都能通过这套免费、中文友好且持续更新的教程，循序渐进地探索大模型的浩瀚世界，将理论知识转化为实际的工程能力。","\u003Cdiv align='center'>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_happy-llm_readme_2e9e2c7adc5d.jpg\" alt=\"alt text\" width=\"100%\">\n    \u003Ch1>Happy-LLM\u003C\u002Fh1>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fdatawhalechina\u002Fhappy-llm?style=flat&logo=github\" alt=\"GitHub stars\"\u002F>\n  \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fforks\u002Fdatawhalechina\u002Fhappy-llm?style=flat&logo=github\" alt=\"GitHub forks\"\u002F>\n  \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flanguage-Chinese-brightgreen?style=flat\" alt=\"Language\"\u002F>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGitHub-Project-blue?style=flat&logo=github\" alt=\"GitHub Project\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fswanlab.cn\u002F@kmno4\u002FHappy-LLM\u002Foverview\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSwanHubX\u002Fassets\u002Fmain\u002Fbadge1.svg\" alt=\"SwanLab\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Ftrendshift.io\u002Frepositories\u002F14175\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_happy-llm_readme_17f4a7d6fa98.png\" alt=\"datawhalechina%2Fhappy-llm | Trendshift\" style=\"width: 250px; height: 55px;\" width=\"250\" height=\"55\"\u002F>\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n\n[中文](.\u002FREADME.md) | [English](.\u002FREADME_en.md)\n\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cp>\u003Ca href=\"https:\u002F\u002Fdatawhalechina.github.io\u002Fhappy-llm\u002F\">📚 在线阅读地址\u003C\u002Fa>\u003C\u002Fp>\n  \u003Ch3>📚 从零开始构建大模型\u003C\u002Fh3>\n  \u003Cp>\u003Cem>深入理解 LLM 核心原理，动手实现你的第一个大模型\u003C\u002Fem>\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n---\n\n## 🎯 项目介绍\n\n>   *很多小伙伴在看完 Datawhale开源项目： [self-llm 开源大模型食用指南](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fself-llm) 后，感觉意犹未尽，想要深入了解大语言模型的原理和训练过程。于是我们（Datawhale）决定推出《Happy-LLM》项目，旨在帮助大家深入理解大语言模型的原理和训练过程。*\n\n  本项目是一个**系统性的 LLM 学习教程**，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。同时，我们会结合目前 LLM 领域最主流的代码框架，演练如何亲手搭建、训练一个 LLM，期以实现授之以鱼，更授之以渔。希望大家能从这本书开始走入 LLM 的浩瀚世界，探索 LLM 的无尽可能。\n\n### ✨ 你将收获什么？\n\n- 📚 **Datawhale 开源免费** 完全免费的学习本项目所有内容\n- 🔍 **深入理解** Transformer 架构和注意力机制\n- 📚 **掌握** 预训练语言模型的基本原理\n- 🧠 **了解** 现有大模型的基本结构\n- 🏗️ **动手实现** 一个完整的 LLaMA2 模型\n- ⚙️ **掌握训练** 从预训练到微调的全流程\n- 🚀 **实战应用** RAG、Agent 等前沿技术\n\n## 📖 内容导航\n\n| 章节 | 关键内容 | 状态 |\n| --- | --- | --- |\n| [前言](.\u002Fdocs\u002F前言.md) | 本项目的缘起、背景及读者建议 | ✅ |\n| [第一章 NLP 基础概念](.\u002Fdocs\u002Fchapter1\u002F第一章%20NLP基础概念.md) | 什么是 NLP、发展历程、任务分类、文本表示演进 | ✅ |\n| [第二章 Transformer 架构](.\u002Fdocs\u002Fchapter2\u002F第二章%20Transformer架构.md) | 注意力机制、Encoder-Decoder、手把手搭建 Transformer | ✅ |\n| [第三章 预训练语言模型](.\u002Fdocs\u002Fchapter3\u002F第三章%20预训练语言模型.md) | Encoder-only、Encoder-Decoder、Decoder-Only 模型对比 | ✅ |\n| [第四章 大语言模型](.\u002Fdocs\u002Fchapter4\u002F第四章%20大语言模型.md) | LLM 定义、训练策略、涌现能力分析 | ✅ |\n| [第五章 动手搭建大模型](.\u002Fdocs\u002Fchapter5\u002F第五章%20动手搭建大模型.md) | 实现 LLaMA2、训练 Tokenizer、预训练小型 LLM | ✅ |\n| [第六章 大模型训练实践](.\u002Fdocs\u002Fchapter6\u002F第六章%20大模型训练流程实践.md) | 预训练、有监督微调、LoRA\u002FQLoRA 高效微调 | 🚧 |\n| [第七章 大模型应用](.\u002Fdocs\u002Fchapter7\u002F第七章%20大模型应用.md) | 模型评测、RAG 检索增强、Agent 智能体 | ✅ |\n| [Extra Chapter LLM Blog](.\u002FExtra-Chapter\u002F) | 优秀的大模型 学习笔记\u002FBlog ，欢迎大家来 PR ！| 🚧 |\n\n### Extra Chapter LLM Blog\n\n- [大模型都这么厉害了，微调0.6B的小模型有什么意义？](.\u002FExtra-Chapter\u002Fwhy-fine-tune-small-large-language-models\u002Freadme.md) @[不要葱姜蒜](https:\u002F\u002Fgithub.com\u002FKMnO4-zx) 2025-7-11\n\n- [Transformer 整体模块设计解读](.\u002FExtra-Chapter\u002Ftransformer-architecture\u002F) @[ditingdapeng](https:\u002F\u002Fgithub.com\u002Fditingdapeng) 2025-7-14\n\n- [文本数据处理详解](.\u002FExtra-Chapter\u002Ftext-data-processing\u002Freadme.md) @[蔡鋆捷](https:\u002F\u002Fgithub.com\u002Fxinala-781) 2025-7-14\n\n- [Qwen3-\"VL\"——超小中文多模态模型的“拼接微调”之路](.\u002FExtra-Chapter\u002Fvlm-concatenation-finetune\u002FREADME.md) @[ShaohonChen](https:\u002F\u002Fgithub.com\u002FShaohonChen) 2025-7-30\n\n- [S1: Thinking Budget with vLLM](.\u002FExtra-Chapter\u002Fs1-vllm-thinking-budget\u002Freadme.md) @[不要葱姜蒜](https:\u002F\u002Fgithub.com\u002Fkmno4-zx) 2025-8-03\n\n\n- [CDDRS: 使用细粒度语义信息指导增强的RAG检索方法](.\u002FExtra-Chapter\u002FCDDRS\u002Freadme.md) @[Hongru0306](https:\u002F\u002Fgithub.com\u002FHongru0306) 2025-8-21\n\n- [大模型生成 Token 的方式有哪些？](.\u002FExtra-Chapter\u002Fgeneration-method\u002Freadme.md) @[不要葱姜蒜](https:\u002F\u002Fgithub.com\u002Fkmno4-zx) 2025-10-17\n\n\n>   *如果大家在学习 Happy-LLM 项目或 LLM 相关知识中有自己独到的见解、认知、实践，欢迎大家 PR 在 [Extra Chapter LLM Blog](.\u002FExtra-Chapter\u002F) 中。请遵守 Extra Chapter LLM Blog 的 [PR 规范](.\u002FExtra-Chapter\u002FReadme.md)，我们会视 PR 内容的质量和价值来决定是否合并或补充到 Happy-LLM 正文中来。*\n\n### 模型下载\n\n| 模型名称 | 下载地址 |\n| --- | --- |\n| Happy-LLM-Chapter5-Base-215M | [🤖 ModelScope](https:\u002F\u002Fwww.modelscope.cn\u002Fmodels\u002Fkmno4zx\u002Fhappy-llm-215M-base) |\n| Happy-LLM-Chapter5-SFT-215M | [🤖 ModelScope](https:\u002F\u002Fwww.modelscope.cn\u002Fmodels\u002Fkmno4zx\u002Fhappy-llm-215M-sft) |\n\n> *ModelScope 创空间体验地址：[🤖 创空间](https:\u002F\u002Fwww.modelscope.cn\u002Fstudios\u002Fkmno4zx\u002Fhappy_llm_215M_sft)*\n\n\n### PDF 版本下载\n\n  ***本 Happy-LLM PDF 教程完全开源免费。为防止各类营销号加水印后贩卖给大模型初学者，我们特地在 PDF 文件中预先添加了不影响阅读的 Datawhale 开源标志水印，敬请谅解～***\n\n> *Happy-LLM PDF : https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Freleases\u002Ftag\u002Fv1.0.2*  \n\n### PPT 资源下载\n\n  ***本项目配套教学讲义PPT课件资源获取链接：https:\u002F\u002Fgithub.com\u002FHZAI-ZJNU\u002Fhappy-llm-ppt 或可在本项目的 [Releases](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Freleases) 页面下载。***\n\n## 💡 如何学习\n\n  本项目适合大学生、研究人员、LLM 爱好者。在学习本项目之前，建议具备一定的编程经验，尤其是要对 Python 编程语言有一定的了解。最好具备深度学习的相关知识，并了解 NLP 领域的相关概念和术语，以便更轻松地学习本项目。\n\n  本项目分为两部分——基础知识与实战应用。第1章～第4章是基础知识部分，从浅入深介绍 LLM 的基本原理。其中，第1章简单介绍 NLP 的基本任务和发展，为非 NLP 领域研究者提供参考；第2章介绍 LLM 的基本架构——Transformer，包括原理介绍及代码实现，作为 LLM 最重要的理论基础；第3章整体介绍经典的 PLM，包括 Encoder-Only、Encoder-Decoder 和 Decoder-Only 三种架构，也同时介绍了当前一些主流 LLM 的架构和思想；第4章则正式进入 LLM 部分，详细介绍 LLM 的特点、能力和整体训练过程。第5章～第7章是实战应用部分，将逐步带领大家深入 LLM 的底层细节。其中，第5章将带领大家者基于 PyTorch 层亲手搭建一个 LLM，并实现预训练、有监督微调的全流程；第6章将引入目前业界主流的 LLM 训练框架 Transformers，带领学习者基于该框架快速、高效地实现 LLM 训练过程；第7章则将介绍 基于 LLM 的各种应用，补全学习者对 LLM 体系的认知，包括 LLM 的评测、检索增强生成（Retrieval-Augmented Generation，RAG）、智能体（Agent）的思想和简单实现。你可以根据个人兴趣和需求，选择性地阅读相关章节。\n\n  在阅读本书的过程中，建议你将理论和实际相结合。LLM 是一个快速发展、注重实践的领域，我们建议你多投入实战，复现本书提供的各种代码，同时积极参加 LLM 相关的项目与比赛，真正投入到 LLM 开发的浪潮中。我们鼓励你关注 Datawhale 及其他 LLM 相关开源社区，当遇到问题时，你可以随时在本项目的 issue 区提问。\n\n  最后，欢迎每一位读者在学习完本项目后加入到 LLM 开发者的行列。作为国内 AI 开源社区，我们希望充分聚集共创者，一起丰富这个开源 LLM 的世界，打造更多、更全面特色 LLM 的教程。星火点点，汇聚成海。我们希望成为 LLM 与普罗大众的阶梯，以自由、平等的开源精神，拥抱更恢弘而辽阔的 LLM 世界。\n\n> - 中国计算机学会(CCF) × Datawhale × GitLink开源平台联合推出AI普惠课程，免费算力报名参加 [【报名地址】](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FP03f3e2vUUh7OxDP40Ra6w)[【GitLink 地址】](https:\u002F\u002Fgitlink.org.cn\u002Fdatawhalechina\u002Fhappy-llm)\n\n## 🤝 如何贡献\n\n我们欢迎任何形式的贡献！\n\n- 🐛 **报告 Bug** - 发现问题请提交 Issue\n- 💡 **功能建议** - 有好想法就告诉我们\n- 📝 **内容完善** - 帮助改进教程内容\n- 🔧 **代码优化** - 提交 Pull Request\n\n## 🙏 致谢\n\n### 核心贡献者\n- [宋志学-项目负责人](https:\u002F\u002Fgithub.com\u002FKMnO4-zx) (Datawhale成员)\n- [邹雨衡-项目负责人](https:\u002F\u002Fgithub.com\u002Flogan-zou) (Datawhale成员-对外经济贸易大学)\n- [朱信忠-指导专家](https:\u002F\u002Fxinzhongzhu.github.io\u002F)（Datawhale首席科学家-浙江师范大学杭州人工智能研究院教授）\n\n### Extra-Chapter 贡献者\n\n- [ditingdapeng](https:\u002F\u002Fgithub.com\u002Fditingdapeng)（内容贡献者-云原生基础架构工程师）\n- [蔡鋆捷](https:\u002F\u002Fgithub.com\u002Fxinala-781)（内容贡献者-福州大学）\n- [ShaohonChen](https:\u002F\u002Fgithub.com\u002FShaohonChen) （情感机器实验室研究员-西安电子科技大学在读硕士）\n- [肖鸿儒, 庄健琨](https:\u002F\u002Fgithub.com\u002FHongru0306) (内容贡献者-同济大学)\n\n### 特别感谢\n- 感谢 [@Sm1les](https:\u002F\u002Fgithub.com\u002FSm1les) 对本项目的帮助与支持\n- 感谢所有为本项目做出贡献的开发者们 ❤️\n\n\u003Cdiv align=center style=\"margin-top: 30px;\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Fgraphs\u002Fcontributors\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_happy-llm_readme_336a2a75ef8e.png\" \u002F>\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n## Star History\n\n\u003Cdiv align='center'>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_happy-llm_readme_91eb8156a020.png\" alt=\"Datawhale\" width=\"90%\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cp>⭐ 如果这个项目对你有帮助，请给我们一个 Star！\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n## 关于 Datawhale\n\n\u003Cdiv align='center'>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_happy-llm_readme_086a2253ad65.png\" alt=\"Datawhale\" width=\"30%\">\n    \u003Cp>扫描二维码关注 Datawhale 公众号，获取更多优质开源内容\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n---\n\n## 📜 开源协议\n\n本作品采用[知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议](http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002F)进行许可。\n","\u003Cdiv align='center'>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_happy-llm_readme_2e9e2c7adc5d.jpg\" alt=\"alt text\" width=\"100%\">\n    \u003Ch1>Happy-LLM\u003C\u002Fh1>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fdatawhalechina\u002Fhappy-llm?style=flat&logo=github\" alt=\"GitHub stars\"\u002F>\n  \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fforks\u002Fdatawhalechina\u002Fhappy-llm?style=flat&logo=github\" alt=\"GitHub forks\"\u002F>\n  \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flanguage-Chinese-brightgreen?style=flat\" alt=\"Language\"\u002F>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGitHub-Project-blue?style=flat&logo=github\" alt=\"GitHub Project\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fswanlab.cn\u002F@kmno4\u002FHappy-LLM\u002Foverview\">\u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002FSwanHubX\u002Fassets\u002Fmain\u002Fbadge1.svg\" alt=\"SwanLab\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Ftrendshift.io\u002Frepositories\u002F14175\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_happy-llm_readme_17f4a7d6fa98.png\" alt=\"datawhalechina%2Fhappy-llm | Trendshift\" style=\"width: 250px; height: 55px;\" width=\"250\" height=\"55\"\u002F>\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n\n[中文](.\u002FREADME.md) | [English](.\u002FREADME_en.md)\n\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cp>\u003Ca href=\"https:\u002F\u002Fdatawhalechina.github.io\u002Fhappy-llm\u002F\">📚 在线阅读地址\u003C\u002Fa>\u003C\u002Fp>\n  \u003Ch3>📚 从零开始构建大模型\u003C\u002Fh3>\n  \u003Cp>\u003Cem>深入理解 LLM 核心原理，动手实现你的第一个大模型\u003C\u002Fem>\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n---\n\n## 🎯 项目介绍\n\n>   *很多小伙伴在看完 Datawhale开源项目： [self-llm 开源大模型食用指南](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fself-llm) 后，感觉意犹未尽，想要深入了解大语言模型的原理和训练过程。于是我们（Datawhale）决定推出《Happy-LLM》项目，旨在帮助大家深入理解大语言模型的原理和训练过程。*\n\n  本项目是一个**系统性的 LLM 学习教程**，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。同时，我们会结合目前 LLM 领域最主流的代码框架，演练如何亲手搭建、训练一个 LLM，期以实现授之以鱼，更授之以渔。希望大家能从这本书开始走入 LLM 的浩瀚世界，探索 LLM 的无尽可能。\n\n### ✨ 你将收获什么？\n\n- 📚 **Datawhale 开源免费** 完全免费的学习本项目所有内容\n- 🔍 **深入理解** Transformer 架构和注意力机制\n- 📚 **掌握** 预训练语言模型的基本原理\n- 🧠 **了解** 现有大模型的基本结构\n- 🏗️ **动手实现** 一个完整的 LLaMA2 模型\n- ⚙️ **掌握训练** 从预训练到微调的全流程\n- 🚀 **实战应用** RAG、Agent 等前沿技术\n\n## 📖 内容导航\n\n| 章节 | 关键内容 | 状态 |\n| --- | --- | --- |\n| [前言](.\u002Fdocs\u002F前言.md) | 本项目的缘起、背景及读者建议 | ✅ |\n| [第一章 NLP 基础概念](.\u002Fdocs\u002Fchapter1\u002F第一章%20NLP基础概念.md) | 什么是 NLP、发展历程、任务分类、文本表示演进 | ✅ |\n| [第二章 Transformer 架构](.\u002Fdocs\u002Fchapter2\u002F第二章%20Transformer架构.md) | 注意力机制、Encoder-Decoder、手把手搭建 Transformer | ✅ |\n| [第三章 预训练语言模型](.\u002Fdocs\u002Fchapter3\u002F第三章%20预训练语言模型.md) | Encoder-only、Encoder-Decoder、Decoder-Only 模型对比 | ✅ |\n| [第四章 大语言模型](.\u002Fdocs\u002Fchapter4\u002F第四章%20大语言模型.md) | LLM 定义、训练策略、涌现能力分析 | ✅ |\n| [第五章 动手搭建大模型](.\u002Fdocs\u002Fchapter5\u002F第五章%20动手搭建大模型.md) | 实现 LLaMA2、训练 Tokenizer、预训练小型 LLM | ✅ |\n| [第六章 大模型训练实践](.\u002Fdocs\u002Fchapter6\u002F第六章%20大模型训练流程实践.md) | 预训练、有监督微调、LoRA\u002FQLoRA 高效微调 | 🚧 |\n| [第七章 大模型应用](.\u002Fdocs\u002Fchapter7\u002F第七章%20大模型应用.md) | 模型评测、RAG 检索增强、Agent 智能体 | ✅ |\n| [Extra Chapter LLM Blog](.\u002FExtra-Chapter\u002F) | 优秀的大模型 学习笔记\u002FBlog ，欢迎大家来 PR ！| 🚧 |\n\n### Extra Chapter LLM Blog\n\n- [大模型都这么厉害了，微调0.6B的小模型有什么意义？](.\u002FExtra-Chapter\u002Fwhy-fine-tune-small-large-language-models\u002Freadme.md) @[不要葱姜蒜](https:\u002F\u002Fgithub.com\u002FKMnO4-zx) 2025-7-11\n\n- [Transformer 整体模块设计解读](.\u002FExtra-Chapter\u002Ftransformer-architecture\u002F) @[ditingdapeng](https:\u002F\u002Fgithub.com\u002Fditingdapeng) 2025-7-14\n\n- [文本数据处理详解](.\u002FExtra-Chapter\u002Ftext-data-processing\u002Freadme.md) @[蔡鋆捷](https:\u002F\u002Fgithub.com\u002Fxinala-781) 2025-7-14\n\n- [Qwen3-\"VL\"——超小中文多模态模型的“拼接微调”之路](.\u002FExtra-Chapter\u002Fvlm-concatenation-finetune\u002FREADME.md) @[ShaohonChen](https:\u002F\u002Fgithub.com\u002FShaohonChen) 2025-7-30\n\n- [S1: Thinking Budget with vLLM](.\u002FExtra-Chapter\u002Fs1-vllm-thinking-budget\u002Freadme.md) @[不要葱姜蒜](https:\u002F\u002Fgithub.com\u002Fkmno4-zx) 2025-8-03\n\n\n- [CDDRS: 使用细粒度语义信息指导增强的RAG检索方法](.\u002FExtra-Chapter\u002FCDDRS\u002Freadme.md) @[Hongru0306](https:\u002F\u002Fgithub.com\u002FHongru0306) 2025-8-21\n\n- [大模型生成 Token 的方式有哪些？](.\u002FExtra-Chapter\u002Fgeneration-method\u002Freadme.md) @[不要葱姜蒜](https:\u002F\u002Fgithub.com\u002Fkmno4-zx) 2025-10-17\n\n\n>   *如果大家在学习 Happy-LLM 项目或 LLM 相关知识中有自己独到的见解、认知、实践，欢迎大家 PR 在 [Extra Chapter LLM Blog](.\u002FExtra-Chapter\u002F) 中。请遵守 Extra Chapter LLM Blog 的 [PR 规范](.\u002FExtra-Chapter\u002FReadme.md)，我们会视 PR 内容的质量和价值来决定是否合并或补充到 Happy-LLM 正文中来。*\n\n### 模型下载\n\n| 模型名称 | 下载地址 |\n| --- | --- |\n| Happy-LLM-Chapter5-Base-215M | [🤖 ModelScope](https:\u002F\u002Fwww.modelscope.cn\u002Fmodels\u002Fkmno4zx\u002Fhappy-llm-215M-base) |\n| Happy-LLM-Chapter5-SFT-215M | [🤖 ModelScope](https:\u002F\u002Fwww.modelscope.cn\u002Fmodels\u002Fkmno4zx\u002Fhappy-llm-215M-sft) |\n\n> *ModelScope 创空间体验地址：[🤖 创空间](https:\u002F\u002Fwww.modelscope.cn\u002Fstudios\u002Fkmno4zx\u002Fhappy_llm_215M_sft)*\n\n\n### PDF 版本下载\n\n  ***本 Happy-LLM PDF 教程完全开源免费。为防止各类营销号加水印后贩卖给大模型初学者，我们特地在 PDF 文件中预先添加了不影响阅读的 Datawhale 开源标志水印，敬请谅解～***\n\n> *Happy-LLM PDF : https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Freleases\u002Ftag\u002Fv1.0.2*  \n\n### PPT 资源下载\n\n  ***本项目配套教学讲义PPT课件资源获取链接：https:\u002F\u002Fgithub.com\u002FHZAI-ZJNU\u002Fhappy-llm-ppt 或可在本项目的 [Releases](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Freleases) 页面下载。***\n\n## 💡 如何学习\n\n  本项目适合大学生、研究人员、LLM 爱好者。在学习本项目之前，建议具备一定的编程经验，尤其是要对 Python 编程语言有一定的了解。最好具备深度学习的相关知识，并了解 NLP 领域的相关概念和术语，以便更轻松地学习本项目。\n\n  本项目分为两部分——基础知识与实战应用。第1章～第4章是基础知识部分，从浅入深介绍 LLM 的基本原理。其中，第1章简单介绍 NLP 的基本任务和发展，为非 NLP 领域研究者提供参考；第2章介绍 LLM 的基本架构——Transformer，包括原理介绍及代码实现，作为 LLM 最重要的理论基础；第3章整体介绍经典的 PLM，包括 Encoder-Only、Encoder-Decoder 和 Decoder-Only 三种架构，也同时介绍了当前一些主流 LLM 的架构和思想；第4章则正式进入 LLM 部分，详细介绍 LLM 的特点、能力和整体训练过程。第5章～第7章是实战应用部分，将逐步带领大家深入 LLM 的底层细节。其中，第5章将带领大家者基于 PyTorch 层亲手搭建一个 LLM，并实现预训练、有监督微调的全流程；第6章将引入目前业界主流的 LLM 训练框架 Transformers，带领学习者基于该框架快速、高效地实现 LLM 训练过程；第7章则将介绍 基于 LLM 的各种应用，补全学习者对 LLM 体系的认知，包括 LLM 的评测、检索增强生成（Retrieval-Augmented Generation，RAG）、智能体（Agent）的思想和简单实现。你可以根据个人兴趣和需求，选择性地阅读相关章节。\n\n  在阅读本书的过程中，建议你将理论和实际相结合。LLM 是一个快速发展、注重实践的领域，我们建议你多投入实战，复现本书提供的各种代码，同时积极参加 LLM 相关的项目与比赛，真正投入到 LLM 开发的浪潮中。我们鼓励你关注 Datawhale 及其他 LLM 相关开源社区，当遇到问题时，你可以随时在本项目的 issue 区提问。\n\n  最后，欢迎每一位读者在学习完本项目后加入到 LLM 开发者的行列。作为国内 AI 开源社区，我们希望充分聚集共创者，一起丰富这个开源 LLM 的世界，打造更多、更全面特色 LLM 的教程。星火点点，汇聚成海。我们希望成为 LLM 与普罗大众的阶梯，以自由、平等的开源精神，拥抱更恢弘而辽阔的 LLM 世界。\n\n> - 中国计算机学会(CCF) × Datawhale × GitLink开源平台联合推出AI普惠课程，免费算力报名参加 [【报名地址】](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FP03f3e2vUUh7OxDP40Ra6w)[【GitLink 地址】](https:\u002F\u002Fgitlink.org.cn\u002Fdatawhalechina\u002Fhappy-llm)\n\n## 🤝 如何贡献\n\n我们欢迎任何形式的贡献！\n\n- 🐛 **报告 Bug** - 发现问题请提交 Issue\n- 💡 **功能建议** - 有好想法就告诉我们\n- 📝 **内容完善** - 帮助改进教程内容\n- 🔧 **代码优化** - 提交 Pull Request\n\n## 🙏 致谢\n\n### 核心贡献者\n- [宋志学-项目负责人](https:\u002F\u002Fgithub.com\u002FKMnO4-zx) (Datawhale成员)\n- [邹雨衡-项目负责人](https:\u002F\u002Fgithub.com\u002Flogan-zou) (Datawhale成员-对外经济贸易大学)\n- [朱信忠-指导专家](https:\u002F\u002Fxinzhongzhu.github.io\u002F)（Datawhale首席科学家-浙江师范大学杭州人工智能研究院教授）\n\n### Extra-Chapter 贡献者\n\n- [ditingdapeng](https:\u002F\u002Fgithub.com\u002Fditingdapeng)（内容贡献者-云原生基础架构工程师）\n- [蔡鋆捷](https:\u002F\u002Fgithub.com\u002Fxinala-781)（内容贡献者-福州大学）\n- [ShaohonChen](https:\u002F\u002Fgithub.com\u002FShaohonChen) （情感机器实验室研究员-西安电子科技大学在读硕士）\n- [肖鸿儒, 庄健琨](https:\u002F\u002Fgithub.com\u002FHongru0306) (内容贡献者-同济大学)\n\n### 特别感谢\n- 感谢 [@Sm1les](https:\u002F\u002Fgithub.com\u002FSm1les) 对本项目的帮助与支持\n- 感谢所有为本项目做出贡献的开发者们 ❤️\n\n\u003Cdiv align=center style=\"margin-top: 30px;\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Fgraphs\u002Fcontributors\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_happy-llm_readme_336a2a75ef8e.png\" \u002F>\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n## 星标历史\n\n\u003Cdiv align='center'>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_happy-llm_readme_91eb8156a020.png\" alt=\"Datawhale\" width=\"90%\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cp>⭐ 如果这个项目对你有帮助，请给我们一个 Star！\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n## 关于 Datawhale\n\n\u003Cdiv align='center'>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_happy-llm_readme_086a2253ad65.png\" alt=\"Datawhale\" width=\"30%\">\n    \u003Cp>扫描二维码关注 Datawhale 公众号，获取更多优质开源内容\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n---\n\n## 📜 开源协议\n\n本作品采用[知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议](http:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002F)进行许可。","# Happy-LLM 快速上手指南\n\nHappy-LLM 是一个由 Datawhale 推出的系统性大语言模型（LLM）学习教程，旨在帮助开发者从零开始理解 LLM 原理，并动手实现从预训练到微调的全流程。本指南将带你快速搭建环境并运行项目代码。\n\n## 1. 环境准备\n\n在开始之前，请确保你的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐), macOS, 或 Windows (WSL2)\n*   **Python 版本**: >= 3.8 (推荐 3.9 或 3.10)\n*   **硬件要求**: \n    *   学习基础原理：普通 CPU 即可\n    *   复现训练代码（第 5-6 章）：建议配备 NVIDIA GPU (显存 >= 8GB)，支持 CUDA 11.7+\n*   **前置知识**: 具备 Python 编程基础，了解深度学习及 NLP 基本概念。\n\n### 安装依赖\n\n推荐使用 `conda` 创建独立的虚拟环境。为方便国内用户下载，以下命令配置了清华镜像源。\n\n```bash\n# 1. 创建虚拟环境\nconda create -n happy-llm python=3.9 -y\nconda activate happy-llm\n\n# 2. 配置 pip 国内镜像 (可选，加速下载)\npip config set global.index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 3. 安装 PyTorch (根据你的 CUDA 版本选择，以下为通用 CPU\u002FGPU 兼容安装示例)\n# 若需纯 GPU 版本，请访问 pytorch.org 获取对应命令\npip install torch torchvision torchaudio\n\n# 4. 克隆项目代码\ngit clone https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm.git\ncd happy-llm\n\n# 5. 安装项目所需依赖\npip install -r requirements.txt\n```\n\n> **注意**：如果 `requirements.txt` 未包含所有特定章节的依赖，请参考对应章节文档（如 `docs\u002Fchapter5`）进行额外安装，通常涉及 `transformers`, `datasets`, `accelerate` 等库。\n\n## 2. 基本使用\n\n本项目核心在于“动手实现”。以下以**第五章：动手搭建大模型**为例，演示如何运行一个简单的预训练流程。\n\n### 步骤一：准备数据与代码\n进入第五章的代码目录（假设结构如下，具体路径请以实际仓库为准）：\n\n```bash\ncd docs\u002Fchapter5\u002Fcode\n```\n\n### 步骤二：运行 Tokenizer 训练\n首先需要对文本数据进行分词处理。\n\n```bash\npython train_tokenizer.py --data_path ..\u002Fdata\u002Fsample_text.txt --vocab_size 5000\n```\n\n### 步骤三：运行模型预训练\n使用构建好的 LLaMA2 架构代码进行小型模型的预训练。\n\n```bash\npython pretrain.py \\\n    --model_config config\u002Fllama2_small.json \\\n    --data_path ..\u002Fdata\u002Fsample_text.txt \\\n    --output_dir .\u002Foutputs\u002Fpretrain_demo \\\n    --epochs 1\n```\n\n### 步骤四：体验微调后的模型 (可选)\n如果你已下载官方提供的微调模型权重，可以使用以下代码进行推理测试：\n\n```python\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\nimport torch\n\n# 加载本地模型或使用 ModelScope 下载的模型路径\nmodel_path = \".\u002Foutputs\u002Fsft_demo\" # 或替换为下载后的模型路径\ntokenizer = AutoTokenizer.from_pretrained(model_path)\nmodel = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.float16, device_map=\"auto\")\n\ninput_text = \"你好，请介绍一下大语言模型。\"\ninputs = tokenizer(input_text, return_tensors=\"pt\").to(model.device)\n\noutputs = model.generate(**inputs, max_new_tokens=50)\nprint(tokenizer.decode(outputs[0], skip_special_tokens=True))\n```\n\n## 3. 模型资源下载\n\n为了节省训练时间，你可以直接下载本项目提供的预训练模型进行学习和评测：\n\n| 模型名称 | 描述 | 下载地址 |\n| :--- | :--- | :--- |\n| **Happy-LLM-Base-215M** | 基座模型 (预训练) | [ModelScope](https:\u002F\u002Fwww.modelscope.cn\u002Fmodels\u002Fkmno4zx\u002Fhappy-llm-215M-base) |\n| **Happy-LLM-SFT-215M** | 指令微调模型 | [ModelScope](https:\u002F\u002Fwww.modelscope.cn\u002Fmodels\u002Fkmno4zx\u002Fhappy-llm-215M-sft) |\n\n**在线体验**:\n无需本地部署，可直接在 [ModelScope 创空间](https:\u002F\u002Fwww.modelscope.cn\u002Fstudios\u002Fkmno4zx\u002Fhappy_llm_215M_sft) 体验 SFT 版本模型。\n\n---\n*更多详细内容（如 Transformer 架构解析、RAG 应用实战等），请查阅项目根目录下的 `docs` 文件夹或访问 [在线阅读地址](https:\u002F\u002Fdatawhalechina.github.io\u002Fhappy-llm\u002F)。*","某高校人工智能实验室的研究生团队正试图复现 LLaMA2 架构，以深入理解大模型从预训练到微调的全流程机制。\n\n### 没有 happy-llm 时\n- **理论脱节实践**：团队成员虽熟读 Transformer 论文，但面对从零搭建编码器 - 解码器架构时，不知如何将注意力机制转化为可运行代码。\n- **资料碎片化严重**：需在全网搜寻分散的教程拼凑预训练、Tokenizer 训练及 LoRA 微调知识，缺乏系统性的学习路径指引。\n- **试错成本高昂**：在自行摸索模型训练流程时，常因超参数设置错误或数据预处理不当导致训练失败，却难以定位核心原因。\n- **前沿应用盲区**：仅停留在基础模型构建，对 RAG 检索增强和 Agent 智能体等落地技术缺乏实操演练机会。\n\n### 使用 happy-llm 后\n- **手把手代码实现**：依托第五章内容，团队逐行复现了完整的 LLaMA2 模型，将抽象的注意力机制原理直接映射为可调试的工程代码。\n- **系统化进阶路径**：跟随从 NLP 基础到大模型应用的七章教程，清晰掌握了从预训练到有监督微调的标准化全流程。\n- **高效避坑指南**：结合主流代码框架的实战演练，快速解决了训练不稳定等问题，显著缩短了从环境搭建到模型收敛的周期。\n- **全栈技术覆盖**：通过第七章及 Extra Blog 的最新案例，成功将模型应用于 RAG 问答系统，实现了从“懂原理”到“能落地”的跨越。\n\nhappy-llm 不仅是一本教程，更是一座连接大模型理论与工程实战的桥梁，让开发者真正具备从零构建并优化专属大模型的核心能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_happy-llm_2e9e2c7a.jpg","datawhalechina","Datawhale","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fdatawhalechina_f57a6118.png","for the learner，和学习者一起成长",null,"https:\u002F\u002Fdatawhale.cn","https:\u002F\u002Fgithub.com\u002Fdatawhalechina",[80,84],{"name":81,"color":82,"percentage":83},"Jupyter Notebook","#DA5B0B",91.9,{"name":85,"color":86,"percentage":87},"Python","#3572A5",8.1,28741,2669,"2026-04-13T13:34:42","NOASSERTION","","未说明",{"notes":95,"python":96,"dependencies":97},"本项目为系统性 LLM 学习教程，涵盖从原理到实战（预训练、微调、RAG、Agent）的全流程。第 5 章需基于 PyTorch 从零搭建模型，第 6 章使用 Transformers 框架进行高效微调。建议学习者具备深度学习及 NLP 基础知识。项目提供 215M 参数量的模型供下载和实践。","建议具备 Python 编程经验，具体版本未说明",[98,99],"PyTorch","Transformers",[13,35,14],[102,103,104],"agent","llm","rag","2026-03-27T02:49:30.150509","2026-04-14T03:13:25.630866",[108,113,118,123,128,133,138],{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},32291,"预训练或微调时出现 'loss' 和 'loss_mask' 维度不匹配的 RuntimeError 怎么办？","这通常是由数据并行（Data Parallelism）配置引起的。当使用多卡训练（如 4 卡）且 batch size 较大时，张量在不同设备间的切分可能导致维度计算不一致。请检查分布式训练脚本中的数据加载和掩码处理逻辑，确保在展平（view(-1)）之前各进程的维度对齐，或者确认该问题是否仅在特定迭代步数出现。","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Fissues\u002F95",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},32292,"SFT 训练时 Loss 一直显示为 NaN 是什么原因？","这通常是由于 `apply_chat_template` 中的键名不匹配导致的。训练用的 tokenizer 模板中定义的角色键名必须是 \"role\" 和 \"content\"，内容键名必须是 \"content\"。如果提供的 SFT 数据集中使用的是 \"from\" 和 \"value\" 等键名，会导致模板匹配失败从而产生 NaN。解决方法是修改数据集 JSON 文件，将角色键名改为 \"role\"，内容键名改为 \"content\"，使其符合模板要求。","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Fissues\u002F50",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},32293,"Tokenizer 的 vocab.json 文件中为什么看不到中文字符，是否正常？","这是正常的。中文在计算机中以 Unicode 码形式存储，该 Tokenizer 可以编码任何语言（包括中文），并不需要在 vocab 文件中直接显示汉字字符。可以通过运行 `train_tokenizer.py` 文件中的 `eval_tokenizer` 函数来查看具体的编码情况，验证中文是否被正确编码。","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Fissues\u002F17",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},32294,"DecoderLayer 的 forward 函数中，先做 LayerNorm 再做残差连接，是否会丢失原始输入信息？","是的，原代码逻辑存在错误。如果在残差连接之前直接对输入 `x` 进行了归一化赋值（`x = self.attention_norm_1(x)`），那么后续执行 `x = x + ...` 时，加上的已经是归一化后的值而非原始输入，这违背了残差网络保留原始信息辅助学习的初衷。该问题已被维护者确认并修正，正确的逻辑应是在计算残差分支时使用归一化后的值，但保留原始 `x` 用于加法操作，或使用临时变量存储归一化结果。","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Fissues\u002F21",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},32295,"文档中的数学公式（如 Softmax）显示不全或格式错误怎么办？","这是 Markdown 中 LaTeX 公式渲染的问题。例如原始公式 `$$softmax(x)i = ...$$` 可能因下标语法不规范导致显示异常。建议修改为标准的 LaTeX 格式，如 `$$\\text{softmax}(x)_i = \\frac{e^{x_i}}{\\sum_{j=1}^{n} e^{x_j}}$$`，确保下标使用 `_` 且包含在花括号中，求和符号明确指定范围。维护者已针对此类问题进行修复。","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Fissues\u002F2",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},32296,"仓库 Readme 或文档章节中的图片链接全部失效（挂了）是怎么回事？","如果本地查看图片显示正常但在线文档（GitHub Pages）显示破裂，通常是网络问题或部署配置问题。该项目文档是使用 `docsify` 部署在 GitHub Pages 上的，而非 GitBook。如果所有图片都无法加载，请检查网络连接，或确认是否使用了正确的文档访问地址（如 `https:\u002F\u002Fdatawhalechina.github.io\u002Fhappy-llm\u002F`）。如果是本地预览，请确保静态资源路径配置正确。","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Fissues\u002F105",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},32297,"Agent Demo 调用时出现 'messages with role \"tool\" must be a response to a preceeding message with \"tool_calls\"' 错误如何解决？","这是因为 OpenAI API 对工具调用消息的顺序有严格要求。当模型返回 `tool_calls` 后，下一条发送给模型的消息必须包含 `role: \"tool\"` 的执行结果，且该消息必须紧接在包含 `tool_calls` 的 assistant 消息之后。代码中需要确保在追加工具执行结果消息前，已经正确保存了带有 `tool_calls` 的 assistant 回复，并且消息列表的顺序严格遵循：User -> Assistant(with tool_calls) -> Tool(result) -> Assistant(final)。","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\u002Fissues\u002F56",[144,149,154],{"id":145,"version":146,"summary_zh":147,"released_at":148},247104,"v1.0.2","## Happy-LLM v1.0.2 0129 PPT 发布！\n\n- 新增配套教学讲义PPT课件资源。\n\n  **_本 Happy-LLM PDF 教程完全开源免费。为防止各类营销号加水印后贩卖给大模型初学者，我们特地在 PDF 文件中预先添加了不影响阅读的 Datawhale 开源标志水印，敬请谅解～_**\n\n  **_此 Happy-LLM PDF 教程完全开源且免费。为避免第三方营销账号在文件上添加水印并转售给大模型初学者，我们在 PDF 文件中预先加入了不影响阅读体验的 Datawhale 开源标志水印，请您理解~_**\n\n> 在线阅读地址：https:\u002F\u002Fdatawhalechina.github.io\u002Fhappy-llm\u002F\n> Happy-LLM：https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\n> PPT 获取地址：https:\u002F\u002Fgithub.com\u002FHZAI-ZJNU\u002Fhappy-llm-ppt\n> Datawhale ：https:\u002F\u002Fwww.datawhale.cn\u002Fhome\n\n","2026-01-29T06:35:12",{"id":150,"version":151,"summary_zh":152,"released_at":153},247105,"v1.0.1","## Happy-LLM v1.0.1 0727 发布！\n\n- 优化章节内容，修改部分语言错误。\n- 优化图片排版。\n\n  **_本 Happy-LLM PDF 教程完全开源免费。为防止各类营销号加水印后贩卖给大模型初学者，我们特地在 PDF 文件中预先添加了不影响阅读的 Datawhale 开源标志水印，敬请谅解～_**\n\n  **_此 Happy-LLM PDF 教程完全开源且免费。为避免第三方营销账号在文件上添加水印并转售给大模型初学者，我们已在 PDF 文件中预先添加了一个不影响阅读的 Datawhale 开源 logo 水印，请您理解～_**\n\n> 在线阅读地址：https:\u002F\u002Fdatawhalechina.github.io\u002Fhappy-llm\u002F\n> Happy-LLM：https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\n> Datawhale ：https:\u002F\u002Fwww.datawhale.cn\u002Fhome\n\n","2025-07-27T13:56:51",{"id":155,"version":156,"summary_zh":157,"released_at":158},247106,"PDF","  **_本 Happy-LLM PDF 教程完全开源免费。为防止各类营销号加水印后贩卖给大模型初学者，我们特地在 PDF 文件中预先添加了不影响阅读的 Datawhale 开源标志水印，敬请谅解～_**\r\n\r\n  **_本 Happy-LLM PDF 教程完全开源免费。为防止各类营销号加水印后贩卖给大模型初学者，我们特地在 PDF 文件中预先添加了不影响阅读的 Datawhale 开源标志水印，敬请谅解～_**\r\n\r\n> 在线阅读地址：https:\u002F\u002Fdatawhalechina.github.io\u002Fhappy-llm\u002F\r\n> Happy-LLM：https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm\r\n> Datawhale ：https:\u002F\u002Fwww.datawhale.cn\u002Fhome\r\n> Happy-LLM PDF 国内下载地址 : https:\u002F\u002Fwww.datawhale.cn\u002Flearn\u002Fsummary\u002F179\r\n\r\n","2025-06-10T08:31:26"]