[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-MLNLP-World--LLMs-from-scratch-CN":3,"tool-MLNLP-World--LLMs-from-scratch-CN":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":95,"forks":96,"last_commit_at":97,"license":98,"difficulty_score":10,"env_os":99,"env_gpu":99,"env_ram":99,"env_deps":100,"category_tags":106,"github_topics":79,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":107,"updated_at":108,"faqs":109,"releases":115},606,"MLNLP-World\u002FLLMs-from-scratch-CN","LLMs-from-scratch-CN","LLMs-from-scratch项目中文翻译","LLMs-from-scratch-CN 是经典开源项目《LLMs-from-scratch》的中文汉化版本，致力于让中文学习者无障碍地掌握大语言模型的核心技术。该项目完整保留了原版的 Markdown 笔记与 Jupyter 代码，并增加了详细的中文注释，有效解决了非英语母语者在阅读原始技术资料时的语言障碍和理解困难。\n\n它特别适合想要深入理解 AI 底层逻辑的开发者、算法工程师及高校学生。通过跟随教程，用户可以从零开始构建类似 GPT 的大模型，亲手实践 Transformer 架构、序列建模、预训练及微调等关键环节，而非仅仅调用现成接口。\n\nLLMs-from-scratch-CN 的独特亮点在于“代码即教材”，每一章节都配有可运行的 Python 实现，将抽象的理论转化为具体的工程实践。此外，项目还整合了丰富的拓展资源，帮助大家系统性地建立知识体系。无论你是初学者还是希望巩固基础的研究者，这里都是探索大模型奥秘的优质起点。","\r\n\u003Cp align=\"center\">\r\n\u003Ch1 align=\"center\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_4a68fc05df57.png\" width=\"30\" \u002F>《从零构建大模型》\u003C\u002Fh1>\r\n\u003C\u002Fp>\r\n\u003Cp align=\"center\">\r\n    \u003Ca href=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fversion-v0.1.0-blue\">\r\n      \u003Cimg alt=\"version\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fversion-v0.1.0-blue?color=FF8000?color=009922\" \u002F>\r\n    \u003C\u002Fa>\r\n  \u003Ca >\r\n       \u003Cimg alt=\"Status-building\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FStatus-building-blue\" \u002F>\r\n    \u003C\u002Fa>\r\n  \u003Ca >\r\n       \u003Cimg alt=\"PRs-Welcome\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPRs-Welcome-red\" \u002F>\r\n    \u003C\u002Fa>\r\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN\u002Fstargazers\">\r\n       \u003Cimg alt=\"stars\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FMLNLP-World\u002FLLMs-from-scratch-CN\" \u002F>\r\n    \u003C\u002Fa>\r\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN\u002Fnetwork\u002Fmembers\">\r\n       \u003Cimg alt=\"FORK\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fforks\u002FMLNLP-World\u002FLLMs-from-scratch-CN?color=FF8000\" \u002F>\r\n    \u003C\u002Fa>\r\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN\u002Fissues\">\r\n      \u003Cimg alt=\"Issues\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fissues\u002FMLNLP-World\u002FLLMs-from-scratch-CN?color=0088ff\"\u002F>\r\n    \u003C\u002Fa>\r\n    \u003Cbr \u002F>\r\n\u003C\u002Fp>\r\n\r\n\u003Cdiv align=\"center\">\r\n\u003Cp align=\"center\">\r\n  \u003Ca href=\"#项目动机\">项目动机\u003C\u002Fa>\u002F\r\n  \u003Ca href=\"#课程简介\">课程简介\u003C\u002Fa>\u002F\r\n  \u003Ca href=\"#课程资源\">课程资源\u003C\u002Fa>\u002F\r\n  \u003Ca href=\"#原书Readme\">原书Readme\u003C\u002Fa>\u002F\r\n  \u003Ca href=\"#贡献者\">贡献者\u003C\u002Fa>\r\n\u003C\u002Fp>\r\n\u003C\u002Fdiv>\r\n\r\n---\r\n\r\n\u003Ch2 id=\"项目动机\">\r\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_df340457b3f3.png\" width=\"25\" \u002F> 项目动机\r\n\u003C\u002Fh2>\r\n\r\n\r\n原项目与地址:[《LLMs-from-scratch》](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git)\r\n\r\n本项目是对GitHub项目[《LLMs-from-scratch》](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git)内容的中文翻译，包括详细的markdown 笔记和相关的jupyter 代码。翻译过程中，我们尽可能保持原意的准确性，同时对部分内容进行了语序和表达的优化，以更贴合中文学习者的阅读习惯。需要特别说明的是，原作者为该项目的主要贡献者，本汉化版本仅作为学习辅助资料，不对原内容进行修改或延伸。\r\n\r\n由于个人能力有限，翻译中可能存在不完善之处，欢迎提出宝贵意见并多多包涵 希望通过这一翻译项目，更多中文学习者能够从中受益，也希望为国内社区的 LLM 学习和研究贡献一份力量。\r\n\r\n>本项目的特色：\r\n>**jupyter代码**均有详细中文注释，帮助大家更快上手实践。\r\n>**诸多的附加材料**可以拓展知识\r\n\r\n本项目所用徽章来自互联网，如侵犯了您的图片版权请联系我们删除，谢谢。\r\n\r\n\u003Ch2 id=\"课程简介\">\r\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_7d47483cd1db.png\" width=\"25\" \u002F> 课程简介\r\n\u003C\u002Fh2>\r\n\r\n提到大语言模型（LLMs），我们可能会将其视为独立于传统机器学习的领域，但实际上，LLMs 是机器学习的一个重要分支。在深度学习尚未广泛应用之前，机器学习在许多领域（如语音识别、自然语言处理、计算机视觉等）的作用相对有限，因为这些领域往往需要大量的专业知识来应对复杂的现实问题。然而，近几年深度学习的快速发展彻底改变了这一状况，使 LLMs 成为推动人工智能技术革命的关键力量。\r\n\r\n原项目与地址:[《LLMs-from-scratch》](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git)\r\n[https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git)\r\n\r\n在 [《LLMs-from-scratch》](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git)项目中，不仅关注 LLMs 的基础构建，如 Transformer 架构、序列建模 等，还深入探索了 GPT、BERT 等深度学习模型 的底层实现。项目中的每一部分均配备详细的代码实现和学习资源，帮助学习者从零开始构建 LLMs，全面掌握其核心技术。\r\n\r\n\u003Ch2 id=\"课程资源\">\r\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_9d95caabecce.png\" width=\"25\" \u002F> 课程资源\r\n\u003C\u002Fh2>\r\n\r\n- 英文原版地址：[原版地址](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git)\r\n- 教材网址：[原版教材](amzn.to\u002F4fqvn0D)\r\n- 汉化地址：[https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git](https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git)\r\n\r\n此外，本门课程还有相应的代码实现。**每章都有相应的jupyter记事本，提供模型的完整python代码**，所有的资源都可在网上免费获取。\r\n\r\n\r\n\r\n\u003Ch2 id=\"原书Readme\">\r\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_e1187e3533e3.png\" width=\"25\" \u002F> 原书Readme\r\n\u003C\u002Fh2>\r\n\r\n# 从零构建大模型\r\n\r\n这个仓库包含了开发、预训练和微调一个类似GPT的LLM（大语言模型）的代码，是《从零构建大模型》这本书的官方代码仓库，书籍链接：[从零构建大模型](https:\u002F\u002Famzn.to\u002F4fqvn0D)。\r\n\r\n\u003Cbr>\r\n\u003Cbr>\r\n\r\n\u003Ca href=\"https:\u002F\u002Famzn.to\u002F4fqvn0D\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_bf20af783348.jpg\" width=\"250px\">\u003C\u002Fa>\r\n\r\n\u003Cbr>\r\n\r\n在《*从零构建大模型*》这本书中，您将逐步了解大语言模型（LLMs）如何从内到外工作，自己动手编写代码，逐步构建一个LLM。在这本书中，我将通过清晰的文字、图示和示例，带您完成构建自己LLM的每一个阶段。\r\n\r\n本书描述的训练和开发自己的小型功能性模型的方法，旨在教育用途，类似于用于创建大规模基础模型（如ChatGPT背后的模型）的方法。此外，本书还包括加载更大预训练模型权重进行微调的代码。\r\n\r\n- 官方[源代码仓库链接](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch)\r\n- 汉化版本[汉化仓库链接](https:\u002F\u002Fgithub.com\u002FGoatCsu\u002FLLMs-from-scratch-CN-CSU)\r\n- [出版商网站上的书籍链接](http:\u002F\u002Fmng.bz\u002ForYv)\r\n- [Amazon.com上的书籍页面链接](https:\u002F\u002Fwww.amazon.com\u002Fgp\u002Fproduct\u002F1633437167)\r\n- ISBN 9781633437166\r\n\r\n\u003Ca href=\"http:\u002F\u002Fmng.bz\u002ForYv#reviews\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ef3e482564e0.png\" width=\"220px\">\u003C\u002Fa>\r\n\r\n\u003Cbr>\r\n\r\n要下载此仓库的副本，请点击[下载ZIP](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch\u002Farchive\u002Frefs\u002Fheads\u002Fmain.zip)按钮，或者在终端中执行以下命令：\r\n\r\n```bash\r\ngit clone --depth 1 https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git\r\n```\r\n\r\n要下载此仓库汉化版本，请点击[下载ZIP](https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git)按钮，或者在终端中执行以下命令：\r\n\r\n```bash\r\ngit clone --depth 1 https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git\r\n```\r\n\r\n\u003Cbr>\r\n\r\n(如果您是从Manning网站下载的代码包，请访问官方代码仓库 [https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch) 获取最新的更新\r\n或者汉化版本[https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git](https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git))\r\n\r\n\u003Cbr>\r\n\r\n# 目录\r\n\r\n请注意，本文档是一个Markdown (`.md`) 文件。如果您是从Manning网站下载的代码包并在本地查看它，建议使用Markdown编辑器或预览器进行正确查看。如果您尚未安装Markdown编辑器，[MarkText](https:\u002F\u002Fwww.marktext.cc) 是一个不错的免费选项。\r\n\r\n您也可以通过浏览器访问GitHub上的[代码仓库](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch)，或者[汉化版](https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git)浏览器会自动渲染Markdown。\r\n\r\n\u003Cbr>\r\n\u003C!--  -->\r\n\r\n> [!TIP]\r\n> 如果您需要安装Python和Python包以及设置代码环境的指导，建议阅读[README.md](setup\u002FREADME.md) 文件，该文件位于[setup](setup)目录中。\r\n\r\n\u003Cbr>\r\n\r\n| **章节标题**                                       | **主要代码（快速访问）**                                                                                                                                               | **所有代码及补充内容**         | **翻译者** | **校对者** |\r\n|---------------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------|--------------------------------|------------|------------|\r\n| [安装建议](setup)                                 | -                                                                                                                                                                     | -                              | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **第1章：理解大型语言模型**                        | 无代码                                                                                                                                                                | -                              | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **第2章：处理文本数据**                            | - [ch02.ipynb](ch02\u002F01_main-chapter-code\u002Fch02.ipynb) \u003Cbr\u002F>- [dataloader.ipynb](ch02\u002F01_main-chapter-code\u002Fdataloader.ipynb)（总结） \u003Cbr\u002F>- [exercise-solutions.ipynb](ch02\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [ch02](.\u002Fch02)                | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **第3章：编码注意力机制**                          | - [ch03.ipynb](ch03\u002F01_main-chapter-code\u002Fch03.ipynb) \u003Cbr\u002F>- [multihead-attention.ipynb](ch03\u002F01_main-chapter-code\u002Fmultihead-attention.ipynb)（总结） \u003Cbr\u002F>- [exercise-solutions.ipynb](ch03\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [ch03](.\u002Fch03)                | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **第4章：从零开始实现 GPT 模型**                   | - [ch04.ipynb](ch04\u002F01_main-chapter-code\u002Fch04.ipynb) \u003Cbr\u002F>- [gpt.py](ch04\u002F01_main-chapter-code\u002Fgpt.py)（总结） \u003Cbr\u002F>- [exercise-solutions.ipynb](ch04\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [ch04](.\u002Fch04)                | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **第5章：在无标注数据上进行预训练**                | - [ch05.ipynb](ch05\u002F01_main-chapter-code\u002Fch05.ipynb) \u003Cbr\u002F>- [gpt_train.py](ch05\u002F01_main-chapter-code\u002Fgpt_train.py)（总结） \u003Cbr\u002F>- [gpt_generate.py](ch05\u002F01_main-chapter-code\u002Fgpt_generate.py)（总结） \u003Cbr\u002F>- [exercise-solutions.ipynb](ch05\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [ch05](.\u002Fch05)                | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FWPENGxs\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ec1bb349a16f.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **第6章：进行文本分类的微调**                      | - [ch06.ipynb](ch06\u002F01_main-chapter-code\u002Fch06.ipynb) \u003Cbr\u002F>- [gpt_class_finetune.py](ch06\u002F01_main-chapter-code\u002Fgpt_class_finetune.py) \u003Cbr\u002F>- [exercise-solutions.ipynb](ch06\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [ch06](.\u002Fch06)                | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FWPENGxs\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ec1bb349a16f.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **第7章：进行遵循指令的微调**                      | - [ch07.ipynb](ch07\u002F01_main-chapter-code\u002Fch07.ipynb) \u003Cbr\u002F>- [gpt_instruction_finetuning.py](ch07\u002F01_main-chapter-code\u002Fgpt_instruction_finetuning.py)（总结） \u003Cbr\u002F>- [ollama_evaluate.py](ch07\u002F01_main-chapter-code\u002Follama_evaluate.py)（总结） \u003Cbr\u002F>- [exercise-solutions.ipynb](ch07\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [ch07](.\u002Fch07)                | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FWPENGxs\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ec1bb349a16f.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **附录 A：PyTorch 简介**                           | - [code-part1.ipynb](appendix-A\u002F01_main-chapter-code\u002Fcode-part1.ipynb) \u003Cbr\u002F>- [code-part2.ipynb](appendix-A\u002F01_main-chapter-code\u002Fcode-part2.ipynb) \u003Cbr\u002F>- [DDP-script.py](appendix-A\u002F01_main-chapter-code\u002FDDP-script.py) \u003Cbr\u002F>- [exercise-solutions.ipynb](appendix-A\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [appendix-A](.\u002Fappendix-A)    | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_781c7a0d4a52.png\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **附录 B：参考文献与进一步阅读**                  | 无代码                                                                                                                                                                | -                              |  |   |\r\n| **附录 C：习题解答**                               | 无代码                                                                                                                                                                | -                              |    |   |\r\n| **附录 D：在训练循环中加入附加功能**               | - [appendix-D.ipynb](appendix-D\u002F01_main-chapter-code\u002Fappendix-D.ipynb)                                                                                                | [appendix-D](.\u002Fappendix-D)    | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_781c7a0d4a52.png\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **附录 E：使用 LoRA 进行参数高效微调**            | - [appendix-E.ipynb](appendix-E\u002F01_main-chapter-code\u002Fappendix-E.ipynb)                                                                                                | [appendix-E](.\u002Fappendix-E)    | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_781c7a0d4a52.png\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n\r\n\u003Cbr>\r\n \r\n\r\n下图是本书内容的总结性思维导图。\r\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_3a3e65304b21.jpg\" width=\"650px\">\r\n\r\n\u003Cbr>\r\n\r\n\u003Cbr>\r\n\r\n \r\n## 额外材料\r\n\r\n| **章节**                                          | **附加资料**                                                                                                                                                                            | **翻译者**    | **校对者**                                                                                                                                       |\r\n|--------------------------------------------------|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------------------------------------------------------|-----------------------------------------------|\r\n| **设置**                                          | - [Python 设置提示](setup\u002F01_optional-python-setup-preferences) \u003Cbr> - [安装本书中使用的 Python 包和库](setup\u002F02_installing-python-libraries) \u003Cbr> - [Docker 环境设置指南](setup\u002F03_optional-docker-environment) | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>      |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **第二章：处理文本数据**                           | - [从零开始实现字节对编码（BPE）分词器](ch02\u002F05_bpe-from-scratch\u002Fbpe-from-scratch.ipynb) \u003Cbr> - [比较不同字节对编码（BPE）实现](ch02\u002F02_bonus_bytepair-encoder) \u003Cbr> - [理解嵌入层和线性层的区别](ch02\u002F03_bonus_embedding-vs-matmul) \u003Cbr> - [用简单数字直观理解数据加载器](ch02\u002F04_bonus_dataloader-intuition) | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>                                               |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **第三章：编码注意力机制**                         | - [比较高效的多头注意力实现](ch03\u002F02_bonus_efficient-multihead-attention\u002Fmha-implementations.ipynb) \u003Cbr> - [理解 PyTorch 缓冲区](ch03\u002F03_understanding-buffers\u002Funderstanding-buffers.ipynb) | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>                                               |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **第四章：从零开始实现 GPT 模型**                  | - [FLOPS 性能分析](ch04\u002F02_performance-analysis\u002Fflops-analysis.ipynb)                                                                                                                   | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>                                               |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FWPENGxs\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ec1bb349a16f.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **第五章：在未标注数据上进行预训练**              | - [使用 Transformers 从 Hugging Face 模型库加载替代权重](ch05\u002F02_alternative_weight_loading\u002Fweight-loading-hf-transformers.ipynb) \u003Cbr> - [在古腾堡计划数据集上预训练 GPT](ch05\u002F03_bonus_pretraining_on_gutenberg) \u003Cbr> - [为训练循环添加附加功能](ch05\u002F04_learning_rate_schedulers) \u003Cbr> - [优化预训练的超参数](ch05\u002F05_bonus_hparam_tuning) \u003Cbr> - [构建与预训练 LLM 交互的用户界面](ch05\u002F06_user_interface) \u003Cbr> - [将 GPT 转换为 Llama](ch05\u002F07_gpt_to_llama) \u003Cbr> - [从零开始构建 Llama 3.2](ch05\u002F07_gpt_to_llama\u002Fstandalone-llama32.ipynb) \u003Cbr> - [内存高效的模型权重加载](ch05\u002F08_memory_efficient_weight_loading\u002Fmemory-efficient-state-dict.ipynb) \u003Cbr> - [扩展 Tiktoken BPE 分词器，添加新 Token](ch05\u002F09_extending-tokenizers\u002Fextend-tiktoken.ipynb) | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>                                               |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FWPENGxs\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ec1bb349a16f.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n| **第六章：用于分类的微调**                         | - [微调不同层并使用更大模型的额外实验](ch06\u002F02_bonus_additional-experiments) \u003Cbr> - [在 50k IMDB 电影评论数据集上微调不同模型](ch06\u002F03_bonus_imdb-classification) \u003Cbr> - [构建与 GPT 基于垃圾邮件分类器交互的用户界面](ch06\u002F04_user_interface) | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>                                               | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Flul0308\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_781c7a0d4a52.png\"  width=\"80\" \u002F>\u003C\u002Fa>  |\r\n| **第七章：微调以跟随指令**                         | - [查找近重复项和创建被动语态条目的数据集工具](ch07\u002F02_dataset-utilities) \u003Cbr> - [使用 OpenAI API 和 Ollama 评估指令响应](ch07\u002F03_model-evaluation) \u003Cbr> - [为指令微调生成数据集](ch07\u002F05_dataset-generation\u002Fllama3-ollama.ipynb) \u003Cbr> - [改进指令微调数据集](ch07\u002F05_dataset-generation\u002Freflection-gpt4.ipynb) \u003Cbr> - [使用 Llama 3.1 70B 和 Ollama 生成偏好数据集](ch07\u002F04_preference-tuning-with-dpo\u002Fcreate-preference-data-ollama.ipynb) \u003Cbr> - [用于 LLM 对齐的直接偏好优化（DPO）](ch07\u002F04_preference-tuning-with-dpo\u002Fdpo-from-scratch.ipynb) \u003Cbr> - [构建与指令微调的 GPT 模型交互的用户界面](ch07\u002F06_user_interface) | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>                                               |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Flul0308\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_781c7a0d4a52.png\"  width=\"80\" \u002F>\u003C\u002Fa> |\r\n\r\n\u003Cbr>\r\n\r\n \r\n\r\n## 硬件要求\r\n\r\n本书主要章节中的代码设计为能够在常规笔记本电脑上运行，并且不会占用过长时间，因此不需要专门的硬件。这种方式确保了广泛的读者群体能够参与其中。此外，如果有可用的 GPU，代码会自动使用它们。（更多建议请参考 [setup](https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git\u002Fblob\u002Fmain\u002Fsetup\u002FREADME.md) 文档。）\r\n\r\n \r\n\r\n\r\n## 问题、反馈和贡献\r\n\r\n欢迎各种形式的反馈，最好通过 [Manning 论坛](https:\u002F\u002Flivebook.manning.com\u002Fforum?product=raschka&page=1) 或 [GitHub 讨论区](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch\u002Fdiscussions) 分享。如果你有任何问题或只是想与他人讨论想法，也请随时在论坛中发布。\r\n\r\n请注意，由于本存储库包含与印刷书籍相对应的代码，因此目前无法接受扩展主要章节代码内容的贡献，因为这可能会导致与实体书籍的内容不一致。保持一致性有助于确保每个人的顺畅体验。\r\n\r\n \r\n## 引用\r\n\r\n如果你发现本书或代码对你的研究有帮助，请考虑引用它。\r\n\r\n引用：\r\n\r\n> Raschka, Sebastian. *Build A Large Language Model (From Scratch)*. Manning, 2024. ISBN: 978-1633437166.\r\n\r\nBibTeX 条目：\r\n```\r\n@book{build-llms-from-scratch-book,\r\nauthor       = {Sebastian Raschka},\r\ntitle        = {Build A Large Language Model (From Scratch)},\r\npublisher    = {Manning},\r\nyear         = {2024},\r\nisbn         = {978-1633437166},\r\nurl          = {https:\u002F\u002Fwww.manning.com\u002Fbooks\u002Fbuild-a-large-language-model-from-scratch},\r\ngithub       = {https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch}\r\n}\r\n```\r\n\r\n\r\n\u003Ch2 id=\"贡献者\">\r\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_5a202b9e1837.png\" width=\"25\" \u002F> 贡献者\r\n\u003C\u002Fh2>\r\n\r\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> \r\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa>\r\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FWPENGxs\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ec1bb349a16f.jpg\"  width=\"80\" \u002F>\u003C\u002Fa>\r\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Flul0308\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_781c7a0d4a52.png\"  width=\"80\" \u002F>\u003C\u002Fa>\r\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fllm-chaser\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_7a99168ff8ca.jpeg\"  width=\"80\" \u002F>\u003C\u002Fa>","\u003Cp align=\"center\">\n\u003Ch1 align=\"center\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_4a68fc05df57.png\" width=\"30\" \u002F>《从零构建大模型》\u003C\u002Fh1>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fversion-v0.1.0-blue\">\n      \u003Cimg alt=\"version\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fversion-v0.1.0-blue?color=FF8000?color=009922\" \u002F>\n    \u003C\u002Fa>\n  \u003Ca >\n       \u003Cimg alt=\"Status-building\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FStatus-building-blue\" \u002F>\n    \u003C\u002Fa>\n  \u003Ca >\n       \u003Cimg alt=\"PRs-Welcome\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPRs-Welcome-red\" \u002F>\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN\u002Fstargazers\">\n       \u003Cimg alt=\"stars\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FMLNLP-World\u002FLLMs-from-scratch-CN\" \u002F>\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN\u002Fnetwork\u002Fmembers\">\n       \u003Cimg alt=\"FORK\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fforks\u002FMLNLP-World\u002FLLMs-from-scratch-CN?color=FF8000\" \u002F>\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN\u002Fissues\">\n      \u003Cimg alt=\"Issues\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fissues\u002FMLNLP-World\u002FLLMs-from-scratch-CN?color=0088ff\"\u002F>\n    \u003C\u002Fa>\n    \u003Cbr \u002F>\n\u003C\u002Fp>\n\n\u003Cdiv align=\"center\">\n\u003Cp align=\"center\">\n  \u003Ca href=\"#项目动机\">项目动机\u003C\u002Fa>\u002F\n  \u003Ca href=\"#课程简介\">课程简介\u003C\u002Fa>\u002F\n  \u003Ca href=\"#课程资源\">课程资源\u003C\u002Fa>\u002F\n  \u003Ca href=\"#原书 README\">原书 README\u003C\u002Fa>\u002F\n  \u003Ca href=\"#贡献者\">贡献者\u003C\u002Fa>\n\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n---\n\n\u003Ch2 id=\"项目动机\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_df340457b3f3.png\" width=\"25\" \u002F> 项目动机\n\u003C\u002Fh2>\n\n\n原项目与地址:[《LLMs-from-scratch》](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git)\n\n本项目是对 GitHub 项目 [《LLMs-from-scratch》](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git) 内容的中文翻译，包括详细的 Markdown 笔记和相关的 Jupyter 代码。翻译过程中，我们尽可能保持原意的准确性，同时对部分内容进行了语序和表达的优化，以更贴合中文学习者的阅读习惯。需要特别说明的是，原作者为该项目的主要贡献者，本汉化版本仅作为学习辅助资料，不对原内容进行修改或延伸。\n\n由于个人能力有限，翻译中可能存在不完善之处，欢迎提出宝贵意见并多多包涵。希望通过这一翻译项目，更多中文学习者能够从中受益，也希望为国内社区的 LLM 学习和研究贡献一份力量。\n\n> 本项目的特色：\n>**Jupyter 代码**均有详细中文注释，帮助大家更快上手实践。\n>**诸多的附加材料**可以拓展知识\n\n本项目所用徽章来自互联网，如侵犯了您的图片版权请联系我们删除，谢谢。\n\n\u003Ch2 id=\"课程简介\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_7d47483cd1db.png\" width=\"25\" \u002F> 课程简介\n\u003C\u002Fh2>\n\n提到大语言模型（LLMs），我们可能会将其视为独立于传统机器学习的领域，但实际上，LLMs 是机器学习的一个重要分支。在深度学习尚未广泛应用之前，机器学习在许多领域（如语音识别、自然语言处理、计算机视觉等）的作用相对有限，因为这些领域往往需要大量的专业知识来应对复杂的现实问题。然而，近几年深度学习的快速发展彻底改变了这一状况，使 LLMs 成为推动人工智能技术革命的关键力量。\n\n原项目与地址:[《LLMs-from-scratch》](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git)\n[https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git)\n\n在 [《LLMs-from-scratch》](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git) 项目中，不仅关注 LLMs 的基础构建，如 Transformer 架构、序列建模 等，还深入探索了 GPT、BERT 等深度学习模型 的底层实现。项目中的每一部分均配备详细的代码实现和学习资源，帮助学习者从零开始构建 LLMs，全面掌握其核心技术。\n\n\u003Ch2 id=\"课程资源\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_9d95caabecce.png\" width=\"25\" \u002F> 课程资源\n\u003C\u002Fh2>\n\n- 英文原版地址：[原版地址](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git)\n- 教材网址：[原版教材](amzn.to\u002F4fqvn0D)\n- 汉化地址：[https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git](https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git)\n\n此外，本门课程还有相应的代码实现。**每章都有相应的 Jupyter 记事本，提供模型的完整 Python 代码**，所有的资源都可在网上免费获取。\n\n\n\n\u003Ch2 id=\"原书 README\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_e1187e3533e3.png\" width=\"25\" \u002F> 原书 README\n\u003C\u002Fh2>\n\n# 从零构建大模型\n\n这个仓库包含了开发、预训练和微调一个类似 GPT 的 LLM（大语言模型）的代码，是《从零构建大模型》这本书的官方代码仓库，书籍链接：[从零构建大模型](https:\u002F\u002Famzn.to\u002F4fqvn0D)。\n\n\u003Cbr>\n\u003Cbr>\n\n\u003Ca href=\"https:\u002F\u002Famzn.to\u002F4fqvn0D\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_bf20af783348.jpg\" width=\"250px\">\u003C\u002Fa>\n\n\u003Cbr>\n\n在《*从零构建大模型*》这本书中，您将逐步了解大语言模型（LLMs）如何从内到外工作，自己动手编写代码，逐步构建一个 LLM。在这本书中，我将通过清晰的文字、图示和示例，带您完成构建自己 LLM 的每一个阶段。\n\n本书描述的训练和开发自己的小型功能性模型的方法，旨在教育用途，类似于用于创建大规模基础模型（如 ChatGPT 背后的模型）的方法。此外，本书还包括加载更大预训练模型权重进行微调的代码。\n\n- 官方 [源代码仓库链接](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch)\n- 汉化版本 [汉化仓库链接](https:\u002F\u002Fgithub.com\u002FGoatCsu\u002FLLMs-from-scratch-CN-CSU)\n- [出版商网站上的书籍链接](http:\u002F\u002Fmng.bz\u002ForYv)\n- [Amazon.com 上的书籍页面链接](https:\u002F\u002Fwww.amazon.com\u002Fgp\u002Fproduct\u002F1633437167)\n- ISBN 9781633437166\n\n\u003Ca href=\"http:\u002F\u002Fmng.bz\u002ForYv#reviews\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ef3e482564e0.png\" width=\"220px\">\u003C\u002Fa>\n\n\u003Cbr>\n\n要下载此仓库的副本，请点击 [下载 ZIP](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch\u002Farchive\u002Frefs\u002Fheads\u002Fmain.zip) 按钮，或者在终端中执行以下命令：\n\n```bash\ngit clone --depth 1 https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git\n```\n\n要下载此仓库汉化版本，请点击 [下载 ZIP](https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git) 按钮，或者在终端中执行以下命令：\n\n```bash\ngit clone --depth 1 https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git\n```\n\n\u003Cbr>\n\n(如果您是从 Manning 网站下载的代码包，请访问官方代码仓库 [https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch) 获取最新的更新\n或者汉化版本 [https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git](https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git))\n\n\u003Cbr>\n\n# 目录\n\n请注意，本文档是一个 Markdown (`.md`) 文件。如果您是从 Manning 网站下载的代码包并在本地查看它，建议使用 Markdown 编辑器或预览器进行正确查看。如果您尚未安装 Markdown 编辑器，[MarkText](https:\u002F\u002Fwww.marktext.cc) 是一个不错的免费选项。\n\n您也可以通过浏览器访问 GitHub 上的 [代码仓库](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch)，或者 [汉化版](https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git) 浏览器会自动渲染 Markdown。\n\n\u003Cbr>\n\u003C!--  -->\n\n> [!TIP]\n> 如果您需要安装 Python 和 Python 包以及设置代码环境的指导，建议阅读 [README.md](setup\u002FREADME.md) 文件，该文件位于 [setup](setup) 目录中。\n\n\u003Cbr>\n\n| **章节标题**                                       | **主要代码（快速访问）**                                                                                                                                               | **所有代码及补充内容**         | **翻译者** | **校对者** |\n|---------------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------|--------------------------------|------------|------------|\n| [安装建议](setup)                                 | -                                                                                                                                                                     | -                              | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **第 1 章：理解大型语言模型**                        | 无代码                                                                                                                                                                | -                              | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **第 2 章：处理文本数据**                            | - [ch02.ipynb](ch02\u002F01_main-chapter-code\u002Fch02.ipynb) \u003Cbr\u002F>- [dataloader.ipynb](ch02\u002F01_main-chapter-code\u002Fdataloader.ipynb)（总结） \u003Cbr\u002F>- [exercise-solutions.ipynb](ch02\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [ch02](.\u002Fch02)                | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **第 3 章：编码注意力机制**                          | - [ch03.ipynb](ch03\u002F01_main-chapter-code\u002Fch03.ipynb) \u003Cbr\u002F>- [multihead-attention.ipynb](ch03\u002F01_main-chapter-code\u002Fmultihead-attention.ipynb)（总结） \u003Cbr\u002F>- [exercise-solutions.ipynb](ch03\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [ch03](.\u002Fch03)                | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **第 4 章：从零开始实现 GPT 模型**                   | - [ch04.ipynb](ch04\u002F01_main-chapter-code\u002Fch04.ipynb) \u003Cbr\u002F>- [gpt.py](ch04\u002F01_main-chapter-code\u002Fgpt.py)（总结） \u003Cbr\u002F>- [exercise-solutions.ipynb](ch04\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [ch04](.\u002Fch04)                | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **第 5 章：在无标注数据上进行预训练**                | - [ch05.ipynb](ch05\u002F01_main-chapter-code\u002Fch05.ipynb) \u003Cbr\u002F>- [gpt_train.py](ch05\u002F01_main-chapter-code\u002Fgpt_train.py)（总结） \u003Cbr\u002F>- [gpt_generate.py](ch05\u002F01_main-chapter-code\u002Fgpt_generate.py)（总结） \u003Cbr\u002F>- [exercise-solutions.ipynb](ch05\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [ch05](.\u002Fch05)                | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FWPENGxs\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ec1bb349a16f.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **第 6 章：进行文本分类的微调**                      | - [ch06.ipynb](ch06\u002F01_main-chapter-code\u002Fch06.ipynb) \u003Cbr\u002F>- [gpt_class_finetune.py](ch06\u002F01_main-chapter-code\u002Fgpt_class_finetune.py) \u003Cbr\u002F>- [exercise-solutions.ipynb](ch06\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [ch06](.\u002Fch06)                | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FWPENGxs\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ec1bb349a16f.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **第 7 章：进行遵循指令的微调**                      | - [ch07.ipynb](ch07\u002F01_main-chapter-code\u002Fch07.ipynb) \u003Cbr\u002F>- [gpt_instruction_finetuning.py](ch07\u002F01_main-chapter-code\u002Fgpt_instruction_finetuning.py)（总结） \u003Cbr\u002F>- [ollama_evaluate.py](ch07\u002F01_main-chapter-code\u002Follama_evaluate.py)（总结） \u003Cbr\u002F>- [exercise-solutions.ipynb](ch07\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [ch07](.\u002Fch07)                | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FWPENGxs\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ec1bb349a16f.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **附录 A：PyTorch 简介**                           | - [code-part1.ipynb](appendix-A\u002F01_main-chapter-code\u002Fcode-part1.ipynb) \u003Cbr\u002F>- [code-part2.ipynb](appendix-A\u002F01_main-chapter-code\u002Fcode-part2.ipynb) \u003Cbr\u002F>- [DDP-script.py](appendix-A\u002F01_main-chapter-code\u002FDDP-script.py) \u003Cbr\u002F>- [exercise-solutions.ipynb](appendix-A\u002F01_main-chapter-code\u002Fexercise-solutions.ipynb) | [appendix-A](.\u002Fappendix-A)    | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_781c7a0d4a52.png\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **附录 B：参考文献与进一步阅读**                  | 无代码                                                                                                                                                                | -                              |  |   |\n| **附录 C：习题解答**                               | 无代码                                                                                                                                                                | -                              |    |   |\n| **附录 D：在训练循环中加入附加功能**               | - [appendix-D.ipynb](appendix-D\u002F01_main-chapter-code\u002Fappendix-D.ipynb)                                                                                                | [appendix-D](.\u002Fappendix-D)    | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_781c7a0d4a52.png\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **附录 E：使用 LoRA 进行参数高效微调**            | - [appendix-E.ipynb](appendix-E\u002F01_main-chapter-code\u002Fappendix-E.ipynb)                                                                                                | [appendix-E](.\u002Fappendix-E)    | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_781c7a0d4a52.png\"  width=\"80\" \u002F>\u003C\u002Fa> |\n\n\u003Cbr>\n \n\n下图是本书内容的总结性思维导图。\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_3a3e65304b21.jpg\" width=\"650px\">\n\n\u003Cbr>\n\n\u003Cbr>\n\n \n\n## 额外材料\n\n| **章节**                                          | **附加资料**                                                                                                                                                                            | **翻译者**    | **校对者**                                                                                                                                       |\n|--------------------------------------------------|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------------------------------------------------------|-----------------------------------------------|\n| **设置**                                          | - [Python 设置提示](setup\u002F01_optional-python-setup-preferences) \u003Cbr> - [安装本书中使用的 Python 包和库](setup\u002F02_installing-python-libraries) \u003Cbr> - [Docker 环境设置指南](setup\u002F03_optional-docker-environment) | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>      |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **第二章：处理文本数据**                           | - [从零开始实现字节对编码（BPE）分词器](ch02\u002F05_bpe-from-scratch\u002Fbpe-from-scratch.ipynb) \u003Cbr> - [比较不同字节对编码（BPE）实现](ch02\u002F02_bonus_bytepair-encoder) \u003Cbr> - [理解嵌入层和线性层的区别](ch02\u002F03_bonus_embedding-vs-matmul) \u003Cbr> - [用简单数字直观理解数据加载器](ch02\u002F04_bonus_dataloader-intuition) | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>                                               |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **第三章：编码注意力机制**                         | - [比较高效的多头注意力实现](ch03\u002F02_bonus_efficient-multihead-attention\u002Fmha-implementations.ipynb) \u003Cbr> - [理解 PyTorch 缓冲区](ch03\u002F03_understanding-buffers\u002Funderstanding-buffers.ipynb) | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>                                               |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **第四章：从零开始实现 GPT 模型**                  | - [FLOPS 性能分析](ch04\u002F02_performance-analysis\u002Fflops-analysis.ipynb)                                                                                                                   | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>                                               |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FWPENGxs\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ec1bb349a16f.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **第五章：在未标注数据上进行预训练**              | - [使用 Transformers 从 Hugging Face 模型库加载替代权重](ch05\u002F02_alternative_weight_loading\u002Fweight-loading-hf-transformers.ipynb) \u003Cbr> - [在古腾堡计划数据集上预训练 GPT](ch05\u002F03_bonus_pretraining_on_gutenberg) \u003Cbr> - [为训练循环添加附加功能](ch05\u002F04_learning_rate_schedulers) \u003Cbr> - [优化预训练的超参数](ch05\u002F05_bonus_hparam_tuning) \u003Cbr> - [构建与预训练 LLM 交互的用户界面](ch05\u002F06_user_interface) \u003Cbr> - [将 GPT 转换为 Llama](ch05\u002F07_gpt_to_llama) \u003Cbr> - [从零开始构建 Llama 3.2](ch05\u002F07_gpt_to_llama\u002Fstandalone-llama32.ipynb) \u003Cbr> - [内存高效的模型权重加载](ch05\u002F08_memory_efficient_weight_loading\u002Fmemory-efficient-state-dict.ipynb) \u003Cbr> - [扩展 Tiktoken BPE 分词器，添加新 Token](ch05\u002F09_extending-tokenizers\u002Fextend-tiktoken.ipynb) | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>                                               |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FWPENGxs\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ec1bb349a16f.jpg\"  width=\"80\" \u002F>\u003C\u002Fa> |\n| **第六章：用于分类的微调**                         | - [微调不同层并使用更大模型的额外实验](ch06\u002F02_bonus_additional-experiments) \u003Cbr> - [在 50k IMDB 电影评论数据集上微调不同模型](ch06\u002F03_bonus_imdb-classification) \u003Cbr> - [构建与 GPT 基于垃圾邮件分类器交互的用户界面](ch06\u002F04_user_interface) | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>                                               | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Flul0308\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_781c7a0d4a52.png\"  width=\"80\" \u002F>\u003C\u002Fa>  |\n| **第七章：微调以跟随指令**                         | - [查找近重复项和创建被动语态条目的数据集工具](ch07\u002F02_dataset-utilities) \u003Cbr> - [使用 OpenAI API 和 Ollama 评估指令响应](ch07\u002F03_model-evaluation) \u003Cbr> - [为指令微调生成数据集](ch07\u002F05_dataset-generation\u002Fllama3-ollama.ipynb) \u003Cbr> - [改进指令微调数据集](ch07\u002F05_dataset-generation\u002Freflection-gpt4.ipynb) \u003Cbr> - [使用 Llama 3.1 70B 和 Ollama 生成偏好数据集](ch07\u002F04_preference-tuning-with-dpo\u002Fcreate-preference-data-ollama.ipynb) \u003Cbr> - [用于 LLM 对齐的直接偏好优化（DPO）](ch07\u002F04_preference-tuning-with-dpo\u002Fdpo-from-scratch.ipynb) \u003Cbr> - [构建与指令微调的 GPT 模型交互的用户界面](ch07\u002F06_user_interface) | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa>                                               |  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Flul0308\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_781c7a0d4a52.png\"  width=\"80\" \u002F>\u003C\u002Fa> |\n\n\u003Cbr>\n\n \n\n## 硬件要求\n\n本书主要章节中的代码设计为能够在常规笔记本电脑上运行，并且不会占用过长时间，因此不需要专门的硬件。这种方式确保了广泛的读者群体能够参与其中。此外，如果有可用的 GPU，代码会自动使用它们。（更多建议请参考 [setup](https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git\u002Fblob\u002Fmain\u002Fsetup\u002FREADME.md) 文档。）\n\n \n\n\n## 问题、反馈和贡献\n\n欢迎各种形式的反馈，最好通过 [Manning 论坛](https:\u002F\u002Flivebook.manning.com\u002Fforum?product=raschka&page=1) 或 [GitHub 讨论区](https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch\u002Fdiscussions) 分享。如果你有任何问题或只是想与他人讨论想法，也请随时在论坛中发布。\n\n请注意，由于本存储库包含与印刷书籍相对应的代码，因此目前无法接受扩展主要章节代码内容的贡献，因为这可能会导致与实体书籍的内容不一致。保持一致性有助于确保每个人的顺畅体验。\n\n \n## 引用\n\n如果你发现本书或代码对你的研究有帮助，请考虑引用它。\n\n引用：\n\n> Raschka, Sebastian. *Build A Large Language Model (From Scratch)*. Manning, 2024. ISBN: 978-1633437166.\n\nBibTeX 条目：\n```\n@book{build-llms-from-scratch-book,\nauthor       = {Sebastian Raschka},\ntitle        = {Build A Large Language Model (From Scratch)},\npublisher    = {Manning},\nyear         = {2024},\nisbn         = {978-1633437166},\nurl          = {https:\u002F\u002Fwww.manning.com\u002Fbooks\u002Fbuild-a-large-language-model-from-scratch},\ngithub       = {https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch}\n}\n```\n\n\n\u003Ch2 id=\"贡献者\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_5a202b9e1837.png\" width=\"25\" \u002F> 贡献者\n\u003C\u002Fh2>\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FGoatCsu\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_1c07ca755894.png\"  width=\"80\" \u002F>\u003C\u002Fa> \n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FBRZ911\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_b3abe820a426.jpg\"  width=\"80\" \u002F>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FWPENGxs\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_ec1bb349a16f.jpg\"  width=\"80\" \u002F>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Flul0308\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_781c7a0d4a52.png\"  width=\"80\" \u002F>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fllm-chaser\">  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_readme_7a99168ff8ca.jpeg\"  width=\"80\" \u002F>\u003C\u002Fa>","# LLMs-from-scratch-CN 快速上手指南\n\n本项目是《从零构建大模型》（LLMs-from-scratch）的中文本地化版本，包含详细的中文注释代码和 Jupyter Notebook，适合希望深入理解大语言模型底层原理的开发者。\n\n## 1. 环境准备\n\n在开始之前，请确保您的本地环境满足以下基础条件：\n\n*   **操作系统**：Linux, macOS 或 Windows\n*   **解释器**：Python 3.8 及以上版本\n*   **版本控制**：Git\n*   **依赖管理**：建议使用 `venv`, `virtualenv` 或 `conda` 创建独立虚拟环境。\n\n> **注意**：关于详细的 Python 包安装和环境变量配置，强烈建议先阅读项目中的 [setup\u002FREADME.md](setup\u002FREADME.md) 文件。\n\n## 2. 安装步骤\n\n请在终端中使用以下命令克隆汉化版仓库到本地：\n\n```bash\ngit clone --depth 1 https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN.git\n```\n\n如果您需要对比参考英文原版，可使用以下命令：\n\n```bash\ngit clone --depth 1 https:\u002F\u002Fgithub.com\u002Frasbt\u002FLLMs-from-scratch.git\n```\n\n## 3. 基本使用\n\n### 3.1 激活环境与运行\n\n进入项目目录后，建议先激活您的 Python 虚拟环境，然后可以通过 Jupyter Lab 或 VS Code 打开相应的 Notebook 文件进行学习。\n\n启动 Jupyter 服务的通用命令如下（需在项目根目录执行）：\n\n```bash\njupyter lab\n```\n\n### 3.2 学习路径与文件结构\n\n项目按章节组织了代码，建议按照以下顺序学习，每章均包含主代码和习题解答：\n\n| 学习阶段 | 对应目录\u002F文件示例 | 说明 |\n| :--- | :--- | :--- |\n| **数据预处理** | `ch02\u002F01_main-chapter-code\u002Fch02.ipynb` | 学习如何处理文本数据 |\n| **注意力机制** | `ch03\u002F01_main-chapter-code\u002Fch03.ipynb` | 理解 Attention 机制的实现 |\n| **GPT 模型构建** | `ch04\u002F01_main-chapter-code\u002Fch04.ipynb` | 从零实现 GPT 模型架构 |\n| **模型预训练** | `ch05\u002F01_main-chapter-code\u002Fch05.ipynb` | 在无标注数据上进行预训练 |\n| **模型微调** | `ch06\u002F01_main-chapter-code\u002Fch06.ipynb` | 针对特定任务（如分类）进行微调 |\n| **指令微调** | `ch07\u002F01_main-chapter-code\u002Fgpt_instruction_finetuning.py` | 实现遵循指令的微调 |\n\n### 3.3 运行代码示例\n\n大多数功能封装在 Jupyter Notebook 中。您可以在浏览器中打开对应的 `.ipynb` 文件，从上至下依次运行单元格（Cell）即可体验完整的模型构建流程。所有代码均已在源码中添加了详细的中文注释。","国内某金融科技公司的算法工程师陈明，受命为内部知识库构建一个轻量级垂直领域大模型。为了深入掌握模型原理而非单纯黑盒调用，他决定放弃现成的高层库，转而从底层逻辑入手进行实践。\n\n### 没有 LLMs-from-scratch-CN 时\n*   面对原版全英文开源项目，非英语母语者在理解注意力机制的数学推导时，常因专业术语障碍导致理解中断。\n*   原始代码注释极少，一旦在张量运算维度上出错，排查 Bug 往往需要耗费数小时去猜测变量具体含义。\n*   学习资料高度碎片化，需要在理论书籍、英文博客和代码仓库间反复切换，难以建立从数据清洗到最终推理的完整认知闭环。\n\n### 使用 LLMs-from-scratch-CN 后\n*   借助 LLMs-from-scratch-CN 提供的精准中文翻译与详细行内注释，陈明能轻松将线性代数公式与 PyTorch 代码行号一一对应。\n*   项目内嵌的中文教学笔记充当了“实时导师”，帮助他在极短时间内成功运行出第一个可训练的微型 GPT 模型。\n*   整合后的中文资源库彻底消除了语言隔阂，使他能将全部精力集中在调整超参数和优化模型结构上，而非浪费在查单词上。\n\n通过 LLMs-from-scratch-CN，开发团队成功克服了语言与实现细节的双重壁垒，实现了从理论认知到底层代码落地的无缝衔接。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMLNLP-World_LLMs-from-scratch-CN_7aa6b0ee.png","MLNLP-World","MLNLP","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FMLNLP-World_ff5b3ad6.png","bring the AI community closer together and empower every junior leaner to achieve more.",null,"https:\u002F\u002Fspace.bilibili.com\u002F168887299","https:\u002F\u002Fgithub.com\u002FMLNLP-World",[83,87,91],{"name":84,"color":85,"percentage":86},"Jupyter Notebook","#DA5B0B",89.8,{"name":88,"color":89,"percentage":90},"Python","#3572A5",10.2,{"name":92,"color":93,"percentage":94},"Dockerfile","#384d54",0,2502,413,"2026-04-05T10:55:31","NOASSERTION","未说明",{"notes":101,"python":99,"dependencies":102},"具体环境配置指南请参考 setup\u002FREADME.md 文件；项目基于 PyTorch 构建，使用 Jupyter Notebook 进行教学；包含中文注释代码；涉及大语言模型训练与微调。",[103,104,105],"PyTorch","Jupyter","Git",[26,13],"2026-03-27T02:49:30.150509","2026-04-06T07:13:12.739708",[110],{"id":111,"question_zh":112,"answer_zh":113,"source_url":114},2490,"代码示例中是否遗漏了 batch_size 参数？","经维护者核实，原项目中并没有包含 batch_size 参数的相关代码块。这可能是因为翻译版本与原项目存在差异，或者是代码引用时的误解。建议遇到此类参数缺失问题时，优先对照原项目源码进行确认，无需自行补充该参数。","https:\u002F\u002Fgithub.com\u002FMLNLP-World\u002FLLMs-from-scratch-CN\u002Fissues\u002F1",[]]