[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-HandsOnLLM--Hands-On-Large-Language-Models":3,"tool-HandsOnLLM--Hands-On-Large-Language-Models":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":79,"owner_url":80,"languages":81,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":23,"env_os":90,"env_gpu":91,"env_ram":90,"env_deps":92,"category_tags":95,"github_topics":96,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":104,"updated_at":105,"faqs":106,"releases":136},2188,"HandsOnLLM\u002FHands-On-Large-Language-Models","Hands-On-Large-Language-Models","Official code repo for the O'Reilly Book - \"Hands-On Large Language Models\"","Hands-On-Large-Language-Models 是 O'Reilly 畅销书《Hands-On Large Language Models》的官方配套代码仓库，由 Jay Alammar 和 Maarten Grootendorst 联合打造。它不仅仅是一个代码库，更被视为“图解大模型书”的实践延伸，旨在通过近 300 张定制图表与可运行的代码示例，将复杂的大语言模型（LLM）理论转化为直观易懂的实战技能。\n\n面对大模型技术门槛高、理论抽象难落地的问题，该项目提供了从基础概念到高级应用的全套解决方案。内容涵盖语言模型入门、分词与嵌入、Transformer 架构解析、微调策略及实际部署等核心环节。所有示例均基于 Google Colab 环境构建并测试，用户无需配置复杂的本地硬件，即可免费利用 T4 GPU 快速上手运行，极大地降低了学习成本。\n\n这套资源特别适合希望深入理解 LLM 内部机制的开发者、数据科学家以及人工智能研究人员。对于想要超越单纯调用 API，转而掌握模型训练、优化及底层原理的技术人员来说，它是极佳的进阶指南。其独特的“视觉化教学 + 交互式代码”模式","Hands-On-Large-Language-Models 是 O'Reilly 畅销书《Hands-On Large Language Models》的官方配套代码仓库，由 Jay Alammar 和 Maarten Grootendorst 联合打造。它不仅仅是一个代码库，更被视为“图解大模型书”的实践延伸，旨在通过近 300 张定制图表与可运行的代码示例，将复杂的大语言模型（LLM）理论转化为直观易懂的实战技能。\n\n面对大模型技术门槛高、理论抽象难落地的问题，该项目提供了从基础概念到高级应用的全套解决方案。内容涵盖语言模型入门、分词与嵌入、Transformer 架构解析、微调策略及实际部署等核心环节。所有示例均基于 Google Colab 环境构建并测试，用户无需配置复杂的本地硬件，即可免费利用 T4 GPU 快速上手运行，极大地降低了学习成本。\n\n这套资源特别适合希望深入理解 LLM 内部机制的开发者、数据科学家以及人工智能研究人员。对于想要超越单纯调用 API，转而掌握模型训练、优化及底层原理的技术人员来说，它是极佳的进阶指南。其独特的“视觉化教学 + 交互式代码”模式，让枯燥的算法公式变得生动具体，帮助用户真正掌握当下最实用的大模型工具与概念，轻松开启大模型开发之旅。","# Hands-On Large Language Models\r\n\r\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fjalammar\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FFollow%20Jay-blue.svg?logo=linkedin\">\u003C\u002Fa>\r\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fmgrootendorst\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FFollow%20Maarten-blue.svg?logo=linkedin\">\u003C\u002Fa>\r\n\u003Ca href=\"https:\u002F\u002Fwww.deeplearning.ai\u002Fshort-courses\u002Fhow-transformer-llms-work\u002F?utm_campaign=handsonllm-launch&utm_medium=partner\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDeepLearning.AI%20Course-NEW!-&labelColor=black&color=red.svg?logo=data:image\u002Fsvg%2bxml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAuMDAwMzY1MjgxIC0wLjAwMDE0MDE0MiAzMy4yOSAzMy4xNSI+Cgk8cGF0aCBkPSJNMTYuNjQzIDMzLjE0NWMtMy4yOTIgMC02LjUxLS45NzItOS4yNDYtMi43OTNhMTYuNTg4IDE2LjU4OCAwIDAxLTYuMTMtNy40MzhBMTYuNTA3IDE2LjUwNyAwIDAxLjMyIDEzLjM0YTE2LjU1IDE2LjU1IDAgMDE0LjU1NS04LjQ4NUExNi42NjUgMTYuNjY1IDAgMDExMy4zOTYuMzE4YTE2LjcxIDE2LjcxIDAgMDE5LjYxNi45NDQgMTYuNjI4IDE2LjYyOCAwIDAxNy40NyA2LjEwMyAxNi41MjIgMTYuNTIyIDAgMDEyLjgwNCA5LjIwN2MwIDQuMzk2LTEuNzUzIDguNjEtNC44NzQgMTEuNzE5YTE2LjY4IDE2LjY4IDAgMDEtMTEuNzY5IDQuODU0em0uMTI1LTYuNjI4YzYuOTA2IDAgMTIuNTE3LTUuNjk4IDEyLjUxNy0xMi43MyAwLTcuMDMtNS42MS0xMi43MjUtMTIuNTE3LTEyLjcyNS02LjkwNiAwLTEyLjUxNyA1LjY5OC0xMi41MTcgMTIuNzI1IDAgNy4wMjcgNS42MTEgMTIuNzMgMTIuNTE3IDEyLjczem0tLjEyNS0yLjkxOGMtNi4yODkgMC0xMS4zODYtNC45MjUtMTEuMzg2LTExLjAwMkM1LjI1NyA2LjUyIDEwLjM2IDEuNTkgMTYuNjQzIDEuNTljNi4yODQgMCAxMS4zODYgNC45MyAxMS4zODYgMTEuMDA3cy01LjA5NyAxMS4wMDItMTEuMzg2IDExLjAwMnptLS4yNDItNC41MDhjNC43NyAwIDguNjMzLTMuNjc5IDguNjMzLTguMjE4IDAtNC41MzgtMy44ODUtOC4yMjEtOC42MzMtOC4yMjEtNC43NDcgMC04LjYzMiAzLjY3OS04LjYzMiA4LjIyMSAwIDQuNTQzIDMuODg1IDguMjE4IDguNjMyIDguMjE4eiIgZmlsbD0iI0ZENEE2MSIvPgo8L3N2Zz4=\">\u003C\u002Fa>\r\n\r\nWelcome! In this repository you will find the code for all examples throughout the book [Hands-On Large Language Models](https:\u002F\u002Fwww.amazon.com\u002FHands-Large-Language-Models-Understanding\u002Fdp\u002F1098150961) written by [Jay Alammar](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fjalammar\u002F) and [Maarten Grootendorst](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fmgrootendorst\u002F) which we playfully dubbed: \u003Cbr> \r\n\r\n\u003Cp align=\"center\">\u003Cb>\u003Ci>\"The Illustrated LLM Book\"\u003C\u002Fi>\u003C\u002Fb>\u003C\u002Fp>\r\n\r\nThrough the visually educational nature of this book and with **almost 300 custom made figures**, learn the practical tools and concepts you need to use Large Language Models today!\r\n\r\n\u003Ca href=\"https:\u002F\u002Fwww.amazon.com\u002FHands-Large-Language-Models-Understanding\u002Fdp\u002F1098150961\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_5afaafec3c3d.png\" width=\"50%\" >\u003C\u002Fa>\r\n\r\n\u003Cbr>\r\n\r\nThe book is available on:\r\n\r\n* [Amazon](https:\u002F\u002Fwww.amazon.com\u002FHands-Large-Language-Models-Understanding\u002Fdp\u002F1098150961)\r\n* [Shroff Publishers (India)](https:\u002F\u002Fwww.shroffpublishers.com\u002Fbooks\u002Fcomputer-science\u002Flarge-language-models\u002F9789355425522\u002F)\r\n* [O'Reilly](https:\u002F\u002Fwww.oreilly.com\u002Flibrary\u002Fview\u002Fhands-on-large-language\u002F9781098150952\u002F)\r\n* [Kindle](https:\u002F\u002Fwww.amazon.com\u002FHands-Large-Language-Models-Alammar-ebook\u002Fdp\u002FB0DGZ46G88\u002Fref=tmm_kin_swatch_0?_encoding=UTF8&qid=&sr=)\r\n* [Barnes and Noble](https:\u002F\u002Fwww.barnesandnoble.com\u002Fw\u002Fhands-on-large-language-models-jay-alammar\u002F1145185960)\r\n* [Goodreads](https:\u002F\u002Fwww.goodreads.com\u002Fbook\u002Fshow\u002F210408850-hands-on-large-language-models)\r\n\r\n## Table of Contents\r\n\r\nWe advise to run all examples through Google Colab for the easiest setup. Google Colab allows you to use a T4 GPU with 16GB of VRAM for free. All examples were mainly built and tested using Google Colab, so it should be the most stable platform. However, any other cloud provider should work. \r\n\r\n| Chapter  | Notebook  |\r\n|---|---|\r\n| Chapter 1: Introduction to Language Models  | [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter01\u002FChapter%201%20-%20Introduction%20to%20Language%20Models.ipynb)   |\r\n| Chapter 2: Tokens and Embeddings  | [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter02\u002FChapter%202%20-%20Tokens%20and%20Token%20Embeddings.ipynb)  |\r\n| Chapter 3: Looking Inside Transformer LLMs  | [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter03\u002FChapter%203%20-%20Looking%20Inside%20LLMs.ipynb)  |\r\n| Chapter 4: Text Classification  | [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter04\u002FChapter%204%20-%20Text%20Classification.ipynb)  |\r\n| Chapter 5: Text Clustering and Topic Modeling  | [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter05\u002FChapter%205%20-%20Text%20Clustering%20and%20Topic%20Modeling.ipynb)  |\r\n| Chapter 6: Prompt Engineering  | [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter06\u002FChapter%206%20-%20Prompt%20Engineering.ipynb)  |\r\n| Chapter 7: Advanced Text Generation Techniques and Tools  | [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter07\u002FChapter%207%20-%20Advanced%20Text%20Generation%20Techniques%20and%20Tools.ipynb)  |\r\n| Chapter 8: Semantic Search and Retrieval-Augmented Generation  | [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter08\u002FChapter%208%20-%20Semantic%20Search.ipynb)  |\r\n| Chapter 9: Multimodal Large Language Models  | [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter09\u002FChapter%209%20-%20Multimodal%20Large%20Language%20Models.ipynb)  |\r\n| Chapter 10: Creating Text Embedding Models  | [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter10\u002FChapter%2010%20-%20Creating%20Text%20Embedding%20Models.ipynb)  |\r\n| Chapter 11: Fine-tuning Representation Models for Classification  | [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter11\u002FChapter%2011%20-%20Fine-Tuning%20BERT.ipynb)  |\r\n| Chapter 12: Fine-tuning Generation Models  | [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter12\u002FChapter%2012%20-%20Fine-tuning%20Generation%20Models.ipynb)  |\r\n\r\n> [!TIP]\r\n> You can check the [setup](.setup\u002F) folder for a quick-start guide to install all packages locally and you can check the [conda](.setup\u002Fconda\u002F) folder for a complete guide on how to setup your environment, including conda and PyTorch installation.\r\n> Note that the depending on your OS, Python version, and dependencies your results might be slightly differ. However, they\r\n> should this be similar to the examples in the book. \r\n\r\n\r\n## Reviews\r\n\r\n> \"*Jay and Maarten have continued their tradition of providing beautifully illustrated and insightful descriptions of complex topics in their new book. Bolstered with working code, timelines, and references to key papers, their book is a valuable resource for anyone looking to understand the main techniques behind how Large Language Models are built.*\"\r\n>    \r\n> **Andrew Ng** - founder of [DeepLearning.AI](https:\u002F\u002Fwww.deeplearning.ai\u002F)\r\n\r\n---\r\n\r\n> \"*This is an exceptional guide to the world of language models and their practical applications in industry. Its highly-visual coverage of generative, representational, and retrieval applications of language models empowers readers to quickly understand, use, and refine LLMs. Highly recommended!*\"\r\n>\r\n> **Nils Reimers** - Director of Machine Learning at Cohere | creator of [sentence-transformers](https:\u002F\u002Fgithub.com\u002FUKPLab\u002Fsentence-transformers)\r\n\r\n---\r\n\r\n> \"*I can’t think of another book that is more important to read right now. On every single page, I learned something that is critical to success in this era of language models.*\"\r\n> \r\n> **Josh Starmer** - [StatQuest](https:\u002F\u002Fwww.youtube.com\u002Fchannel\u002FUCtYLUTtgS3k1Fg4y5tAhLbw)\r\n\r\n---\r\n\r\n> \"*If you’re looking to get up to speed in everything regarding LLMs, look no further! In this wonderful book, Jay and Maarten will take you from zero to expert in the history and latest advances in large language models. With very intuitive explanations, great real-life examples, clear illustrations, and comprehensive code labs, this book lifts the curtain on the complexities of transformer models, tokenizers, semantic search, RAG, and many other cutting-edge technologies. A must read for anyone interested in the latest AI technology!*\"\r\n> \r\n> **Luis Serrano, PhD** - Founder and CEO of [Serrano Academy](https:\u002F\u002Fwww.youtube.com\u002F@SerranoAcademy)\r\n\r\n---\r\n\r\n> \"*Hands-On Large Language Models brings clarity and practical examples to cut through the hype of AI. It provides a wealth of great diagrams and visual aids to supplement the clear explanations. The worked examples and code make concrete what other books leave abstract. The book starts with simple introductory beginnings, and steadily builds in scope. By the final chapters, you will be fine-tuning and building your own large language models with confidence.*\"\r\n>\r\n> **Leland McInnes** - Researcher at the Tutte Institute for Mathematics and Computing | creator of [UMAP](https:\u002F\u002Fgithub.com\u002Flmcinnes\u002Fumap) and [HDBSCAN](https:\u002F\u002Fgithub.com\u002Fscikit-learn-contrib\u002Fhdbscan)\r\n\r\n---\r\n\r\n## [Bonus content!](bonus\u002F)\r\n\r\nWe attempted to put as much information into the book without it being overwhelming. However, even with a 400-page book there is still much to discover! \r\n\r\nWe continue to create more guides that compliment the book and go more in-depth into new and [exciting topics]((bonus\u002F)):\r\n\r\n| [A Visual Guide to Mamba](https:\u002F\u002Fnewsletter.maartengrootendorst.com\u002Fp\u002Fa-visual-guide-to-mamba-and-state)             |  [A Visual Guide to Quantization](https:\u002F\u002Fnewsletter.maartengrootendorst.com\u002Fp\u002Fa-visual-guide-to-quantization) | [The Illustrated Stable Diffusion](https:\u002F\u002Fjalammar.github.io\u002Fillustrated-stable-diffusion\u002F) |\r\n:-------------------------:|:-------------------------:|:-------------------------:\r\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_e4af7546b8f8.png)  |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_7968a1a71b29.png) |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_9432b0ca9f0e.png)\r\n**[A Visual Guide to Mixture of Experts](https:\u002F\u002Fnewsletter.maartengrootendorst.com\u002Fp\u002Fa-visual-guide-to-mixture-of-experts)**  | **[A Visual Guide to Reasoning LLMs](https:\u002F\u002Fnewsletter.maartengrootendorst.com\u002Fp\u002Fa-visual-guide-to-reasoning-llms)**  |  **[The Illustrated DeepSeek-R1](https:\u002F\u002Fnewsletter.languagemodels.co\u002Fp\u002Fthe-illustrated-deepseek-r1)**\r\n![](images\u002Fmoe.png)  |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_fc76d4b1b050.png) |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_7068c9848bda.png)\r\n\r\n## Citation\r\n\r\nPlease consider citing the book if you consider it useful for your research:\r\n\r\n```\r\n@book{hands-on-llms-book,\r\n  author       = {Jay Alammar and Maarten Grootendorst},\r\n  title        = {Hands-On Large Language Models},\r\n  publisher    = {O'Reilly},\r\n  year         = {2024},\r\n  isbn         = {978-1098150969},\r\n  url          = {https:\u002F\u002Fwww.oreilly.com\u002Flibrary\u002Fview\u002Fhands-on-large-language\u002F9781098150952\u002F},\r\n  github       = {https:\u002F\u002Fgithub.com\u002FHandsOnLLM\u002FHands-On-Large-Language-Models}\r\n}\r\n```\r\n","# 动手实践大型语言模型\n\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fjalammar\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FFollow%20Jay-blue.svg?logo=linkedin\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fmgrootendorst\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FFollow%20Maarten-blue.svg?logo=linkedin\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fwww.deeplearning.ai\u002Fshort-courses\u002Fhow-transformer-llms-work\u002F?utm_campaign=handsonllm-launch&utm_medium=partner\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDeepLearning.AI%20Course-NEW!-&labelColor=black&color=red.svg?logo=data:image\u002Fsvg%2bxml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAuMDAwMzY1MjgxIC0wLjAwMDE0MDE0MiAzMy4yOSAzMy4xNSI+Cgk8cGF0aCBkPSJNMTYuNjQzIDMzLjE0NWMtMy4yOTIgMC02LjUxLS45NzItOS4yNDYtMi43OTNhMTYuNTg4IDE6NTgOCAwIDExLTYuMTMtNy40MzhBMTYuNTA3IDE6NTA3IDAgMDEuMyIgZmlsbD0iI0ZENEE2MSIvPgo8L3N2Zz4=\">\u003C\u002Fa>\n\n欢迎！在这个仓库中，您将找到由 [Jay Alammar](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fjalammar\u002F) 和 [Maarten Grootendorst](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fmgrootendorst\u002F) 撰写的书籍《动手实践大型语言模型》（[Amazon链接](https:\u002F\u002Fwww.amazon.com\u002FHands-Large-Language-Models-Understanding\u002Fdp\u002F1098150961)）中所有示例的代码。我们戏称这本书为：  \n\n\u003Cp align=\"center\">\u003Cb>\u003Ci>“图解LLM书”\u003C\u002Fi>\u003C\u002Fb>\u003C\u002Fp>\n\n通过本书直观易懂的内容和**近300幅原创插图**，您将学习到当今使用大型语言模型所需的实用工具和核心概念！\n\n\u003Ca href=\"https:\u002F\u002Fwww.amazon.com\u002FHands-Large-Language-Models-Understanding\u002Fdp\u002F1098150961\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_5afaafec3c3d.png\" width=\"50%\" >\u003C\u002Fa>\n\n\u003Cbr>\n\n本书现已在以下平台发售：\n\n* [亚马逊](https:\u002F\u002Fwww.amazon.com\u002FHands-Large-Language-Models-Understanding\u002Fdp\u002F1098150961)\n* [Shroff Publishers（印度）](https:\u002F\u002Fwww.shroffpublishers.com\u002Fbooks\u002Fcomputer-science\u002Flarge-language-models\u002F9789355425522\u002F)\n* [O'Reilly](https:\u002F\u002Fwww.oreilly.com\u002Flibrary\u002Fview\u002Fhands-on-large-language\u002F9781098150952\u002F)\n* [Kindle](https:\u002F\u002Fwww.amazon.com\u002FHands-Large-Language-Models-Alammar-ebook\u002Fdp\u002FB0DGZ46G88\u002Fref=tmm_kin_swatch_0?_encoding=UTF8&qid=&sr=)\n* [Barnes & Noble](https:\u002F\u002Fwww.barnesandnoble.com\u002Fw\u002Fhands-on-large-language-models-jay-alammar\u002F1145185960)\n* [Goodreads](https:\u002F\u002Fwww.goodreads.com\u002Fbook\u002Fshow\u002F210408850-hands-on-large-language-models)\n\n## 目录\n\n我们建议通过 Google Colab 运行所有示例，以获得最简单的设置。Google Colab 允许您免费使用配备 16GB 显存的 T4 GPU。所有示例主要是在 Google Colab 中构建和测试的，因此它应该是最稳定的平台。不过，任何其他云服务提供商也应该可以正常工作。\n\n| 章节  | 笔记本  |\n|---|---|\n| 第1章：语言模型简介  | [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter01\u002FChapter%201%20-%20Introduction%20to%20Language%20Models.ipynb)   |\n| 第2章：标记与嵌入  | [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter02\u002FChapter%202%20-%20Tokens%20and%20Token%20Embeddings.ipynb)  |\n| 第3章：深入Transformer LLM内部  | [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter03\u002FChapter%203%20-%20Looking%20Inside%20LLMs.ipynb)  |\n| 第4章：文本分类  | [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter04\u002FChapter%204%20-%20Text%20Classification.ipynb)  |\n| 第5章：文本聚类与主题建模  | [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter05\u002FChapter%205%20-%20Text%20Clustering%20and%20Topic%20Modeling.ipynb)  |\n| 第6章：提示工程  | [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter06\u002FChapter%206%20-%20Prompt%20Engineering.ipynb)  |\n| 第7章：高级文本生成技术与工具  | [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter07\u002FChapter%207%20-%20Advanced%20Text%20Generation%20Techniques%20and%20Tools.ipynb)  |\n| 第8章：语义搜索与检索增强生成  | [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter08\u002FChapter%208%20-%20Semantic%20Search.ipynb)  |\n| 第9章：多模态大型语言模型  | [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter09\u002FChapter%209%20-%20Multimodal%20Large%20Language%20Models.ipynb)  |\n| 第10章：创建文本嵌入模型  | [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter10\u002FChapter%2010%20-%20Creating%20Text%20Embedding%20Models.ipynb)  |\n| 第11章：为分类任务微调表示模型  | [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter11\u002FChapter%2011%20-%20Fine-Tuning%20BERT.ipynb)  |\n| 第12章：微调生成模型  | [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fblob\u002Fmain\u002Fchapter12\u002FChapter%2012%20-%20Fine-tuning%20Generation%20Models.ipynb)  |\n\n> [!提示]\n> 您可以查看 [.setup\u002F] 文件夹中的快速入门指南，以在本地安装所有软件包；也可以查看 [.setup\u002Fconda\u002F] 文件夹中的完整环境搭建指南，包括 Conda 和 PyTorch 的安装。\n> 请注意，根据您的操作系统、Python 版本以及依赖项的不同，结果可能会略有差异。不过，这些结果应与书中的示例相似。\n\n\n## 评论\n\n> “杰伊和马尔滕延续了他们一贯的传统，在新书中以精美插图和深刻见解阐释复杂主题。书中配有可运行的代码、时间线以及关键论文的引用，对于任何希望理解大型语言模型构建核心技术的人来说，都是一份宝贵的资源。”\n> \n> **吴恩达** - [DeepLearning.AI](https:\u002F\u002Fwww.deeplearning.ai\u002F) 创始人\n\n---\n\n> “这是一本关于语言模型及其工业应用的卓越指南。它以高度可视化的方式涵盖了语言模型的生成式、表示性和检索式应用，使读者能够快速理解、使用并优化大型语言模型。强烈推荐！”\n>\n> **尼尔斯·赖默斯** - Cohere 公司机器学习总监 | [sentence-transformers](https:\u002F\u002Fgithub.com\u002FUKPLab\u002Fsentence-transformers) 的创建者\n\n---\n\n> “我想不到还有哪本书比这本书更值得现在阅读。在每一页上，我都学到了在这个语言模型时代取得成功至关重要的知识。”\n>\n> **乔什·斯塔默** - [StatQuest](https:\u002F\u002Fwww.youtube.com\u002Fchannel\u002FUCtYLUTtgS3k1Fg4y5tAhLbw)\n\n---\n\n> “如果你想要全面了解大型语言模型的相关知识，那就无需再寻找了！在这本精彩的书中，杰伊和马尔滕将带你从零开始，逐步掌握大型语言模型的历史与最新进展。凭借直观易懂的讲解、丰富的实际案例、清晰的图表以及全面的代码实验，这本书揭开了变压器模型、分词器、语义搜索、RAG 等前沿技术的神秘面纱。对于任何对最新人工智能技术感兴趣的人来说，这都是一本必读之作！”\n>\n> **路易斯·塞拉诺博士** - [Serrano Academy](https:\u002F\u002Fwww.youtube.com\u002F@SerranoAcademy) 创始人兼首席执行官\n\n---\n\n> “《动手实践大型语言模型》用清晰的解释和实用的例子，帮助人们拨开人工智能领域的炒作迷雾。书中提供了大量优秀的图表和视觉辅助工具，很好地补充了清晰的说明。精心设计的示例和代码让其他书籍中抽象的概念变得具体而生动。本书从简单的入门内容开始，逐步深入，到最后一章时，你将能够自信地微调并构建属于自己的大型语言模型。”\n>\n> **利兰·麦金尼斯** - 图特数学与计算研究所研究员 | [UMAP](https:\u002F\u002Fgithub.com\u002Flmcinnes\u002Fumap) 和 [HDBSCAN](https:\u002F\u002Fgithub.com\u002Fscikit-learn-contrib\u002Fhdbscan) 的创建者\n\n---\n\n## [附加内容！](bonus\u002F)\n\n我们尽力在不使内容显得过于繁重的情况下，将尽可能多的信息融入本书。然而，即便是一本400页的书，仍然有许多值得探索的内容！\n\n我们仍在持续创作更多与本书相辅相成、并深入探讨全新且[令人兴奋的主题]((bonus\u002F))的指南：\n\n| [Mamba 的可视化指南](https:\u002F\u002Fnewsletter.maartengrootendorst.com\u002Fp\u002Fa-visual-guide-to-mamba-and-state)             |  [量化技术的可视化指南](https:\u002F\u002Fnewsletter.maartengrootendorst.com\u002Fp\u002Fa-visual-guide-to-quantization) | [图解 Stable Diffusion](https:\u002F\u002Fjalammar.github.io\u002Fillustrated-stable-diffusion\u002F) |\r\n:-------------------------:|:-------------------------:|:-------------------------:\r\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_e4af7546b8f8.png)  |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_7968a1a71b29.png) |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_9432b0ca9f0e.png)\r\n**[专家混合模型的可视化指南](https:\u002F\u002Fnewsletter.maartengrootendorst.com\u002Fp\u002Fa-visual-guide-to-mixture-of-experts)**  | **[推理型大语言模型的可视化指南](https:\u002F\u002Fnewsletter.maartengrootendorst.com\u002Fp\u002Fa-visual-guide-to-reasoning-llms)**  |  **[图解 DeepSeek-R1](https:\u002F\u002Fnewsletter.languagemodels.co\u002Fp\u002Fthe-illustrated-deepseek-r1)**\r\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_b14770a86a7d.png)  |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_fc76d4b1b050.png) |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_readme_7068c9848bda.png)\r\n\r\n## 引用\r\n\r\n如果您认为本书对您的研究有所帮助，请考虑引用它：\n\n```\r\n@book{hands-on-llms-book,\r\n  author       = {Jay Alammar 和 Maarten Grootendorst},\r\n  title        = {动手实践大型语言模型},\r\n  publisher    = {O'Reilly},\r\n  year         = {2024},\r\n  isbn         = {978-1098150969},\r\n  url          = {https:\u002F\u002Fwww.oreilly.com\u002Flibrary\u002Fview\u002Fhands-on-large-language\u002F9781098150952\u002F},\r\n  github       = {https:\u002F\u002Fgithub.com\u002FHandsOnLLM\u002FHands-On-Large-Language-Models}\r\n}\r\n```","# Hands-On Large Language Models 快速上手指南\n\n本指南基于 Jay Alammar 和 Maarten Grootendorst 所著的《Hands-On Large Language Models》（图解大语言模型）配套代码库，帮助开发者快速运行书中的示例代码。\n\n## 环境准备\n\n本项目主要设计为在 **Google Colab** 上运行，这是最稳定且配置最简单的平台（免费提供 T4 GPU，16GB 显存）。如果您希望在本地运行，请确保满足以下要求：\n\n*   **操作系统**: Linux, macOS 或 Windows (WSL2 推荐)\n*   **Python 版本**: 3.8 或更高版本\n*   **硬件要求**: 建议配备 NVIDIA GPU (至少 8GB 显存，部分章节如微调需要 16GB+)\n*   **前置依赖**:\n    *   `git`\n    *   `pip` 或 `conda` (推荐使用 conda 管理环境)\n    *   PyTorch (需匹配您的 CUDA 版本)\n\n> **提示**: 由于部分大模型文件较大，国内用户建议在下载模型权重时使用国内镜像源或加速工具，或在代码中指定 `mirror` 参数（如果库支持）。\n\n## 安装步骤\n\n### 方案 A：使用 Google Colab（推荐）\n无需本地安装，直接点击仓库 README 中对应章节的 \"Open In Colab\" 按钮即可在云端运行。这是官方测试的主要环境。\n\n### 方案 B：本地安装\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FHandsOnLLM\u002FHands-On-Large-Language-Models.git\n    cd Hands-On-Large-Language-Models\n    ```\n\n2.  **创建 Conda 环境**\n    推荐使用官方提供的 `.setup\u002Fconda\u002F` 目录下的配置文件（如果有），或手动创建：\n    ```bash\n    conda create -n llm-handson python=3.9\n    conda activate llm-handson\n    ```\n\n3.  **安装 PyTorch**\n    请访问 [PyTorch 官网](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F) 获取适合您系统的安装命令。例如对于 CUDA 11.8：\n    ```bash\n    pip3 install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n    ```\n    *(国内用户可使用清华源加速：`pip3 install torch ... -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`)*\n\n4.  **安装项目依赖**\n    进入 `.setup` 文件夹查看具体的 `requirements.txt` 或直接安装核心库（书中示例主要依赖 `transformers`, `datasets`, `sentence-transformers`, `scikit-learn` 等）：\n    ```bash\n    pip install -r requirements.txt\n    ```\n    *注：如果根目录没有统一的 requirements.txt，请参考各章节 Notebook 开头的安装单元格，通常包含如下命令：*\n    ```bash\n    pip install transformers datasets accelerate sentence-transformers scikit-learn matplotlib seaborn plotly\n    ```\n\n## 基本使用\n\n本书每个章节对应一个 Jupyter Notebook。以下以 **Chapter 1: Introduction to Language Models** 为例演示如何运行。\n\n### 1. 启动 Jupyter Lab\n在项目根目录下启动服务：\n```bash\njupyter lab\n```\n\n### 2. 打开示例 Notebook\n在浏览器中导航至 `chapter01\u002FChapter 1 - Introduction to Language Models.ipynb` 并打开。\n\n### 3. 运行代码示例\nNotebook 中的代码是循序渐进的。最简单的使用示例通常涉及加载预训练模型并进行推理。以下是书中典型的代码模式（直接从 Notebook 中提取）：\n\n```python\nfrom transformers import pipeline\n\n# 加载一个预训练的文本生成管道\ngenerator = pipeline(\"text-generation\", model=\"distilgpt2\")\n\n# 进行简单的文本生成\nresult = generator(\"Hello, I am a large language model and\", max_length=50, num_return_sequences=1)\n\nprint(result[0]['generated_text'])\n```\n\n### 4. 探索其他章节\n按照目录顺序依次运行后续 Notebook，涵盖主题包括：\n*   **Chapter 2**: Tokens and Embeddings (分词与嵌入)\n*   **Chapter 3**: Looking Inside Transformer LLMs (Transformer 内部结构)\n*   **Chapter 6**: Prompt Engineering (提示工程)\n*   **Chapter 8**: Semantic Search and RAG (语义搜索与检索增强生成)\n*   **Chapter 11-12**: Fine-tuning (模型微调)\n\n> **注意**: 运行微调（Fine-tuning）或大模型（LLM）相关章节时，请确保您的环境已正确连接 GPU，否则运行速度会极慢或导致内存溢出。","某初创公司的算法工程师团队急需构建一个定制化的法律合同审查助手，但团队成员对大模型底层原理和微调流程缺乏系统性认知。\n\n### 没有 Hands-On-Large-Language-Models 时\n- **理论脱节实践**：团队成员虽然阅读了大量论文，但面对 Token 化、嵌入向量等抽象概念时，因缺乏可视化图解和对应代码，难以理解其实际运作机制。\n- **环境搭建耗时**：在尝试复现开源微调方案时，因缺少经过验证的标准化 Notebook，花费数天时间解决依赖冲突和 GPU 显存适配问题，进度严重滞后。\n- **试错成本高昂**：由于不懂 Transformer 内部架构，盲目调整超参数导致模型训练不收敛或产生严重幻觉，浪费了宝贵的计算资源和时间。\n- **知识碎片化**：学习资料散落在各类博客和文档中，缺乏从基础入门到高级应用的完整路径，导致团队技术栈无法统一。\n\n### 使用 Hands-On-Large-Language-Models 后\n- **直观掌握核心**：借助书中近 300 张定制图示与配套代码，团队成员迅速将 Token 处理和注意力机制等理论与实际代码逻辑对应，彻底吃透原理。\n- **开箱即用开发**：直接复用官方提供的 Google Colab Notebook，在 T4 GPU 上几分钟内即可跑通从数据预处理到模型微调的全流程，立即进入业务逻辑开发。\n- **精准调优模型**：基于对底层架构的清晰认知，团队能够针对性地优化提示词工程和微调策略，显著降低了合同审查中的幻觉率，提升了准确率。\n- **体系化成长**：跟随章节式的学习路径，团队成员建立了完整的大模型知识体系，不仅能解决当前问题，还具备了独立研发新功能的能力。\n\nHands-On-Large-Language-Models 通过“图解 + 代码”的双重驱动，将晦涩的大模型技术转化为可落地的工程能力，极大缩短了从理论学习到生产部署的周期。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHandsOnLLM_Hands-On-Large-Language-Models_5ef9ef1a.png","HandsOnLLM","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FHandsOnLLM_a43236f5.png","",null,"https:\u002F\u002Fgithub.com\u002FHandsOnLLM",[82],{"name":83,"color":84,"percentage":85},"Jupyter Notebook","#DA5B0B",100,24827,5762,"2026-04-05T21:49:11","Apache-2.0","未说明","非必需（推荐使用 Google Colab 免费 T4 GPU，16GB 显存）",{"notes":93,"python":90,"dependencies":94},"官方强烈建议使用 Google Colab 运行所有示例，因其预配置了免费的 T4 GPU（16GB 显存）且最稳定。虽然支持其他云服务商，但本地安装需参考 .setup 文件夹中的指南（包含 conda 和 PyTorch 安装）。不同操作系统、Python 版本及依赖可能导致结果略有差异。",[90],[13,26],[97,98,99,100,101,102,103],"artificial-intelligence","book","large-language-models","llm","llms","oreilly","oreilly-books","2026-03-27T02:49:30.150509","2026-04-06T08:39:58.234547",[107,112,117,122,127,132],{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},10090,"安装 requirements.txt 时出现 'pip: error: no such option: -C' 错误怎么办？","该错误通常是因为 pip 版本过旧，不支持 `-C` 配置选项。请尝试升级 pip 到最新版本：`pip install --upgrade pip`。如果问题仍然存在，可能需要检查 requirements.txt 格式或手动安装特定包（如 llama_cpp_python）并指定 cmake 参数。维护者已提交相关修复 PR。","https:\u002F\u002Fgithub.com\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fissues\u002F6",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},10091,"GitHub 上无法预览笔记本文件 (.ipynb) 或显示空白怎么办？","这通常是由于笔记本中包含不兼容的 widget 元数据导致 GitHub 渲染失败。维护者已通过清理 widget 元数据修复了大部分文件。如果您遇到此问题，可以尝试在本地使用 `jupyter nbclassic` 打开文件并清除 widget 状态，或者直接克隆最新代码库获取已修复的版本。","https:\u002F\u002Fgithub.com\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fissues\u002F47",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},10092,"在 Google Colab 中打开笔记本时提示 'JSON Parse error' 或文件损坏怎么办？","这是由于笔记本中的 widget 元数据与 Colab 解析器冲突导致的。维护者已专门运行 `uv run jupyter nbclassic` 并清除了 widget 元数据来修复此问题。请确保您拉取的是仓库的最新版本，旧的缓存文件可能导致此错误。如果问题依旧，尝试在 Colab 中选择 'Runtime' -> 'Factory reset runtime' 后重新打开链接。","https:\u002F\u002Fgithub.com\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fissues\u002F55",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},10093,"运行第 9 章多模态模型代码时出现 'RuntimeError: shape mismatch' 错误如何解决？","这是因为 Hugging Face Transformers 库更新后，默认的 BLIP-2 模型行为发生了变化。解决方法是加载模型时指定特定的 revision 版本。请将代码：\n`blip_processor = AutoProcessor.from_pretrained(\"Salesforce\u002Fblip2-opt-2.7b\")`\n修改为：\n`blip_processor = AutoProcessor.from_pretrained(\"Salesforce\u002Fblip2-opt-2.7b\", revision=\"51572668da0eb669e01a189dc22abe6088589a24\")`\n这将确保使用与本书代码兼容的模型版本。","https:\u002F\u002Fgithub.com\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fissues\u002F21",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},10094,"第 12 章中进行量化时，为什么使用 'intermediate-step' 模型而不是 'Chat' 模型？遇到 chat_template 报错怎么办？","书中使用中间步骤模型是为了保持与原始实验的一致性。但如果您在使用 `SFTTrainer` 时遇到 `ValueError: Cannot use chat template functions...` 错误，这是因为该模型缺少聊天模板。您可以像书中后续实践那样，改用 `TinyLlama\u002FTinyLlama-1.1BChat-v1.0` 模型进行量化和分词，该模型内置了聊天模板，能直接解决此报错并成功运行代码。","https:\u002F\u002Fgithub.com\u002FHandsOnLLM\u002FHands-On-Large-Language-Models\u002Fissues\u002F18",{"id":133,"question_zh":134,"answer_zh":135,"source_url":116},10095,"如何获取书中所有章节的 Colab 笔记本链接？","所有章节的 Colab 链接都整理在仓库主页 README 文件的目录（Table of Contents）部分。您可以直接访问仓库根目录的 README，找到对应章节的 'Open in Colab' 徽章或链接即可直接在浏览器中运行代码，无需本地配置环境。",[]]