[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-harleyszhang--llm_note":3,"tool-harleyszhang--llm_note":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",154349,2,"2026-04-13T23:32:16",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":80,"owner_website":80,"owner_url":81,"languages":82,"stars":99,"forks":100,"last_commit_at":101,"license":80,"difficulty_score":102,"env_os":103,"env_gpu":104,"env_ram":105,"env_deps":106,"category_tags":111,"github_topics":112,"view_count":32,"oss_zip_url":80,"oss_zip_packed_at":80,"status":17,"created_at":120,"updated_at":121,"faqs":122,"releases":123},7309,"harleyszhang\u002Fllm_note","llm_note","LLM notes, including model inference, transformer model structure, and llm framework code analysis notes.","llm_note 是一套专注于大语言模型（LLM）底层原理与高性能推理的开源技术笔记合集。它系统性地梳理了从 Transformer 模型基础结构、主流量化算法（如 SmoothQuant、AWQ）到前沿推理优化技术（如 FlashAttention 系列、PageAttention）的核心知识，并深入解析了 vLLM 等知名框架的源码实现。\n\n这套资料旨在解决开发者在深入理解大模型推理机制、突破性能瓶颈以及掌握高性能计算（HPC）编程时面临的“黑盒”难题。通过提供详细的论文解读、算法源码剖析以及基于 Triton 和 CUDA 的内核开发教程，llm_note 帮助用户打通从理论到工程落地的最后一公里。其独特亮点在于结合了一个基于 Triton + PyTorch 实现的轻量级推理框架案例，展示了如何在不依赖复杂 C++\u002FCUDA 语法的情况下，高效实现算子融合与显存管理，并在多款主流模型上实现了显著的加速效果。\n\nllm_note 非常适合希望深入大模型基础设施领域的 AI 工程师、算法研究人员以及对高性能计算感兴趣的技术爱好者。无论你是想为面试储备硬核知识，还是致力于从零构建高效","llm_note 是一套专注于大语言模型（LLM）底层原理与高性能推理的开源技术笔记合集。它系统性地梳理了从 Transformer 模型基础结构、主流量化算法（如 SmoothQuant、AWQ）到前沿推理优化技术（如 FlashAttention 系列、PageAttention）的核心知识，并深入解析了 vLLM 等知名框架的源码实现。\n\n这套资料旨在解决开发者在深入理解大模型推理机制、突破性能瓶颈以及掌握高性能计算（HPC）编程时面临的“黑盒”难题。通过提供详细的论文解读、算法源码剖析以及基于 Triton 和 CUDA 的内核开发教程，llm_note 帮助用户打通从理论到工程落地的最后一公里。其独特亮点在于结合了一个基于 Triton + PyTorch 实现的轻量级推理框架案例，展示了如何在不依赖复杂 C++\u002FCUDA 语法的情况下，高效实现算子融合与显存管理，并在多款主流模型上实现了显著的加速效果。\n\nllm_note 非常适合希望深入大模型基础设施领域的 AI 工程师、算法研究人员以及对高性能计算感兴趣的技术爱好者。无论你是想为面试储备硬核知识，还是致力于从零构建高效的推理系统，这里提供的结构化学习路径和实战代码分析都能为你提供强有力的支持。","- [我的自制大模型推理框架课程介绍](#我的自制大模型推理框架课程介绍)\n- [一 transformer 模型](#一-transformer-模型)\n  - [1.1 transformer 模型基础](#11-transformer-模型基础)\n- [二 LLM 量化推理](#二-llm-量化推理)\n- [三 llm 推理优化](#三-llm-推理优化)\n  - [3.1 LLM 综合性能分析](#31-llm-综合性能分析)\n  - [3.2 LLM 推理优化-算法层面](#32-llm-推理优化-算法层面)\n  - [3.3 LLM 并行加速](#33-llm-并行加速)\n- [四 高性能计算](#四-高性能计算)\n  - [4.1 triton 笔记](#41-triton-笔记)\n  - [4.2 cuda 笔记](#42-cuda-笔记)\n  - [4.3 高性能编程学习资料推荐](#43-高性能编程学习资料推荐)\n- [五 框架解析](#五-框架解析)\n- [参考资料](#参考资料)\n\nLLM notes, including model inference, hpc programming note, transformer model structure, and vllm framework code analysis notes.\n\n## 我的自制大模型推理框架课程介绍\n\n1. **框架亮点**：基于 `Triton + PyTorch` 开发的轻量级、且简单易用的大模型推理框架，采用类 `Pytorch` 语法的 `Triton` 编写算子，绕开 Cuda 复杂语法实现 GPU 内核开发。\n2. **价格：499**。非常实惠和便宜，课程、项目、面经、答疑质量绝对对得起这个价格。\n3. **课程优势​**：\n   - **手把手教你从 0 到 1 实现大模型推理框架**。\n   - 项目导向 + 面试导向 + **分类总结的面试题**。\n   - 2025 最新的高性能计算\u002F推理框架岗位的大厂面试题汇总\n4. **项目优势​**：\n\t- 架构清晰，代码简洁且注释详尽，覆盖大模型离线推理全流程。​\n    - 运用 OpenAI `Triton` 编写高性能计算 `Kernel`，其中矩阵乘法内核效率堪比 `cuBLAS`。​\n    - 基于 `PyTorch` 实现高效显存管理。​\n    - 课程项目完美支持 `FlashAttentionV1、V2、V3` 与 `GQA`，以及 `PageAttention` 的具体实现。​\n    - 使用 `Triton` 编写融合算子，如 KV 线性层融合等。​\n    - 适配最新的 `qwen3\u002Fqwen2.5\u002Fllama3\u002Fllava1.5` 模型，相较 transformers 库，在 llama3 1B 和 3B 模型上，加速比最高可达 `4` 倍。\n5. **分类总结部分面试题**：\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_1868ef02ff76.jpg\" width=\"55%\" alt=\"transformer_block_mp\">\n\u003C\u002Fdiv>\n\n1. **项目运行效果**:\n\n`llama3.2-1.5B-Instruct` 模型流式输出结果测试：\n\n![流式输出](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_4f9d7b2f5121.gif)\n\n`Qwen2.5-3B` 模型（社区版本）流式输出结果测试：\n\n![流式输出](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_83a3a743be2b.gif)\n\n`Llava1.5-7b-hf` 模型流式输出结果测试:\n\n\u003Ctable style=\"width: 100%; table-layout: fixed;\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_c75226e75b31.gif\" width=\"90%\" alt=\"llava_output2\">\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_b2a27d2d91a1.gif\" width=\"100%\" alt=\"llava_output\">\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n感兴趣的同学可以扫码联系课程购买，这个课程是我和[《自制深度学习推理框架》作者](https:\u002F\u002Fspace.bilibili.com\u002F1822828582)一起合力打造的，内容也会持续更新优化。\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_e782aad0f0e9.jpg\" width=\"20%\" alt=\"transformer_block_mp\">\n\u003C\u002Fdiv>\n\n## 一 transformer 模型\n### 1.1 transformer 模型基础\n\n- [transformer 论文解读](.\u002F1-transformer_model\u002Ftransformer论文解读.md)\n- [transformer 模型代码实现](.\u002F1-transformer_model\u002Ftransformer模型结构详解及实现.md)\n- [llama1-3 模型结构详解](.\u002F1-transformer_model\u002Fllama1-3模型结构详解.md)\n- [vit 论文速读](.\u002F1-transformer_model\u002Fvit论文速读.md)\n- [gpt1-3 论文解读](.\u002F1-transformer_model\u002Fgpt1-3论文解读.md)\n- [Sinusoida 位置编码算法详解](.\u002F1-transformer_model\u002FSinusoida位置编码详解.md)\n- [MLA结构代码实现及优化](.\u002F1-transformer_model\u002FMLA结构代码实现及优化.md)\n\n## 二 LLM 量化推理\n\n- [SmoothQuant 论文解读](.\u002F2-llm_compression\u002FSmoothQuant论文解读.md)\n- [SmoothQuant 算法源码剖析](.\u002F2-llm_compression\u002FSmoothQuant源码剖析.md)\n- [AWQ 论文解读](.\u002F2-llm_compression\u002FSmoothQuant论文解读.md)\n- [AWQ 算法源码剖析](.\u002F2-llm_compression\u002FAWQ代码解析.md)\n\n## 三 llm 推理优化\n\n### 3.1 LLM 综合性能分析\n\n- [llm 推理揭秘论文翻译](3-llm_infer\u002Fllm推理揭秘论文翻译.md)\n- [llm 综合分析论文翻译](3-llm_infer\u002Fllm综合分析论文翻译.md)\n- [llm推理服务框架总结](3-llm_infer\u002Fllm服务框架特性总结.md)\n\n### 3.2 LLM 推理优化-算法层面\n\n- [online-softmax 论文解读](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fonline-softmax论文解读.md)\n- [flashattention-1 论文解读](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fflashattention-1论文解读.md)\n- [flashattention-2 论文解读](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fflashattention-2论文解读.md)\n- [flashattention-3 论文解读](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fflashattention-3论文解读.md)\n- [flashattention1-2-3 系列总结](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fflashattention1-2-3系列总结.md)\n- [prompt-cache论文速读](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fprompt-cache论文速读.md)\n- [vllm优化之cuda_graph详解](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fvllm优化之cuda_graph详解.md)\n\n### 3.3 LLM 并行加速\n\n- [张量并行技术详解](.\u002F3-llm_infer\u002Fllm_parallel\u002F张量并行技术详解.md)\n\n## 四 高性能计算\n\n### 4.1 triton 笔记\n\n- [理解 triton 之基础知识](.\u002F4-hpc_basic\u002Ftrito内核开发基础0.md)\n- [trito 内核开发基础 1](.\u002F4-hpc_basic\u002Ftrito内核开发基础1.md)\n- [trito 内核开发基础 2](.\u002F4-hpc_basic\u002Ftrito内核开发基础2.md)\n- [trito 内核开发基础 3](.\u002F4-hpc_basic\u002Ftrito内核开发基础3.md)\n- [trito 内核开发基础 4](.\u002F4-hpc_basic\u002Ftrito内核开发基础4.md)\n- [trito 内核开发基础 5](.\u002F4-hpc_basic\u002Ftrito内核开发基础5.md)\n\n### 4.2 cuda 笔记\n\nGPU 内核开发基础：\n\n- [英伟达 GPU 架构总结](.\u002F4-hpc_basic\u002F英伟达GPU架构总结.md)\n- [英伟达GPU通信和多卡拓扑结构](.\u002F4-hpc_basic\u002F英伟达GPU通信和多卡拓扑结构.md)\n- [英伟达 GPU 性能分析指导](.\u002F4-hpc_basic\u002F英伟达GPU性能分析指导.md)\n- [Roofline 论文解读](.\u002F4-hpc_basic\u002FRoofline论文解读.md)\n- [理解 Roofline 性能分析模型](.\u002F4-hpc_basic\u002F深入理解Roofline模型.md)\n  \nCUDA 内核开发笔记：\n\n- [CUDA 背景知识](.\u002F4-hpc_basic\u002FCUDA背景知识.md)\n- [CUDA 编程模型概述](.\u002F4-hpc_basic\u002FCUDA编程模型概述.md)\n- [CUDA 编程模型进阶](.\u002F4-hpc_basic\u002FCUDA编程模型进阶.md)\n- [CUDA 内存组织](.\u002F4-hpc_basic\u002FCUDA内存组织.md)\n- [CUDA 执行模型](.\u002F4-hpc_basic\u002FCUDA执行模型.md)\n- [CUDA 内核执行配置及线程索引计算](.\u002F4-hpc_basic\u002FCUDA内核执行配置及线程索引计算.md)\n- [CUDA 内核优化策略](.\u002F4-hpc_basic\u002FCUDA内核优化策略.md)\n- [CUDA 流介绍](.\u002F4-hpc_basic\u002FCUDA流介绍.md)\n\n### 4.3 高性能编程学习资料推荐\n\n1, 英伟达 gpu cuda 编程语法和特性学习资料推荐：\n\n- [GPU Architecture and Programming](https:\u002F\u002Fhomepages.laas.fr\u002Fadoncesc\u002FFILS\u002FGPU.pdf): 了解 GPU 架构和 cuda 编程的入门文档资料，学完可以理解 gpu 架构的基本原理和理解 cuda 编程模型（cuda 并行计算的基本流程）。建议当作学习 cuda 高性能计算编程的第一篇文档（文章）。\n- [CUDA Tutorial](https:\u002F\u002Fcuda-tutorial.github.io\u002F): CUDA 教程，分成四部分：CUDA 基础、GPU 硬件细节、最近的特性和趋势和基于任务的编程实例，提供了完整清晰的 PDF 文档和 cuda 代码实例。**建议当作系统性学习 cuda 编程的教程**。\n- [learn-cuda](https:\u002F\u002Fgithub.com\u002Frshipley160\u002Flearn-cuda?tab=readme-ov-file): 完整的 cuda 学习教程，包含高级异步方法内容，特点是有性能实验的代码实例。建议当作学习 cuda 高级特性的教程。\n- [CUDA C++ Programming Guide](https:\u002F\u002Fdocs.nvidia.com\u002Fcuda\u002Fpdf\u002FCUDA_C_Programming_Guide.pdf)：内容很全，直接上手学习比较难，建议当作查缺补漏和验证细节的 cuda 百科全书，目前版本是 12.6。\n- 《CUDA C 编程权威指南》：翻译的国外资料，说实话很多内容翻译的非常不行，我最开始跟着这个学习的，学了一周，只是了解了线程、内存概念和编程模型的概述，但是细节和系统性思维没学到，而且翻译的不行，内容也比较过时，完全不推荐，我已经替大家踩过坑了。\n- 《CUDA 编程：基础与实践\\_樊哲勇》：国内自己写的教材，我查资料时候挑着看了一点，基本逻辑是通的，虽然很多原理、概念都讲的特别啰嗦，但实践需要的关键知识点都有讲到，想学中文教程的，可以当作当作了解一个方向的快速阅读资料。\n- [CUDA-Kernels-Learn-Notes](https:\u002F\u002Fgithub.com\u002FDefTruth\u002FCUDA-Learn-Notes\u002Ftree\u002Fmain)： CUDA 内核编程笔记及实战代码，有很强的实践性，后期可以重点学习，我也准备认真看下代码和文档。\n\n2, `cuda\u002Ftriton` 编写 `kernel` 笔记资料：\n\n- 最基本的通用矩阵乘法（gemm）：https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F657632577\n- [kernl](https:\u002F\u002Fgithub.com\u002FELS-RD\u002Fkernl\u002Ftree\u002Fmain): 提供了一些 llm 的 triton 版 kernels\n- [unsloth](https:\u002F\u002Fgithub.com\u002Funslothai\u002Funsloth\u002Ftree\u002Fmain)：专注于大型语言模型推理加速的微调训练方向。提供了开源版本，可以显著提高训练效率，减少内存使用，并且支持 NVIDIA、Intel 和 AMD 的 GPU。Unsloth 的主要特点包括使用 OpenAI 的 Triton 语言重写所有内核。Gemma LLMs 速度提高 2-5 倍，内存减少 `80%` 内核基于 triton 实现。\n- [Liger-Kernel](https:\u002F\u002Fgithub.com\u002Flinkedin\u002FLiger-Kernel\u002Ftree\u002Fmain): 用于训练的高效 triton 内核实现。\n- [Efficient-LLM-Inferencing-on-GPUs](https:\u002F\u002Fgithub.com\u002Fyinuotxie\u002FEfficient-LLM-Inferencing-on-GPUs\u002Ftree\u002Fmain): README 图片不错，改天看看。\n\n## 五 框架解析\n\n`LLM` 推理服务框架技术总结和源码解析：\n\n- [tgi 框架初步解析](.\u002F5-framework\u002Ftgi框架简单总结.md)\n- [vllm推理流程剖析](.\u002F5-framework\u002Fvllm推理流程剖析.md)\n- [vllm优化技术速览](.\u002Fllm_note\u002F5-framework\u002Fvllm优化技术速览.md)\n- [lightllm 模型推理概述](.\u002F5-framework\u002Flightllm模型推理概述.md)\n\nStar History Chart：\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_573e73e7a0b6.png)](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_573e73e7a0b6.png)\\\n\n## 参考资料\n\n- [CUDA-Kernels-Learn-Notes](https:\u002F\u002Fgithub.com\u002FDefTruth\u002FCUDA-Learn-Notes\u002Ftree\u002Fmain)\n- [CUDA and Applications to Task-based Programming](https:\u002F\u002Fcuda-tutorial.github.io\u002F)\n- [transformer inference arithmetic](https:\u002F\u002Fkipp.ly\u002Ftransformer-inference-arithmetic\u002F)\n- [LLM Inference Unveiled: Survey and Roofline Model Insights](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2402.16363)\n- [CUDATutorial](https:\u002F\u002Fgithub.com\u002FRussWong\u002FCUDATutorial\u002Ftree\u002Fmain)\n- [NVIDIA CUDA Knowledge Base](https:\u002F\u002Fgithub.com\u002Frshipley160\u002Flearn-cuda\u002Fwiki)\n- [cuda_programming](https:\u002F\u002Fgithub.com\u002FCoffeeBeforeArch\u002Fcuda_programming\u002Ftree\u002Fmaster)\n- [GitHub Repo for CUDA Course on FreeCodeCamp](https:\u002F\u002Fgithub.com\u002FInfatoshi\u002Fcuda-course\u002Ftree\u002Fmaster)\n- [《人工智能系统》](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FAI-System\u002Ftree\u002Fmain\u002FTextbook)\n- [Neural Network Intelligence](https:\u002F\u002Fnni.readthedocs.io\u002Fzh\u002Fstable\u002Fcompression\u002Foverview.html)\n","- [我的自制大模型推理框架课程介绍](#我的自制大模型推理框架课程介绍)\n- [一 transformer 模型](#一-transformer-模型)\n  - [1.1 transformer 模型基础](#11-transformer-模型基础)\n- [二 LLM 量化推理](#二-llm-量化推理)\n- [三 llm 推理优化](#三-llm-推理优化)\n  - [3.1 LLM 综合性能分析](#31-llm-综合性能分析)\n  - [3.2 LLM 推理优化-算法层面](#32-llm-推理优化-算法层面)\n  - [3.3 LLM 并行加速](#33-llm-并行加速)\n- [四 高性能计算](#四-高性能计算)\n  - [4.1 triton 笔记](#41-triton-笔记)\n  - [4.2 cuda 笔记](#42-cuda-笔记)\n  - [4.3 高性能编程学习资料推荐](#43-高性能编程学习资料推荐)\n- [五 框架解析](#五-框架解析)\n- [参考资料](#参考资料)\n\nLLM 笔记，包括模型推理、HPC 编程笔记、Transformer 模型结构以及 VLLM 框架代码分析笔记。\n\n## 我的自制大模型推理框架课程介绍\n\n1. **框架亮点**：基于 `Triton + PyTorch` 开发的轻量级、且简单易用的大模型推理框架，采用类 `Pytorch` 语法的 `Triton` 编写算子，绕开 Cuda 复杂语法实现 GPU 内核开发。\n2. **价格：499**。非常实惠和便宜，课程、项目、面经、答疑质量绝对对得起这个价格。\n3. **课程优势​**：\n   - **手把手教你从 0 到 1 实现大模型推理框架**。\n   - 项目导向 + 面试导向 + **分类总结的面试题**。\n   - 2025 最新的高性能计算\u002F推理框架岗位的大厂面试题汇总\n4. **项目优势​**：\n\t- 架构清晰，代码简洁且注释详尽，覆盖大模型离线推理全流程。​\n    - 运用 OpenAI `Triton` 编写高性能计算 `Kernel`，其中矩阵乘法内核效率堪比 `cuBLAS`。​\n    - 基于 `PyTorch` 实现高效显存管理。​\n    - 课程项目完美支持 `FlashAttentionV1、V2、V3` 与 `GQA`，以及 `PageAttention` 的具体实现。​\n    - 使用 `Triton` 编写融合算子，如 KV 线性层融合等。​\n    - 适配最新的 `qwen3\u002Fqwen2.5\u002Fllama3\u002Fllava1.5` 模型，相较 transformers 库，在 llama3 1B 和 3B 模型上，加速比最高可达 `4` 倍。\n5. **分类总结部分面试题**：\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_1868ef02ff76.jpg\" width=\"55%\" alt=\"transformer_block_mp\">\n\u003C\u002Fdiv>\n\n1. **项目运行效果**:\n\n`llama3.2-1.5B-Instruct` 模型流式输出结果测试：\n\n![流式输出](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_4f9d7b2f5121.gif)\n\n`Qwen2.5-3B` 模型（社区版本）流式输出结果测试：\n\n![流式输出](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_83a3a743be2b.gif)\n\n`Llava1.5-7b-hf` 模型流式输出结果测试:\n\n\u003Ctable style=\"width: 100%; table-layout: fixed;\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_c75226e75b31.gif\" width=\"90%\" alt=\"llava_output2\">\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_b2a27d2d91a1.gif\" width=\"100%\" alt=\"llava_output\">\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n感兴趣的同学可以扫码联系课程购买，这个课程是我和[《自制深度学习推理框架》作者](https:\u002F\u002Fspace.bilibili.com\u002F1822828582)一起合力打造的，内容也会持续更新优化。\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_e782aad0f0e9.jpg\" width=\"20%\" alt=\"transformer_block_mp\">\n\u003C\u002Fdiv>\n\n## 一 transformer 模型\n### 1.1 transformer 模型基础\n\n- [transformer 论文解读](.\u002F1-transformer_model\u002Ftransformer论文解读.md)\n- [transformer 模型代码实现](.\u002F1-transformer_model\u002Ftransformer模型结构详解及实现.md)\n- [llama1-3 模型结构详解](.\u002F1-transformer_model\u002Fllama1-3模型结构详解.md)\n- [vit 论文速读](.\u002F1-transformer_model\u002Fvit论文速读.md)\n- [gpt1-3 论文解读](.\u002F1-transformer_model\u002Fgpt1-3论文解读.md)\n- [Sinusoida 位置编码算法详解](.\u002F1-transformer_model\u002FSinusoida位置编码详解.md)\n- [MLA结构代码实现及优化](.\u002F1-transformer_model\u002FMLA结构代码实现及优化.md)\n\n## 二 LLM 量化推理\n\n- [SmoothQuant 论文解读](.\u002F2-llm_compression\u002FSmoothQuant论文解读.md)\n- [SmoothQuant 算法源码剖析](.\u002F2-llm_compression\u002FSmoothQuant源码剖析.md)\n- [AWQ 论文解读](.\u002F2-llm_compression\u002FSmoothQuant论文解读.md)\n- [AWQ 算法源码剖析](.\u002F2-llm_compression\u002FAWQ代码解析.md)\n\n## 三 llm 推理优化\n\n### 3.1 LLM 综合性能分析\n\n- [llm 推理揭秘论文翻译](3-llm_infer\u002Fllm推理揭秘论文翻译.md)\n- [llm 综合分析论文翻译](3-llm_infer\u002Fllm综合分析论文翻译.md)\n- [llm推理服务框架总结](3-llm_infer\u002Fllm服务框架特性总结.md)\n\n### 3.2 LLM 推理优化-算法层面\n\n- [online-softmax 论文解读](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fonline-softmax论文解读.md)\n- [flashattention-1 论文解读](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fflashattention-1论文解读.md)\n- [flashattention-2 论文解读](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fflashattention-2论文解读.md)\n- [flashattention-3 论文解读](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fflashattention-3论文解读.md)\n- [flashattention1-2-3 系列总结](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fflashattention1-2-3系列总结.md)\n- [prompt-cache论文速读](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fprompt-cache论文速读.md)\n- [vllm优化之cuda_graph详解](.\u002F3-llm_infer\u002Ffast_algorithm\u002Fvllm优化之cuda_graph详解.md)\n\n### 3.3 LLM 并行加速\n\n- [张量并行技术详解](.\u002F3-llm_infer\u002Fllm_parallel\u002F张量并行技术详解.md)\n\n## 四 高性能计算\n\n### 4.1 triton 笔记\n\n- [理解 triton 之基础知识](.\u002F4-hpc_basic\u002Ftrito内核开发基础0.md)\n- [trito 内核开发基础 1](.\u002F4-hpc_basic\u002Ftrito内核开发基础1.md)\n- [trito 内核开发基础 2](.\u002F4-hpc_basic\u002Ftrito内核开发基础2.md)\n- [trito 内核开发基础 3](.\u002F4-hpc_basic\u002Ftrito内核开发基础3.md)\n- [trito 内核开发基础 4](.\u002F4-hpc_basic\u002Ftrito内核开发基础4.md)\n- [trito 内核开发基础 5](.\u002F4-hpc_basic\u002Ftrito内核开发基础5.md)\n\n### 4.2 cuda 笔记\n\nGPU 内核开发基础：\n\n- [英伟达 GPU 架构总结](.\u002F4-hpc_basic\u002F英伟达GPU架构总结.md)\n- [英伟达GPU通信和多卡拓扑结构](.\u002F4-hpc_basic\u002F英伟达GPU通信和多卡拓扑结构.md)\n- [英伟达 GPU 性能分析指导](.\u002F4-hpc_basic\u002F英伟达GPU性能分析指导.md)\n- [Roofline 论文解读](.\u002F4-hpc_basic\u002FRoofline论文解读.md)\n- [理解 Roofline 性能分析模型](.\u002F4-hpc_basic\u002F深入理解Roofline模型.md)\n  \nCUDA 内核开发笔记：\n\n- [CUDA 背景知识](.\u002F4-hpc_basic\u002FCUDA背景知识.md)\n- [CUDA 编程模型概述](.\u002F4-hpc_basic\u002FCUDA编程模型概述.md)\n- [CUDA 编程模型进阶](.\u002F4-hpc_basic\u002FCUDA编程模型进阶.md)\n- [CUDA 内存组织](.\u002F4-hpc_basic\u002FCUDA内存组织.md)\n- [CUDA 执行模型](.\u002F4-hpc_basic\u002FCUDA执行模型.md)\n- [CUDA 内核执行配置及线程索引计算](.\u002F4-hpc_basic\u002FCUDA内核执行配置及线程索引计算.md)\n- [CUDA 内核优化策略](.\u002F4-hpc_basic\u002FCUDA内核优化策略.md)\n- [CUDA 流介绍](.\u002F4-hpc_basic\u002FCUDA流介绍.md)\n\n### 4.3 高性能编程学习资料推荐\n\n1, 英伟达 gpu cuda 编程语法和特性学习资料推荐：\n\n- [GPU Architecture and Programming](https:\u002F\u002Fhomepages.laas.fr\u002Fadoncesc\u002FFILS\u002FGPU.pdf): 了解 GPU 架构和 cuda 编程的入门文档资料，学完可以理解 gpu 架构的基本原理和理解 cuda 编程模型（cuda 并行计算的基本流程）。建议当作学习 cuda 高性能计算编程的第一篇文档（文章）。\n- [CUDA Tutorial](https:\u002F\u002Fcuda-tutorial.github.io\u002F): CUDA 教程，分成四部分：CUDA 基础、GPU 硬件细节、最近的特性和趋势和基于任务的编程实例，提供了完整清晰的 PDF 文档和 cuda 代码实例。**建议当作系统性学习 cuda 编程的教程**。\n- [learn-cuda](https:\u002F\u002Fgithub.com\u002Frshipley160\u002Flearn-cuda?tab=readme-ov-file): 完整的 cuda 学习教程，包含高级异步方法内容，特点是有性能实验的代码实例。建议当作学习 cuda 高级特性的教程。\n- [CUDA C++ Programming Guide](https:\u002F\u002Fdocs.nvidia.com\u002Fcuda\u002Fpdf\u002FCUDA_C_Programming_Guide.pdf)：内容很全，直接上手学习比较难，建议当作查缺补漏和验证细节的 cuda 百科全书，目前版本是 12.6。\n- 《CUDA C 编程权威指南》：翻译的国外资料，说实话很多内容翻译的非常不行，我最开始跟着这个学习的，学了一周，只是了解了线程、内存概念和编程模型的概述，但是细节和系统性思维没学到，而且翻译的不行，内容也比较过时，完全不推荐，我已经替大家踩过坑了。\n- 《CUDA 编程：基础与实践\\_樊哲勇》：国内自己写的教材，我查资料时候挑着看了一点，基本逻辑是通的，虽然很多原理、概念都讲的特别啰嗦，但实践需要的关键知识点都有讲到，想学中文教程的，可以当作当作了解一个方向的快速阅读资料。\n- [CUDA-Kernels-Learn-Notes](https:\u002F\u002Fgithub.com\u002FDefTruth\u002FCUDA-Learn-Notes\u002Ftree\u002Fmain)： CUDA 内核编程笔记及实战代码，有很强的实践性，后期可以重点学习，我也准备认真看下代码和文档。\n\n2, `cuda\u002Ftriton` 编写 `kernel` 笔记资料：\n\n- 最基本的通用矩阵乘法（gemm）：https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F657632577\n- [kernl](https:\u002F\u002Fgithub.com\u002FELS-RD\u002Fkernl\u002Ftree\u002Fmain): 提供了一些 llm 的 triton 版 kernels\n- [unsloth](https:\u002F\u002Fgithub.com\u002Funslothai\u002Funsloth\u002Ftree\u002Fmain)：专注于大型语言模型推理加速的微调训练方向。提供了开源版本，可以显著提高训练效率，减少内存使用，并且支持 NVIDIA、Intel 和 AMD 的 GPU。Unsloth 的主要特点包括使用 OpenAI 的 Triton 语言重写所有内核。Gemma LLMs 速度提高 2-5 倍，内存减少 `80%` 内核基于 triton 实现。\n- [Liger-Kernel](https:\u002F\u002Fgithub.com\u002Flinkedin\u002FLiger-Kernel\u002Ftree\u002Fmain): 用于训练的高效 triton 内核实现。\n- [Efficient-LLM-Inferencing-on-GPUs](https:\u002F\u002Fgithub.com\u002Fyinuotxie\u002FEfficient-LLM-Inferencing-on-GPUs\u002Ftree\u002Fmain): README 图片不错，改天看看。\n\n## 五 框架解析\n\n`LLM` 推理服务框架技术总结和源码解析：\n\n- [tgi 框架初步解析](.\u002F5-framework\u002Ftgi框架简单总结.md)\n- [vllm推理流程剖析](.\u002F5-framework\u002Fvllm推理流程剖析.md)\n- [vllm优化技术速览](.\u002Fllm_note\u002F5-framework\u002Fvllm优化技术速览.md)\n- [lightllm 模型推理概述](.\u002F5-framework\u002Flightllm模型推理概述.md)\n\nStar History Chart：\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_573e73e7a0b6.png)](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_readme_573e73e7a0b6.png)\\\n\n## 参考资料\n\n- [CUDA内核学习笔记](https:\u002F\u002Fgithub.com\u002FDefTruth\u002FCUDA-Learn-Notes\u002Ftree\u002Fmain)\n- [CUDA与基于任务的编程应用](https:\u002F\u002Fcuda-tutorial.github.io\u002F)\n- [Transformer推理算法](https:\u002F\u002Fkipp.ly\u002Ftransformer-inference-arithmetic\u002F)\n- [LLM推理揭秘：综述与Roofline模型洞察](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2402.16363)\n- [CUDATutorial](https:\u002F\u002Fgithub.com\u002FRussWong\u002FCUDATutorial\u002Ftree\u002Fmain)\n- [NVIDIA CUDA知识库](https:\u002F\u002Fgithub.com\u002Frshipley160\u002Flearn-cuda\u002Fwiki)\n- [cuda_programming](https:\u002F\u002Fgithub.com\u002FCoffeeBeforeArch\u002Fcuda_programming\u002Ftree\u002Fmaster)\n- [FreeCodeCamp上CUDA课程的GitHub仓库](https:\u002F\u002Fgithub.com\u002FInfatoshi\u002Fcuda-course\u002Ftree\u002Fmaster)\n- [《人工智能系统》](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FAI-System\u002Ftree\u002Fmain\u002FTextbook)\n- [神经网络智能](https:\u002F\u002Fnni.readthedocs.io\u002Fzh\u002Fstable\u002Fcompression\u002Foverview.html)","# llm_note 快速上手指南\n\n`llm_note` 是一个专注于大模型（LLM）推理框架、高性能计算（HPC）编程及 Transformer 模型结构解析的开源学习笔记与项目集合。本项目不仅包含详细的理论文档，还提供了一个基于 `Triton + PyTorch` 实现的轻量级大模型推理框架实战代码。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：推荐 Linux (Ubuntu 20.04\u002F22.04)，Windows 需使用 WSL2。\n*   **GPU 硬件**：NVIDIA GPU（建议显存 ≥ 16GB 以运行较大模型，如 Llama3-8B；小模型如 1B\u002F3B 可在 8GB 显存上测试）。\n*   **驱动要求**：安装最新的 NVIDIA Driver 和 CUDA Toolkit (建议 CUDA 11.8 或 12.x)。\n*   **前置依赖**：\n    *   Python >= 3.9\n    *   PyTorch (带 CUDA 支持)\n    *   Triton (OpenAI Triton)\n\n## 安装步骤\n\n### 1. 克隆项目\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FHarleysZhang\u002Fllm_note.git\ncd llm_note\n```\n\n### 2. 创建虚拟环境并安装依赖\n推荐使用 `conda` 或 `venv` 隔离环境。\n\n```bash\n# 创建虚拟环境\nconda create -n llm_note python=3.10 -y\nconda activate llm_note\n\n# 安装 PyTorch (根据实际 CUDA 版本选择，此处以 CUDA 11.8 为例)\n# 国内用户推荐使用清华源加速\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 安装 Triton (PyTorch 2.0+ 通常内置或需单独安装对应版本)\npip install triton\n\n# 安装其他必要依赖\npip install transformers accelerate sentencepiece protobuf\n```\n\n> **注意**：本项目核心亮点在于使用 Triton 编写算子。如果您的 PyTorch 版本较新（>=2.0），Triton 通常已集成或可自动适配。若需特定版本的 Triton，请参考官方文档安装。\n\n## 基本使用\n\n本项目主要包含两部分内容：**学习笔记文档**和**推理框架代码**。\n\n### 1. 阅读学习笔记\n所有技术文档均位于项目子目录中，您可以直接在 GitHub 上浏览或使用本地 Markdown 阅读器查看。核心学习路径如下：\n\n*   **Transformer 基础**：查看 `1-transformer_model\u002F` 目录，包含论文解读及 Llama\u002FViT 结构实现。\n*   **量化与优化**：查看 `2-llm_compression\u002F` 和 `3-llm_infer\u002F`，涵盖 SmoothQuant、AWQ 及 FlashAttention 系列算法解析。\n*   **高性能计算**：查看 `4-hpc_basic\u002F`，包含详细的 Triton 和 CUDA 内核开发教程。\n*   **框架源码**：查看 `5-framework\u002F`，深入解析 vLLM、TGI 等主流框架源码。\n\n### 2. 运行自制推理框架示例\n项目提供了一套基于 Triton 实现的轻量级推理框架，支持流式输出。以下是运行测试的基本流程（具体脚本路径可能随项目更新调整，请以仓库最新结构为准）：\n\n**步骤 A：准备模型权重**\n确保您已下载对应的模型权重（如 `llama3.2-1.5B-Instruct` 或 `Qwen2.5-3B`），并放置在本地目录。\n\n**步骤 B：执行推理脚本**\n在项目根目录或对应的 `src`\u002F`examples` 目录下寻找推理入口脚本。假设主脚本为 `infer.py`（具体文件名请查阅项目最新代码结构）：\n\n```bash\n# 示例命令：运行 Llama3 1.5B 模型进行流式生成\npython infer.py \\\n    --model_path \u002Fpath\u002Fto\u002Fllama3.2-1.5B-Instruct \\\n    --prompt \"请介绍一下人工智能的发展趋势\" \\\n    --max_tokens 512 \\\n    --stream True\n```\n\n**预期效果**：\n终端将像 README 中演示的那样，逐字流式输出模型生成的回答。该项目针对 Llama3 1B\u002F3B 模型进行了深度优化，相比原生 Transformers 库可获得显著的加速比。\n\n**步骤 C：尝试多模态模型 (可选)**\n如果您配置了足够显存，可尝试运行 Llava 多模态模型测试：\n\n```bash\npython infer_multimodal.py \\\n    --model_path \u002Fpath\u002Fto\u002FLlava1.5-7b-hf \\\n    --image_path .\u002Fimages\u002Fdemo.jpg \\\n    --prompt \"描述这张图片的内容\"\n```\n\n---\n*注：由于本项目包含大量教学性质的代码和不断迭代的算子实现，具体脚本参数请以仓库内最新的 `examples` 文件夹或脚本头部注释为准。*","某初创团队算法工程师正试图基于 Llama3 架构自研轻量级推理引擎，以满足边缘端低延迟部署需求，却卡在算子优化与显存管理的深水区。\n\n### 没有 llm_note 时\n- **理论落地难**：读懂 FlashAttention 或 PagedAttention 论文后，面对复杂的 CUDA 语法无从下手，无法将算法转化为高效内核代码。\n- **重复造轮子**：需从零摸索 Triton 编程模型，花费数周调试矩阵乘法算子，且性能远不及 cuBLAS，严重拖慢项目进度。\n- **架构设计盲目**：缺乏对 vLLM 等成熟框架的源码级剖析，自行设计的显存管理方案漏洞百出，易导致显存碎片化或服务崩溃。\n- **面试准备零散**：面对大厂高性能计算岗位的面试题，缺乏系统化的分类总结与实战项目支撑，难以证明工程落地能力。\n\n### 使用 llm_note 后\n- **快速实现算子**：借助 Triton 基础笔记与融合算子示例，直接复用类 PyTorch 语法编写出效率媲美 cuBLAS 的 Kernel，绕开繁琐的 CUDA 细节。\n- **全流程复刻**：参考从 0 到 1 的推理框架课程，快速搭建支持 FlashAttention V3 与 GQA 的完整链路，在 Llama3 1B 模型上实现 4 倍加速。\n- **架构清晰可控**：通过 vLLM 框架解析与显存管理指南，构建出结构清晰、注释详尽的推理服务，完美适配 Qwen2.5 等多模态模型。\n- **备战有的放矢**：利用汇总的 2025 最新大厂面试题与项目实战经验，精准掌握张量并行、量化推理等核心考点，显著提升求职竞争力。\n\nllm_note 将晦涩的高性能计算理论与前沿框架源码转化为可执行的工程路径，让开发者从“读不懂论文”跨越到“手搓高性能推理引擎”。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fharleyszhang_llm_note_4f9d7b2f.gif","harleyszhang","zhang","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fharleyszhang_7f6abd92.jpg","CV&LLM inference professional, 公众号搜索嵌入式视觉","SWJTU","shanghai","ZHG5200211@outlook.com",null,"https:\u002F\u002Fgithub.com\u002Fharleyszhang",[83,87,91,95],{"name":84,"color":85,"percentage":86},"Python","#3572A5",90.1,{"name":88,"color":89,"percentage":90},"Cuda","#3A4E3A",6.4,{"name":92,"color":93,"percentage":94},"C++","#f34b7d",3.4,{"name":96,"color":97,"percentage":98},"CMake","#DA3434",0.1,875,87,"2026-04-11T14:17:31",4,"Linux","必需 NVIDIA GPU（支持 CUDA），需适配 Triton 和 PyTorch。具体显存取决于模型大小（文中测试了 1.5B\u002F3B\u002F7B 模型），建议使用支持 CUDA Graph 和高性能计算的现代架构显卡。","未说明",{"notes":107,"python":105,"dependencies":108},"该项目主要是一个大模型推理框架的教学课程和笔记集合，而非直接可安装的 Python 包。核心特性是基于 Triton + PyTorch 开发，使用类 PyTorch 语法的 Triton 编写算子以绕开复杂的 CUDA 语法。项目支持 FlashAttention V1\u002FV2\u002FV3、GQA 及 PageAttention 实现，并适配 Qwen3\u002FQwen2.5\u002FLlama3\u002FLlava1.5 等最新模型。在 Llama3 1B 和 3B 模型上，相比 transformers 库加速比最高可达 4 倍。",[109,110],"PyTorch","Triton",[14,35],[113,114,115,116,117,118,119],"llm","llm-inference","triton-kernels","vllm","cuda-programming","kv-cache","transformer-models","2026-03-27T02:49:30.150509","2026-04-14T12:27:59.296919",[],[]]