[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-datawhalechina--self-llm":3,"tool-datawhalechina--self-llm":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":80,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":83,"stars":100,"forks":101,"last_commit_at":102,"license":103,"difficulty_score":10,"env_os":104,"env_gpu":105,"env_ram":106,"env_deps":107,"category_tags":120,"github_topics":121,"view_count":135,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":136,"updated_at":137,"faqs":138,"releases":169},1425,"datawhalechina\u002Fself-llm","self-llm","《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调（全参数\u002FLora）、部署国内外开源大模型（LLM）\u002F多模态大模型（MLLM）教程","self-llm 是一本专为中文初学者打造的“开源大模型食用指南”，旨在帮助用户在 Linux 环境下轻松完成国内外主流大语言模型（LLM）及多模态模型的本地部署与微调。面对层出不穷的开源模型，普通用户往往受限于复杂的环境配置和高门槛的技术细节，难以亲手体验或定制专属模型。self-llm 通过提供全流程教程，有效解决了这一痛点，将原本繁琐的配置、部署和应用过程简化为清晰的步骤。\n\n该项目内容覆盖从基础环境搭建、模型本地运行（支持 LLaMA、ChatGLM、Qwen 等 50+ 主流模型），到进阶的高效微调技术（如 LoRA、全参数微调、P-Tuning），甚至包含 LangChain 集成与命令行调用等实战应用。此外，项目还收录了丰富的案例，如模仿特定语气的聊天机器人、数学解题助手及个性化数字人制作教程，让学习者能直观理解如何将大模型应用于具体场景。\n\nself-llm 特别适合希望低成本长期使用大模型的学生、NLP 领域初学者、研究人员以及想要构建私域特色模型的开发者。无论你是否具备深厚的技术背景，只要想在本地自由探索和驾驭开源大模型，都能在这里找到循序渐进的学习路径，真正让前沿","self-llm 是一本专为中文初学者打造的“开源大模型食用指南”，旨在帮助用户在 Linux 环境下轻松完成国内外主流大语言模型（LLM）及多模态模型的本地部署与微调。面对层出不穷的开源模型，普通用户往往受限于复杂的环境配置和高门槛的技术细节，难以亲手体验或定制专属模型。self-llm 通过提供全流程教程，有效解决了这一痛点，将原本繁琐的配置、部署和应用过程简化为清晰的步骤。\n\n该项目内容覆盖从基础环境搭建、模型本地运行（支持 LLaMA、ChatGLM、Qwen 等 50+ 主流模型），到进阶的高效微调技术（如 LoRA、全参数微调、P-Tuning），甚至包含 LangChain 集成与命令行调用等实战应用。此外，项目还收录了丰富的案例，如模仿特定语气的聊天机器人、数学解题助手及个性化数字人制作教程，让学习者能直观理解如何将大模型应用于具体场景。\n\nself-llm 特别适合希望低成本长期使用大模型的学生、NLP 领域初学者、研究人员以及想要构建私域特色模型的开发者。无论你是否具备深厚的技术背景，只要想在本地自由探索和驾驭开源大模型，都能在这里找到循序渐进的学习路径，真正让前沿 AI 技术融入日常学习与研究之中。","\u003Cdiv align=center>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_self-llm_readme_bddbb50c0f20.png\" >\n  \u003Ch1>开源大模型食用指南\u003C\u002Fh1>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n\n中文 | [English](.\u002FREADME_en.md)\n\n\u003C\u002Fdiv>\n\n\n  本项目是一个围绕开源大模型、针对国内初学者、基于 Linux 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。\n\n  本项目的主要内容包括：\n\n  1. 基于 Linux 平台的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；\n  2. 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等； \n  3. 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等；\n  4. 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。\n\n  **项目的主要内容就是教程，让更多的学生和未来的从业者了解和熟悉开源大模型的食用方法！任何人都可以提出issue或是提交PR，共同构建维护这个项目。**\n\n  想要深度参与的同学可以联系我们，我们会将你加入到项目的维护者中。\n\n>   ***学习建议：本项目的学习建议是，先学习环境配置，然后再学习模型的部署使用，最后再学习微调。因为环境配置是基础，模型的部署使用是基础，微调是进阶。初学者可以选择Qwen1.5，InternLM2，MiniCPM等模型优先学习。***\n\n>   **进阶学习推荐** ：如果您在学习完本项目后，希望更深入地理解大语言模型的核心原理，并渴望亲手从零开始训练属于自己的大模型，我们强烈推荐关注 Datawhale 的另一个开源项目—— [Happy-LLM 从零开始的大语言模型原理与实践教程](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm) 。该项目将带您深入探索大模型的底层机制，掌握完整的训练流程。\n\n> 注：如果有同学希望了解大模型的模型构成，以及从零手写RAG、Agent和Eval等任务，可以学习Datawhale的另一个项目[Tiny-Universe](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Ftiny-universe)，大模型是当下深度学习领域的热点，但现有的大部分大模型教程只在于教给大家如何调用api完成大模型的应用，而很少有人能够从原理层面讲清楚模型结构、RAG、Agent 以及 Eval。所以该仓库会提供全部手写，不采用调用api的形式，完成大模型的 RAG 、 Agent 、Eval 任务。\n\n> 注：考虑到有同学希望在学习本项目之前，希望学习大模型的理论部分，如果想要进一步深入学习 LLM 的理论基础，并在理论的基础上进一步认识、应用 LLM，可以参考 Datawhale 的 [so-large-llm](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fso-large-lm.git)课程。\n\n> 注：如果有同学在学习本课程之后，想要自己动手开发大模型应用。同学们可以参考 Datawhale 的 [动手学大模型应用开发](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllm-universe) 课程，该项目是一个面向小白开发者的大模型应用开发教程，旨在基于阿里云服务器，结合个人知识库助手项目，向同学们完整的呈现大模型应用开发流程。\n\n## 项目意义\n\n  什么是大模型？\n\n>大模型（LLM）狭义上指基于深度学习算法进行训练的自然语言处理（NLP）模型，主要应用于自然语言理解和生成等领域，广义上还包括机器视觉（CV）大模型、多模态大模型和科学计算大模型等。\n\n  百模大战正值火热，开源 LLM 层出不穷。如今国内外已经涌现了众多优秀开源 LLM，国外如 LLaMA、Alpaca，国内如 ChatGLM、BaiChuan、InternLM（书生·浦语）等。开源 LLM 支持用户本地部署、私域微调，每一个人都可以在开源 LLM 的基础上打造专属于自己的独特大模型。\n\n  然而，当前普通学生和用户想要使用这些大模型，需要具备一定的技术能力，才能完成模型的部署和使用。对于层出不穷又各有特色的开源 LLM，想要快速掌握一个开源 LLM 的应用方法，是一项比较有挑战的任务。\n\n  本项目旨在首先基于核心贡献者的经验，实现国内外主流开源 LLM 的部署、使用与微调教程；在实现主流 LLM 的相关部分之后，我们希望充分聚集共创者，一起丰富这个开源 LLM 的世界，打造更多、更全面特色 LLM 的教程。星火点点，汇聚成海。\n\n  ***我们希望成为 LLM 与普罗大众的阶梯，以自由、平等的开源精神，拥抱更恢弘而辽阔的 LLM 世界。***\n\n## 项目受众\n\n  本项目适合以下学习者：\n\n* 想要使用或体验 LLM，但无条件获得或使用相关 API；\n* 希望长期、低成本、大量应用 LLM；\n* 对开源 LLM 感兴趣，想要亲自上手开源 LLM；\n* NLP 在学，希望进一步学习 LLM；\n* 希望结合开源 LLM，打造领域特色的私域 LLM；\n* 以及最广大、最普通的学生群体。\n\n## 项目规划及进展\n\n   本项目拟围绕开源 LLM 应用全流程组织，包括环境配置及使用、部署应用、微调等，每个部分覆盖主流及特点开源 LLM：\n\n### Example 系列\n\n- [Chat-嬛嬛](.\u002Fexamples\u002FChat-嬛嬛\u002Freadme.md)： Chat-甄嬛是利用《甄嬛传》剧本中所有关于甄嬛的台词和语句，基于LLM进行LoRA微调得到的模仿甄嬛语气的聊天语言模型。\n\n- [Tianji-天机](.\u002Fexamples\u002FTianji-天机\u002Freadme.md)：天机是一款基于人情世故社交场景，涵盖提示词工程 、智能体制作、 数据获取与模型微调、RAG 数据清洗与使用等全流程的大语言模型系统应用教程。\n\n- [AMChat](.\u002Fexamples\u002FAMchat-高等数学\u002Freadme.md): AM (Advanced Mathematics) chat 是一个集成了数学知识和高等数学习题及其解答的大语言模型。该模型使用 Math 和高等数学习题及其解析融合的数据集，基于 InternLM2-Math-7B 模型，通过 xtuner 微调，专门设计用于解答高等数学问题。\n\n- [数字生命](.\u002Fexamples\u002F数字生命\u002Freadme.md): 本项目将以我为原型，利用特制的数据集对大语言模型进行微调，致力于创造一个能够真正反映我的个性特征的AI数字人——包括但不限于我的语气、表达方式和思维模式等等，因此无论是日常聊天还是分享心情，它都以一种既熟悉又舒适的方式交流，仿佛我在他们身边一样。整个流程是可迁移复制的，亮点是数据集的制作。 \n\n### 已支持模型\n\n\u003Cp align=\"center\">\n  \u003Cstrong>✨ 已支持 50+ 主流大语言模型 ✨\u003C\u002Fstrong>\u003Cbr>\n  \u003Cem>每个模型都提供完整的部署、微调和使用教程\u003C\u002Fem>\u003Cbr>\n  📖 \u003Cstrong>\u003Ca href=\".\u002Fsupport_model.md\">查看完整模型列表和教程\u003C\u002Fa>\u003C\u002Fstrong> | \n  🎯 \u003Cstrong>\u003Ca href=\".\u002Fsupport_model.md#通用环境配置\">快速开始\u003C\u002Fa>\u003C\u002Fstrong>\n\u003C\u002Fp>\n\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd valign=\"top\" width=\"25%\">\n      • \u003Ca href=\".\u002Fsupport_model.md#kimi-k25\">Kimi-K2.5\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#step-35-flash\">Step-3.5-Flash\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#glm-47-flash\">GLM-4.7-Flash\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#gemma3\">Gemma3\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#minimax-m25\">MiniMax-M2.5\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#minimax-m2\">MiniMax-M2\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen3\">Qwen3\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen3-vl-4b-instruct\">Qwen3-VL\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#spatiallm\">SpatialLM\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#hunyuan3d-2\">Hunyuan3D-2\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen2-vl\">Qwen2-VL\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#minicpm-o-2_6\">MiniCPM-o\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen25-coder\">Qwen2.5-Coder\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#deepseek-coder-v2\">DeepSeek-Coder-V2\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#gpt-oss-20b\">gpt-oss-20b\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#glm-41-thinking\">GLM-4.1-Thinking\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd valign=\"top\" width=\"25%\">\n      • \u003Ca href=\".\u002Fsupport_model.md#deepseek-r1-distill\">DeepSeek-R1\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#internlm3\">InternLM3\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#phi4\">phi4\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#glm-45-air\">GLM-4.5-Air\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#hunyuan-a13b-instruct\">Hunyuan-A13B\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#deepseek-深度求索\">DeepSeek\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#baichuan-百川智能\">Baichuan\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#internlm\">InternLM\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#kimi\">Kimi\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#ernie-45\">ERNIE-4.5\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#llama4\">Llama4\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#apple-openelm\">Apple OpenELM\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd valign=\"top\" width=\"25%\">\n      • \u003Ca href=\".\u002Fsupport_model.md#llama31-8b-instruct\">Llama3.1\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#gemma-2-9b-it\">Gemma-2\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen25\">Qwen2.5\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen2\">Qwen2\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#glm-4\">GLM-4\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen-15\">Qwen 1.5\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#phi-3\">phi-3\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#minicpm\">MiniCPM\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#yi-零一万物\">Yi 零一万物\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#yuan20\">Yuan2.0\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#yuan20-m32\">Yuan2.0-M32\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#哔哩哔哩-index-19b\">哔哩哔哩 Index\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd valign=\"top\" width=\"25%\">\n      • \u003Ca href=\".\u002Fsupport_model.md#characterglm-6b\">CharacterGLM\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#bluelm-vivo-蓝心大模型\">BlueLM\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen-audio\">Qwen-Audio\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#transnormerllm\">TransNormerLLM\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#atom-llama2\">Atom\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#chatglm3\">ChatGLM3\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen2-57b-a14b-instruct\">Qwen2-57B-A14B-Instruct\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen2-72b-instruct\">Qwen2-72B-Instruct\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen2-7b-instruct\">Qwen2-7B-Instruct\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#internlm2-20b\">InternLM2-20B\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#tele-chat\">Tele-Chat\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#xverse2\">XVERSE2\u003C\u002Fa>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### AMD GPU 专区\n\n\u003Cp align=\"center\">\n  \u003Cstrong>🚀 AMD GPU 平台已支持模型\u003C\u002Fstrong>\u003Cbr>\n  \u003Cem>每个模型都提供完整的 AMD 环境配置和部署教程\u003C\u002Fem>\u003Cbr>\n  \u003Cem>感谢 AMD University Program 对本项目的支持\u003C\u002Fem>\u003Cbr>\n  📖 \u003Cstrong>\u003Ca href=\".\u002Fsupport_model_amd.md\">查看完整 AMD 平台模型列表和教程\u003C\u002Fa>\u003C\u002Fstrong>\u003Cbr>\n\u003C\u002Fp>\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd valign=\"top\" width=\"50%\">\n      • \u003Ca href=\".\u002Fsupport_model_amd.md#谷歌-gemma3\">谷歌 Gemma3\u003C\u002Fa>\u003Cbr>\n      • AMD 环境准备与配置\u003Cbr>\n      • NPU 推理加速支持\n    \u003C\u002Ftd>\n    \u003Ctd valign=\"top\" width=\"50%\">\n      • \u003Ca href=\".\u002Fsupport_model_amd.md#qwen3\">Qwen3\u003C\u002Fa>\u003Cbr>\n      • lemonade-server SDK 部署\u003Cbr>\n      • Ryzen AI 300 系列优化\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### 昇腾Ascend NPU 专区\n\n\u003Cp align=\"center\">\n  \u003Cstrong>🚀 昇腾Ascend NPU 平台已支持模型\u003C\u002Fstrong>\u003Cbr>\n  \u003Cem>每个模型都提供完整的昇腾Ascend NPU 环境配置和部署教程\u003C\u002Fem>\u003Cbr>\n  📖 \u003Cstrong>\u003Ca href=\".\u002Fsupport_model_Ascend.md\">查看完整昇腾 NPU 平台模型列表和教程\u003C\u002Fa>\u003C\u002Fstrong>\u003Cbr>\n\u003C\u002Fp>\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd valign=\"top\" width=\"50%\">\n      • \u003Ca href=\".\u002Fsupport_model_Ascend.md#qwen3\">Qwen3\u003C\u002Fa>\u003Cbr>\n      • Ascend NPU 环境配置通用指南\u003Cbr>\n      • MindIE 服务化部署调用\u003Cbr>\n      • vLLM-ascend 部署调用\u003Cbr>\n      • sglang-ascend 部署调用\n    \u003C\u002Ftd>\n    \u003Ctd valign=\"top\" width=\"50%\">\n      • \u003Ca href=\".\u002Fsupport_model_Ascend.md#大模型服务化性能和精度测试\">大模型服务化性能和精度测试\u003C\u002Fa>\u003Cbr>\n      • AISBench 测试工具环境配置\u003Cbr>\n      • 昇腾大模型服务化性能测试\u003Cbr>\n      • 昇腾大模型服务化精度测试\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### 沐曦专区\n\n\u003Cp align=\"center\">\n  \u003Cstrong>\u003Cem>Coming Soon!\u003C\u002Fem>\u003C\u002Fstrong>\n\u003C\u002Fp>\n\n### Apple M 专区  \n\n\u003Cp align=\"center\">\n  📖 \u003Cstrong>\u003Ca href=\".\u002Fmodels_mlx\u002FREADME.md\">点击跳转 Apple M 专区\u003C\u002Fa>\u003C\u002Fstrong>\u003Cbr>\n\u003C\u002Fp>\n\n### Welcome More Platforms!\n\n- 🚀 即将支持更多平台（Apple M 系列已有设备测试），敬请期待！\n- 🤝 欢迎昇腾 Ascend、摩尔线程 MUSA、沐曦等平台提供技术支持、硬件支持或参与贡献\n- 🌟 欢迎各平台开发者共建共享，推动大模型技术在更多国产硬件生态中的繁荣发展！\n\n## 致谢\n\n### 核心贡献者\n\n- [宋志学(不要葱姜蒜)-项目负责人](https:\u002F\u002Fgithub.com\u002FKMnO4-zx) （Datawhale成员）\n- [邹雨衡-项目负责人](https:\u002F\u002Fgithub.com\u002Flogan-zou) （Datawhale成员-对外经济贸易大学）\n- [刘十一-Ascend专区负责人](https:\u002F\u002Fgithub.com\u002FZhiwen-Liu)（Datawhale成员-鲸英助教）\n- [姜舒凡](https:\u002F\u002Fgithub.com\u002FTsumugii24)（内容创作者-Datawhale成员）\n- [郭宣伯](https:\u002F\u002Fgithub.com\u002FTwosugar666)（内容创作者-北京航空航天大学）\n- [林泽毅](https:\u002F\u002Fgithub.com\u002FZeyi-Lin)（内容创作者-SwanLab产品负责人）\n- [林恒宇](https:\u002F\u002Fgithub.com\u002FLINHYYY)（内容创作者-广东东软学院-鲸英助教）\n- [王泽宇](https:\u002F\u002Fgithub.com\u002Fmoyitech)（内容创作者-太原理工大学-鲸英助教）\n- [郭志航](https:\u002F\u002Fgithub.com\u002Facwwt)（内容创作者）\n- [陈榆](https:\u002F\u002Fgithub.com\u002FLucaChen)（内容创作者-谷歌开发者机器学习技术专家）\n- [肖鸿儒](https:\u002F\u002Fgithub.com\u002FHongru0306) （Datawhale成员-同济大学）\n- [张帆](https:\u002F\u002Fgithub.com\u002FzhangfanTJU)（内容创作者-Datawhale成员）\n- [李娇娇](https:\u002F\u002Fgithub.com\u002FAphasia0515) （Datawhale成员）\n- [高立业](https:\u002F\u002Fgithub.com\u002F0-yy-0)（内容创作者-DataWhale成员）\n- [Kailigithub](https:\u002F\u002Fgithub.com\u002FKailigithub) （Datawhale成员）\n- [丁悦](https:\u002F\u002Fgithub.com\u002Fdingyue772) （Datawhale-鲸英助教）\n- [谢好冉](https:\u002F\u002Fgithub.com\u002Filovexsir)（内容创作者-鲸英助教）\n- [惠佳豪](https:\u002F\u002Fgithub.com\u002FL4HeyXiao) （Datawhale-宣传大使）\n- [王茂霖](https:\u002F\u002Fgithub.com\u002Fmlw67)（内容创作者-Datawhale成员）\n- [孙健壮](https:\u002F\u002Fgithub.com\u002FCaleb-Sun-jz)（内容创作者-对外经济贸易大学）\n- [郑皓桦](https:\u002F\u002Fgithub.com\u002FBaiYu96) （内容创作者）\n- [荞麦](https:\u002F\u002Fgithub.com\u002Fyeyeyeyeeeee)（内容创作者-Datawhale成员）\n- [骆秀韬](https:\u002F\u002Fgithub.com\u002Fanine09)（内容创作者-Datawhale成员-似然实验室）\n- [李柯辰](https:\u002F\u002Fgithub.com\u002FJoe-2002) （Datawhale成员）\n- [程宏](https:\u002F\u002Fgithub.com\u002Fchg0901)（内容创作者-Datawhale意向成员）\n- [李秀奇](https:\u002F\u002Fgithub.com\u002Fli-xiu-qi)（内容创作者-DataWhale意向成员）\n- [余洋](https:\u002F\u002Fgithub.com\u002FYangYu-NUAA)（内容创作者-安徽理工大学副教授-Datawhale成员）\n- [陈思州](https:\u002F\u002Fgithub.com\u002Fjjyaoao) （Datawhale成员）\n- [颜鑫](https:\u002F\u002Fgithub.com\u002Fthomas-yanxin) （Datawhale成员）\n- [杜森](https:\u002F\u002Fgithub.com\u002Fstudy520ai520)（内容创作者-Datawhale成员-南阳理工学院）\n- [散步](https:\u002F\u002Fgithub.com\u002Fsanbuphy) （Datawhale成员）\n- [郑远婧](https:\u002F\u002Fgithub.com\u002Fisaacahahah)（内容创作者-鲸英助教-福州大学）\n- [Swiftie](https:\u002F\u002Fgithub.com\u002Fcswangxiaowei) （小米NLP算法工程师）\n- [张友东](https:\u002F\u002Fgithub.com\u002FAXYZdong)（内容创作者-Datawhale成员）\n- [张晋](https:\u002F\u002Fgithub.com\u002FJin-Zhang-Yaoguang)（内容创作者-Datawhale成员）\n- [娄天奥](https:\u002F\u002Fgithub.com\u002Flta155)（内容创作者-中国科学院大学-鲸英助教）\n- [小罗](https:\u002F\u002Fgithub.com\u002Flyj11111111) （内容创作者-Datawhale成员）\n- [邓恺俊](https:\u002F\u002Fgithub.com\u002FKedreamix)（内容创作者-Datawhale成员）\n- [赵文恺](https:\u002F\u002Fgithub.com\u002FXiLinky)（内容创作者-太原理工大学-鲸英助教）\n- [王熠明](https:\u002F\u002Fgithub.com\u002FBald0Wang)（内容创作者-Datawhale成员）\n- [黄柏特](https:\u002F\u002Fgithub.com\u002FKashiwaByte)（内容创作者-西安电子科技大学）\n- [左春生](https:\u002F\u002Fgithub.com\u002FLinChentang)（内容创作者-Datawhale成员）\n- [杨卓](https:\u002F\u002Fgithub.com\u002Flittle1d)（内容创作者-西安电子科技大学-鲸英助教）\n- [付志远](https:\u002F\u002Fgithub.com\u002Fcomfzy)（内容创作者-海南大学）\n- [三水](https:\u002F\u002Fgithub.com\u002Fsssanssss)（内容创作者-鲸英助教）\n- [樊奇](https:\u002F\u002Fgithub.com\u002FfanqiNO1)（内容创作者-上海交通大学）\n- [陈辅元](https:\u002F\u002Fgithub.com\u002FFyuan0206)（内容创作者-Datawhale成员）\n- [谭逸珂](https:\u002F\u002Fgithub.com\u002FLikeGiver)（内容创作者-对外经济贸易大学）\n- [何至轩](https:\u002F\u002Fgithub.com\u002Fpod2c)（内容创作者-鲸英助教）\n- [康婧淇](https:\u002F\u002Fgithub.com\u002Fjodie-kang)（内容创作者-Datawhale成员）\n- [杨晨旭](https:\u002F\u002Fgithub.com\u002Flanglibai66)（内容创作者-太原理工大学-鲸英助教）\n- [赵伟](https:\u002F\u002Fgithub.com\u002F2710932616)（内容创作者-鲸英助教）\n- [苏向标](https:\u002F\u002Fgithub.com\u002Fgzhuuser)（内容创作者-广州大学-鲸英助教）\n- [陈睿](https:\u002F\u002Fgithub.com\u002Friannyway)（内容创作者-西交利物浦大学-鲸英助教）\n- [张龙斐](https:\u002F\u002Fgithub.com\u002FFeimike09)（内容创作者-鲸英助教）\n- [孙超](https:\u002F\u002Fgithub.com\u002Fanarchysaiko)（内容创作者-Datawhale成员）\n- [卓堂越](https:\u002F\u002Fgithub.com\u002Fnusakom)（内容创作者-鲸英助教）\n- [fancy](https:\u002F\u002Fgithub.com\u002Ffancyboi999)（内容创作者-鲸英助教）\n- [谭斐然](https:\u002F\u002Fgithub.com\u002Ffrtanxidian)（西安电子科技大学-鲸英助教）\n\n> 注：排名根据贡献程度排序\n\n### 其他\n\n- 特别感谢[@Sm1les](https:\u002F\u002Fgithub.com\u002FSm1les)对本项目的帮助与支持\n- 感谢 AMD University Program 对本项目的支持\n- 部分lora代码和讲解参考仓库：https:\u002F\u002Fgithub.com\u002Fzyds\u002Ftransformers-code.git\n- 如果有任何想法可以联系我们 DataWhale 也欢迎大家多多提出 issue\n- 特别感谢以下为教程做出贡献的同学！\n\n\n\u003Cdiv align=center style=\"margin-top: 30px;\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fself-llm\u002Fgraphs\u002Fcontributors\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_self-llm_readme_4a6f2f022e05.png\" \u002F>\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n### Star History\n\n\u003Cdiv align=center style=\"margin-top: 30px;\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_self-llm_readme_354093fb6340.png\"\u002F>\n\u003C\u002Fdiv>\n","\u003Cdiv align=center>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_self-llm_readme_bddbb50c0f20.png\" >\n  \u003Ch1>开源大模型食用指南\u003C\u002Fh1>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n\n中文 | [English](.\u002FREADME_en.md)\n\n\u003C\u002Fdiv>\n\n\n  本项目是一个围绕开源大模型、针对国内初学者、基于 Linux 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。\n\n  本项目的主要内容包括：\n\n  1. 基于 Linux 平台的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；\n  2. 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等； \n  3. 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等；\n  4. 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。\n\n  **项目的主要内容就是教程，让更多的学生和未来的从业者了解和熟悉开源大模型的食用方法！任何人都可以提出issue或是提交PR，共同构建维护这个项目。**\n\n  想要深度参与的同学可以联系我们，我们会将你加入到项目的维护者中。\n\n>   ***学习建议：本项目的学习建议是，先学习环境配置，然后再学习模型的部署使用，最后再学习微调。因为环境配置是基础，模型的部署使用是基础，微调是进阶。初学者可以选择Qwen1.5，InternLM2，MiniCPM等模型优先学习。***\n\n>   **进阶学习推荐** ：如果您在学习完本项目后，希望更深入地理解大语言模型的核心原理，并渴望亲手从零开始训练属于自己的大模型，我们强烈推荐关注 Datawhale 的另一个开源项目—— [Happy-LLM 从零开始的大语言模型原理与实践教程](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fhappy-llm) 。该项目将带您深入探索大模型的底层机制，掌握完整的训练流程。\n\n> 注：如果有同学希望了解大模型的模型构成，以及从零手写RAG、Agent和Eval等任务，可以学习Datawhale的另一个项目[Tiny-Universe](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Ftiny-universe)，大模型是当下深度学习领域的热点，但现有的大部分大模型教程只在于教给大家如何调用api完成大模型的应用，而很少有人能够从原理层面讲清楚模型结构、RAG、Agent 以及 Eval。所以该仓库会提供全部手写，不采用调用api的形式，完成大模型的 RAG 、 Agent 、Eval 任务。\n\n> 注：考虑到有同学希望在学习本项目之前，希望学习大模型的理论部分，如果想要进一步深入学习 LLM 的理论基础，并在理论的基础上进一步认识、应用 LLM，可以参考 Datawhale 的 [so-large-llm](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fso-large-lm.git)课程。\n\n> 注：如果有同学在学习本课程之后，想要自己动手开发大模型应用。同学们可以参考 Datawhale 的 [动手学大模型应用开发](https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fllm-universe) 课程，该项目是一个面向小白开发者的大模型应用开发教程，旨在基于阿里云服务器，结合个人知识库助手项目，向同学们完整的呈现大模型应用开发流程。\n\n## 项目意义\n\n  什么是大模型？\n\n>大模型（LLM）狭义上指基于深度学习算法进行训练的自然语言处理（NLP）模型，主要应用于自然语言理解和生成等领域，广义上还包括机器视觉（CV）大模型、多模态大模型和科学计算大模型等。\n\n  百模大战正值火热，开源 LLM 层出不穷。如今国内外已经涌现了众多优秀开源 LLM，国外如 LLaMA、Alpaca，国内如 ChatGLM、BaiChuan、InternLM（书生·浦语）等。开源 LLM 支持用户本地部署、私域微调，每一个人都可以在开源 LLM 的基础上打造专属于自己独特的大模型。\n\n  然而，当前普通学生和用户想要使用这些大模型，需要具备一定的技术能力，才能完成模型的部署和使用。对于层出不穷又各有特色的开源 LLM，想要快速掌握一个开源 LLM 的应用方法，是一项比较有挑战的任务。\n\n  本项目旨在首先基于核心贡献者的经验，实现国内外主流开源 LLM 的部署、使用与微调教程；在实现主流 LLM 的相关部分之后，我们希望充分聚集共创者，一起丰富这个开源 LLM 的世界，打造更多、更全面特色 LLM 的教程。星火点点，汇聚成海。\n\n  ***我们希望成为 LLM 与普罗大众的阶梯，以自由、平等的开源精神，拥抱更恢弘而辽阔的 LLM 世界。***\n\n## 项目受众\n\n  本项目适合以下学习者：\n\n* 想要使用或体验 LLM，但无条件获得或使用相关 API；\n* 希望长期、低成本、大量应用 LLM；\n* 对开源 LLM 感兴趣，想要亲自上手开源 LLM；\n* NLP 在学，希望进一步学习 LLM；\n* 希望结合开源 LLM，打造领域特色的私域 LLM；\n* 以及最广大、最普通的学生群体。\n\n## 项目规划及进展\n\n   本项目拟围绕开源 LLM 应用全流程组织，包括环境配置及使用、部署应用、微调等，每个部分覆盖主流及特点开源 LLM：\n\n### Example 系列\n\n- [Chat-嬛嬛](.\u002Fexamples\u002FChat-嬛嬛\u002Freadme.md)： Chat-甄嬛是利用《甄嬛传》剧本中所有关于甄嬛的台词和语句，基于LLM进行LoRA微调得到的模仿甄嬛语气的聊天语言模型。\n\n- [Tianji-天机](.\u002Fexamples\u002FTianji-天机\u002Freadme.md)：天机是一款基于人情世故社交场景，涵盖提示词工程 、智能体制作、 数据获取与模型微调、RAG 数据清洗与使用等全流程的大语言模型系统应用教程。\n\n- [AMChat](.\u002Fexamples\u002FAMchat-高等数学\u002Freadme.md): AM (Advanced Mathematics) chat 是一个集成了数学知识和高等数学习题及其解答的大语言模型。该模型使用 Math 和高等数学习题及其解析融合的数据集，基于 InternLM2-Math-7B 模型，通过 xtuner 微调，专门设计用于解答高等数学问题。\n\n- [数字生命](.\u002Fexamples\u002F数字生命\u002Freadme.md): 本项目将以我为原型，利用特制的数据集对大语言模型进行微调，致力于创造一个能够真正反映我的个性特征的AI数字人——包括但不限于我的语气、表达方式和思维模式等等，因此无论是日常聊天还是分享心情，它都以一种既熟悉又舒适的方式交流，仿佛我在他们身边一样。整个流程是可迁移复制的，亮点是数据集的制作。\n\n### 已支持模型\n\n\u003Cp align=\"center\">\n  \u003Cstrong>✨ 已支持 50+ 主流大语言模型 ✨\u003C\u002Fstrong>\u003Cbr>\n  \u003Cem>每个模型都提供完整的部署、微调和使用教程\u003C\u002Fem>\u003Cbr>\n  📖 \u003Cstrong>\u003Ca href=\".\u002Fsupport_model.md\">查看完整模型列表和教程\u003C\u002Fa>\u003C\u002Fstrong> | \n  🎯 \u003Cstrong>\u003Ca href=\".\u002Fsupport_model.md#通用环境配置\">快速开始\u003C\u002Fa>\u003C\u002Fstrong>\n\u003C\u002Fp>\n\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd valign=\"top\" width=\"25%\">\n      • \u003Ca href=\".\u002Fsupport_model.md#kimi-k25\">Kimi-K2.5\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#step-35-flash\">Step-3.5-Flash\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#glm-47-flash\">GLM-4.7-Flash\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#gemma3\">Gemma3\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#minimax-m25\">MiniMax-M2.5\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#minimax-m2\">MiniMax-M2\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen3\">Qwen3\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen3-vl-4b-instruct\">Qwen3-VL\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#spatiallm\">SpatialLM\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#hunyuan3d-2\">Hunyuan3D-2\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen2-vl\">Qwen2-VL\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#minicpm-o-2_6\">MiniCPM-o\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen25-coder\">Qwen2.5-Coder\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#deepseek-coder-v2\">DeepSeek-Coder-V2\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#gpt-oss-20b\">gpt-oss-20b\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#glm-41-thinking\">GLM-4.1-Thinking\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd valign=\"top\" width=\"25%\">\n      • \u003Ca href=\".\u002Fsupport_model.md#deepseek-r1-distill\">DeepSeek-R1\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#internlm3\">InternLM3\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#phi4\">phi4\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#glm-45-air\">GLM-4.5-Air\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#hunyuan-a13b-instruct\">Hunyuan-A13B\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#deepseek-深度求索\">DeepSeek\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#baichuan-百川智能\">Baichuan\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#internlm\">InternLM\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#kimi\">Kimi\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#ernie-45\">ERNIE-4.5\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#llama4\">Llama4\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#apple-openelm\">Apple OpenELM\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd valign=\"top\" width=\"25%\">\n      • \u003Ca href=\".\u002Fsupport_model.md#llama31-8b-instruct\">Llama3.1\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#gemma-2-9b-it\">Gemma-2\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen25\">Qwen2.5\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen2\">Qwen2\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#glm-4\">GLM-4\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen-15\">Qwen 1.5\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#phi-3\">phi-3\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#minicpm\">MiniCPM\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#yi-零一万物\">Yi 零一万物\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#yuan20\">Yuan2.0\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#yuan20-m32\">Yuan2.0-M32\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#哔哩哔哩-index-19b\">哔哩哔哩 Index\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd valign=\"top\" width=\"25%\">\n      • \u003Ca href=\".\u002Fsupport_model.md#characterglm-6b\">CharacterGLM\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#bluelm-vivo-蓝心大模型\">BlueLM\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen-audio\">Qwen-Audio\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#transnormerllm\">TransNormerLLM\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#atom-llama2\">Atom\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#chatglm3\">ChatGLM3\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen2-57b-a14b-instruct\">Qwen2-57B-A14B-Instruct\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen2-72b-instruct\">Qwen2-72B-Instruct\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#qwen2-7b-instruct\">Qwen2-7B-Instruct\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#internlm2-20b\">InternLM2-20B\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#tele-chat\">Tele-Chat\u003C\u002Fa>\u003Cbr>\n      • \u003Ca href=\".\u002Fsupport_model.md#xverse2\">XVERSE2\u003C\u002Fa>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### AMD GPU 专区\n\n\u003Cp align=\"center\">\n  \u003Cstrong>🚀 AMD GPU 平台已支持模型\u003C\u002Fstrong>\u003Cbr>\n  \u003Cem>每个模型都提供完整的 AMD 环境配置和部署教程\u003C\u002Fem>\u003Cbr>\n  \u003Cem>感谢 AMD University Program 对本项目的支持\u003C\u002Fem>\u003Cbr>\n  📖 \u003Cstrong>\u003Ca href=\".\u002Fsupport_model_amd.md\">查看完整 AMD 平台模型列表和教程\u003C\u002Fa>\u003C\u002Fstrong>\u003Cbr>\n\u003C\u002Fp>\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd valign=\"top\" width=\"50%\">\n      • \u003Ca href=\".\u002Fsupport_model_amd.md#谷歌-gemma3\">谷歌 Gemma3\u003C\u002Fa>\u003Cbr>\n      • AMD 环境准备与配置\u003Cbr>\n      • NPU 推理加速支持\n    \u003C\u002Ftd>\n    \u003Ctd valign=\"top\" width=\"50%\">\n      • \u003Ca href=\".\u002Fsupport_model_amd.md#qwen3\">Qwen3\u003C\u002Fa>\u003Cbr>\n      • lemonade-server SDK 部署\u003Cbr>\n      • Ryzen AI 300 系列优化\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### 昇腾Ascend NPU 专区\n\n\u003Cp align=\"center\">\n  \u003Cstrong>🚀 昇腾Ascend NPU 平台已支持模型\u003C\u002Fstrong>\u003Cbr>\n  \u003Cem>每个模型都提供完整的昇腾Ascend NPU 环境配置和部署教程\u003C\u002Fem>\u003Cbr>\n  📖 \u003Cstrong>\u003Ca href=\".\u002Fsupport_model_Ascend.md\">查看完整昇腾 NPU 平台模型列表和教程\u003C\u002Fa>\u003C\u002Fstrong>\u003Cbr>\n\u003C\u002Fp>\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd valign=\"top\" width=\"50%\">\n      • \u003Ca href=\".\u002Fsupport_model_Ascend.md#qwen3\">Qwen3\u003C\u002Fa>\u003Cbr>\n      • Ascend NPU 环境配置通用指南\u003Cbr>\n      • MindIE 服务化部署调用\u003Cbr>\n      • vLLM-ascend 部署调用\u003Cbr>\n      • sglang-ascend 部署调用\n    \u003C\u002Ftd>\n    \u003Ctd valign=\"top\" width=\"50%\">\n      • \u003Ca href=\".\u002Fsupport_model_Ascend.md#大模型服务化性能和精度测试\">大模型服务化性能和精度测试\u003C\u002Fa>\u003Cbr>\n      • AISBench 测试工具环境配置\u003Cbr>\n      • 昇腾大模型服务化性能测试\u003Cbr>\n      • 昇腾大模型服务化精度测试\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### 沐曦专区\n\n\u003Cp align=\"center\">\n  \u003Cstrong>\u003Cem>Coming Soon!\u003C\u002Fem>\u003C\u002Fstrong>\n\u003C\u002Fp>\n\n### Apple M 专区  \n\n\u003Cp align=\"center\">\n  📖 \u003Cstrong>\u003Ca href=\".\u002Fmodels_mlx\u002FREADME.md\">点击跳转 Apple M 专区\u003C\u002Fa>\u003C\u002Fstrong>\u003Cbr>\n\u003C\u002Fp>\n\n### Welcome More Platforms!\n\n- 🚀 即将支持更多平台（Apple M 系列已有设备测试），敬请期待！\n- 🤝 欢迎昇腾 Ascend、摩尔线程 MUSA、沐曦等平台提供技术支持、硬件支持或参与贡献\n- 🌟 欢迎各平台开发者共建共享，推动大模型技术在更多国产硬件生态中的繁荣发展！\n\n## 致谢\n\n### 核心贡献者\n\n- [宋志学(不要葱姜蒜)-项目负责人](https:\u002F\u002Fgithub.com\u002FKMnO4-zx) （Datawhale成员）\n- [邹雨衡-项目负责人](https:\u002F\u002Fgithub.com\u002Flogan-zou) （Datawhale成员-对外经济贸易大学）\n- [刘十一-Ascend专区负责人](https:\u002F\u002Fgithub.com\u002FZhiwen-Liu)（Datawhale成员-鲸英助教）\n- [姜舒凡](https:\u002F\u002Fgithub.com\u002FTsumugii24)（内容创作者-Datawhale成员）\n- [郭宣伯](https:\u002F\u002Fgithub.com\u002FTwosugar666)（内容创作者-北京航空航天大学）\n- [林泽毅](https:\u002F\u002Fgithub.com\u002FZeyi-Lin)（内容创作者-SwanLab产品负责人）\n- [林恒宇](https:\u002F\u002Fgithub.com\u002FLINHYYY)（内容创作者-广东东软学院-鲸英助教）\n- [王泽宇](https:\u002F\u002Fgithub.com\u002Fmoyitech)（内容创作者-太原理工大学-鲸英助教）\n- [郭志航](https:\u002F\u002Fgithub.com\u002Facwwt)（内容创作者）\n- [陈榆](https:\u002F\u002Fgithub.com\u002FLucaChen)（内容创作者-谷歌开发者机器学习技术专家）\n- [肖鸿儒](https:\u002F\u002Fgithub.com\u002FHongru0306) （Datawhale成员-同济大学）\n- [张帆](https:\u002F\u002Fgithub.com\u002FzhangfanTJU)（内容创作者-Datawhale成员）\n- [李娇娇](https:\u002F\u002Fgithub.com\u002FAphasia0515) （Datawhale成员）\n- [高立业](https:\u002F\u002Fgithub.com\u002F0-yy-0)（内容创作者-DataWhale成员）\n- [Kailigithub](https:\u002F\u002Fgithub.com\u002FKailigithub) （Datawhale成员）\n- [丁悦](https:\u002F\u002Fgithub.com\u002Fdingyue772) （Datawhale-鲸英助教）\n- [谢好冉](https:\u002F\u002Fgithub.com\u002Filovexsir)（内容创作者-鲸英助教）\n- [惠佳豪](https:\u002F\u002Fgithub.com\u002FL4HeyXiao) （Datawhale-宣传大使）\n- [王茂霖](https:\u002F\u002Fgithub.com\u002Fmlw67)（内容创作者-Datawhale成员）\n- [孙健壮](https:\u002F\u002Fgithub.com\u002FCaleb-Sun-jz)（内容创作者-对外经济贸易大学）\n- [郑皓桦](https:\u002F\u002Fgithub.com\u002FBaiYu96) （内容创作者）\n- [荞麦](https:\u002F\u002Fgithub.com\u002Fyeyeyeyeeeee)（内容创作者-Datawhale成员）\n- [骆秀韬](https:\u002F\u002Fgithub.com\u002Fanine09)（内容创作者-Datawhale成员-似然实验室）\n- [李柯辰](https:\u002F\u002Fgithub.com\u002FJoe-2002) （Datawhale成员）\n- [程宏](https:\u002F\u002Fgithub.com\u002Fchg0901)（内容创作者-Datawhale意向成员）\n- [李秀奇](https:\u002F\u002Fgithub.com\u002Fli-xiu-qi)（内容创作者-DataWhale意向成员）\n- [余洋](https:\u002F\u002Fgithub.com\u002FYangYu-NUAA)（内容创作者-安徽理工大学副教授-Datawhale成员）\n- [陈思州](https:\u002F\u002Fgithub.com\u002Fjjyaoao) （Datawhale成员）\n- [颜鑫](https:\u002F\u002Fgithub.com\u002Fthomas-yanxin) （Datawhale成员）\n- [杜森](https:\u002F\u002Fgithub.com\u002Fstudy520ai520)（内容创作者-Datawhale成员-南阳理工学院）\n- [散步](https:\u002F\u002Fgithub.com\u002Fsanbuphy) （Datawhale成员）\n- [郑远婧](https:\u002F\u002Fgithub.com\u002Fisaacahahah)（内容创作者-鲸英助教-福州大学）\n- [Swiftie](https:\u002F\u002Fgithub.com\u002Fcswangxiaowei) （小米NLP算法工程师）\n- [张友东](https:\u002F\u002Fgithub.com\u002FAXYZdong)（内容创作者-Datawhale成员）\n- [张晋](https:\u002F\u002Fgithub.com\u002FJin-Zhang-Yaoguang)（内容创作者-Datawhale成员）\n- [娄天奥](https:\u002F\u002Fgithub.com\u002Flta155)（内容创作者-中国科学院大学-鲸英助教）\n- [小罗](https:\u002F\u002Fgithub.com\u002Flyj11111111) （内容创作者-Datawhale成员）\n- [邓恺俊](https:\u002F\u002Fgithub.com\u002FKedreamix)（内容创作者-Datawhale成员）\n- [赵文恺](https:\u002F\u002Fgithub.com\u002FXiLinky)（内容创作者-太原理工大学-鲸英助教）\n- [王熠明](https:\u002F\u002Fgithub.com\u002FBald0Wang)（内容创作者-Datawhale成员）\n- [黄柏特](https:\u002F\u002Fgithub.com\u002FKashiwaByte)（内容创作者-西安电子科技大学）\n- [左春生](https:\u002F\u002Fgithub.com\u002FLinChentang)（内容创作者-Datawhale成员）\n- [杨卓](https:\u002F\u002Fgithub.com\u002Flittle1d)（内容创作者-西安电子科技大学-鲸英助教）\n- [付志远](https:\u002F\u002Fgithub.com\u002Fcomfzy)（内容创作者-海南大学）\n- [三水](https:\u002F\u002Fgithub.com\u002Fsssanssss)（内容创作者-鲸英助教）\n- [樊奇](https:\u002F\u002Fgithub.com\u002FfanqiNO1)（内容创作者-上海交通大学）\n- [陈辅元](https:\u002F\u002Fgithub.com\u002FFyuan0206)（内容创作者-Datawhale成员）\n- [谭逸珂](https:\u002F\u002Fgithub.com\u002FLikeGiver)（内容创作者-对外经济贸易大学）\n- [何至轩](https:\u002F\u002Fgithub.com\u002Fpod2c)（内容创作者-鲸英助教）\n- [康婧淇](https:\u002F\u002Fgithub.com\u002Fjodie-kang)（内容创作者-Datawhale成员）\n- [杨晨旭](https:\u002F\u002Fgithub.com\u002Flanglibai66)（内容创作者-太原理工大学-鲸英助教）\n- [赵伟](https:\u002F\u002Fgithub.com\u002F2710932616)（内容创作者-鲸英助教）\n- [苏向标](https:\u002F\u002Fgithub.com\u002Fgzhuuser)（内容创作者-广州大学-鲸英助教）\n- [陈睿](https:\u002F\u002Fgithub.com\u002Friannyway)（内容创作者-西交利物浦大学-鲸英助教）\n- [张龙斐](https:\u002F\u002Fgithub.com\u002FFeimike09)（内容创作者-鲸英助教）\n- [孙超](https:\u002F\u002Fgithub.com\u002Fanarchysaiko)（内容创作者-Datawhale成员）\n- [卓堂越](https:\u002F\u002Fgithub.com\u002Fnusakom)（内容创作者-鲸英助教）\n- [fancy](https:\u002F\u002Fgithub.com\u002Ffancyboi999)（内容创作者-鲸英助教）\n- [谭斐然](https:\u002F\u002Fgithub.com\u002Ffrtanxidian)（西安电子科技大学-鲸英助教）\n\n> 注：排名根据贡献程度排序\n\n### 其他\n\n- 特别感谢[@Sm1les](https:\u002F\u002Fgithub.com\u002FSm1les)对本项目的帮助与支持\n- 感谢 AMD University Program 对本项目的支持\n- 部分lora代码和讲解参考仓库：https:\u002F\u002Fgithub.com\u002Fzyds\u002Ftransformers-code.git\n- 如果有任何想法可以联系我们 DataWhale 也欢迎大家多多提出 issue\n- 特别感谢以下为教程做出贡献的同学！\n\n\n\u003Cdiv align=center style=\"margin-top: 30px;\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fself-llm\u002Fgraphs\u002Fcontributors\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_self-llm_readme_4a6f2f022e05.png\" \u002F>\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n### Star History\n\n\u003Cdiv align=center style=\"margin-top: 30px;\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_self-llm_readme_354093fb6340.png\"\u002F>\n\u003C\u002Fdiv>","# self-llm 快速上手指南\n\n本项目是专为国内初学者打造的开源大模型全流程教程，涵盖环境配置、本地部署及高效微调。本指南将帮助你快速在 Linux 平台上启动第一个开源大模型。\n\n## 1. 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu 20.04\u002F22.04)\n- **硬件**: \n  - NVIDIA GPU (显存建议 8GB 以上，根据模型大小调整)\n  - 或 AMD GPU \u002F 昇腾 Ascend NPU (参考项目特定专区文档)\n- **软件依赖**:\n  - Python 3.8+\n  - Git\n  - CUDA Toolkit (NVIDIA 用户，版本需与 PyTorch 匹配)\n  - Conda 或 Mamba (推荐用于环境管理)\n\n### 前置依赖安装\n建议使用 `conda` 或 `mamba` 创建独立环境。\n\n```bash\n# 安装 Miniconda (如未安装)\nwget https:\u002F\u002Frepo.anaconda.com\u002Fminiconda\u002FMiniconda3-latest-Linux-x86_64.sh\nbash Miniconda3-latest-Linux-x86_64.sh\n\n# 创建并激活虚拟环境\nconda create -n self-llm python=3.10 -y\nconda activate self-llm\n\n# 安装基础依赖 (以 PyTorch CUDA 11.8 为例，其他版本请参考 pytorch.org)\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n```\n\n> **提示**: 国内用户可使用清华源加速 pip 安装：\n> `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple \u003Cpackage_name>`\n\n## 2. 安装步骤\n\n克隆项目仓库并安装项目所需依赖：\n\n```bash\n# 克隆项目\ngit clone https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fself-llm.git\ncd self-llm\n\n# 安装项目通用依赖\npip install -r requirements.txt\n```\n\n> **注意**: 不同模型（如 LLaMA, ChatGLM, Qwen, InternLM 等）可能有特定的依赖要求。请进入对应模型的教程目录（例如 `.\u002Fmodels\u002Fqwen1.5` 或查看 `support_model.md`），按照该模型的具体 `requirements.txt` 进行安装。\n\n## 3. 基本使用\n\n本项目提供了多种模型的使用示例。以下以通用的命令行调用为例（具体命令因模型而异，此处以典型的推理脚本为例）：\n\n### 步骤 A: 下载模型\n从 Hugging Face 或 ModelScope (魔搭) 下载模型权重。国内用户强烈推荐使用 **ModelScope** 以获得更快的下载速度。\n\n```bash\n# 安装 modelscope\npip install modelscope\n\n# 示例：使用 modelscope 下载 Qwen1.5-7B-Chat (具体模型 ID 请参考各模型教程)\npython -c \"from modelscope import snapshot_download; snapshot_download('qwen\u002FQwen1.5-7B-Chat', cache_dir='.\u002Fmodels')\"\n```\n\n### 步骤 B: 运行推理\n进入对应模型的示例目录，运行推理脚本。\n\n```bash\n# 假设已进入特定模型目录，例如 examples 或 models 下的具体文件夹\n# 以下为伪代码示例，实际命令请参阅具体模型目录下的 README\n\npython inference.py \\\n    --model_path .\u002Fmodels\u002Fqwen1.5-7b-chat \\\n    --prompt \"你好，请介绍一下你自己\"\n```\n\n**典型输出：**\n```text\n你好！我是 Qwen，一个由通义实验室研发的超大规模语言模型...\n```\n\n### 进阶入口\n- **完整模型列表与详细教程**: 查看 [support_model.md](.\u002Fsupport_model.md)\n- **微调教程**: 项目中包含 LoRA、全量微调等教程，请在掌握部署后查阅对应章节。\n- **特殊硬件支持**: \n  - AMD GPU: 查看 `support_model_amd.md`\n  - 昇腾 NPU: 查看 `support_model_Ascend.md`\n\n---\n*学习建议：先完成环境配置与模型部署，熟悉后再尝试微调和应用开发。推荐初学者从 Qwen1.5、InternLM2 或 MiniCPM 等模型入手。*","某高校计算机专业研究生希望基于《红楼梦》人物对话数据，在本地 Linux 服务器上微调一个具有“林黛玉”说话风格的专属大模型，用于文学创作辅助研究。\n\n### 没有 self-llm 时\n- **环境配置劝退**：面对 PyTorch、CUDA 版本冲突及各类依赖库报错，花费数天仍无法跑通基础环境，甚至不知道从何查起。\n- **教程碎片化**：网上关于 LLaMA、ChatGLM 等不同模型的部署教程分散且步骤不一，缺乏针对国内网络环境的优化指南，下载模型权重经常中断。\n- **微调门槛高**：不懂分布式训练原理，面对全量微调和 LoRA 的代码实现无从下手，难以将自定义数据集适配到模型训练中。\n- **应用落地难**：模型训练好后，不知道如何通过命令行调用或集成到 LangChain 框架中，只能对着终端发呆，无法转化为实际应用。\n\n### 使用 self-llm 后\n- **一键配环境**：直接参照 self-llm 提供的 Linux 环境配置指南，按步骤执行脚本，快速解决依赖冲突，半天内即可完成基础环境搭建。\n- **全流程指引**：利用 self-llm 中针对 Qwen 或 InternLM 等主流模型的专属教程，顺利下载权重并完成本地部署，过程清晰且避开了常见坑点。\n- **低代码微调**：跟随 self-llm 的 LoRA 微调章节，轻松加载《红楼梦》数据集，通过标准化流程完成风格化训练，无需深究底层分布式代码。\n- **快速集成应用**：依据 self-llm 的应用指导，迅速将微调后的模型封装为 API 或嵌入 Demo，实现了与“林黛玉”的实时对话交互。\n\nself-llm 将原本高不可攀的大模型技术转化为标准化的操作手册，让普通学生也能低成本、高效率地拥有并驾驭专属大模型。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatawhalechina_self-llm_bddbb50c.png","datawhalechina","Datawhale","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fdatawhalechina_f57a6118.png","for the learner，和学习者一起成长",null,"https:\u002F\u002Fdatawhale.cn","https:\u002F\u002Fgithub.com\u002Fdatawhalechina",[84,88,92,96],{"name":85,"color":86,"percentage":87},"Jupyter Notebook","#DA5B0B",93,{"name":89,"color":90,"percentage":91},"Python","#3572A5",6,{"name":93,"color":94,"percentage":95},"HTML","#e34c26",1,{"name":97,"color":98,"percentage":99},"Shell","#89e051",0,29504,2911,"2026-04-05T08:57:35","Apache-2.0","Linux, macOS","NVIDIA GPU (主流部署)，AMD GPU (专区支持), 昇腾 Ascend NPU (专区支持); 显存需求视具体模型而定 (如 7B 模型通常需 16GB+ 以进行全量微调，推理可更低); CUDA 版本未明确说明 (通常需 11.7+ 或 12.1+)","未说明 (建议 16GB 以上，大模型微调推荐 32GB+)",{"notes":108,"python":109,"dependencies":110},"本项目为教程集合，涵盖环境配置、本地部署及微调。支持多种硬件平台包括 NVIDIA GPU、AMD GPU、昇腾 Ascend NPU 及 Apple M 系列 (通过 MLX)。不同模型（如 Qwen, LLaMA, ChatGLM 等）有特定的环境配置步骤。建议使用 Conda 管理环境。针对国产硬件（昇腾、沐曦、摩尔线程等）有专门的支持专区或计划。","未说明",[111,112,113,114,115,116,117,118,119],"torch","transformers","accelerate","peft","deepspeed","xtuner","vllm","langchain","bitsandbytes",[13,26],[122,123,124,125,126,127,128,129,130,131,132,133,134],"llm","chatglm","internlm2","llama3","lora","minicpm","qwen","qwen1-5","chatglm3","gemma-2b-it","glm-4","qwen2","q-wen",16,"2026-03-27T02:49:30.150509","2026-04-06T07:14:20.473598",[139,144,149,154,159,164],{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},9496,"部署 GLM-4-9B-chat 时调用 API 报错\"Method not allowed\"或\"Internal Server Error\"怎么办？","这通常是因为依赖包版本更新导致接口变更。建议检查并更新 `transformers` 和 `accelerate` 包。此外，可能需要调整聊天调用的方式（参考相关 Issue #249），或者检查是否未设置 `stop_token` 及惩罚系数。推荐参考最新的教程（如 Qwen2.5-coder 的教程）来修正代码逻辑。","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fself-llm\u002Fissues\u002F293",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},9497,"运行模型时出现\"Half 类型没有实现 addmm_impl_cpu_操作\"错误如何解决？","该错误表明程序试图在 CPU 上使用半精度（Float16）进行计算，但 CPU 不支持此操作。请确保代码正确检测并使用了 GPU（CUDA）。检查设备设置代码：`device = torch.device(\"cuda\" if torch.cuda.is_available() else \"cpu\")` 并确保 `model.to(device)` 成功将模型移动到了 GPU 上。如果只能在 CPU 运行，需将模型数据类型转换为 Float32。","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fself-llm\u002Fissues\u002F29",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},9498,"LoRA 微调过程中 Loss 变为 0 且未生成模型文件的原因是什么？","Loss 为 0 通常由两个原因导致：1. `transformers`、`peft` 或 `torch cuda` 依赖版本不兼容；2. 混合精度训练（Mixed Precision）的问题。解决方案包括：尝试将 LoRA 参数转化为 32 位精度，或者将 `peft` 库降级至 0.6.2 版本（`pip install peft==0.6.2`）以解决兼容性问题。","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fself-llm\u002Fissues\u002F197",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},9499,"GLM-4 微调加载 LoRA 权重推理时报错\"TypeError: argument after ** must be a mapping, not Tensor\"怎么处理？","这是由于 `transformers` 库版本过高导致的兼容性问题。请将 `transformers` 版本降级至不高于 4.40.0（例如：`pip install transformers==4.40.0`），然后重新运行推理代码即可解决。","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fself-llm\u002Fissues\u002F199",{"id":160,"question_zh":161,"answer_zh":162,"source_url":163},9500,"ChatGLM3 LoRA 微调后无法保存权重或推理报错怎么办？","如果遇到训练结束未生成新模型文件或推理报错的情况，通常是 `peft` 库版本冲突引起的。最有效的解决方法是将 `peft` 降级至 0.6.2 版本。保存权重的标准代码示例如下：\n```python\nmodel.save_pretrained(\"trained_lora_weights\")\n```","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fself-llm\u002Fissues\u002F26",{"id":165,"question_zh":166,"answer_zh":167,"source_url":168},9501,"安装 flash-attn 时卡在\"Building wheel for flash-attn (setup.py)\"步骤怎么办？","从源码编译 flash-attn 容易因网络或环境问题卡住。建议直接去 flash-attention 的官方发布页面或镜像源下载对应 CUDA 版本和 Python 版本的预编译 wheel 文件（.whl），然后使用 `pip install \u003C文件名>.whl` 进行本地安装，避免在线编译。","https:\u002F\u002Fgithub.com\u002Fdatawhalechina\u002Fself-llm\u002Fissues\u002F99",[]]