[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-km1994--LLMs_interview_notes":3,"tool-km1994--LLMs_interview_notes":65},[4,17,27,35,48,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",154349,2,"2026-04-13T23:32:16",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,43,44,45,14,46,15,13,47],"数据工具","视频","插件","其他","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":54,"last_commit_at":55,"category_tags":56,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,43,46],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":54,"last_commit_at":63,"category_tags":64,"status":16},6590,"gpt4all","nomic-ai\u002Fgpt4all","GPT4All 是一款让普通电脑也能轻松运行大型语言模型（LLM）的开源工具。它的核心目标是打破算力壁垒，让用户无需依赖昂贵的显卡（GPU）或云端 API，即可在普通的笔记本电脑和台式机上私密、离线地部署和使用大模型。\n\n对于担心数据隐私、希望完全掌控本地数据的企业用户、研究人员以及技术爱好者来说，GPT4All 提供了理想的解决方案。它解决了传统大模型必须联网调用或需要高端硬件才能运行的痛点，让日常设备也能成为强大的 AI 助手。无论是希望构建本地知识库的开发者，还是单纯想体验私有化 AI 聊天的普通用户，都能从中受益。\n\n技术上，GPT4All 基于高效的 `llama.cpp` 后端，支持多种主流模型架构（包括最新的 DeepSeek R1 蒸馏模型），并采用 GGUF 格式优化推理速度。它不仅提供界面友好的桌面客户端，支持 Windows、macOS 和 Linux 等多平台一键安装，还为开发者提供了便捷的 Python 库，可轻松集成到 LangChain 等生态中。通过简单的下载和配置，用户即可立即开始探索本地大模型的无限可能。",77307,"2026-04-11T06:52:37",[15,13],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":81,"owner_twitter":81,"owner_website":81,"owner_url":82,"languages":81,"stars":83,"forks":84,"last_commit_at":85,"license":86,"difficulty_score":54,"env_os":87,"env_gpu":88,"env_ram":88,"env_deps":89,"category_tags":92,"github_topics":81,"view_count":10,"oss_zip_url":81,"oss_zip_packed_at":81,"status":16,"created_at":93,"updated_at":94,"faqs":95,"releases":96},7352,"km1994\u002FLLMs_interview_notes","LLMs_interview_notes","该仓库主要记录 大模型（LLMs） 算法工程师相关的面试题","LLMs_interview_notes 是一份专为大模型算法工程师打造的面试备战指南，由从业者基于真实面试经验与实战心得整理而成。它系统性地梳理了大模型领域的核心考点，涵盖模型架构基础（如 Decoder-only、Encoder-Decoder）、关键组件原理（LayerNorm、激活函数、Attention 机制及其变体如 MQA、GQA、FlashAttention）、训练目标、损失函数、相似度计算以及 Transformers 库的实际操作等高频面试题。\n\n这份资料有效解决了求职者在准备大模型岗位面试时面临的知识点分散、重点不清晰、缺乏系统性总结等痛点，帮助学习者快速构建完整的知识体系，精准把握行业技术脉络。其内容不仅罗列问题，更提供深入解析与代码实现思路，尤其对 Attention 优化、归一化技术演进等前沿话题有独到归纳。\n\nLLMs_interview_notes 特别适合正在寻求大模型相关职位的算法工程师、希望转型进入 LLM 领域的开发者，以及需要巩固理论基础的研究人员。无论是查漏补缺还是冲刺面试，它都能成为你手边实用且高效的学习伙伴。","# LLMs 千面郎君\n\n> 介绍：本项目是作者们根据个人面试和经验总结出的 大模型(LLMs)面试准备的学习笔记与资料，该资料目前包含 大模型(LLMs)各领域的 面试题积累。\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkm1994_LLMs_interview_notes_readme_22473db045f3.png\" width=\"50%\" >\n> LLMs 千面郎君 面试交流群 (注：人满 可 添加 小编wx：yzyykm666 加群！)\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkm1994_LLMs_interview_notes_readme_6f30ce152de0.png\" width=\"50%\" >\n\n\n## 一、大模型（LLMs）基础面 \n\n### [大模型（LLMs）基础面](https:\u002F\u002Farticles.zsxq.com\u002Fid_mw52p1pfbzql.html) \n\n- 1 目前 主流的开源模型体系 有哪些？\n- 2 prefix Decoder 和 causal Decoder 和 Encoder-Decoder 区别是什么？\n- 3 大模型LLM的 训练目标 是什么？\n- 4 涌现能力是啥原因？\n- 5 为何现在的大模型大部分是Decoder only结构？\n- 6 简单 介绍一下 大模型【LLMs】？\n- 7 大模型【LLMs】后面跟的 175B、60B、540B等 指什么？\n- 8 大模型【LLMs】具有什么优点？\n- 9 大模型【LLMs】具有什么缺点？\n- 10 encoder-only, decoder-only, encoder-decoder的区别?\n- 11 BART、llama、gpt、t5、palm等主流模型异同点?\n- 12 prefix LM 和 causal LM 区别是什么?\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_mw52p1pfbzql.html)\n\n### [Layer normalization 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_pzcgd4ovk098.html)\n\n- Layer normalization-方法篇\n  - Layer Norm 篇\n    - Layer Norm 的计算公式写一下？\n  - RMS Norm 篇 （均方根 Norm）\n    - RMS Norm 的计算公式写一下？\n    - RMS Norm 相比于 Layer Norm 有什么特点？\n  - Deep Norm 篇\n    - Deep Norm 思路？\n    - 写一下 Deep Norm 代码实现？\n  - Deep Norm 有什么优点？\n- Layer normalization-位置篇\n  - 1 LN 在 LLMs 中的不同位置 有什么区别么？如果有，能介绍一下区别么？\n- Layer normalization 对比篇\n  - LLMs 各模型分别用了 哪种 Layer normalization？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_pzcgd4ovk098.html)\n\n### [LLMs 激活函数篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_6xm3wzzice2s.html) \n\n- 1 介绍一下 FFN 块 计算公式？\n- 2 介绍一下 GeLU 计算公式？\n- 3 介绍一下 Swish 计算公式？\n- 4 介绍一下 使用 GLU 线性门控单元的 FFN 块 计算公式？\n- 5 介绍一下 使用 GeLU 的 GLU 块 计算公式？\n- 6 介绍一下 使用 Swish 的 GLU 块 计算公式？\n- 7 各LLMs 都使用哪种激活函数？\n- 8 Adam优化器和SGD的区别？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_6xm3wzzice2s.html)\n\n### [Attention 升级面](https:\u002F\u002Farticles.zsxq.com\u002Fid_u67us9zex93d.html) \n\n- [Attention 升级面](https:\u002F\u002Farticles.zsxq.com\u002Fid_u67us9zex93d.html) \n  - 1 传统 Attention 存在哪些问题？\n  - 2 Attention 有哪些 优化方向？\n  - 3 Attention 变体有哪些？\n  - 4 Multi-Query Attention 篇\n    - 4.1 Multi-head Attention 存在什么问题？\n    - 4.2 介绍一下 Multi-Query Attention？\n    - 4.3 对比一下 Multi-head Attention 和 Multi-Query Attention？\n    - 4.4 Multi-Query Attention 这样做的好处是什么？\n    - 4.5 有 哪些模型 是 使用 Multi-Query Attention？\n  - 5 Grouped-query Attention\n    - 5.1 什么是 Grouped-query Attention？\n    - 5.2 有哪些大模型使用 Grouped-query Attention？\n  - 6 FlashAttention\n    - 6.1 为什么需要  FlashAttention？\n    - 6.2 简单介绍一下 FlashAttention？\n    - 6.3 简单介绍一下 FlashAttention 核心？\n    - 6.4 介绍一下 FlashAttention 优点？\n    - 6.5 介绍一下 FlashAttention 代表模型？\n  - 7 并行 transformer block\n  - 8 attention计算复杂度以及如何改进？\n  - 9 Paged Attention篇\n    - 9.1 简单介绍一下 Paged Attention？\n  - 对比篇\n    - 1、MHA，GQA，MQA 三种注意力机制是否了解?区别是什么?\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_u67us9zex93d.html)\n\n- [跨注意力机制（Cross-Attention）篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_gwn416686pic.html) \n  - 一、为什么需要 跨注意力机制（Cross-Attention）？\n  - 二、介绍一些 跨注意力机制（Cross-Attention）？\n  - 三、Cross Attention 和 Self Attention 篇\n    - 3.1 Cross Attention 和 Self Attention 都是基于注意力机制的，有什么相同点？\n    - 3.2 Cross Attention 和 Self Attention 都是基于注意力机制的，有什么不同点？\n  - 四、Cross Attention 和 多头注意力（Multi-Head Attention）篇\n    - 4.2 Cross Attention 和 多头注意力（Multi-Head Attention） 都是基于注意力机制的，有什么异同点？\n  - 五、Cross Attention 代码实现\n  - 六、Cross Attention 应用场景\n  - 七、Cross Attention 的优势和挑战？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_gwn416686pic.html)\n\n### [transformers 操作篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_rsll7gsd8va5.html) \n\n- 1. 如何 利用 transformers 加载 Bert 模型？\n- 2. 如何 利用 transformers 输出 Bert 指定 hidden\\_state？\n- 3. BERT 获取最后一层或每一层网络的向量输出\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_rsll7gsd8va5.html)\n\n### [LLMs 损失函数篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_q0ajjlbc8493.html) \n\n- 一、介绍一下 KL 散度？\n- 二、交叉熵损失函数写一下，物理意义是什么？\n- 三、KL 散度与交叉熵的区别？\n- 四、多任务学习各loss差异过大怎样处理？\n- 五、分类问题为什么用交叉熵损失函数不用均方误差（MSE）？\n- 六、什么是信息增益？\n- 七、多分类的分类损失函数(Softmax)？\n- 八、softmax和交叉熵损失怎么计算，二值交叉熵呢？\n- 九、如果softmax的e次方超过float的值了怎么办？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_q0ajjlbc8493.html)\n\n### [相似度函数篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_wp25j5xr8ocw.html) \n\n- 一、除了cosin还有哪些算相似度的方法\n- 二、了解对比学习嘛？\n- 三、对比学习负样本是否重要？负样本构造成本过高应该怎么解决？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_wp25j5xr8ocw.html)\n\n## [二、大模型（LLMs）进阶面](https:\u002F\u002Farticles.zsxq.com\u002Fid_xr65bxpcsnoh.html) \n\n- 一、什么是生成式大模型？\n- 二、大模型是怎么让生成的文本丰富而不单调的呢？\n- 三、LLMs 复读机问题\n  - 3.1 什么是 LLMs 复读机问题？\n  - 3.2 为什么会出现 LLMs 复读机问题？\n  - 3.3 如何缓解 LLMs 复读机问题？\n- 四、llama 系列问题\n  - 4.1 llama 输入句子长度理论上可以无限长吗？\n- 五、什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？\n- 六、各个专业领域是否需要各自的大模型来服务？\n- 七、如何让大模型处理更长的文本？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_xr65bxpcsnoh.html)\n\n## 三、大模型（LLMs）微调面\n\n### [大模型（LLMs）微调面](https:\u002F\u002Farticles.zsxq.com\u002Fid_kv7jdah2zw5n.html) \n\n- 39 大模型 sft 过程中，为什么会出现第二个epoch的时候loss会突然下降问题？\n- 1 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？\n- 2 为什么SFT之后感觉LLM傻了?\n- 3 SFT 指令微调数据 如何构建?\n    - 3.1 提升sft的prompt的代表性有什么好的方法？\n    - 3.2 提升sft的prompt的数据量有什么好的方法？\n- 4 领域模型Continue PreTrain 数据选取？\n- 5 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？\n- 6 领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？\n- 7 进行SFT操作的时候，基座模型选用Chat还是Base?\n- 8 领域模型微调 指令\\&数据输入格式 要求？\n- 9 领域模型微调 领域评测集 构建？\n- 10 领域模型词表扩增是不是有必要的？\n- 11 如何训练自己的大模型？\n- 12 训练中文大模型有啥经验？\n- 13 指令微调的好处？\n- 14 预训练和微调哪个阶段注入知识的？\n- 15 想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_kv7jdah2zw5n.html)\n\n### [大模型 SFT Trick 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_srd92pvnjwmu.html)\n\n- 一、常见 SFT的开发流程是如何的？\n- 二、训练数据要注重什么？\n- 三、大 size 和小 size 模型的选择？\n- 四、多任务训练时怎么确保每个任务都优秀？\n- 五、SFT真的不能学到知识？\n- 六、怎么科学挑选数据集？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_srd92pvnjwmu.html)\n\n### [大模型（LLMs）训练经验帖](https:\u002F\u002Farticles.zsxq.com\u002Fid_06n25d9wjs0e.html)\n\n- 分布式训练框架选择？\n- LLMs 训练时 有哪些有用的建议？\n- 模型大小如何选择？\n- 加速卡如何选择？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_06n25d9wjs0e.html)\n\n## 四、大模型（LLMs）langchain 面\n\n### [大模型（LLMs）langchain 面](https:\u002F\u002Farticles.zsxq.com\u002Fid_ve2dgaiqrjzv.html) \n\n- 一、什么是 LangChain?\n- 二、LangChain 包含哪些 核心概念？\n  - 2.1 LangChain 中 Components and Chains 是什么？\n  - 2.2 LangChain 中 Prompt Templates and Values 是什么？\n  - 2.3 LangChain 中 Example Selectors 是什么？\n  - 2.4 LangChain 中 Output Parsers 是什么？\n  - 2.5 LangChain 中 Indexes and Retrievers 是什么？\n  - 2.6 LangChain 中  Chat Message History 是什么？\n  - 2.7 LangChain 中  Agents and Toolkits 是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_ve2dgaiqrjzv.html)\n\n### [多轮对话中让AI保持长期记忆的8种优化方式篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_3qgicwcwzjpi.html) \n\n- 一、前言\n- 二、Agent 如何获取上下文对话信息？\n  - 2.1 获取全量历史对话\n  - 2.2 滑动窗口获取最近部分对话内容\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_3qgicwcwzjpi.html)\n\n### [基于langchain RAG问答应用实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_3kw7snrk2rql.html) \n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_3kw7snrk2rql.html)\n\n## 五、大模型（LLMs）RAG 检索增强生成面 \n\n### 5.1 大模型（LLMs）RAG 入门篇\n\n#### [基于LLM+向量库的文档对话 经验面](https:\u002F\u002Farticles.zsxq.com\u002Fid_xk58m8ok2sob.html)\n\n- 一、基于LLM+向量库的文档对话 基础面\n  - 1.1 为什么 大模型 需要 外挂(向量)知识库？\n  - 1.2. 基于LLM+向量库的文档对话 思路是怎么样？\n  - 1.3. 基于LLM+向量库的文档对话 核心技术是什么？\n  - 1.4. 基于LLM+向量库的文档对话 prompt 模板 如何构建？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_xk58m8ok2sob.html)\n\n#### [RAG（Retrieval-Augmented Generation）面](https:\u002F\u002Farticles.zsxq.com\u002Fid_xk58m8ok2sob.html) \n\n- 一、LLMs 已经具备了较强能力了，存在哪些不足点?\n- 二、什么是 RAG?\n  - 2.1 R：检索器模块\n    - 2.1.1 如何获得准确的语义表示？\n    - 2.1.2 如何协调查询和文档的语义空间？\n    - 2.1.3 如何对齐检索模型的输出和大语言模型的偏好？\n  - 2.2 G：生成器模块\n    - 2.2.1 生成器介绍\n    - 2.2.2 如何通过后检索处理提升检索结果？\n    - 2.2.3 如何优化生成器应对输入数据？\n- 三、使用 RAG 的好处?\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_xk58m8ok2sob.html)\n\n#### 5.2 大模型（LLMs）RAG 版面分析篇\n\n### [大模型（LLMs）RAG —— pdf解析关键问题](https:\u002F\u002Farticles.zsxq.com\u002Fid_2693k55it84w.html)\n\n- 一、为什么需要进行pdf解析？\n- 二、为什么需要 对 pdf 进行解析？\n- 三、pdf解析 有哪些方法，对应的区别是什么？\n- 四、pdf解析 存在哪些问题？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_2693k55it84w.html)\n\n### [大模型（LLMs）RAG 版面分析——表格识别方法篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_7x4qv94hxv8r.html)\n\n- 一、为什么需要识别表格？\n- 二、介绍一下 表格识别 任务？\n- 三、有哪些 表格识别方法？\n  - 3.1 传统方法\n  - 3.2 pdfplumber表格抽取\n    - 3.2.1 pdfplumber 如何进行 表格抽取？\n    - 3.2.2 pdfplumber 常见的表格抽取模式？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_7x4qv94hxv8r.html)\n\n### [大模型（LLMs）RAG 版面分析——文本分块面](https:\u002F\u002Farticles.zsxq.com\u002Fid_iw7debl8akxh.html)\n\n- 一、为什么需要对文本分块？\n- 二、能不能介绍一下常见的文本分块方法？\n  - 2.1 一般的文本分块方法\n  - 2.2 正则拆分的文本分块方法\n  - 2.3 Spacy Text Splitter 方法\n  - 2.4 基于 langchain 的 CharacterTextSplitter 方法\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_iw7debl8akxh.html)\n\n### 5.3 大模型（LLMs）RAG 检索策略篇\n\n#### [大模型外挂知识库优化——如何利用大模型辅助召回？](https:\u002F\u002Farticles.zsxq.com\u002Fid_oznm6qixjw61.html)\n\n- 一、为什么需要使用大模型辅助召回？\n  - 策略一： HYDE\n    - 1. 介绍一下 HYDE 思路？\n    - 2. 介绍一下 HYDE 问题？\n  - 策略二： FLARE\n    - 1. 为什么 需要 FLARE ？\n    - 2. FLARE 有哪些召回策略？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_oznm6qixjw61.html)\n\n#### [大模型外挂知识库优化——负样本样本挖掘篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_wa7nl8wsuilh.html)\n\n- 一、为什么需要构建负难样本？\n- 二、负难样本构建方法篇\n  - 2.1 随机采样策略（Random Sampling）方法\n  - 2.2 Top-K负例采样策略（Top-K Hard Negative Sampling）方法\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_wa7nl8wsuilh.html)\n\n### 5.4 大模型（LLMs）RAG 评测篇\n\n#### [RAG（Retrieval-Augmented Generation）评测面](https:\u002F\u002Farticles.zsxq.com\u002Fid_vjwt6uzml13l.html)\n\n- 一、为什么需要 对 RAG 进行评测？\n- 二、RAG 有哪些评估方法？\n- 三、RAG 有哪些关键指标和能力？\n- 四、RAG 有哪些评估框架？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_vjwt6uzml13l.html)\n\n### 5.5 大模型（LLMs）RAG 优化策略篇\n\n#### [检索增强生成(RAG) 优化策略篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_gu4p7gszsh82.html)\n\n- 一、RAG基础功能篇\n  - 1.1 RAG 工作流程\n- 二、RAG 各模块有哪些优化策略？\n- 三、RAG 架构优化有哪些优化策略？\n  - 3.1 如何利用 知识图谱（KG）进行上下文增强？\n    - 3.1.1 典型RAG架构中，向量数据库进行上下文增强 存在哪些问题？\n    - 3.1.2 如何利用 知识图谱（KG）进行上下文增强？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_gu4p7gszsh82.html)\n\n#### [RAG 关键痛点及对应解决方案](https:\u002F\u002Farticles.zsxq.com\u002Fid_1bmbedojsj0t.html)\n\n- 前言\n- 问题一：内容缺失问题\n  - 1.1 介绍一下 内容缺失问题？\n  - 1.2 如何 解决 内容缺失问题？\n- 问题二：错过排名靠前的文档\n  - 2.1 介绍一下 错过排名靠前的文档 问题？\n  - 2.2 如何 解决 错过排名靠前的文档 问题？\n- 问题三：脱离上下文 — 整合策略的限制\n  - 3.1 介绍一下 脱离上下文 — 整合策略的限制 问题？\n  - 3.2 如何 解决 脱离上下文 — 整合策略的限制 问题？\n- 问题四：未能提取答案\n  - 4.1 介绍一下 未能提取答案 问题？\n  - 4.2 如何 解决 未能提取答案 问题？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_1bmbedojsj0t.html)\n\n#### [大模型（LLMs）RAG 优化策略 —— RAG-Fusion篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_4ce04xwvic1z.html)\n\n- 一、RAG 有哪些优点？\n- 二、RAG 存在哪些局限性？\n- 三、为什么 需要 RAG-Fusion？\n- 四、说一下 RAG-Fusion 核心技术？\n- 五、说一下 RAG-Fusion 工作流程？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_4ce04xwvic1z.html)\n\n### 5.6 大模型（LLMs）Graph RAG篇\n\n#### [Graph RAG（Retrieval-Augmented Generation） 面 —— 一种 基于知识图谱的大模型检索增强实现策略](https:\u002F\u002Farticles.zsxq.com\u002Fid_dwhonmw976n7.html)\n\n- 一、为什么需要 Graph RAG？\n- 二、什么是 Graph RAG？\n- 三、Graph RAG 思路介绍？\n- 四、用代码 介绍 Graph RAG ？\n- 五、用 示例 介绍 Graph RAG ？\n- 六、Graph RAG 排序优化方式？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_dwhonmw976n7.html)\n\n## 六、大模型（LLMs）参数高效微调(PEFT) 面\n\n### [大模型（LLMs）参数高效微调(PEFT) 面](https:\u002F\u002Farticles.zsxq.com\u002Fid_ipkod91a939n.html)\n\n- 1. 微调方法是啥？如何微调？\n- 2. 为什么需要 PEFT？\n- 3. 介绍一下 PEFT？\n- 4. PEFT 有什么优点？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_ipkod91a939n.html)\n\n### [配器微调（Adapter-tuning）篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_0n6pfw0wz3xb.html)\n\n- 一、为什么 需要 适配器微调（Adapter-tuning）？\n- 二、适配器微调（Adapter-tuning）思路？\n- 三、 适配器微调（Adapter-tuning）特点是什么？\n- 四、AdapterFusion 思路 是什么？\n- ...\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_0n6pfw0wz3xb.html)\n\n### [提示学习（Prompting）](https:\u002F\u002Farticles.zsxq.com\u002Fid_662wpbw47gtj.html)\n\n- 一、为什么需要 提示学习（Prompting）？\n- 二、什么是 提示学习（Prompting）？\n- 三、提示学习（Prompting） 有什么优点？\n- 四、提示学习（Prompting）有哪些方法，能不能稍微介绍一下它们间？\n  - 4.1 前缀微调（Prefix-tining）篇\n    - 4.1.1 为什么需要 前缀微调（Prefix-tining）？\n    - 4.1.2 前缀微调（Prefix-tining）思路是什么？\n    - 4.1.3 前缀微调（Prefix-tining）的优点是什么？\n    - 4.1.4 前缀微调（Prefix-tining）的缺点是什么？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_662wpbw47gtj.html)\n\n### [LoRA 系列篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_gjkhd8xn4pvt.html) \n\n一、LoRA篇\n    - 1.1 什么是 LoRA？\n    - 1.2 LoRA 的思路是什么？\n    - 1.3 LoRA 的特点是什么？\n    - 1.4 简单描述一下 LoRA?\n    - 1.5 解释一下 LORA 微调的原理和计算流程？\n- 二、LoRA变体篇\n    - 2.1 QLoRA篇\n        - 2.1.1 QLoRA 的思路是怎么样的？\n        - 2.1.2 QLoRA 的特点是什么？\n        - 2.1.3 QLORA相比LORA做了哪些改进?\n    - 2.2 AdaLoRA篇\n    -   .2.1 AdaLoRA 的思路是怎么样的？\n    - 2.3 LongLoRA篇\n        - 2.3.1 为什么需要 LongLoRA？\n        - 2.3.2 LongLoRA 思路是什么？\n        - 2.3.3 介绍一下 shift short attention？\n- 三、Lora的矩阵怎么初始化？为什么要初始化为全0？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_gjkhd8xn4pvt.html)\n\n### [如何使用 PEFT库 中 LoRA？](https:\u002F\u002Farticles.zsxq.com\u002Fid_8lx1t1t3w4qf.html) \n\n- 一、前言\n- 二、如何 配置 LoraConfig？\n- 三、模型 加入PEFT策略\n  - 3.1 模型加载 策略有哪些？\n  - 3.2 模型显存占用的部分有哪些？\n  - 3.3 模型显存占用 优化策略？\n    - 3.3.1 8bit量化 优化策略？\n    - 3.3.2 梯度检查 优化策略？\n  - 3.4 如何 向 模型 加入PEFT策略？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_8lx1t1t3w4qf.html)\n\n### [大模型 SFT 方式对比篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_e2piver2uzei.html) \n\n- 一、SFT 微调方案如何选择？\n- 二、Full Fine Tuning vs Parameter-Efficient Fine-Tuning\n- 三、Full Fine Tuning 篇\n  - 3.1 介绍一下 Full Fine Tuning？\n  - 3.2 介绍一下 Full Fine Tuning 优点？\n  - 3.3 介绍一下 Full Fine Tuning 缺点？\n- 四、Parameter-Efficient Fine-Tuning 篇\n  - 4.1 介绍一下 Parameter-Efficient Fine-Tuning？\n- 五、LoRA 篇\n  - 5.1 介绍一下 LoRA？\n  - 5.2 介绍一下 LoRA 流程？\n  - 5.3 介绍一下 LoRA 优点？\n  - 5.4 介绍一下 LoRA 缺点？\n- 六、QLoRA 篇\n  - 6.1 介绍一下 QLoRA？\n  - 6.2 介绍一下 QLoRA 流程？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_e2piver2uzei.html)\n\n## 七、大模型（LLMs）推理面 \n\n### [大模型（LLMs）推理面](https:\u002F\u002Farticles.zsxq.com\u002Fid_b9eecaoga75i.html)\n\n- 1. 为什么大模型推理时显存涨的那么多还一直占着？\n- 2. 大模型在gpu和cpu上推理速度如何？\n- 3. 推理速度上，int8和fp16比起来怎么样？\n- 4. 大模型有推理能力吗？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_b9eecaoga75i.html)\n\n## 八、大模型（LLMs）增量预训练篇 \n\n### [大模型（LLMs）增量预训练篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_jfq8la7g20ww.html)\n\n- 1. 为什么要增量预训练？\n- 2. 进行 增量预训练 需要做哪些准备工作？\n- 3. 增量预训练 所用 训练框架？\n- 4. 增量预训练 训练流程 是怎么样？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_jfq8la7g20ww.html)\n\n### [增量预训练（Pretrain）样本拼接篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_8f35p8piwl4v.html)\n\n- 一、 推理过程 分哪些阶段？\n  - 1.1 Prefill（输入理解与初始化）阶段\n  - 1.2 Decoding（递归推理与解码输出）阶段\n- 二、推理性能的评价指标？\n  - 2.1 Throughput（吞吐量）\n  - 2.2 First Token Latency（首字延迟）\n  - 2.3 Latency（延迟）\n  - 2.4 QPS（每秒请求数）\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_8f35p8piwl4v.html)\n\n### [增量预训练（Pretrain）样本拼接篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_enteq22h1nhq.html)\n\n- 一、Pretrain阶段，为什么需要拼接拼接？\n- 二、有哪些 拼接方式？\n  - 2.1 拼接方式一：Random Concatenate\n  - 2.2 拼接方式二：Random Concatenate + NoiseMask\n  - 2.3 拼接方式三：Random Concatenate + Cluster\n  - 2.4 拼接方式四：IN-CONTEXT PRETRAINING\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_enteq22h1nhq.html)\n\n### [基于lora的llama2二次预训练](https:\u002F\u002Farticles.zsxq.com\u002Fid_xo09u14omdjw.html)\n\n- 一、为什么需要 对 llama2 做 基于lora的二次预训练?\n- 二、基于lora的llama2二次预训练 的目标是什么？\n- 三、基于lora的llama2二次预训练 的思想是什么？\n- 四、基于lora的llama2二次预训练 语料构建思路？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_xo09u14omdjw.html)\n\n## [九、大模型（LLMs）评测面](https:\u002F\u002Farticles.zsxq.com\u002Fid_j9wcj62eovgc.html)\n\n- 1 大模型怎么评测？\n- 2 大模型的honest原则是如何实现的？模型如何判断回答的知识是训练过的已知的知识，怎么训练这种能力？\n- 3 如何衡量大模型水平？\n- 4 大模型评估方法 有哪些？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_j9wcj62eovgc.html)\n\n## 十、大模型（LLMs）强化学习面 \n\n### [大模型（LLMs）强化学习面](https:\u002F\u002Farticles.zsxq.com\u002Fid_20xnfnoprj9s.html) \n\n- 1 简单介绍强化学习？\n- 2 简单介绍一下 RLHF？\n- 3 奖励模型需要和基础模型一致吗？\n- 4 RLHF 在实践过程中存在哪些不足？\n- 5 如何解决 人工产生的偏好数据集成本较高，很难量产问题？\n- 6 如何解决三个阶段的训练（SFT-\\>RM-\\>PPO）过程较长，更新迭代较慢问题？\n- 7 如何解决 PPO 的训练过程同时存在4个模型（2训练，2推理），对计算资源的要求较高 问题？\n- 8 强化学习跟大语言模型的本质联系是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_20xnfnoprj9s.html)\n\n### [大模型（LLMs）强化学习——RLHF及其变种面](https:\u002F\u002Farticles.zsxq.com\u002Fid_3ct6sw0wouna.html) \n\n- 一、介绍一下 LLM的经典预训练Pipeline？\n- 二、预训练（Pre-training）篇\n  - 2.1 具体介绍一下 预训练（Pre-training）？\n- 三、有监督微调（Supervised Tinetuning）篇\n  - 3.1 具体介绍一下 有监督微调（Supervised Tinetuning）？\n  - 3.2 有监督微调（Supervised Tinetuning）的训练数据格式是什么样？\n  - 3.3 预训练（Pre-training） vs 有监督微调（Supervised Tinetuning）区别？\n- 四、对齐（Alignment）篇\n  - 4.1 简单介绍一下 对齐（Alignment）？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_3ct6sw0wouna.html)\n\n### [大模型（LLMs）强化学习—— PPO 面](https:\u002F\u002Farticles.zsxq.com\u002Fid_s8kwqw1gowvh.html) \n\n  - 一、大语言模型RLHF中的PPO主要分哪些步骤？\n  - 二、举例描述一下 大语言模型的RLHF？\n  - 三、大语言模型RLHF 采样篇\n    - 3.1 什么是 PPO 中 采样过程？\n    - 3.2 介绍一下 PPO 中 采样策略？\n    - 3.3 PPO 中 采样策略中，如何评估“收益”？\n  - 四、在PPO过程中，reward model的效果上会有什么问题？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_s8kwqw1gowvh.html)\n\n### [RLHF平替算法DPO篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_mlq44r1p7nob.html) \n\n- RLHF平替算法DPO篇\n  - 一、DPO vs RLHF？\n  - 二、介绍一下 DPO的损失函数？\n  - 三、DPO 微调流程 ?\n  - 四、说一下 DPO 是如何简化 RLHF 的？\n  - 五、DPO的第0步loss是固定的么？如果固定的话，值是多少？\n  - 六、DPO是一个on-policy还是off-policy的算法，以及这样的算法有什么优劣？\n  - 七、DPO公式是由PPO的objective公式推导过来的，为什么DPO是off-policy算法，而PPO是on-policy算法，到底哪一步推导出了问题？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_mlq44r1p7nob.html)\n\n### [reward 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_vblb0j5qnaxg.html) \n\n  - 1 介绍一下 RM模型？\n  - 2 为什么需要 RM模型？\n  - 3 RM模型训练数据如何构建？\n  - 4 reward 模型训练步骤中，为什么这一步骤在标注数据过程中不让人直接打分，而是去标排列序列呢?\n  - 5 reward 模型的 loss 是怎么计算的?\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_vblb0j5qnaxg.html)\n\n### [强化学习在自然语言处理下的应用篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_5tsn84l32eea.html) \n\n- 一、强化学习基础面\n  - 1.1 介绍一下强化学习？\n  - 1.2 介绍一下强化学习 的 状态（States） 和 观测（Observations）？\n  - 1.3 强化学习 有哪些 动作空间（Action Spaces），他们之间的区别是什么？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_5tsn84l32eea.html)\n\n## 十一、大模型（LLMs）训练集面 \n\n### [大模型（LLMs）训练集面](https:\u002F\u002Farticles.zsxq.com\u002Fid_axtljtl0bsvw.html)\n\n- SFT（有监督微调）的数据集格式？\n- RM（奖励模型）的数据格式？\n- PPO（强化学习）的数据格式？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_axtljtl0bsvw.html)\n\n### [大模型（LLMs）LLM生成SFT数据方法面](https:\u002F\u002Farticles.zsxq.com\u002Fid_1gzdghj84f9f.html)\n\n- 四、大模型微调数据集格式篇\n- 一、SFT数据集如何生成？\n- 二、Self-Instruct 篇\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_1gzdghj84f9f.html)\n\n## 十二、大模型（LLMs）显存问题面 \n\n### [大模型（LLMs）显存问题面](https:\u002F\u002Farticles.zsxq.com\u002Fid_jhiocx89p3su.html)\n\n- 大模型大概有多大，模型文件有多大?\n- 能否用4 * v100 32G训练vicuna 65b？\n- 如果就是想要试试65b模型，但是显存不多怎么办？\n- nB模型推理需要多少显存？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_jhiocx89p3su.html)\n\n### [大模型（LLMs）显存优化策略篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_a1l60awgge6q.html)\n\n- 一、介绍一下 gradient accumulation 显存优化方式？\n- 二、介绍一下 gradient checkpointing 显存优化方式？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_a1l60awgge6q.html)\n\n## 十三、大模型（LLMs）分布式训练面 \n\n### [大模型（LLMs）分布式训练面](https:\u002F\u002Farticles.zsxq.com\u002Fid_ah2ibj3z22c7.html)\n\n- 1 理论篇\n  - 1.1 训练 大语言模型 存在问题？\n  - 1.2 什么是 点对点通信？\n  - 1.3 什么是 集体通信？\n  - 1.4 什么是 数据并行？\n  - 1.5 数据并行 如何 提升效率？\n  - 1.6 什么是 流水线并行？\n  - 1.7 什么是 张量并行 (intra-layer)？\n  - 1.8 数据并行 vs 张量并行 vs 流水线并行?\n  - 1.9 什么是 3D并行？\n  - 1.10 想要训练1个LLM，如果只想用1张显卡，那么对显卡的要求是什么？\n  - 1.11 如果有N张显存足够大的显卡，怎么加速训练？\n  - 1.12 如果显卡的显存不够装下一个完整的模型呢？\n  - 1.13 PP推理时，是一个串行的过程，1个GPU计算，其他空闲，有没有其他方式？\n  - 1.14 3种并行方式可以叠加吗？\n  - 1.15 Colossal-AI 有1D\u002F2D\u002F2.5D\u002F3D，是什么情况？\n  - 1.16 除了3D并行有没有其他方式大规模训练？\n  - 1.17 有了ZeRO系列，为什么还需要3D并行？\n  - 1.18 平民适不适合玩3D并行？\n  - 1.19 平民适不适合直接上多机多卡的ZeRO3（万兆网）？\n  - 1.20 分布式并行及显存优化技术并行技术有哪一些，都有什么特点？\n  - 1.21 显存优化技术有哪一些，都有什么特点？\n  - 1.22 常见的分布式训练框架哪一些，都有什么特点？\n- 2 实践篇\n  - 2.1 假如有超多的8卡A100节点（DGX A100），如何应用3D并行策略？\n  - 2.2 如果想构这样一个大规模并行训练系统，训练框架如何选？\n  - 2.3 训练框架如何选？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_ah2ibj3z22c7.html)\n\n### [图解分布式训练（一） —— 流水线并行（Pipeline Parallelism）面](https:\u002F\u002Farticles.zsxq.com\u002Fid_wre1eni0oq7d.html)\n\n- 为什么需要流水线并行（Pipeline Parallelism）？\n- 一、流水线并行（Pipeline Parallelism） 优化目标是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_wre1eni0oq7d.html)\n\n### [图解分布式训练（二） —— nn.DataParallel面](https:\u002F\u002Farticles.zsxq.com\u002Fid_9dfwi0ooio2z.html)\n\n- 为什么需要nn.DataParallel？\n- 一、pytorch中的GPU操作默认是什么样？\n- 二、介绍一下 nn.DataParallel 函数？\n- 三、nn.DataParallel 函数 处理逻辑 介绍一下？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_9dfwi0ooio2z.html)\n\n### [图解分布式训练（三） ——  nn.parallel.DistributedDataParallel](https:\u002F\u002Farticles.zsxq.com\u002Fid_i4s3ia057rmh.html)\n\n- 为什么需要 nn.parallel.DistributedDataParallel ？\n- 一、什么是 DistributedDataParallel 核心 —— Ring-AllReduce？\n- 二、nn.parallel.DistributedDataParallel 函数 介绍一下？\n- 三、nn.parallel.DistributedDataParallel 函数 如何多卡加速训练？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_i4s3ia057rmh.html)\n\n### [图解分布式训练（四） ——  torch.multiprocessing 详细解析](https:\u002F\u002Farticles.zsxq.com\u002Fid_gu9smpbn510e.html)\n\n- 一、torch.multiprocessing 函数介绍一下？\n- 二、torch.multiprocessing 函数如何使用？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_gu9smpbn510e.html)\n\n### [图解分布式训练（五） ——  AMP混合精度训练 详细解析](https:\u002F\u002Farticles.zsxq.com\u002Fid_0slrgoti6gvb.html)\n\n- 为什么需要 AMP混合精度训练？\n- 一、什么是自动混合精度训练(AMP)\n- 二、为什么需要自动混合精度？\n- 三、混合精度训练的优点是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_0slrgoti6gvb.html)\n\n### [图解分布式训练（六） —— Pytorch的 DeepSpeed 详细解析](https:\u002F\u002Farticles.zsxq.com\u002Fid_kmq9rn2vo4kz.html)\n\n- 一、为什么需要 Deepspeed？\n- 二、DeepSpeed 基本概念 介绍一下？\n  - 2.1 DeepSpeed 介绍\n  - 2.2 DeepSpeed 基础的概念\n  - 2.3 DeepSpeed 支持的功能\n- 三、DeepSpeed 通信策略 介绍一下？\n- 四、DeepSpeed 如何使用？\n  - 4.1 DeepSpeed 安装\n  - 4.2 DeepSpeed 使用\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_kmq9rn2vo4kz.html)\n\n### [图解分布式训练（七）—— accelerate 分布式训练 详细解析](https:\u002F\u002Farticles.zsxq.com\u002Fid_o5wkeionnqr7.html)\n\n- 一、为什么需要 accelerate 分布式训练？\n- 二、什么是 accelerate 分布式训练?\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_o5wkeionnqr7.html)\n\n### [图解分布式训练（八）—— ZeRO 学习](https:\u002F\u002Farticles.zsxq.com\u002Fid_grv7uddls2g1.html)\n\n- 一、什么是 3D 并行？\n- 二、3D 并行 策略有哪些？\n- 三、为什么需要 ZeRO？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_grv7uddls2g1.html)\n\n### [大模型分布式训练故障恢复篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_zspm2q33tckx.html)\n\n- 一、为什么 大模型分布式训练 需要 故障恢复？\n- 二、如何获取最优的ckpt存储间隔？\n- 三、ckpt存储能否实现异步或者部分掩盖？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_zspm2q33tckx.html)\n\n### [图解分布式训练（九）—— Megatron-LM 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_o4qtcspmuwqv.html)\n\n- 1、Activation Recomputation是怎么实现的?\n- 2、Megatron中的OverlappedDistributed Optimizer 是如何实现的?\n- 3、Megatron-LM 中 Context Parallel 篇\n  - 3.1 介绍一下 Megatron-LM 中 Context Parallel 实现原理？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_o4qtcspmuwqv.html)\n\n### [分布式训练 Trick 汇总篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_fu9065izm2m4.html)\n\n- 一、数据并行 Trick 篇\n  - 1.1 数据并行 FSDP\n  - 1.2 数据并行 DDP\n  - 1.3 数据并行 ZeRO\n    - 1.3.1 Model state\n    - 1.3.2 Residual state\n    - 1.3.3 offload\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_fu9065izm2m4.html)\n\n### [pytorch 分布式计算 坑\u002Fbug 梳理篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_onztfzwdckom.html)\n\n- 一、使用 DistributedDataParallel（分布式并行）时，显存分布不均衡问题\n- 二、如果是用pytorch实现同步梯度更新，自研 数据接口，出现 第一个epoch结尾处程序卡死问题\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_onztfzwdckom.html)\n\n## 十四、大模型（LLMs）agent 面\n\n### [大模型（LLMs）agent 面](https:\u002F\u002Farticles.zsxq.com\u002Fid_le02luntesap.html) \n\n- 一、什么是 大模型（LLMs）agent？\n- 二、大模型（LLMs）agent 有哪些部分组成？\n  - 2.1 介绍一下 规划（planning）？\n    - 2.1.1 拆解子目标和任务分解\n      - 2.1.1.1 如何进行 拆解子目标和任务分解？\n      - 2.1.1.2 拆解子目标和任务分解 有哪些方法？\n    - 2.1.2 模型自我反省\n      - 2.1.2.1 如何进行 模型自我反省？\n      - 2.1.2.2 模型自我反省 有哪些方法？\n  - 2.2 介绍一下 记忆（Memory）？\n  - 2.3 介绍一下 工具使用（tool use）？\n- 三、大模型（LLMs）agent 主要 利用了 大模型 哪些能力？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_le02luntesap.html)\n\n### 函数调用 Function Call 篇\n\n- [函数调用 Function Call 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_asxg09gtrx89.html)\n  - 一、为什么需要 函数调用(function call)？\n  - 二、什么是 函数调用(function call)？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_asxg09gtrx89.html)\n\n- [开源模型 Function Call 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_s2ojkzdw83gb.html)\n  - 开源模型 Function Call 方案有哪些？\n    - Llama 3.1\n      - 对话协议（Chat Protocal）\n      - Tool Call Template 样式\n      - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_s2ojkzdw83gb.html)\n\n## [十五、LLMs 位置编码篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_amt4qkusdcir.html) \n\n- 一、什么是位置编码？\n- 二、为什么需要位置编码？\n- 三、什么是绝对位置编码？\n  - 3.1 训练式位置编码篇\n    - ...\n- 四、什么是相对位置编码？\n- 五、旋转位置编码 RoPE篇\n  - 5.1 旋转位置编码 RoPE 思路是什么？\n  - ...\n- 六、长度外推问题篇\n  - 6.1 什么是 长度外推问题？\n  - 6.2 长度外推问题 的 解决方法 有哪些？\n- 七、 ALiBi (Attention with Linear Biases)篇\n  - 7.1 ALiBi (Attention with Linear Biases) 思路是什么？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_amt4qkusdcir.html)\n\n## 十六、LLMs Tokenizer 篇\n\n### [LLMs Tokenizer 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_6z8ptdwqeid7.html)\n\n- LLMs Tokenizer 篇\n  - Byte-Pair Encoding(BPE)篇\n    - 1 介绍一下 Byte-Pair Encoding(BPE) ？\n    - 2 Byte-Pair Encoding(BPE) 如何构建词典？\n    - 3 Byte-Pair Encoding(BPE) 具有什么优点？\n    - 4 Byte-Pair Encoding(BPE) 具有什么缺点？\n    - 5 手撕 Byte-Pair Encoding(BPE) ？\n  - Byte-level BPE 篇\n    - 1 介绍一下 Byte-level BPE ？\n    - 2 Byte-level BPE 如何构建词典？\n    - 3 Byte-level BPE 具有什么优点？\n    - 4 Byte-level BPE 具有什么缺点？\n  - WordPiece 篇\n    - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_6z8ptdwqeid7.html)\n\n### [怎么让英文大语言模型支持中文？（一） —— 构建中文tokenization](https:\u002F\u002Farticles.zsxq.com\u002Fid_w0d2q29sueq7.html)\n\n- 一、为什么需要 构建中文tokenization？\n- 二、如何对 原始数据预处理？\n- 三、如何构建中文的词库？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_w0d2q29sueq7.html)\n\n### [怎么让英文大语言模型支持中文？（二） —— 继续预训练篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_jprkwhrvf3tw.html)\n\n- 一、为什么需要进行继续预训练？\n- 二、如何对 继续预训练 数据预处理？\n- 三、如何 构建模型？\n- 四、如何 使用模型？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_jprkwhrvf3tw.html)\n\n### [怎么让英文大语言模型支持中文？（三） —— 对预训练模型进行指令微调](https:\u002F\u002Farticles.zsxq.com\u002Fid_p2wj7zadwxwb.html)\n\n- 一、为什么需要对预训练模型进行指令微调？\n- 二、对预训练模型进行指令微调 数据 如何处理？\n- 三、对预训练模型进行指令微调 tokenization 如何构建？\n- 四、对预训练模型进行指令微调 模型 如何构建？\n- 五、是否可以结合 其他库 使用？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_p2wj7zadwxwb.html)\n\n## 十七、大模型（LLMs）加速篇 \n\n### [大模型(LLM)部署框架对比篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_7d31dgh26fcp.html)\n\n- 大模型(LLM)部署框架对比篇\n- 一、为什么需要对大模型推理加速？\n- 二、大模型(LLM)部署框架对比总览\n- 三、大模型(LLM)部署优化策略\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_7d31dgh26fcp.html)\n\n### [大模型（LLMs）推理加速篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_kgzsxgro8cee.html)\n\n- 一、 推理过程 分哪些阶段？\n    - 1.1 Prefill（输入理解与初始化）阶段\n    - 1.2 Decoding（递归推理与解码输出）阶段\n- 二、 推理性能的评价指标？\n    - 2.1 Throughput（吞吐量）\n    - 2.2 First Token Latency（首字延迟）\n    - 2.3 Latency（延迟）\n    - 2.4 QPS（每秒请求数）\n- 三、 当前优化模型最主要技术手段有哪些？\n    - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_kgzsxgro8cee.html)\n\n\n### [大模型（LLMs）加速篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_w9wewc152eux.html)\n\n- 1 当前优化模型最主要技术手段有哪些？\n- 2 推理加速框架有哪一些？都有什么特点？\n- 3 vLLM 篇\n  - 3.1 vLLM 的 功能有哪些？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_w9wewc152eux.html)\n\n### [LLMs 推理性能面](https:\u002F\u002Farticles.zsxq.com\u002Fid_jwd03u0l7feo.html) \n\n- 一、介绍一下 LLMs 的文本生成过程？\n- 二、如何准确衡量模型的推理速度呢？\n- 三、如果对整体推理时延有具体目标，有哪些有效的启发式方法来评估模型？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_jwd03u0l7feo.html)\n\n### [LLM（大语言模型）部署加速方法——PagedAttention篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_p22mjq881n3n.html)\n\n- 一、vLLM 用于大模型并行推理加速 存在什么问题？\n- 二、vLLM 如何 优化 大模型并行推理加速？\n- 三、什么是 PagedAttention？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_p22mjq881n3n.html)\n\n### [大模型推理加速工具 —— vLLM](https:\u002F\u002Farticles.zsxq.com\u002Fid_zw5h9ogvac2w.html)\n\n- 一、引言\n  - 1.1 前言\n  - 1.2 为什么 需要 vLLM ?\n  - 1.3 vLLM 具有哪些特点 ?\n  - 1.4 vLLM 支持哪些 Huggingface 模型 ?\n- 二、vLLM 性能如何？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_zw5h9ogvac2w.html)\n\n### [LLM（大语言模型）部署加速方法——Faster Transformer篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_dd2gowztxtfg.html)\n\n- 一、为什么需要 FasterTransformer？\n- 二、FasterTransformer 介绍一下？\n- 三、FasterTransformer 核心是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_dd2gowztxtfg.html)\n\n### [纯Python超轻量高性能LLM推理框架 —— LightLLM](https:\u002F\u002Farticles.zsxq.com\u002Fid_9a643feq2b0b.html)\n\n- 一、引言\n  - 1.1 前言\n  - 1.2 为什么 需要 LightLLM ?\n  - 1.3 目前 LLM推理框架 有 哪些?\n- 二、LightLLM 介绍一下？\n  - 2.1 什么是 LightLLM ？\n  - 2.2 Token Attention 介绍？\n  - 2.3 Efficient Router 介绍？\n- 三、LightLLM 性能表现 介绍？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_9a643feq2b0b.html)\n\n### [LLM推理技术之StreamingLLM：如何拥有无限长生成能力](https:\u002F\u002Farticles.zsxq.com\u002Fid_w1gwi9z7qm5s.html)\n\n- 一、前言\n  - 1.1 大型语言模型（LLM）存在什么问题？\n  - 1.2 StreamingLLM 背景介绍\n  - 1.3 StreamingLLM 核心问题？\n  - ...\n- 二、StreamingLLM 的思路是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_w1gwi9z7qm5s.html)\n\n### [SwiftInfer —— 大模型无限流式输入推理飙升46%，打破多轮对话长度限制](https:\u002F\u002Farticles.zsxq.com\u002Fid_0rpua5fejfwc.html) \n\n- StreamingLLM 篇\n  - 一、为什么需要 StreamingLLM？\n  - 二、StreamingLLM 思路是什么？\n  - 三、StreamingLLM 优点是什么？\n- SwiftInfer 篇：基于TensorRT的StreamingLLM实现\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_0rpua5fejfwc.html)\n\n## 十八、大模型幻觉（LLM Hallucination）面 \n\n### [大模型幻觉（LLM Hallucination）面](https:\u002F\u002Farticles.zsxq.com\u002Fid_schwrdmvmhr7.html)\n\n- 一、什么是大模型幻觉？\n- 二、为什么LLM会产生幻觉？\n- 三、为什么需要解决LLM的幻觉问题？\n- 四、幻觉一定是有害的吗？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_schwrdmvmhr7.html)\n\n### [大模型的幻觉问题篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_8mr4mlhe5q1x.html)\n\n- 一、什么是 大模型幻觉问题？\n- 二、为什么 会 出现 大模型幻觉问题？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_8mr4mlhe5q1x.html)\n\n### [如何缓解大模型幻觉？](https:\u002F\u002Farticles.zsxq.com\u002Fid_tbezgzifowzp.html)\n\n- 一、为什么 会 出现 大模型幻觉？\n- 二、如何 缓解 大模型幻觉？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_tbezgzifowzp.html)\n\n## 十九、LLMs 对比篇 \n\n### [LLMs 对比篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_fsq8czgwjxse.html)\n\n- LLMs 对比篇\n  - 一、谈谈你对当前出现的各种大模型的见解？\n  - 二、目前大模型常见的 base 模型训练和 chat 模型训练 方式 的区别么？\n  - 三、llama、baichuan、ChatGLM、Bloom 和 qwen 等开源大模型技术对比篇\n    - 3.1 llama 系列篇\n      - 3.1.1 llama 篇\n        - 3.1.1.1 llama 训练数据 介绍\n        - 3.1.1.2 llama 模型参数量 介绍\n        - 3.1.1.3 llama 模型结构 介绍\n        - 3.1.1.4 llama 训练目标 介绍\n        - 3.1.1.5 llama tokenizer 介绍\n        - 3.1.1.6 llama 衍生模型 介绍\n        - 3.1.1.7 llama 词表扩展: Chinese LLaMA\n      - 3.2.1 llama2 篇\n        - 3.2.1 llama2 系列 数据预处理方式？\n        - 3.2.2 llama2 系列 Tokenizer 处理方式？\n        - 3.2.3 llama2 系列 Architectural？\n        - 3.2.4 llama2 系列 content长度？\n    - 3.2 Mistral 7B 系列篇\n      - 3.2.1  Mistral 7B Architectural？\n    - 3.3 Qwen 系列篇\n      - 3.3.1 Qwen 系列 数据预处理方式？\n      - 3.3.2 Qwen 系列 Tokenizer 处理方式？\n      - 3.3.3 Qwen 系列 ARCHITECTURE？\n    - 3.4 Baichuan 系列篇\n      - 3.4.1 Baichuan2 篇\n        - 3.4.1.1 Baichuan2 系列 数据预处理方式？\n        - 3.4.1.2 Baichuan2 系列 Tokenizer 处理方式？\n        - 3.4.1.2 Baichuan2 系列 Architecture ？\n    - 3.5 GLM 系列篇\n      - 3.5.1 ChatGLM-6B 篇\n        - 3.5.1.1 ChatGLM-6B 结构特点？\n        - 3.5.1.2 ChatGLM-6B 训练目标？\n        - 3.5.1.3 ChatGLM-6B  tokenizer？\n    - 3.6 BLOOM 系列篇\n      - 3.6.1 BLOOM 篇\n        - 3.6.1.1 BLOOM 训练数据构建？\n        - 3.6.1.2 BLOOM 模型参数量？\n        - 3.6.1.3 BLOOM 模型结构？\n        - 3.6.1.4 BLOOM 训练目标？\n        - 3.6.1.5 BLOOM tokenizer?\n  - 四、分析与总结？\n    - 4.1 大模型训练共同点？\n    - 4.2 大模型训练不同点？\n  - 五、对比\n    - 5.1 LLaMA、ChatGLM 和 BLOOM 对比\n    - 5.2 LLaMA、ChatGLM 和 BLOOM 的 tokenizer 比较\n    - 5.3LLaMA、ChatGLM 和 BLOOM 的 结果 比较\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_fsq8czgwjxse.html)\n\n### [LLMs 对比篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_0j7k3gxa5hpm.html)\n\n- 大模型-attention mask 篇\n  - 1、prefix-tuning的prefix tokens是双向注意力吗？\n  - 2、chatglm1和chatglm2的attention mask是怎么样的？\n  - 3、llama的attention mask是怎么样的？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_0j7k3gxa5hpm.html)\n\n### [百川智能baichuan7B、13B、53B、baichuan2 总结篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_ma6pw7v2g9pi.html)\n\n- 一、baichuan-7B篇\n  - 1. 你了解baichuan-7B解构么？介绍一下？\n  - 2. baichuan-7B 如何 收集原始数据并 构建 训练数据？\n  - 3. baichuan-7B 如何 提高 训练稳定性和吞吐？\n- 二、baichuan-13B篇\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_ma6pw7v2g9pi.html)\n\n### [LLaMa 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_9ba6a72wan2w.html) \n\n- 一、相比较于llama而言，llama2有哪些改进，对于llama2是应该如何finetune？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_9ba6a72wan2w.html)\n\n### [GPT 经验篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_r46k6bqu34xh.html) \n\n- 一、gpt源码past\\_key\\_value是干啥的？\n- 二、gpt onebyone 每一层怎么输入输出？\n- 三、bert和gpt有什么区别\n- 四、文本生成的几大预训练任务？\n- 五、讲讲T5和Bart的区别，讲讲bart的DAE任务？\n- 六、讲讲Bart和Bert的区别？\n- 七、gpt3和gpt2的区别？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_r46k6bqu34xh.html)\n\n## 二十、思维链 Chain-of-Thought（COT）篇 \n\n### [思维链 Chain-of-Thought（COT）篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_c0jpjo7q95wg.html)\n\n- 一、什么是思维链提示？\n- 二、思维链提示本质是什么？\n- 三、思维链提示 与 标准的提示学习方法有什么不同?\n- 四、思维链提示 为什么可以提高语言模型的复杂推理能力?它的优势在哪里?\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_c0jpjo7q95wg.html)\n\n### [思维链 Chain-of-Thought（COT）变体篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_thdljw9vgxt1.html)\n\n- 思维链 Chain-of-Thought（COT）：思维链的启蒙\n  - 1. 什么是 思维链 Chain-of-Thought（COT）？\n  - 2. 思维链 Chain-of-Thought（COT）是思路是什么？\n  - 3. 思维链 Chain-of-Thought（COT）存在问题？\n- 思维树 Tree of Thoughts（TOT）：一种用树结构解决复杂问题的方法\n  - 1. 为什么需要 思维树 Tree of Thoughts（TOT）？\n  - 2. 什么是 思维树 Tree of Thoughts（TOT）？\n  - 3. 思维树 Tree of Thoughts（TOT）涉及问题有哪些？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_thdljw9vgxt1.html)\n\n### [小样本提示学习篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_re6ap2lq88gw.html) \n\n- 一、什么是Zero-shot提示方法？\n- 二、什么是Few-shot提示方法？\n- 三、阐述One-shot和Few-shot提示策略及其应用场景？\n- 四、什么是逐步Zero-shot\n- 五、定义Zero-shot-CoT提示策略并描述其应用方法？\n- 六、解释Few-shot-CoT提示策略及其实际使用方式？\n- 七、Few-shot-LtM策略包含哪些主要阶段及其职责？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_re6ap2lq88gw.html)\n\n## [二十一、LLMs 测试集 中 数据泄露 问题篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_6e3k0i8x5ggm.html)\n\n- 一、什么是 LLMs 测试集数据泄露 问题？\n- 二、如何解决 LLMs 测试集数据泄露 问题？\n- 三、是否可以 避开训练集来处理 LLMs 测试集数据泄露 问题？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_6e3k0i8x5ggm.html)\n\n## [二十二、MOE（Mixture-of-Experts）篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_w6ebwrhprpj9.html)\n\n### 22.1 [MOE（Mixture-of-Experts）篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_5anfhj9qoh2v.html)\n\n- 一、为什么需要 MOE（Mixture-of-Experts）？\n- 二、MOE（Mixture-of-Experts）的思路是什么样的？\n- 三、介绍一下 MOE（Mixture-of-Experts）分布式并行策略？\n  - 3.1 MOE + 数据并行?\n  - 3.2 MOE + 模型并行?\n- 四、MoE大模型具备哪些优势？\n- 五、MoE大模型具备哪些缺点？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_5anfhj9qoh2v.html)\n\n### 22.2 [MOE大模型对比篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_j51bnu3xfgm9.html)\n\n- DeepSpeed-MoE\n- PAI-Megatron-Patch MoE\n  \n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_j51bnu3xfgm9.html)\n\n## 二十三、大模型蒸馏篇\n\n### [大模型蒸馏篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_jkiw9vhzopgv.html)\n\n- 一、知识蒸馏和无监督样本训练？\n- 二、对知识蒸馏知道多少，有哪些改进用到了？\n- 三、谈一下对模型量化的了解？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_jkiw9vhzopgv.html)\n\n### [LLMs 浮点数篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_vu744g6jklli.html) \n\n- 一、fp32和fp16的区别，混合精度的原理\n- 二、半精度是什么？\n- 三、半精度的理论原理是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_vu744g6jklli.html)\n\n### [自定义 CUDA 函数的轻量级包装器 —— bitsandbytes篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_2nwi4napgvlh.html) \n\n- 一、什么是 bitsandbytes?\n- 二、如何才能使用 bitsandbytes？\n- 三、如何使用 bitsandbytes？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_2nwi4napgvlh.html)\n\n## [二十四、大模型（LLMs）软硬件配置面](https:\u002F\u002Farticles.zsxq.com\u002Fid_m5q8zk3wo84k.html)\n\n- 建议的软件环境是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_m5q8zk3wo84k.html)\n\n## [二十五、Token及模型参数准备篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_9oplu4014qx5.html)\n\n- 预训练数据 Token 重复 是否影响 模型性能？\n- SFT需要训练Token数？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_9oplu4014qx5.html)\n\n## 二十六、多模态常见面试篇\n\n### [多模态常见面试篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_hmoqafrxjumk.html)\n\n- 一、最近关注的论文，多模态视觉大模型(CLIP,DALLE)？\n- 二、blip2的架构，优势和之前多模态模型的区别？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_hmoqafrxjumk.html)\n\n## 二十七、NLP常见面试篇\n\n### [NLP Trick 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_bnzc5w57w7ox.html) \n\n- 一、怎么处理类别不平衡？\n- 二、有了解其他模型去尝试解决长度限制的方案吗？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_bnzc5w57w7ox.html)\n\n### [文本分类常见面试篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_fku4xbzkano0.html) \n\n- 一、文本分类任务有哪些应用场景？\n- 二、文本分类的具体流程？\n- 三、fastText的分类过程？fastText的优点？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_fku4xbzkano0.html)\n\n### [文本摘要常见面试篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_gw097zgji66q.html) \n\n- 一、抽取式摘要和生成式摘要存在哪些问题？\n- 二、Pointer-generator network解决了什么问题？\n- 三、文本摘要有哪些应用场景？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_gw097zgji66q.html)\n\n### [命名实体识别常见面试篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_2nueuvwwm7v0.html) \n\n- 一、CRF 常见面试题\n  - 1.1 什么是CRF？CRF的主要思想是什么？\n  - 1.2 CRF的三个基本问题是什么？\n  - 1.3 线性链条件随机场的参数化形式？\n  - 1.4 CRF的优缺点是什么？\n  - 1.5 HMM与CRF的区别？\n  - 1.6 生成模型与判别模型的区别？\n- 二、HMM 常见面试题\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_2nueuvwwm7v0.html)\n\n### [向量检索常见面试篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_dnq0o4aicjso.html) \n\n- 一、向量检索库总结\n  - 1.1 Annoy\n    - 1.1.1 Annoy 介绍\n    - 1.1.2 Annoy 使用\n  - 1.2 Faiss\n    -...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_dnq0o4aicjso.html)\n\n## 二十八、其他常见面试篇\n\n### [LLMs 其他 Trick](https:\u002F\u002Farticles.zsxq.com\u002Fid_958pher9zdxp.html)\n\n1. huggingface 下载不了模型问题？\n2. ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_958pher9zdxp.html)\n\n## 二十九、大模型推理加速——KV Cache篇\n\n### [大模型推理加速——KV Cache篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_swmfcls3sp1j.html)\n\n- 大模型推理加速——KV Cache篇\n  - 一、介绍一下 KV Cache是啥？\n  - 二、为什么要进行 KV Cache？\n    - 2.1 不使用 KV Cache 场景\n    - 2.2 使用 KV Cache 场景\n  - 三、说一下 KV Cache 在 大模型中的应用？\n    - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_swmfcls3sp1j.html)\n\n## 三十、大模型——角色扮演大模型篇\n\n### [大模型——角色扮演大模型篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_16kl2onmsf8t.html)\n\n- 大模型——角色扮演大模型篇\n  - 一、什么是角色扮演大模型？\n  - 二、为什么需要角色扮演大模型？\n  - 三、角色扮演大模型 相比于 通用大模型 具有哪些区别？\n  - 四、能否通俗易懂的介绍 【角色扮演大模型】？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_16kl2onmsf8t.html)\n\n## 三十一、大模型——Chat o1 篇\n\n### [千面郎君 篇（三十一章）—— OpenAI o1 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_71rmw7acx3cd.html)\n\n- 千面郎君 篇（三十一章）—— OpenAI o1 篇\n  - 一、Shortcut learning (捷径学习) vs Journey learning (旅程学习)\n    - 1.1 Shortcut learning (捷径学习)\n      - 1.1.1 什么是 Shortcut learning (捷径学习)？\n      - 1.1.2 Shortcut learning (捷径学习) 包含哪些关键特征？\n      - 1.1.3 Shortcut learning (捷径学习) 优点是什么？\n      - 1.1.4 Shortcut learning (捷径学习) 缺点是什么？\n    - 1.2 Journey learning (旅程学习)\n      - 1.2.1 什么是 Journey learning (旅程学习)？\n      - 1.2.2 Journey learning (旅程学习) 包含哪些关键特征？\n      - 1.2.3 Journey learning (旅程学习) 优点是什么？\n    - 1.3 Shortcut learning (捷径学习) vs Journey learning (旅程学习)\n  - 二、o1 的长思维链篇\n    - 2.1 o1 的长思维链是什么样子？\n    - 2.2 长思维 (Long thought) 是如何工作的？\n    - 2.3 如何构建长思维？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_71rmw7acx3cd.html)\n\n### [OpenAI o1 面试篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_032nwgcgwhc6.html)\n\n- OpenAI o1 面试篇\n  - Q: o1 的训练方法与之前的模型有何主要区别？\n  - Q: o1 的\"思考\"过程与简单的提示有何不同？\n  - Q: 为什么 o1 在推理任务上比之前的模型更强大？\n  - Q: o1 如何处理安全性问题？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_032nwgcgwhc6.html)\n\n### [Scaling LLM Test-Time：谁说类o1推理一定要用RL?](https:\u002F\u002Farticles.zsxq.com\u002Fid_71l9woqohebk.html)\n\n- Scaling LLM Test-Time：谁说类o1推理一定要用RL?\n  - 一、Scaling LLM Test-Time 介绍篇\n    - 1.1 为什么需要 Scaling LLM Test-Time？\n    - 1.2 三种 Scaling LLM Test-Time 类型定义？\n    - 1.3 有哪些 Scaling Test-Time的方法？\n    - 问题引申\n  - 二、方法一：纯 Inference Scaling 篇\n    - 2.1 Inferece Test-Time的统一视角：Proposer \\& Verifier\n    - 2.2 Proposer \\& Verifier 实例：Best-of-N\n    - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_71l9woqohebk.html)\n\n","# LLMs 千面郎君\n\n> 介绍：本项目是作者们根据个人面试和经验总结出的 大模型(LLMs)面试准备的学习笔记与资料，该资料目前包含 大模型(LLMs)各领域的 面试题积累。\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkm1994_LLMs_interview_notes_readme_22473db045f3.png\" width=\"50%\" >\n> LLMs 千面郎君 面试交流群 (注：人满 可 添加 小编wx：yzyykm666 加群！)\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkm1994_LLMs_interview_notes_readme_6f30ce152de0.png\" width=\"50%\" >\n\n\n## 一、大模型（LLMs）基础面 \n\n### [大模型（LLMs）基础面](https:\u002F\u002Farticles.zsxq.com\u002Fid_mw52p1pfbzql.html) \n\n- 1 目前 主流的开源模型体系 有哪些？\n- 2 prefix Decoder 和 causal Decoder 和 Encoder-Decoder 区别是什么？\n- 3 大模型LLM的 训练目标 是什么？\n- 4 涌现能力是啥原因？\n- 5 为何现在的大模型大部分是Decoder only结构？\n- 6 简单 介绍一下 大模型【LLMs】？\n- 7 大模型【LLMs】后面跟的 175B、60B、540B等 指什么？\n- 8 大模型【LLMs】具有什么优点？\n- 9 大模型【LLMs】具有什么缺点？\n- 10 encoder-only, decoder-only, encoder-decoder的区别?\n- 11 BART、llama、gpt、t5、palm等主流模型异同点?\n- 12 prefix LM 和 causal LM 区别是什么?\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_mw52p1pfbzql.html)\n\n### [Layer normalization 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_pzcgd4ovk098.html)\n\n- Layer normalization-方法篇\n  - Layer Norm 篇\n    - Layer Norm 的计算公式写一下？\n  - RMS Norm 篇 （均方根 Norm）\n    - RMS Norm 的计算公式写一下？\n    - RMS Norm 相比于 Layer Norm 有什么特点？\n  - Deep Norm 篇\n    - Deep Norm 思路？\n    - 写一下 Deep Norm 代码实现？\n  - Deep Norm 有什么优点？\n- Layer normalization-位置篇\n  - 1 LN 在 LLMs 中的不同位置 有什么区别么？如果有，能介绍一下区别么？\n- Layer normalization 对比篇\n  - LLMs 各模型分别用了 哪种 Layer normalization？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_pzcgd4ovk098.html)\n\n### [LLMs 激活函数篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_6xm3wzzice2s.html) \n\n- 1 介绍一下 FFN 块 计算公式？\n- 2 介绍一下 GeLU 计算公式？\n- 3 介绍一下 Swish 计算公式？\n- 4 介绍一下 使用 GLU 线性门控单元的 FFN 块 计算公式？\n- 5 介绍一下 使用 GeLU 的 GLU 块 计算公式？\n- 6 介绍一下 使用 Swish 的 GLU 块 计算公式？\n- 7 各LLMs 都使用哪种激活函数？\n- 8 Adam优化器和SGD的区别？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_6xm3wzzice2s.html)\n\n### [Attention 升级面](https:\u002F\u002Farticles.zsxq.com\u002Fid_u67us9zex93d.html) \n\n- [Attention 升级面](https:\u002F\u002Farticles.zsxq.com\u002Fid_u67us9zex93d.html) \n  - 1 传统 Attention 存在哪些问题？\n  - 2 Attention 有哪些 优化方向？\n  - 3 Attention 变体有哪些？\n  - 4 Multi-Query Attention 篇\n    - 4.1 Multi-head Attention 存在什么问题？\n    - 4.2 介绍一下 Multi-Query Attention？\n    - 4.3 对比一下 Multi-head Attention 和 Multi-Query Attention？\n    - 4.4 Multi-Query Attention 这样做的好处是什么？\n    - 4.5 有 哪些模型 是 使用 Multi-Query Attention？\n  - 5 Grouped-query Attention\n    - 5.1 什么是 Grouped-query Attention？\n    - 5.2 有哪些大模型使用 Grouped-query Attention？\n  - 6 FlashAttention\n    - 6.1 为什么需要  FlashAttention？\n    - 6.2 简单介绍一下 FlashAttention？\n    - 6.3 简单介绍一下 FlashAttention 核心？\n    - 6.4 介绍一下 FlashAttention 优点？\n    - 6.5 介绍一下 FlashAttention 代表模型？\n  - 7 并行 transformer block\n  - 8 attention计算复杂度以及如何改进？\n  - 9 Paged Attention篇\n    - 9.1 简单介绍一下 Paged Attention？\n  - 对比篇\n    - 1、MHA，GQA，MQA 三种注意力机制是否了解?区别是什么?\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_u67us9zex93d.html)\n\n- [跨注意力机制（Cross-Attention）篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_gwn416686pic.html) \n  - 一、为什么需要 跨注意力机制（Cross-Attention）？\n  - 二、介绍一些 跨注意力机制（Cross-Attention）？\n  - 三、Cross Attention 和 Self Attention 篇\n    - 3.1 Cross Attention 和 Self Attention 都是基于注意力机制的，有什么相同点？\n    - 3.2 Cross Attention 和 Self Attention 都是基于注意力机制的，有什么不同点？\n  - 四、Cross Attention 和 多头注意力（Multi-Head Attention）篇\n    - 4.2 Cross Attention 和 多头注意力（Multi-Head Attention） 都是基于注意力机制的，有什么异同点？\n  - 五、Cross Attention 代码实现\n  - 六、Cross Attention 应用场景\n  - 七、Cross Attention 的优势和挑战？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_gwn416686pic.html)\n\n### [transformers 操作篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_rsll7gsd8va5.html) \n\n- 1. 如何 利用 transformers 加载 Bert 模型？\n- 2. 如何 利用 transformers 输出 Bert 指定 hidden\\_state？\n- 3. BERT 获取最后一层或每一层网络的向量输出\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_rsll7gsd8va5.html)\n\n### [LLMs 损失函数篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_q0ajjlbc8493.html) \n\n- 一、介绍一下 KL 散度？\n- 二、交叉熵损失函数写一下，物理意义是什么？\n- 三、KL 散度与交叉熵的区别？\n- 四、多任务学习各loss差异过大怎样处理？\n- 五、分类问题为什么用交叉熵损失函数不用均方误差（MSE）？\n- 六、什么是信息增益？\n- 七、多分类的分类损失函数(Softmax)？\n- 八、softmax和交叉熵损失怎么计算，二值交叉熵呢？\n- 九、如果softmax的e次方超过float的值了怎么办？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_q0ajjlbc8493.html)\n\n### [相似度函数篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_wp25j5xr8ocw.html) \n\n- 一、除了cosin还有哪些算相似度的方法\n- 二、了解对比学习嘛？\n- 三、对比学习负样本是否重要？负样本构造成本过高应该怎么解决？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_wp25j5xr8ocw.html)\n\n## [二、大模型（LLMs）进阶面](https:\u002F\u002Farticles.zsxq.com\u002Fid_xr65bxpcsnoh.html) \n\n- 一、什么是生成式大模型？\n- 二、大模型是怎么让生成的文本丰富而不单调的呢？\n- 三、LLMs 复读机问题\n  - 3.1 什么是 LLMs 复读机问题？\n  - 3.2 为什么会出现 LLMs 复读机问题？\n  - 3.3 如何缓解 LLMs 复读机问题？\n- 四、llama 系列问题\n  - 4.1 llama 输入句子长度理论上可以无限长吗？\n- 五、什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？\n- 六、各个专业领域是否需要各自的大模型来服务？\n- 七、如何让大模型处理更长的文本？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_xr65bxpcsnoh.html)\n\n## 三、大模型（LLMs）微调面\n\n### [大模型（LLMs）微调面](https:\u002F\u002Farticles.zsxq.com\u002Fid_kv7jdah2zw5n.html) \n\n- 39 大模型 sft 过程中，为什么会出现第二个epoch的时候loss会突然下降问题？\n- 1 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？\n- 2 为什么SFT之后感觉LLM傻了?\n- 3 SFT 指令微调数据 如何构建?\n    - 3.1 提升sft的prompt的代表性有什么好的方法？\n    - 3.2 提升sft的prompt的数据量有什么好的方法？\n- 4 领域模型Continue PreTrain 数据选取？\n- 5 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？\n- 6 领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？\n- 7 进行SFT操作的时候，基座模型选用Chat还是Base?\n- 8 领域模型微调 指令\\&数据输入格式 要求？\n- 9 领域模型微调 领域评测集 构建？\n- 10 领域模型词表扩增是不是有必要的？\n- 11 如何训练自己的大模型？\n- 12 训练中文大模型有啥经验？\n- 13 指令微调的好处？\n- 14 预训练和微调哪个阶段注入知识的？\n- 15 想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_kv7jdah2zw5n.html)\n\n### [大模型 SFT Trick 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_srd92pvnjwmu.html)\n\n- 一、常见 SFT的开发流程是如何的？\n- 二、训练数据要注重什么？\n- 三、大 size 和小 size 模型的选择？\n- 四、多任务训练时怎么确保每个任务都优秀？\n- 五、SFT真的不能学到知识？\n- 六、怎么科学挑选数据集？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_srd92pvnjwmu.html)\n\n### [大模型（LLMs）训练经验帖](https:\u002F\u002Farticles.zsxq.com\u002Fid_06n25d9wjs0e.html)\n\n- 分布式训练框架选择？\n- LLMs 训练时 有哪些有用的建议？\n- 模型大小如何选择？\n- 加速卡如何选择？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_06n25d9wjs0e.html)\n\n## 四、大模型（LLMs）langchain 面\n\n### [大模型（LLMs）langchain 面](https:\u002F\u002Farticles.zsxq.com\u002Fid_ve2dgaiqrjzv.html) \n\n- 一、什么是 LangChain?\n- 二、LangChain 包含哪些 核心概念？\n  - 2.1 LangChain 中 Components and Chains 是什么？\n  - 2.2 LangChain 中 Prompt Templates and Values 是什么？\n  - 2.3 LangChain 中 Example Selectors 是什么？\n  - 2.4 LangChain 中 Output Parsers 是什么？\n  - 2.5 LangChain 中 Indexes and Retrievers 是什么？\n  - 2.6 LangChain 中  Chat Message History 是什么？\n  - 2.7 LangChain 中  Agents and Toolkits 是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_ve2dgaiqrjzv.html)\n\n### [多轮对话中让AI保持长期记忆的8种优化方式篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_3qgicwcwzjpi.html) \n\n- 一、前言\n- 二、Agent 如何获取上下文对话信息？\n  - 2.1 获取全量历史对话\n  - 2.2 滑动窗口获取最近部分对话内容\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_3qgicwcwzjpi.html)\n\n### [基于langchain RAG问答应用实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_3kw7snrk2rql.html) \n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_3kw7snrk2rql.html)\n\n## 五、大模型（LLMs）RAG 检索增强生成面\n\n### 5.1 大模型（LLMs）RAG 入门篇\n\n#### [基于LLM+向量库的文档对话 经验面](https:\u002F\u002Farticles.zsxq.com\u002Fid_xk58m8ok2sob.html)\n\n- 一、基于LLM+向量库的文档对话 基础面\n  - 1.1 为什么 大模型 需要 外挂(向量)知识库？\n  - 1.2. 基于LLM+向量库的文档对话 思路是怎么样？\n  - 1.3. 基于LLM+向量库的文档对话 核心技术是什么？\n  - 1.4. 基于LLM+向量库的文档对话 prompt 模板 如何构建？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_xk58m8ok2sob.html)\n\n#### [RAG（Retrieval-Augmented Generation）面](https:\u002F\u002Farticles.zsxq.com\u002Fid_xk58m8ok2sob.html) \n\n- 一、LLMs 已经具备了较强能力了，存在哪些不足点?\n- 二、什么是 RAG?\n  - 2.1 R：检索器模块\n    - 2.1.1 如何获得准确的语义表示？\n    - 2.1.2 如何协调查询和文档的语义空间？\n    - 2.1.3 如何对齐检索模型的输出和大语言模型的偏好？\n  - 2.2 G：生成器模块\n    - 2.2.1 生成器介绍\n    - 2.2.2 如何通过后检索处理提升检索结果？\n    - 2.2.3 如何优化生成器应对输入数据？\n- 三、使用 RAG 的好处?\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_xk58m8ok2sob.html)\n\n#### 5.2 大模型（LLMs）RAG 版面分析篇\n\n### [大模型（LLMs）RAG —— pdf解析关键问题](https:\u002F\u002Farticles.zsxq.com\u002Fid_2693k55it84w.html)\n\n- 一、为什么需要进行pdf解析？\n- 二、为什么需要 对 pdf 进行解析？\n- 三、pdf解析 有哪些方法，对应的区别是什么？\n- 四、pdf解析 存在哪些问题？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_2693k55it84w.html)\n\n### [大模型（LLMs）RAG 版面分析——表格识别方法篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_7x4qv94hxv8r.html)\n\n- 一、为什么需要识别表格？\n- 二、介绍一下 表格识别 任务？\n- 三、有哪些 表格识别方法？\n  - 3.1 传统方法\n  - 3.2 pdfplumber表格抽取\n    - 3.2.1 pdfplumber 如何进行 表格抽取？\n    - 3.2.2 pdfplumber 常见的表格抽取模式？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_7x4qv94hxv8r.html)\n\n### [大模型（LLMs）RAG 版面分析——文本分块面](https:\u002F\u002Farticles.zsxq.com\u002Fid_iw7debl8akxh.html)\n\n- 一、为什么需要对文本分块？\n- 二、能不能介绍一下常见的文本分块方法？\n  - 2.1 一般的文本分块方法\n  - 2.2 正则拆分的文本分块方法\n  - 2.3 Spacy Text Splitter 方法\n  - 2.4 基于 langchain 的 CharacterTextSplitter 方法\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_iw7debl8akxh.html)\n\n### 5.3 大模型（LLMs）RAG 检索策略篇\n\n#### [大模型外挂知识库优化——如何利用大模型辅助召回？](https:\u002F\u002Farticles.zsxq.com\u002Fid_oznm6qixjw61.html)\n\n- 一、为什么需要使用大模型辅助召回？\n  - 策略一： HYDE\n    - 1. 介绍一下 HYDE 思路？\n    - 2. 介绍一下 HYDE 问题？\n  - 策略二： FLARE\n    - 1. 为什么 需要 FLARE ？\n    - 2. FLARE 有哪些召回策略？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_oznm6qixjw61.html)\n\n#### [大模型外挂知识库优化——负样本样本挖掘篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_wa7nl8wsuilh.html)\n\n- 一、为什么需要构建负难样本？\n- 二、负难样本构建方法篇\n  - 2.1 随机采样策略（Random Sampling）方法\n  - 2.2 Top-K负例采样策略（Top-K Hard Negative Sampling）方法\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_wa7nl8wsueilh.html)\n\n### 5.4 大模型（LLMs）RAG 评测篇\n\n#### [RAG（Retrieval-Augmented Generation）评测面](https:\u002F\u002Farticles.zsxq.com\u002Fid_vjwt6uzml13l.html)\n\n- 一、为什么需要 对 RAG 进行评测？\n- 二、RAG 有哪些评估方法？\n- 三、RAG 有哪些关键指标和能力？\n- 四、RAG 有哪些评估框架？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_vjwt6uzml13l.html)\n\n### 5.5 大模型（LLMs）RAG 优化策略篇\n\n#### [检索增强生成(RAG) 优化策略篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_gu4p7gszsh82.html)\n\n- 一、RAG基础功能篇\n  - 1.1 RAG 工作流程\n- 二、RAG 各模块有哪些优化策略？\n- 三、RAG 架构优化有哪些优化策略？\n  - 3.1 如何利用 知识图谱（KG）进行上下文增强？\n    - 3.1.1 典型RAG架构中，向量数据库进行上下文增强 存在哪些问题？\n    - 3.1.2 如何利用 知识图谱（KG）进行上下文增强？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_gu4p7gszsh82.html)\n\n#### [RAG 关键痛点及对应解决方案](https:\u002F\u002Farticles.zsxq.com\u002Fid_1bmbedojsj0t.html)\n\n- 前言\n- 问题一：内容缺失问题\n  - 1.1 介绍一下 内容缺失问题？\n  - 1.2 如何 解决 内容缺失问题？\n- 问题二：错过排名靠前的文档\n  - 2.1 介绍一下 错过排名靠前的文档 问题？\n  - 2.2 如何 解决 错过排名靠前的文档 问题？\n- 问题三：脱离上下文 — 整合策略的限制\n  - 3.1 介绍一下 脱离上下文 — 整合策略的限制 问题？\n  - 3.2 如何 解决 脱离上下文 — 整合策略的限制 问题？\n- 问题四：未能提取答案\n  - 4.1 介绍一下 未能提取答案 问题？\n  - 4.2 如何 解决 未能提取答案 问题？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_1bmbedojsj0t.html)\n\n#### [大模型（LLMs）RAG 优化策略 —— RAG-Fusion篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_4ce04xwvic1z.html)\n\n- 一、RAG 有哪些优点？\n- 二、RAG 存在哪些局限性？\n- 三、为什么 需要 RAG-Fusion？\n- 四、说一下 RAG-Fusion 核心技术？\n- 五、说一下 RAG-Fusion 工作流程？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_4ce04xwvic1z.html)\n\n### 5.6 大模型（LLMs）Graph RAG篇\n\n#### [Graph RAG（Retrieval-Augmented Generation） 面 —— 一种 基于知识图谱的大模型检索增强实现策略](https:\u002F\u002Farticles.zsxq.com\u002Fid_dwhonmw976n7.html)\n\n- 一、为什么需要 Graph RAG？\n- 二、什么是 Graph RAG？\n- 三、Graph RAG 思路介绍？\n- 四、用代码 介绍 Graph RAG ？\n- 五、用 示例 介绍 Graph RAG ？\n- 六、Graph RAG 排序优化方式？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_dwhonmw976n7.html)\n\n## 六、大模型（LLMs）参数高效微调(PEFT) 面\n\n### [大模型（LLMs）参数高效微调(PEFT) 面](https:\u002F\u002Farticles.zsxq.com\u002Fid_ipkod91a939n.html)\n\n- 1. 微调方法是啥？如何微调？\n- 2. 为什么需要 PEFT？\n- 3. 介绍一下 PEFT？\n- 4. PEFT 有什么优点？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_ipkod91a939n.html)\n\n### [配器微调（Adapter-tuning）篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_0n6pfw0wz3xb.html)\n\n- 一、为什么 需要 适配器微调（Adapter-tuning）？\n- 二、适配器微调（Adapter-tuning）思路？\n- 三、 适配器微调（Adapter-tuning）特点是什么？\n- 四、AdapterFusion 思路 是什么？\n- ...\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_0n6pfw0wz3xb.html)\n\n### [提示学习（Prompting）](https:\u002F\u002Farticles.zsxq.com\u002Fid_662wpbw47gtj.html)\n\n- 一、为什么需要 提示学习（Prompting）？\n- 二、什么是 提示学习（Prompting）？\n- 三、提示学习（Prompting） 有什么优点？\n- 四、提示学习（Prompting）有哪些方法，能不能稍微介绍一下它们间？\n  - 4.1 前缀微调（Prefix-tining）篇\n    - 4.1.1 为什么需要 前缀微调（Prefix-tining）？\n    - 4.1.2 前缀微调（Prefix-tining）思路是什么？\n    - 4.1.3 前缀微调（Prefix-tining）的优点是什么？\n    - 4.1.4 前缀微调（Prefix-tining）的缺点是什么？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_662wpbw47gtj.html)\n\n### [LoRA 系列篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_gjkhd8xn4pvt.html) \n\n一、LoRA篇\n    - 1.1 什么是 LoRA？\n    - 1.2 LoRA 的思路是什么？\n    - 1.3 LoRA 的特点是什么？\n    - 1.4 简单描述一下 LoRA?\n    - 1.5 解释一下 LORA 微调的原理和计算流程？\n- 二、LoRA变体篇\n    - 2.1 QLoRA篇\n        - 2.1.1 QLoRA 的思路是怎么样的？\n        - 2.1.2 QLoRA 的特点是什么？\n        - 2.1.3 QLORA相比LORA做了哪些改进?\n    - 2.2 AdaLoRA篇\n    -   .2.1 AdaLoRA 的思路是怎么样的？\n    - 2.3 LongLoRA篇\n        - 2.3.1 为什么需要 LongLoRA？\n        - 2.3.2 LongLoRA 思路是什么？\n        - 2.3.3 介绍一下 shift short attention？\n- 三、Lora的矩阵怎么初始化？为什么要初始化为全0？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_gjkhd8xn4pvt.html)\n\n### [如何使用 PEFT库 中 LoRA？](https:\u002F\u002Farticles.zsxq.com\u002Fid_8lx1t1t3w4qf.html) \n\n- 一、前言\n- 二、如何 配置 LoraConfig？\n- 三、模型 加入PEFT策略\n  - 3.1 模型加载 策略有哪些？\n  - 3.2 模型显存占用的部分有哪些？\n  - 3.3 模型显存占用 优化策略？\n    - 3.3.1 8bit量化 优化策略？\n    - 3.3.2 梯度检查 优化策略？\n  - 3.4 如何 向 模型 加入PEFT策略？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_8lx1t1t3w4qf.html)\n\n### [大模型 SFT 方式对比篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_e2piver2uzei.html) \n\n- 一、SFT 微调方案如何选择？\n- 二、Full Fine Tuning vs Parameter-Efficient Fine-Tuning\n- 三、Full Fine Tuning 篇\n  - 3.1 介绍一下 Full Fine Tuning？\n  - 3.2 介绍一下 Full Fine Tuning 优点？\n  - 3.3 介绍一下 Full Fine Tuning 缺点？\n- 四、Parameter-Efficient Fine-Tuning 篇\n  - 4.1 介绍一下 Parameter-Efficient Fine-Tuning？\n- 五、LoRA 篇\n  - 5.1 介绍一下 LoRA？\n  - 5.2 介绍一下 LoRA 流程？\n  - 5.3 介绍一下 LoRA 优点？\n  - 5.4 介绍一下 LoRA 缺点？\n- 六、QLoRA 篇\n  - 6.1 介绍一下 QLoRA？\n  - 6.2 介绍一下 QLoRA 流程？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_e2piver2uzei.html)\n\n## 七、大模型（LLMs）推理面 \n\n### [大模型（LLMs）推理面](https:\u002F\u002Farticles.zsxq.com\u002Fid_b9eecaoga75i.html)\n\n- 1. 为什么大模型推理时显存涨的那么多还一直占着？\n- 2. 大模型在gpu和cpu上推理速度如何？\n- 3. 推理速度上，int8和fp16比起来怎么样？\n- 4. 大模型有推理能力吗？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_b9eecaoga75i.html)\n\n## 八、大模型（LLMs）增量预训练篇 \n\n### [大模型（LLMs）增量预训练篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_jfq8la7g20ww.html)\n\n- 1. 为什么要增量预训练？\n- 2. 进行 增量预训练 需要做哪些准备工作？\n- 3. 增量预训练 所用 训练框架？\n- 4. 增量预训练 训练流程 是怎么样？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_jfq8la7g20ww.html)\n\n### [增量预训练（Pretrain）样本拼接篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_8f35p8piwl4v.html)\n\n- 一、 推理过程 分哪些阶段？\n  - 1.1 Prefill（输入理解与初始化）阶段\n  - 1.2 Decoding（递归推理与解码输出）阶段\n- 二、推理性能的评价指标？\n  - 2.1 Throughput（吞吐量）\n  - 2.2 First Token Latency（首字延迟）\n  - 2.3 Latency（延迟）\n  - 2.4 QPS（每秒请求数）\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_8f35p8piwl4v.html)\n\n### [增量预训练（Pretrain）样本拼接篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_enteq22h1nhq.html)\n\n- 一、Pretrain阶段，为什么需要拼接拼接？\n- 二、有哪些 拼接方式？\n  - 2.1 拼接方式一：Random Concatenate\n  - 2.2 拼接方式二：Random Concatenate + NoiseMask\n  - 2.3 拼接方式三：Random Concatenate + Cluster\n  - 2.4 拼接方式四：IN-CONTEXT PRETRAINING\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_enteq22h1nhq.html)\n\n### [基于lora的llama2二次预训练](https:\u002F\u002Farticles.zsxq.com\u002Fid_xo09u14omdjw.html)\n\n- 一、为什么需要 对 llama2 做 基于lora的二次预训练?\n- 二、基于lora的llama2二次预训练 的目标是什么？\n- 三、基于lora的llama2二次预训练 的思想是什么？\n- 四、基于lora的llama2二次预训练 语料构建思路？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_xo09u14omdjw.html)\n\n## [九、大模型（LLMs）评测面](https:\u002F\u002Farticles.zsxq.com\u002Fid_j9wcj62eovgc.html)\n\n- 1 大模型怎么评测？\n- 2 大模型的honest原则是如何实现的？模型如何判断回答的知识是训练过的已知的知识，怎么训练这种能力？\n- 3 如何衡量大模型水平？\n- 4 大模型评估方法 有哪些？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_j9wcj62eovgc.html)\n\n## 十、大模型（LLMs）强化学习面 \n\n### [大模型（LLMs）强化学习面](https:\u002F\u002Farticles.zsxq.com\u002Fid_20xnfnoprj9s.html) \n\n- 1 简单介绍强化学习？\n- 2 简单介绍一下 RLHF？\n- 3 奖励模型需要和基础模型一致吗？\n- 4 RLHF 在实践过程中存在哪些不足？\n- 5 如何解决 人工产生的偏好数据集成本较高，很难量产问题？\n- 6 如何解决三个阶段的训练（SFT-\\>RM-\\>PPO）过程较长，更新迭代较慢问题？\n- 7 如何解决 PPO 的训练过程同时存在4个模型（2训练，2推理），对计算资源的要求较高 问题？\n- 8 强化学习跟大语言模型的本质联系是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_20xnfnoprj9s.html)\n\n### [大模型（LLMs）强化学习——RLHF及其变种面](https:\u002F\u002Farticles.zsxq.com\u002Fid_3ct6sw0wouna.html) \n\n- 一、介绍一下 LLM的经典预训练Pipeline？\n- 二、预训练（Pre-training）篇\n  - 2.1 具体介绍一下 预训练（Pre-training）？\n- 三、有监督微调（Supervised Tinetuning）篇\n  - 3.1 具体介绍一下 有监督微调（Supervised Tinetuning）？\n  - 3.2 有监督微调（Supervised Tinetuning）的训练数据格式是什么样？\n  - 3.3 预训练（Pre-training） vs 有监督微调（Supervised Tinetuning）区别？\n- 四、对齐（Alignment）篇\n  - 4.1 简单介绍一下 对齐（Alignment）？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_3ct6sw0wouna.html)\n\n### [大模型（LLMs）强化学习—— PPO 面](https:\u002F\u002Farticles.zsxq.com\u002Fid_s8kwqw1gowvh.html) \n\n  - 一、大语言模型RLHF中的PPO主要分哪些步骤？\n  - 二、举例描述一下 大语言模型的RLHF？\n  - 三、大语言模型RLHF 采样篇\n    - 3.1 什么是 PPO 中 采样过程？\n    - 3.2 介绍一下 PPO 中 采样策略？\n    - 3.3 PPO 中 采样策略中，如何评估“收益”？\n  - 四、在PPO过程中，reward model的效果上会有什么问题？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_s8kwqw1gowvh.html)\n\n### [RLHF平替算法DPO篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_mlq44r1p7nob.html) \n\n- RLHF平替算法DPO篇\n  - 一、DPO vs RLHF？\n  - 二、介绍一下 DPO的损失函数？\n  - 三、DPO 微调流程 ?\n  - 四、说一下 DPO 是如何简化 RLHF 的？\n  - 五、DPO的第0步loss是固定的么？如果固定的话，值是多少？\n  - 六、DPO是一个on-policy还是off-policy的算法，以及这样的算法有什么优劣？\n  - 七、DPO公式是由PPO的objective公式推导过来的，为什么DPO是off-policy算法，而PPO是on-policy算法，到底哪一步推导出了问题？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_mlq44r1p7nob.html)\n\n### [reward 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_vblb0j5qnaxg.html) \n\n  - 1 介绍一下 RM模型？\n  - 2 为什么需要 RM模型？\n  - 3 RM模型训练数据如何构建？\n  - 4 reward 模型训练步骤中，为什么这一步骤在标注数据过程中不让人直接打分，而是去标排列序列呢?\n  - 5 reward 模型的 loss 是怎么计算的?\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_vblb0j5qnaxg.html)\n\n### [强化学习在自然语言处理下的应用篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_5tsn84l32eea.html) \n\n- 一、强化学习基础面\n  - 1.1 介绍一下强化学习？\n  - 1.2 介绍一下强化学习 的 状态（States） 和 观测（Observations）？\n  - 1.3 强化学习 有哪些 动作空间（Action Spaces），他们之间的区别是什么？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_5tsn84l32eea.html)\n\n## 十一、大模型（LLMs）训练集面 \n\n### [大模型（LLMs）训练集面](https:\u002F\u002Farticles.zsxq.com\u002Fid_axtljtl0bsvw.html)\n\n- SFT（有监督微调）的数据集格式？\n- RM（奖励模型）的数据格式？\n- PPO（强化学习）的数据格式？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_axtljtl0bsvw.html)\n\n### [大模型（LLMs）LLM生成SFT数据方法面](https:\u002F\u002Farticles.zsxq.com\u002Fid_1gzdghj84f9f.html)\n\n- 四、大模型微调数据集格式篇\n- 一、SFT数据集如何生成？\n- 二、Self-Instruct 篇\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_1gzdghj84f9f.html)\n\n## 十二、大模型（LLMs）显存问题面 \n\n### [大模型（LLMs）显存问题面](https:\u002F\u002Farticles.zsxq.com\u002Fid_jhiocx89p3su.html)\n\n- 大模型大概有多大，模型文件有多大?\n- 能否用4 * v100 32G训练vicuna 65b？\n- 如果就是想要试试65b模型，但是显存不多怎么办？\n- nB模型推理需要多少显存？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_jhiocx89p3su.html)\n\n### [大模型（LLMs）显存优化策略篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_a1l60awgge6q.html)\n\n- 一、介绍一下 gradient accumulation 显存优化方式？\n- 二、介绍一下 gradient checkpointing 显存优化方式？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_a1l60awgge6q.html)\n\n## 十三、大模型（LLMs）分布式训练面 \n\n### [大模型（LLMs）分布式训练面](https:\u002F\u002Farticles.zsxq.com\u002Fid_ah2ibj3z22c7.html)\n\n- 1 理论篇\n  - 1.1 训练 大语言模型 存在问题？\n  - 1.2 什么是 点对点通信？\n  - 1.3 什么是 集体通信？\n  - 1.4 什么是 数据并行？\n  - 1.5 数据并行 如何 提升效率？\n  - 1.6 什么是 流水线并行？\n  - 1.7 什么是 张量并行 (intra-layer)？\n  - 1.8 数据并行 vs 张量并行 vs 流水线并行?\n  - 1.9 什么是 3D并行？\n  - 1.10 想要训练1个LLM，如果只想用1张显卡，那么对显卡的要求是什么？\n  - 1.11 如果有N张显存足够大的显卡，怎么加速训练？\n  - 1.12 如果显卡的显存不够装下一个完整的模型呢？\n  - 1.13 PP推理时，是一个串行的过程，1个GPU计算，其他空闲，有没有其他方式？\n  - 1.14 3种并行方式可以叠加吗？\n  - 1.15 Colossal-AI 有1D\u002F2D\u002F2.5D\u002F3D，是什么情况？\n  - 1.16 除了3D并行有没有其他方式大规模训练？\n  - 1.17 有了ZeRO系列，为什么还需要3D并行？\n  - 1.18 平民适不适合玩3D并行？\n  - 1.19 平民适不适合直接上多机多卡的ZeRO3（万兆网）？\n  - 1.20 分布式并行及显存优化技术有哪一些，都有什么特点？\n  - 1.21 显存优化技术有哪一些，都有什么特点？\n  - 1.22 常见的分布式训练框架哪一些，都有什么特点？\n- 2 实践篇\n  - 2.1 假如有超多的8卡A100节点（DGX A100），如何应用3D并行策略？\n  - 2.2 如果想构这样一个大规模并行训练系统，训练框架如何选？\n  - 2.3 训练框架如何选？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_ah2ibj3z22c7.html)\n\n### [图解分布式训练（一） —— 流水线并行（Pipeline Parallelism）面](https:\u002F\u002Farticles.zsxq.com\u002Fid_wre1eni0oq7d.html)\n\n- 为什么需要流水线并行（Pipeline Parallelism）？\n- 一、流水线并行（Pipeline Parallelism） 优化目标是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_wre1eni0oq7d.html)\n\n### [图解分布式训练（二） —— nn.DataParallel面](https:\u002F\u002Farticles.zsxq.com\u002Fid_9dfwi0ooio2z.html)\n\n- 为什么需要nn.DataParallel？\n- 一、pytorch中的GPU操作默认是什么样？\n- 二、介绍一下 nn.DataParallel 函数？\n- 三、nn.DataParallel 函数 处理逻辑 介绍一下？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_9dfwi0ooio2z.html)\n\n### [图解分布式训练（三） ——  nn.parallel.DistributedDataParallel](https:\u002F\u002Farticles.zsxq.com\u002Fid_i4s3ia057rmh.html)\n\n- 为什么需要 nn.parallel.DistributedDataParallel ？\n- 一、什么是 DistributedDataParallel 核心 —— Ring-AllReduce？\n- 二、nn.parallel.DistributedDataParallel 函数 介绍一下？\n- 三、nn.parallel.DistributedDataParallel 函数 如何多卡加速训练？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_i4s3ia057rmh.html)\n\n### [图解分布式训练（四） ——  torch.multiprocessing 详细解析](https:\u002F\u002Farticles.zsxq.com\u002Fid_gu9smpbn510e.html)\n\n- 一、torch.multiprocessing 函数介绍一下？\n- 二、torch.multiprocessing 函数如何使用？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_gu9smpbn510e.html)\n\n### [图解分布式训练（五） ——  AMP混合精度训练 详细解析](https:\u002F\u002Farticles.zsxq.com\u002Fid_0slrgoti6gvb.html)\n\n- 为什么需要 AMP混合精度训练？\n- 一、什么是自动混合精度训练(AMP)\n- 二、为什么需要自动混合精度？\n- 三、混合精度训练的优点是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_0slrgoti6gvb.html)\n\n### [图解分布式训练（六） —— Pytorch的 DeepSpeed 详细解析](https:\u002F\u002Farticles.zsxq.com\u002Fid_kmq9rn2vo4kz.html)\n\n- 一、为什么需要 Deepspeed？\n- 二、DeepSpeed 基本概念 介绍一下？\n  - 2.1 DeepSpeed 介绍\n  - 2.2 DeepSpeed 基础的概念\n  - 2.3 DeepSpeed 支持的功能\n- 三、DeepSpeed 通信策略 介绍一下？\n- 四、DeepSpeed 如何使用？\n  - 4.1 DeepSpeed 安装\n  - 4.2 DeepSpeed 使用\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_kmq9rn2vo4kz.html)\n\n### [图解分布式训练（七）—— accelerate 分布式训练 详细解析](https:\u002F\u002Farticles.zsxq.com\u002Fid_o5wkeionnqr7.html)\n\n- 一、为什么需要 accelerate 分布式训练？\n- 二、什么是 accelerate 分布式训练?\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_o5wkeionnqr7.html)\n\n### [图解分布式训练（八）—— ZeRO 学习](https:\u002F\u002Farticles.zsxq.com\u002Fid_grv7uddls2g1.html)\n\n- 一、什么是 3D 并行？\n- 二、3D 并行 策略有哪些？\n- 三、为什么需要 ZeRO？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_grv7uddls2g1.html)\n\n### [大模型分布式训练故障恢复篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_zspm2q33tckx.html)\n\n- 一、为什么 大模型分布式训练 需要 故障恢复？\n- 二、如何获取最优的ckpt存储间隔？\n- 三、ckpt存储能否实现异步或者部分掩盖？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_zspm2q33tckx.html)\n\n### [图解分布式训练（九）—— Megatron-LM 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_o4qtcspmuwqv.html)\n\n- 1、Activation Recomputation是怎么实现的?\n- 2、Megatron中的OverlappedDistributed Optimizer 是如何实现的?\n- 3、Megatron-LM 中 Context Parallel 篇\n  - 3.1 介绍一下 Megatron-LM 中 Context Parallel 实现原理？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_o4qtcspmuwqv.html)\n\n### [分布式训练 Trick 汇总篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_fu9065izm2m4.html)\n\n- 一、数据并行 Trick 篇\n  - 1.1 数据并行 FSDP\n  - 1.2 数据并行 DDP\n  - 1.3 数据并行 ZeRO\n    - 1.3.1 Model state\n    - 1.3.2 Residual state\n    - 1.3.3 offload\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_fu9065izm2m4.html)\n\n### [pytorch 分布式计算 坑\u002Fbug 梳理篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_onztfzwdckom.html)\n\n- 一、使用 DistributedDataParallel（分布式并行）时，显存分布不均衡问题\n- 二、如果是用pytorch实现同步梯度更新，自研 数据接口，出现 第一个epoch结尾处程序卡死问题\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_onztfzwdckom.html)\n\n## 十四、大模型（LLMs）agent 面\n\n### [大模型（LLMs）agent 面](https:\u002F\u002Farticles.zsxq.com\u002Fid_le02luntesap.html) \n\n- 一、什么是 大模型（LLMs）agent？\n- 二、大模型（LLMs）agent 有哪些部分组成？\n  - 2.1 介绍一下 规划（planning）？\n    - 2.1.1 拆解子目标和任务分解\n      - 2.1.1.1 如何进行 拆解子目标和任务分解？\n      - 2.1.1.2 拆解子目标和任务分解 有哪些方法？\n    - 2.1.2 模型自我反省\n      - 2.1.2.1 如何进行 模型自我反省？\n      - 2.1.2.2 模型自我反省 有哪些方法？\n  - 2.2 介绍一下 记忆（Memory）？\n  - 2.3 介绍一下 工具使用（tool use）？\n- 三、大模型（LLMs）agent 主要 利用了 大模型 哪些能力？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_le02luntesap.html)\n\n### 函数调用 Function Call 篇\n\n- [函数调用 Function Call 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_asxg09gtrx89.html)\n  - 一、为什么需要 函数调用(function call)？\n  - 二、什么是 函数调用(function call)？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_asxg09gtrx89.html)\n\n- [开源模型 Function Call 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_s2ojkzdw83gb.html)\n  - 开源模型 Function Call 方案有哪些？\n    - Llama 3.1\n      - 对话协议（Chat Protocal）\n      - Tool Call Template 样式\n      - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_s2ojkzdw83gb.html)\n\n## [十五、LLMs 位置编码篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_amt4qkusdcir.html) \n\n- 一、什么是位置编码？\n- 二、为什么需要位置编码？\n- 三、什么是绝对位置编码？\n  - 3.1 训练式位置编码篇\n    - ...\n- 四、什么是相对位置编码？\n- 五、旋转位置编码 RoPE篇\n  - 5.1 旋转位置编码 RoPE 思路是什么？\n  - ...\n- 六、长度外推问题篇\n  - 6.1 什么是 长度外推问题？\n  - 6.2 长度外推问题 的 解决方法 有哪些？\n- 七、 ALiBi (Attention with Linear Biases)篇\n  - 7.1 ALiBi (Attention with Linear Biases) 思路是什么？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_amt4qkusdcir.html)\n\n## 十六、LLMs Tokenizer 篇\n\n### [LLMs Tokenizer 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_6z8ptdwqeid7.html)\n\n- LLMs Tokenizer 篇\n  - Byte-Pair Encoding(BPE)篇\n    - 1 介绍一下 Byte-Pair Encoding(BPE) ？\n    - 2 Byte-Pair Encoding(BPE) 如何构建词典？\n    - 3 Byte-Pair Encoding(BPE) 具有什么优点？\n    - 4 Byte-Pair Encoding(BPE) 具有什么缺点？\n    - 5 手撕 Byte-Pair Encoding(BPE) ？\n  - Byte-level BPE 篇\n    - 1 介绍一下 Byte-level BPE ？\n    - 2 Byte-level BPE 如何构建词典？\n    - 3 Byte-level BPE 具有什么优点？\n    - 4 Byte-level BPE 具有什么缺点？\n  - WordPiece 篇\n    - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_6z8ptdwqeid7.html)\n\n### [怎么让英文大语言模型支持中文？（一） —— 构建中文tokenization](https:\u002F\u002Farticles.zsxq.com\u002Fid_w0d2q29sueq7.html)\n\n- 一、为什么需要 构建中文tokenization？\n- 二、如何对 原始数据预处理？\n- 三、如何构建中文的词库？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_w0d2q29sueq7.html)\n\n### [怎么让英文大语言模型支持中文？（二） —— 继续预训练篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_jprkwhrvf3tw.html)\n\n- 一、为什么需要进行继续预训练？\n- 二、如何对 继续预训练 数据预处理？\n- 三、如何 构建模型？\n- 四、如何 使用模型？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_jprkwhrvf3tw.html)\n\n### [怎么让英文大语言模型支持中文？（三） —— 对预训练模型进行指令微调](https:\u002F\u002Farticles.zsxq.com\u002Fid_p2wj7zadwxwb.html)\n\n- 一、为什么需要对预训练模型进行指令微调？\n- 二、对预训练模型进行指令微调 数据 如何处理？\n- 三、对预训练模型进行指令微调 tokenization 如何构建？\n- 四、对预训练模型进行指令微调 模型 如何构建？\n- 五、是否可以结合 其他库 使用？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_p2wj7zadwxwb.html)\n\n## 十七、大模型（LLMs）加速篇 \n\n### [大模型(LLM)部署框架对比篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_7d31dgh26fcp.html)\n\n- 大模型(LLM)部署框架对比篇\n- 一、为什么需要对大模型推理加速？\n- 二、大模型(LLM)部署框架对比总览\n- 三、大模型(LLM)部署优化策略\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_7d31dgh26fcp.html)\n\n### [大模型（LLMs）推理加速篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_kgzsxgro8cee.html)\n\n- 一、 推理过程 分哪些阶段？\n    - 1.1 Prefill（输入理解与初始化）阶段\n    - 1.2 Decoding（递归推理与解码输出）阶段\n- 二、 推理性能的评价指标？\n    - 2.1 Throughput（吞吐量）\n    - 2.2 First Token Latency（首字延迟）\n    - 2.3 Latency（延迟）\n    - 2.4 QPS（每秒请求数）\n- 三、 当前优化模型最主要技术手段有哪些？\n    - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_kgzsxgro8cee.html)\n\n\n### [大模型（LLMs）加速篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_w9wewc152eux.html)\n\n- 1 当前优化模型最主要技术手段有哪些？\n- 2 推理加速框架有哪一些？都有什么特点？\n- 3 vLLM 篇\n  - 3.1 vLLM 的 功能有哪些？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_w9wewc152eux.html)\n\n### [LLMs 推理性能面](https:\u002F\u002Farticles.zsxq.com\u002Fid_jwd03u0l7feo.html) \n\n- 一、介绍一下 LLMs 的文本生成过程？\n- 二、如何准确衡量模型的推理速度呢？\n- 三、如果对整体推理时延有具体目标，有哪些有效的启发式方法来评估模型？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_jwd03u0l7feo.html)\n\n### [LLM（大语言模型）部署加速方法——PagedAttention篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_p22mjq881n3n.html)\n\n- 一、vLLM 用于大模型并行推理加速 存在什么问题？\n- 二、vLLM 如何 优化 大模型并行推理加速？\n- 三、什么是 PagedAttention？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_p22mjq881n3n.html)\n\n### [大模型推理加速工具 —— vLLM](https:\u002F\u002Farticles.zsxq.com\u002Fid_zw5h9ogvac2w.html)\n\n- 一、引言\n  - 1.1 前言\n  - 1.2 为什么 需要 vLLM ?\n  - 1.3 vLLM 具有哪些特点 ?\n  - 1.4 vLLM 支持哪些 Huggingface 模型 ?\n- 二、vLLM 性能如何？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_zw5h9ogvac2w.html)\n\n### [LLM（大语言模型）部署加速方法——Faster Transformer篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_dd2gowztxtfg.html)\n\n- 一、为什么需要 FasterTransformer？\n- 二、FasterTransformer 介绍一下？\n- 三、FasterTransformer 核心是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_dd2gowztxtfg.html)\n\n### [纯Python超轻量高性能LLM推理框架 —— LightLLM](https:\u002F\u002Farticles.zsxq.com\u002Fid_9a643feq2b0b.html)\n\n- 一、引言\n  - 1.1 前言\n  - 1.2 为什么 需要 LightLLM ?\n  - 1.3 目前 LLM推理框架 有 哪些?\n- 二、LightLLM 介绍一下？\n  - 2.1 什么是 LightLLM ？\n  - 2.2 Token Attention 介绍？\n  - 2.3 Efficient Router 介绍？\n- 三、LightLLM 性能表现 介绍？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_9a643feq2b0b.html)\n\n### [LLM推理技术之StreamingLLM：如何拥有无限长生成能力](https:\u002F\u002Farticles.zsxq.com\u002Fid_w1gwi9z7qm5s.html)\n\n- 一、前言\n  - 1.1 大型语言模型（LLM）存在什么问题？\n  - 1.2 StreamingLLM 背景介绍\n  - 1.3 StreamingLLM 核心问题？\n  - ...\n- 二、StreamingLLM 的思路是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_w1gwi9z7qm5s.html)\n\n### [SwiftInfer —— 大模型无限流式输入推理飙升46%，打破多轮对话长度限制](https:\u002F\u002Farticles.zsxq.com\u002Fid_0rpua5fejfwc.html) \n\n- StreamingLLM 篇\n  - 一、为什么需要 StreamingLLM？\n  - 二、StreamingLLM 思路是什么？\n  - 三、StreamingLLM 优点是什么？\n- SwiftInfer 篇：基于TensorRT的StreamingLLM实现\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_0rpua5fejfwc.html)\n\n## 十八、大模型幻觉（LLM Hallucination）面\n\n### [大模型幻觉（LLM Hallucination）面](https:\u002F\u002Farticles.zsxq.com\u002Fid_schwrdmvmhr7.html)\n\n- 一、什么是大模型幻觉？\n- 二、为什么LLM会产生幻觉？\n- 三、为什么需要解决LLM的幻觉问题？\n- 四、幻觉一定是有害的吗？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_schwrdmvmhr7.html)\n\n### [大模型的幻觉问题篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_8mr4mlhe5q1x.html)\n\n- 一、什么是 大模型幻觉问题？\n- 二、为什么 会 出现 大模型幻觉问题？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_8mr4mlhe5q1x.html)\n\n### [如何缓解大模型幻觉？](https:\u002F\u002Farticles.zsxq.com\u002Fid_tbezgzifowzp.html)\n\n- 一、为什么 会 出现 大模型幻觉？\n- 二、如何 缓解 大模型幻觉？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_tbezgzifowzp.html)\n\n## 十九、LLMs 对比篇 \n\n### [LLMs 对比篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_fsq8czgwjxse.html)\n\n- LLMs 对比篇\n  - 一、谈谈你对当前出现的各种大模型的见解？\n  - 二、目前大模型常见的 base 模型训练和 chat 模型训练 方式 的区别么？\n  - 三、llama、baichuan、ChatGLM、Bloom 和 qwen 等开源大模型技术对比篇\n    - 3.1 llama 系列篇\n      - 3.1.1 llama 篇\n        - 3.1.1.1 llama 训练数据 介绍\n        - 3.1.1.2 llama 模型参数量 介绍\n        - 3.1.1.3 llama 模型结构 介绍\n        - 3.1.1.4 llama 训练目标 介绍\n        - 3.1.1.5 llama tokenizer 介绍\n        - 3.1.1.6 llama 衍生模型 介绍\n        - 3.1.1.7 llama 词表扩展: Chinese LLaMA\n      - 3.2.1 llama2 篇\n        - 3.2.1 llama2 系列 数据预处理方式？\n        - 3.2.2 llama2 系列 Tokenizer 处理方式？\n        - 3.2.3 llama2 系列 Architectural？\n        - 3.2.4 llama2 系列 content长度？\n    - 3.2 Mistral 7B 系列篇\n      - 3.2.1  Mistral 7B Architectural？\n    - 3.3 Qwen 系列篇\n      - 3.3.1 Qwen 系列 数据预处理方式？\n      - 3.3.2 Qwen 系列 Tokenizer 处理方式？\n      - 3.3.3 Qwen 系列 ARCHITECTURE？\n    - 3.4 Baichuan 系列篇\n      - 3.4.1 Baichuan2 篇\n        - 3.4.1.1 Baichuan2 系列 数据预处理方式？\n        - 3.4.1.2 Baichuan2 系列 Tokenizer 处理方式？\n        - 3.4.1.2 Baichuan2 系列 Architecture ？\n    - 3.5 GLM 系列篇\n      - 3.5.1 ChatGLM-6B 篇\n        - 3.5.1.1 ChatGLM-6B 结构特点？\n        - 3.5.1.2 ChatGLM-6B 训练目标？\n        - 3.5.1.3 ChatGLM-6B  tokenizer？\n    - 3.6 BLOOM 系列篇\n      - 3.6.1 BLOOM 篇\n        - 3.6.1.1 BLOOM 训练数据构建？\n        - 3.6.1.2 BLOOM 模型参数量？\n        - 3.6.1.3 BLOOM 模型结构？\n        - 3.6.1.4 BLOOM 训练目标？\n        - 3.6.1.5 BLOOM tokenizer?\n  - 四、分析与总结？\n    - 4.1 大模型训练共同点？\n    - 4.2 大模型训练不同点？\n  - 五、对比\n    - 5.1 LLaMA、ChatGLM 和 BLOOM 对比\n    - 5.2 LLaMA、ChatGLM 和 BLOOM 的 tokenizer 比较\n    - 5.3LLaMA、ChatGLM 和 BLOOM 的 结果 比较\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_fsq8czgwjxse.html)\n\n### [LLMs 对比篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_0j7k3gxa5hpm.html)\n\n- 大模型-attention mask 篇\n  - 1、prefix-tuning的prefix tokens是双向注意力吗？\n  - 2、chatglm1和chatglm2的attention mask是怎么样的？\n  - 3、llama的attention mask是怎么样的？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_0j7k3gxa5hpm.html)\n\n### [百川智能baichuan7B、13B、53B、baichuan2 总结篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_ma6pw7v2g9pi.html)\n\n- 一、baichuan-7B篇\n  - 1. 你了解baichuan-7B解构么？介绍一下？\n  - 2. baichuan-7B 如何 收集原始数据并 构建 训练数据？\n  - 3. baichuan-7B 如何 提高 训练稳定性和吞吐？\n- 二、baichuan-13B篇\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_ma6pw7v2g9pi.html)\n\n### [LLaMa 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_9ba6a72wan2w.html) \n\n- 一、相比较于llama而言，llama2有哪些改进，对于llama2是应该如何finetune？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_9ba6a72wan2w.html)\n\n### [GPT 经验篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_r46k6bqu34xh.html) \n\n- 一、gpt源码past\\_key\\_value是干啥的？\n- 二、gpt onebyone 每一层怎么输入输出？\n- 三、bert和gpt有什么区别\n- 四、文本生成的几大预训练任务？\n- 五、讲讲T5和Bart的区别，讲讲bart的DAE任务？\n- 六、讲讲Bart和Bert的区别？\n- 七、gpt3和gpt2的区别？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_r46k6bqu34xh.html)\n\n## 二十、思维链 Chain-of-Thought（COT）篇 \n\n### [思维链 Chain-of-Thought（COT）篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_c0jpjo7q95wg.html)\n\n- 一、什么是思维链提示？\n- 二、思维链提示本质是什么？\n- 三、思维链提示 与 标准的提示学习方法有什么不同?\n- 四、思维链提示 为什么可以提高语言模型的复杂推理能力?它的优势在哪里?\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_c0jpjo7q95wg.html)\n\n### [思维链 Chain-of-Thought（COT）变体篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_thdljw9vgxt1.html)\n\n- 思维链 Chain-of-Thought（COT）：思维链的启蒙\n  - 1. 什么是 思维链 Chain-of-Thought（COT）？\n  - 2. 思维链 Chain-of-Thought（COT）是思路是什么？\n  - 3. 思维链 Chain-of-Thought（COT）存在问题？\n- 思维树 Tree of Thoughts（TOT）：一种用树结构解决复杂问题的方法\n  - 1. 为什么需要 思维树 Tree of Thoughts（TOT）？\n  - 2. 什么是 思维树 Tree of Thoughts（TOT）？\n  - 3. 思维树 Tree of Thoughts（TOT）涉及问题有哪些？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_thdljw9vgxt1.html)\n\n### [小样本提示学习篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_re6ap2lq88gw.html) \n\n- 一、什么是Zero-shot提示方法？\n- 二、什么是Few-shot提示方法？\n- 三、阐述One-shot和Few-shot提示策略及其应用场景？\n- 四、什么是逐步Zero-shot\n- 五、定义Zero-shot-CoT提示策略并描述其应用方法？\n- 六、解释Few-shot-CoT提示策略及其实际使用方式？\n- 七、Few-shot-LtM策略包含哪些主要阶段及其职责？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_re6ap2lq88gw.html)\n\n## [二十一、LLMs 测试集 中 数据泄露 问题篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_6e3k0i8x5ggm.html)\n\n- 一、什么是 LLMs 测试集数据泄露 问题？\n- 二、如何解决 LLMs 测试集数据泄露 问题？\n- 三、是否可以 避开训练集来处理 LLMs 测试集数据泄露 问题？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_6e3k0i8x5ggm.html)\n\n## [二十二、MOE（Mixture-of-Experts）篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_w6ebwrhprpj9.html)\n\n### 22.1 [MOE（Mixture-of-Experts）篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_5anfhj9qoh2v.html)\n\n- 一、为什么需要 MOE（Mixture-of-Experts）？\n- 二、MOE（Mixture-of-Experts）的思路是什么样的？\n- 三、介绍一下 MOE（Mixture-of-Experts）分布式并行策略？\n  - 3.1 MOE + 数据并行?\n  - 3.2 MOE + 模型并行?\n- 四、MoE大模型具备哪些优势？\n- 五、MoE大模型具备哪些缺点？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_5anfhj9qoh2v.html)\n\n### 22.2 [MOE大模型对比篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_j51bnu3xfgm9.html)\n\n- DeepSpeed-MoE\n- PAI-Megatron-Patch MoE\n  \n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_j51bnu3xfgm9.html)\n\n## 二十三、大模型蒸馏篇\n\n### [大模型蒸馏篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_jkiw9vhzopgv.html)\n\n- 一、知识蒸馏和无监督样本训练？\n- 二、对知识蒸馏知道多少，有哪些改进用到了？\n- 三、谈一下对模型量化的了解？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_jkiw9vhzopgv.html)\n\n### [LLMs 浮点数篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_vu744g6jklli.html) \n\n- 一、fp32和fp16的区别，混合精度的原理\n- 二、半精度是什么？\n- 三、半精度的理论原理是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_vu744g6jklli.html)\n\n### [自定义 CUDA 函数的轻量级包装器 —— bitsandbytes篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_2nwi4napgvlh.html) \n\n- 一、什么是 bitsandbytes?\n- 二、如何才能使用 bitsandbytes？\n- 三、如何使用 bitsandbytes？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_2nwi4napgvlh.html)\n\n## [二十四、大模型（LLMs）软硬件配置面](https:\u002F\u002Farticles.zsxq.com\u002Fid_m5q8zk3wo84k.html)\n\n- 建议的软件环境是什么？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_m5q8zk3wo84k.html)\n\n## [二十五、Token及模型参数准备篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_9oplu4014qx5.html)\n\n- 预训练数据 Token 重复 是否影响 模型性能？\n- SFT需要训练Token数？\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_9oplu4014qx5.html)\n\n## 二十六、多模态常见面试篇\n\n### [多模态常见面试篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_hmoqafrxjumk.html)\n\n- 一、最近关注的论文，多模态视觉大模型(CLIP,DALLE)？\n- 二、blip2的架构，优势和之前多模态模型的区别？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_hmoqafrxjumk.html)\n\n## 二十七、NLP常见面试篇\n\n### [NLP Trick 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_bnzc5w57w7ox.html) \n\n- 一、怎么处理类别不平衡？\n- 二、有了解其他模型去尝试解决长度限制的方案吗？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_bnzc5w57w7ox.html)\n\n### [文本分类常见面试篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_fku4xbzkano0.html) \n\n- 一、文本分类任务有哪些应用场景？\n- 二、文本分类的具体流程？\n- 三、fastText的分类过程？fastText的优点？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_fku4xbzkano0.html)\n\n### [文本摘要常见面试篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_gw097zgji66q.html) \n\n- 一、抽取式摘要和生成式摘要存在哪些问题？\n- 二、Pointer-generator network解决了什么问题？\n- 三、文本摘要有哪些应用场景？\n- ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_gw097zgji66q.html)\n\n### [命名实体识别常见面试篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_2nueuvwwm7v0.html) \n\n- 一、CRF 常见面试题\n  - 1.1 什么是CRF？CRF的主要思想是什么？\n  - 1.2 CRF的三个基本问题是什么？\n  - 1.3 线性链条件随机场的参数化形式？\n  - 1.4 CRF的优缺点是什么？\n  - 1.5 HMM与CRF的区别？\n  - 1.6 生成模型与判别模型的区别？\n- 二、HMM 常见面试题\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_2nueuvwwm7v0.html)\n\n### [向量检索常见面试篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_dnq0o4aicjso.html) \n\n- 一、向量检索库总结\n  - 1.1 Annoy\n    - 1.1.1 Annoy 介绍\n    - 1.1.2 Annoy 使用\n  - 1.2 Faiss\n    -...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_dnq0o4aicjso.html)\n\n## 二十八、其他常见面试篇\n\n### [LLMs 其他 Trick](https:\u002F\u002Farticles.zsxq.com\u002Fid_958pher9zdxp.html)\n\n1. huggingface 下载不了模型问题？\n2. ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_958pher9zdxp.html)\n\n## 二十九、大模型推理加速——KV Cache篇\n\n### [大模型推理加速——KV Cache篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_swmfcls3sp1j.html)\n\n- 大模型推理加速——KV Cache篇\n  - 一、介绍一下 KV Cache是啥？\n  - 二、为什么要进行 KV Cache？\n    - 2.1 不使用 KV Cache 场景\n    - 2.2 使用 KV Cache 场景\n  - 三、说一下 KV Cache 在 大模型中的应用？\n    - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_swmfcls3sp1j.html)\n\n## 三十、大模型——角色扮演大模型篇\n\n### [大模型——角色扮演大模型篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_16kl2onmsf8t.html)\n\n- 大模型——角色扮演大模型篇\n  - 一、什么是角色扮演大模型？\n  - 二、为什么需要角色扮演大模型？\n  - 三、角色扮演大模型 相比于 通用大模型 具有哪些区别？\n  - 四、能否通俗易懂的介绍 【角色扮演大模型】？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_16kl2onmsf8t.html)\n\n## 三十一、大模型——Chat o1 篇\n\n### [千面郎君 篇（三十一章）—— OpenAI o1 篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_71rmw7acx3cd.html)\n\n- 千面郎君 篇（三十一章）—— OpenAI o1 篇\n  - 一、Shortcut learning (捷径学习) vs Journey learning (旅程学习)\n    - 1.1 Shortcut learning (捷径学习)\n      - 1.1.1 什么是 Shortcut learning (捷径学习)？\n      - 1.1.2 Shortcut learning (捷径学习) 包含哪些关键特征？\n      - 1.1.3 Shortcut learning (捷径学习) 优点是什么？\n      - 1.1.4 Shortcut learning (捷径学习) 缺点是什么？\n    - 1.2 Journey learning (旅程学习)\n      - 1.2.1 什么是 Journey learning (旅程学习)？\n      - 1.2.2 Journey learning (旅程学习) 包含哪些关键特征？\n      - 1.2.3 Journey learning (旅程学习) 优点是什么？\n    - 1.3 Shortcut learning (捷径学习) vs Journey learning (旅程学习)\n  - 二、o1 的长思维链篇\n    - 2.1 o1 的长思维链是什么样子？\n    - 2.2 长思维 (Long thought) 是如何工作的？\n    - 2.3 如何构建长思维？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_71rmw7acx3cd.html)\n\n### [OpenAI o1 面试篇](https:\u002F\u002Farticles.zsxq.com\u002Fid_032nwgcgwhc6.html)\n\n- OpenAI o1 面试篇\n  - Q: o1 的训练方法与之前的模型有何主要区别？\n  - Q: o1 的\"思考\"过程与简单的提示有何不同？\n  - Q: 为什么 o1 在推理任务上比之前的模型更强大？\n  - Q: o1 如何处理安全性问题？\n  - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_032nwgcgwhc6.html)\n\n### [Scaling LLM Test-Time：谁说类o1推理一定要用RL?](https:\u002F\u002Farticles.zsxq.com\u002Fid_71l9woqohebk.html)\n\n- Scaling LLM Test-Time：谁说类o1推理一定要用RL?\n  - 一、Scaling LLM Test-Time 介绍篇\n    - 1.1 为什么需要 Scaling LLM Test-Time？\n    - 1.2 三种 Scaling LLM Test-Time 类型定义？\n    - 1.3 有哪些 Scaling Test-Time的方法？\n    - 问题引申\n  - 二、方法一：纯 Inference Scaling 篇\n    - 2.1 Inferece Test-Time的统一视角：Proposer \\& Verifier\n    - 2.2 Proposer \\& Verifier 实例：Best-of-N\n    - ...\n\n- [点击查看答案](https:\u002F\u002Farticles.zsxq.com\u002Fid_71l9woqohebk.html)","# LLMs_interview_notes 快速上手指南\n\n`LLMs_interview_notes`（又名“大模型千面郎君”）并非一个需要安装运行的软件库或框架，而是一个**大模型（LLMs）面试准备的学习笔记与资料合集**。该项目以文档形式整理了从基础理论、架构细节到微调、RAG 及 LangChain 应用的全方位面试题与解析。\n\n因此，本指南将指导你如何快速获取、浏览及使用这份宝贵的知识库。\n\n## 环境准备\n\n由于本项目本质为 Markdown 文档集合，无需复杂的深度学习环境（如 GPU、CUDA、PyTorch 等）即可阅读。\n\n*   **系统要求**：Windows \u002F macOS \u002F Linux 均可。\n*   **前置依赖**：\n    *   **Web 浏览器**：推荐 Chrome、Edge 或 Firefox，用于访问在线文档（体验最佳，包含完整跳转链接）。\n    *   **Git**（可选）：如果你希望离线阅读或贡献内容，需安装 Git。\n    *   **Markdown 编辑器**（可选）：如 VS Code、Typora，用于本地查看源码。\n\n## 获取与安装步骤\n\n你可以通过以下两种方式获取资料：\n\n### 方式一：在线直接阅读（推荐）\n这是最便捷的方式，所有面试题均配有详细的解答链接（通常指向知识星球或相关文章页），且保持实时更新。\n\n1.  访问项目 GitHub 主页或原文档链接。\n2.  直接在浏览器中点击目录中的各个章节链接（如“大模型基础面”、\"Attention 升级面”等）进行阅读。\n\n### 方式二：本地克隆（离线阅读）\n如果你需要离线保存或在本地整理笔记，可以使用 Git 克隆仓库。\n\n```bash\n# 克隆仓库到本地\ngit clone https:\u002F\u002Fgithub.com\u002Fyour-target-repo\u002FLLMs_interview_notes.git\n\n# 进入项目目录\ncd LLMs_interview_notes\n```\n\n> **注意**：由于原 README 中的详细解答多通过外部链接（如 `articles.zsxq.com`）承载，本地克隆后主要能查看到题目大纲。为了获得完整的“题目 + 答案”体验，建议优先使用**方式一**在线浏览，或将关键文章收藏至本地笔记软件。\n\n## 基本使用\n\n本项目的使用核心在于**按图索骥**，根据你的学习阶段或面试需求，定向查阅对应模块。\n\n### 1. 基础理论复习\n如果你是初学者或需要夯实基础，请从 **“一、大模型（LLMs）基础面”** 开始。\n*   **重点关注**：Transformer 架构变体（Decoder-only vs Encoder-Decoder）、Layer Norm 变种（RMS Norm, Deep Norm）、激活函数（GeLU, Swish）以及 Attention 机制的演进（MQA, GQA, FlashAttention）。\n*   **使用方法**：点击对应小标题链接，阅读题目并对照答案解析，理解公式推导与设计初衷。\n\n### 2. 进阶与微调实战\n针对有经验的开发者或准备高阶岗位面试，请查阅 **“二、大模型进阶面”** 和 **“三、大模型微调面”**。\n*   **核心内容**：\n    *   解决“复读机”问题、长文本处理策略。\n    *   SFT（监督微调）全流程：数据构建、Loss 异常分析、显存估算。\n    *   PEFT（参数高效微调）：LoRA、QLoRA、Adapter 的原理与代码实现思路。\n*   **应用场景**：在准备技术方案设计面试时，参考其中的“训练经验帖”和\"SFT Trick\"篇，获取工业界落地的最佳实践。\n\n### 3. 应用开发（LangChain & RAG）\n针对应用层开发工程师，重点阅读 **“四、LangChain 面”** 和 **“五、RAG 检索增强生成面”**。\n*   **核心内容**：\n    *   LangChain 核心组件（Chains, Agents, Retrievers）解析。\n    *   RAG 全链路优化：PDF 解析、文本分块策略、向量召回优化（HYDE, FLARE）、Graph RAG。\n    *   常见痛点解决方案：内容缺失、上下文丢失、负样本挖掘。\n*   **使用方法**：结合具体的业务场景（如构建企业知识库问答），参考其中的“版面分析”和“检索策略”章节，优化你的系统架构。\n\n### 4. 模拟自测\n利用项目中的问题列表进行自我模拟面试：\n1.  遮住答案链接。\n2.  尝试口头或书面回答当前问题（例如：“请简述 FlashAttention 的核心优势”）。\n3.  点击链接查看标准解析，对比自己的回答遗漏了哪些关键点（如 IO 复杂度、显存占用等）。\n\n通过以上步骤，你可以高效地利用 `LLMs_interview_notes` 构建完整的大模型知识体系，从容应对各类技术面试。","某位准备大厂算法岗校招的研究生，正在紧张备战大模型（LLMs）方向的专业技术面试。\n\n### 没有 LLMs_interview_notes 时\n- **知识碎片化严重**：候选人需要在知乎、GitHub、技术博客间反复跳转，难以系统梳理从 Layer Norm 变体到 FlashAttention 原理的完整知识体系。\n- **核心公式记忆模糊**：面对面试官突然要求手写 RMS Norm 计算公式或推导 GLU 激活函数时，因缺乏针对性练习而卡壳，暴露基础不牢。\n- **前沿技术理解浅显**：对于 Multi-Query Attention 与 Grouped-query Attention 的区别、Paged Attention 的核心优势等进阶考点，仅停留在名词认知，无法深入阐述优化逻辑。\n- **实战代码手感生疏**：虽然看过 Transformer 源码，但缺乏针对“如何提取指定隐藏层状态”等具体操作场景的总结，现场编程环节容易出错。\n\n### 使用 LLMs_interview_notes 后\n- **构建系统化题库**：直接依托仓库中分类清晰的“基础面”、“激活函数篇”及\"Attention 升级面”，快速建立起覆盖主流开源模型体系的结构化知识网。\n- **精准攻克计算难点**：通过专项复习仓库中整理的各类 Norm 公式与 FFN 块计算细节，能够流畅手写推导过程，从容应对底层原理拷问。\n- **深度掌握演进脉络**：借助对 Attention 变体及跨注意力机制的深度解析，清晰讲透从 MHA 到 GQA 的技术演进原因及性能收益，展现技术洞察力。\n- **提升代码实战效率**：参考\"transformers 操作篇”中的具体案例，迅速掌握加载模型、输出向量等关键代码片段，在机考环节中游刃有余。\n\nLLMs_interview_notes 将分散的高频考点转化为结构化的备战利器，帮助求职者从“泛泛了解”跃升为“精通原理”，显著提升了面试通过率。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkm1994_LLMs_interview_notes_7957e35d.png","km1994","杨夕","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fkm1994_2be0e4c3.jpg","公众号《关于NLP那些你不知道的事》","某某螺丝钉加工厂",null,"https:\u002F\u002Fgithub.com\u002Fkm1994",2517,172,"2026-04-13T15:25:25","Apache-2.0","","未说明",{"notes":90,"python":88,"dependencies":91},"本项目为大型语言模型（LLMs）的面试学习笔记与资料汇总，主要包含理论基础、微调策略、RAG 架构及 LangChain 应用等知识点的问答整理。该项目本身不是一个可执行的软件工具或代码库，因此没有特定的操作系统、GPU、内存、Python 版本或依赖库的安装运行需求。用户只需通过提供的链接阅读文章内容即可。",[],[15],"2026-03-27T02:49:30.150509","2026-04-14T12:35:38.577845",[],[]]