[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-microsoft--LMOps":3,"tool-microsoft--LMOps":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":80,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":121,"forks":122,"last_commit_at":123,"license":124,"difficulty_score":125,"env_os":126,"env_gpu":127,"env_ram":127,"env_deps":128,"category_tags":131,"github_topics":132,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":144,"updated_at":145,"faqs":146,"releases":175},3112,"microsoft\u002FLMOps","LMOps","General technology for enabling AI capabilities w\u002F LLMs and MLLMs","LMOps 是微软发起的一项前沿研究计划，旨在为大语言模型（LLM）和多模态大模型构建 AI 产品提供通用技术支撑。它核心解决了开发者在落地生成式 AI 时面临的诸多挑战：如何让模型更精准地理解指令、如何突破上下文长度限制、如何加速推理过程，以及如何将通用模型高效适配到特定领域。\n\n无论是希望优化提示词效果的算法工程师，还是致力于探索模型底层机制的研究人员，亦或是需要定制垂直领域应用的企业开发者，都能从 LMOps 中获益。其独特亮点在于一系列创新的技术方案：例如通过强化学习自动优化提示词的 Promptist 技术，能让用户输入转化为模型更易理解的格式；Structured Prompting 技术则巧妙地将上下文学习能力扩展至千级示例，有效处理长文档；此外，它还提供了无损加速推理和基于模型反馈的对齐方法。LMOps 不仅开源了相关论文与代码，更提供了一套系统化的方法论，帮助各类用户更低门槛、更高效率地释放基础模型的潜能，推动 AI 应用从实验走向生产。","\u003C!--# LMOps: Enabling AI w\u002F LLMs-->\n\n# LMOps\nLMOps is a research initiative on fundamental research and technology for building AI products w\u002F foundation models, especially on the general technology for enabling AI capabilities w\u002F LLMs and Generative AI models.\n\n- Better Prompts: [Automatic Prompt Optimization](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.03495), [Promptist](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.09611), [Extensible prompts](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.00616), [Universal prompt retrieval](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.08518), [LLM Retriever](https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.07164), [In-Context Demonstration Selection](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.14726)\n- Longer Context: [Structured prompting](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.06713), [Length-Extrapolatable Transformers](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.10554)\n- LLM Alignment: [Alignment via LLM feedback]()\n- LLM Accelerator (Faster Inference): [Lossless Acceleration of LLMs](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.04487)\n- LLM Customization: [Adapt LLM to domains](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.09530.pdf)\n- Fundamentals: [Understanding In-Context Learning](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.10559)\n\n## Links\n\n- [microsoft\u002Funilm](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Funilm): Large-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities\n- [microsoft\u002Ftorchscale](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Ftorchscale): Transformers at (any) Scale\n\n## News\n- [Paper Release] Nov, 2023: [In-Context Demonstration Selection with Cross Entropy Difference](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.14726) (EMNLP 2023)\n- [Paper Release] Oct, 2023: [Tuna: Instruction Tuning using Feedback from Large Language Models](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2310.13385.pdf) (EMNLP 2023)\n- [Paper Release] Oct, 2023: [Automatic Prompt Optimization with \"Gradient Descent\" and Beam Search](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.03495) (EMNLP 2023)\n- [Paper Release] Oct, 2023: [UPRISE: Universal Prompt Retrieval for Improving Zero-Shot Evaluation](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.08518) (EMNLP 2023)\n- [Paper Release] July, 2023: [Learning to Retrieve In-Context Examples for Large Language Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.07164)\n- [Paper Release] April, 2023: [Inference with Reference: Lossless Acceleration of Large Language Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.04487)\n- [Paper Release] Dec, 2022: [Why Can GPT Learn In-Context? Language Models Secretly Perform Finetuning as Meta Optimizers](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.10559)\n- [Paper & Model & Demo Release] Dec, 2022: [Optimizing Prompts for Text-to-Image Generation](https:\u002F\u002Faka.ms\u002Fpromptist)\n- [Paper & Code Release] Dec, 2022: [Structured Prompting: Scaling In-Context Learning to 1,000 Examples](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.06713)\n- [Paper Release] Nov, 2022: [Extensible Prompts for Language Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.00616)\n\n## Prompt Intelligence\n\nAdvanced technologies facilitating prompting language models.\n\n### Promptist: reinforcement learning for automatic prompt optimization\n\n[Paper] [Optimizing Prompts for Text-to-Image Generation](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.09611)\n\n> - Language models serve as a prompt interface that optimizes user input into model-preferred prompts.\n\n> - Learn a language model for automatic prompt optimization via reinforcement learning.\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_LMOps_readme_2f8e2a864281.png)\n\n\n### Structured Prompting: consume long-sequence prompts in an efficient way\n\n[Paper] [Structured Prompting: Scaling In-Context Learning to 1,000 Examples](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.06713)\n\n- Example use cases:\n\n> 1) Prepend (many) retrieved (long) documents as context in GPT.\n\n> 2) Scale in-context learning to many demonstration examples.\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_LMOps_readme_d915968ef1f5.png)\n\n\n### X-Prompt: extensible prompts beyond NL for descriptive instructions\n\n[Paper] [Extensible Prompts for Language Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.00616)\n\n> - Extensible interface allowing prompting LLMs beyond natural language for fine-grain specifications\n\n> - Context-guided imaginary word learning for general usability\n\n![Extensible Prompts for Language Models](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_LMOps_readme_79214e4e16c4.png)\n\n\n## LLMA: LLM Accelerators\n\n### Accelerate LLM Inference with References\n\n[Paper] [Inference with Reference: Lossless Acceleration of Large Language Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.04487)\n\n> - Outputs of LLMs often have significant overlaps with some references (e.g., retrieved documents).\n\n> - LLMA losslessly accelerate the inference of LLMs by copying and verifying text spans from references into the LLM inputs.\n\n> - Applicable to important LLM scenarios such as retrieval-augmented generation and multi-turn conversations.\n\n> - Achieves 2~3 times speed-up without additional models.\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_LMOps_readme_3263845617a1.png)\n\n\n## Fundamental Understanding of LLMs\n\n### Understanding In-Context Learning\n\n[Paper] [Why Can GPT Learn In-Context? Language Models Secretly Perform Finetuning as Meta Optimizers](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.10559)\n\n> - According to the demonstration examples, GPT produces meta gradients for In-Context Learning (ICL) through forward computation. ICL works by applying these meta gradients to the model through attention.\n\n> - The meta optimization process of ICL shares a dual view with finetuning that explicitly updates the model parameters with back-propagated gradients.\n\n> - We can translate optimization algorithms (such as SGD with Momentum) to their corresponding Transformer architectures.\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_LMOps_readme_f47bb90179dc.png)\n\n## Hiring: [aka.ms\u002FGeneralAI](https:\u002F\u002Faka.ms\u002FGeneralAI)\nWe are hiring at all levels (including FTE researchers and interns)! If you are interested in working with us on Foundation Models (aka large-scale pre-trained models) and AGI, NLP, MT, Speech, Document AI and Multimodal AI, please send your resume to \u003Ca href=\"mailto:fuwei@microsoft.com\" class=\"x-hidden-focus\">fuwei@microsoft.com\u003C\u002Fa>.\n\n## License\nThis project is licensed under the license found in the LICENSE file in the root directory of this source tree.\n\n[Microsoft Open Source Code of Conduct](https:\u002F\u002Fopensource.microsoft.com\u002Fcodeofconduct)\n\n### Contact Information\n\nFor help or issues using the pre-trained models, please submit a GitHub issue.\nFor other communications, please contact [Furu Wei](http:\u002F\u002Fgitnlp.org\u002F) (`fuwei@microsoft.com`).\n","\u003C!--# LMOps: 使用大语言模型赋能AI-->\n\n# LMOps\nLMOps是一项关于构建基于基础模型的AI产品的基础研究与技术的研究计划，尤其专注于利用大语言模型和生成式AI模型来实现AI能力的通用技术。\n\n- 更好的提示词：[自动提示优化](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.03495)、[Promptist](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.09611)、[可扩展提示词](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.00616)、[通用提示检索](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.08518)、[LLM检索器](https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.07164)、[上下文示范选择](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.14726)\n- 更长的上下文：[结构化提示](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.06713)、[可外推长度的Transformer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.10554)\n- LLM对齐：[通过LLM反馈进行对齐]()\n- LLM加速器（更快的推理）：[LLM无损加速](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.04487)\n- LLM定制化：[将LLM适配到特定领域](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.09530.pdf)\n- 基础理论：[理解上下文学习](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.10559)\n\n## 链接\n\n- [microsoft\u002Funilm](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Funilm)：跨任务、跨语言、跨模态的大规模自监督预训练\n- [microsoft\u002Ftorchscale](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Ftorchscale)：任意规模的Transformer\n\n## 新闻\n- [论文发布] 2023年11月：[基于交叉熵差值的上下文示范选择](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.14726)（EMNLP 2023）\n- [论文发布] 2023年10月：[Tuna：使用大语言模型反馈进行指令微调](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2310.13385.pdf)（EMNLP 2023）\n- [论文发布] 2023年10月：[利用“梯度下降”和束搜索进行自动提示优化](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.03495)（EMNLP 2023）\n- [论文发布] 2023年10月：[UPRISE：用于改进零样本评估的通用提示检索](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.08518)（EMNLP 2023）\n- [论文发布] 2023年7月：[为大语言模型学习检索上下文示例](https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.07164)\n- [论文发布] 2023年4月：[参考式推理：大语言模型的无损加速](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.04487)\n- [论文发布] 2022年12月：[为什么GPT能在上下文中学习？语言模型实际上以元优化器的身份进行微调](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.10559)\n- [论文、模型及演示发布] 2022年12月：[优化文本到图像生成的提示词](https:\u002F\u002Faka.ms\u002Fpromptist)\n- [论文与代码发布] 2022年12月：[结构化提示：将上下文学习扩展到1,000个示例](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.06713)\n- [论文发布] 2022年11月：[语言模型的可扩展提示词](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.00616)\n\n## 提示智能\n\n促进语言模型提示的先进技术。\n\n### Promptist：用于自动提示优化的强化学习\n\n[论文] [优化文本到图像生成的提示词](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.09611)\n\n> - 语言模型充当提示接口，将用户输入优化为模型偏好的提示。\n\n> - 通过强化学习训练一个语言模型，实现自动提示优化。\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_LMOps_readme_2f8e2a864281.png)\n\n\n### 结构化提示：以高效方式处理长序列提示\n\n[论文] [结构化提示：将上下文学习扩展到1,000个示例](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.06713)\n\n- 示例用法：\n\n> 1) 在GPT中将（许多）检索到的（长）文档作为上下文前置。\n\n> 2) 将上下文学习扩展到大量示范示例。\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_LMOps_readme_d915968ef1f5.png)\n\n\n### X-Prompt：超越自然语言的可扩展提示，用于描述性指令\n\n[论文] [语言模型的可扩展提示词](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.00616)\n\n> - 可扩展的接口允许用户通过非自然语言方式向LLM发出精细的指示。\n\n> - 通过上下文引导的想象词汇学习，实现通用可用性。\n\n![语言模型的可扩展提示词](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_LMOps_readme_79214e4e16c4.png)\n\n\n## LLMA：LLM加速器\n\n### 利用参考文献加速LLM推理\n\n[论文] [参考式推理：大语言模型的无损加速](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.04487)\n\n> - LLM的输出通常与某些参考文献（例如检索到的文档）存在显著重叠。\n\n> - LLMA通过将参考文献中的文本片段复制并验证后插入LLM输入，从而无损地加速LLM的推理过程。\n\n> - 适用于检索增强生成和多轮对话等重要LLM场景。\n\n> - 在不增加额外模型的情况下，可实现2~3倍的速度提升。\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_LMOps_readme_3263845617a1.png)\n\n\n## LLM的基础理解\n\n### 理解上下文学习\n\n[论文] [为什么GPT能在上下文中学习？语言模型实际上以元优化器的身份进行微调](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.10559)\n\n> - 根据示范示例，GPT通过前向计算产生用于上下文学习（ICL）的元梯度。ICL的工作原理是通过注意力机制将这些元梯度应用到模型上。\n\n> - ICL的元优化过程与显式地通过反向传播梯度更新模型参数的微调具有双重关系。\n\n> - 我们可以将优化算法（如带有动量的SGD）转化为相应的Transformer架构。\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_LMOps_readme_f47bb90179dc.png)\n\n## 招聘：[aka.ms\u002FGeneralAI](https:\u002F\u002Faka.ms\u002FGeneralAI)\n我们正在招聘各层级人才（包括全职研究员和实习生）！如果您对与我们一起从事基础模型（即大规模预训练模型）以及AGI、NLP、MT、语音、文档AI和多模态AI相关工作感兴趣，请将您的简历发送至\u003Ca href=\"mailto:fuwei@microsoft.com\" class=\"x-hidden-focus\">fuwei@microsoft.com\u003C\u002Fa>。\n\n## 许可证\n本项目遵循根目录LICENSE文件中的许可协议。\n\n[微软开源行为准则](https:\u002F\u002Fopensource.microsoft.com\u002Fcodeofconduct)\n\n### 联系方式\n\n如在使用预训练模型时遇到任何问题或需要帮助，请提交GitHub问题。其他沟通事宜请联系[Furu Wei](http:\u002F\u002Fgitnlp.org\u002F)（`fuwei@microsoft.com`）。","# LMOps 快速上手指南\n\nLMOps 是微软发起的一项研究计划，专注于利用基础模型（特别是大语言模型 LLM 和生成式 AI）构建 AI 产品的核心技术与基础研究。它并非一个单一的 Python 库，而是一系列前沿算法、论文实现和技术方案的集合，涵盖提示词优化、长上下文处理、推理加速及模型对齐等领域。\n\n> **注意**：由于 LMOps 包含多个独立的研究项目（如 Promptist, Structured Prompting, LLMA 等），每个项目通常有独立的代码仓库或论文实现。本指南将指导你如何获取相关资源并运行核心示例。\n\n## 环境准备\n\n在开始之前，请确保你的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2。\n*   **Python 版本**: 3.8 或更高版本。\n*   **硬件要求**: \n    *   运行大多数 LLM 相关实验需要 NVIDIA GPU。\n    *   显存建议：至少 16GB VRAM（用于运行较大的模型如 GPT-2 Large 或 OPT），部分轻量级实验可在 8GB VRAM 上运行。\n*   **前置依赖**:\n    *   Git\n    *   PyTorch (建议 1.10+，需匹配 CUDA 版本)\n    *   Hugging Face Transformers\n    *   DeepSpeed (可选，用于大规模训练\u002F推理加速)\n\n**国内加速建议**：\n*   **PyTorch 安装**: 推荐使用清华或中科大镜像源。\n*   **Hugging Face 模型下载**: 建议配置 `HF_ENDPOINT` 环境变量使用国内镜像，或使用 `modelscope` 进行模型映射。\n\n```bash\n# 设置 Hugging Face 国内镜像 (以阿里云为例)\nexport HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com\n```\n\n## 安装步骤\n\n由于 LMOps 是研究合集，你需要克隆主仓库并根据具体子项目安装依赖。以下是通用安装流程：\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLMOps.git\n    cd LMOps\n    ```\n\n2.  **创建虚拟环境**\n    ```bash\n    python -m venv lmops-env\n    source lmops-env\u002Fbin\u002Factivate  # Windows 用户使用: lmops-env\\Scripts\\activate\n    ```\n\n3.  **安装基础依赖**\n    根据项目根目录或具体子文件夹的 `requirements.txt` 进行安装。若根目录无统一文件，请先安装核心深度学习栈：\n    \n    ```bash\n    # 使用国内源加速安装\n    pip install torch torchvision torchaudio --index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    pip install transformers datasets accelerate sentencepiece -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n\n4.  **获取特定技术实现**\n    LMOps 中的许多技术（如 Promptist 或 LLMA）链接到了具体的论文代码或微软的其他仓库（如 `microsoft\u002Funilm`）。\n    \n    例如，若要体验 **Promptist** (自动提示词优化)，需参考其独立项目页面或论文提供的代码链接。对于 **LLMA** (推理加速)，通常需要结合具体的检索增强生成 (RAG) 框架使用。\n\n    *建议访问 [LMOps GitHub Issues](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLMOps\u002Fissues) 或具体论文链接获取最新的具体模块代码实现。*\n\n## 基本使用\n\nLMOps 的核心价值在于其提出的算法思想。以下以 **Structured Prompting**（结构化提示词，用于处理长上下文）为例，展示如何在代码中应用其核心理念。\n\n### 示例：使用结构化提示词扩展上下文\n\n该技术支持将大量检索到的文档作为上下文输入给模型，突破传统上下文长度限制。\n\n```python\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\nimport torch\n\n# 1. 加载预训练模型 (例如 OPT 或 GPT-2)\nmodel_name = \"facebook\u002Fopt-1.3b\"  # 可替换为其他支持的模型\ntokenizer = AutoTokenizer.from_pretrained(model_name)\nmodel = AutoModelForCausalLM.from_pretrained(model_name).to(\"cuda\")\n\n# 2. 准备长上下文数据 (模拟检索到的多个文档)\nretrieved_docs = [\n    \"Document 1: The quick brown fox jumps over the lazy dog.\",\n    \"Document 2: Artificial Intelligence is transforming the world.\",\n    # ... 可以添加数百个这样的文档\n] * 50  # 模拟大量上下文\n\n# 3. 构建结构化 Prompt\n# LMOps 的核心在于高效地组织这些上下文，而不是简单的字符串拼接\n# 这里演示基本的拼接逻辑，实际研究中可能涉及特殊的 Attention Mask 或分块策略\ncontext = \"\\n\".join(retrieved_docs)\nquery = \"Question: What is transforming the world?\"\ninput_text = f\"Context:\\n{context}\\n\\n{query}\"\n\n# 4.  Tokenize 并生成\ninputs = tokenizer(input_text, return_tensors=\"pt\", truncation=False).to(\"cuda\")\n\n# 注意：如果序列过长，需配合模型支持的最大长度或使用滑动窗口机制\nif inputs.input_ids.shape[1] > model.config.max_position_embeddings:\n    print(f\"Warning: Input length {inputs.input_ids.shape[1]} exceeds model limit.\")\n    # 在实际 LMOps 实现中，此处会调用特定的长序列处理逻辑 (如 Length-Extrapolatable Transformers)\n\nwith torch.no_grad():\n    outputs = model.generate(\n        inputs.input_ids, \n        max_new_tokens=50, \n        do_sample=True, \n        temperature=0.7\n    )\n\nresponse = tokenizer.decode(outputs[0], skip_special_tokens=True)\nprint(response)\n```\n\n### 进阶：推理加速 (LLMA)\n\n若需使用 **Lossless Acceleration** 技术，核心逻辑是在推理过程中利用参考文本（如检索文档）直接复制并验证文本片段，从而跳过部分自回归生成步骤。这通常需要修改推理循环或使用专门的推理后端。\n\n```python\n# 伪代码概念演示：Inference with Reference\n# 实际实现需参考论文 \"Inference with Reference: Lossless Acceleration of Large Language Models\"\n\ndef accelerated_generate(model, input_ids, reference_texts):\n    \"\"\"\n    在生成过程中，检查参考文本中是否存在匹配的后续片段。\n    如果存在且验证通过，直接复制该片段，显著减少推理步数。\n    \"\"\"\n    # 具体实现涉及复杂的 Token 匹配与验证逻辑\n    pass \n```\n\n**下一步建议**：\n深入阅读 LMOps 列表中链接的 arXiv 论文（如 *Automatic Prompt Optimization*, *UPRISE* 等），以获取各细分领域最准确的代码实现和实验细节。","某电商公司的算法团队正致力于构建一个能自动处理海量用户评论并生成精准营销回复的智能客服系统。\n\n### 没有 LMOps 时\n- **提示词调试低效**：工程师需手动反复调整指令措辞，耗时数天才能找到能让模型输出得体回复的“完美提示词”，且效果极不稳定。\n- **长文档理解受限**：当用户评论包含长篇背景描述或关联多篇历史工单时，模型因上下文窗口限制或结构混乱，经常遗漏关键信息导致答非所问。\n- **推理成本高昂**：面对高并发请求，大模型响应速度慢，服务器资源消耗巨大，难以满足实时互动的延迟要求。\n- **领域适配困难**：通用模型缺乏电商特有的术语和礼仪规范，直接生成的回复往往语气生硬，需要大量人工二次修正。\n\n### 使用 LMOps 后\n- **自动优化提示词**：利用 Promptist 和自动提示优化技术，系统将粗糙的用户输入自动转化为模型偏好的高质量指令，大幅减少人工调优时间。\n- **结构化长上下文**：通过结构化提示（Structured Prompting）技术，系统能高效组织并输入上千条相关案例作为参考，让模型精准捕捉长文本中的细微诉求。\n- **无损加速推理**：部署 LLM Accelerator 模块，在保持生成质量不变的前提下显著提升推理速度，轻松支撑大促期间的高流量峰值。\n- **快速领域定制**：借助领域自适应技术，快速将通用模型微调为精通电商话术的专家，生成的回复既专业又具亲和力，几乎无需人工干预。\n\nLMOps 通过自动化提示工程、长上下文管理及推理加速等核心技术，将原本繁琐的大模型落地过程转变为高效、稳定且低成本的生产力闭环。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_LMOps_7510aa8e.png","microsoft","Microsoft","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmicrosoft_4900709c.png","Open source projects and samples from Microsoft",null,"opensource@microsoft.com","OpenAtMicrosoft","https:\u002F\u002Fopensource.microsoft.com","https:\u002F\u002Fgithub.com\u002Fmicrosoft",[85,89,92,96,100,104,108,112,115,118],{"name":86,"color":87,"percentage":88},"Python","#3572A5",95.8,{"name":90,"color":91,"percentage":23},"Shell","#89e051",{"name":93,"color":94,"percentage":95},"Jupyter Notebook","#DA5B0B",1.4,{"name":97,"color":98,"percentage":99},"Cuda","#3A4E3A",0.4,{"name":101,"color":102,"percentage":103},"MDX","#fcb32c",0.3,{"name":105,"color":106,"percentage":107},"C++","#f34b7d",0.1,{"name":109,"color":110,"percentage":111},"Dockerfile","#384d54",0,{"name":113,"color":114,"percentage":111},"Cython","#fedf5b",{"name":116,"color":117,"percentage":111},"Makefile","#427819",{"name":119,"color":120,"percentage":111},"C","#555555",4327,371,"2026-04-03T02:11:27","MIT",5,"","未说明",{"notes":129,"python":127,"dependencies":130},"README 中未提供具体的运行环境需求（如操作系统、GPU、内存、Python 版本或依赖库）。该项目主要是一个研究倡议，列出了多篇学术论文和相关链接（如 microsoft\u002Funilm 和 microsoft\u002Ftorchscale），而非一个可直接安装的单一软件包。具体的环境配置需参考各子项目或对应论文的官方代码仓库。",[],[13,26,15],[133,134,135,136,137,138,139,140,141,142,143],"nlp","agi","gpt","llm","lm","pretraining","prompt","lmops","promptist","x-prompt","language-model","2026-03-27T02:49:30.150509","2026-04-06T08:09:03.281552",[147,152,156,161,166,170],{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},14336,"Data Selection via Optimal Control 方法是否适用于视觉分割任务？如果是，实施时需要注意什么？","理论上该方法可以应用于视觉分割任务。但在实际复现过程中（特别是在 pmp-solver 阶段），关于是否在计算中包含 `buffers` 需要特别注意：\n1. 如果加入 `buffers`（与代码一致），scorer 倾向于对某一类背景下的数据打高分。\n2. 如果不加入 `buffers`，高分数据则能涵盖不同背景下的数据。\n用户需根据具体任务需求权衡是否保留 buffers 的计算逻辑。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLMOps\u002Fissues\u002F312",{"id":153,"question_zh":154,"answer_zh":155,"source_url":151},14337,"pmp-solver 和 data scorer 的打分粒度（granularity）是按文件（instance）还是按 chunk？","打分粒度是 **chunk** 而不是单个 JSON 文件或 instance。\n1. 实现中，一个 chunk 是由多个 JSON 内容拼接而成，长度限制为 max_length（例如 1024 token）。\n2. 最终生成的 bin\u002Fidx 文件中，bin 文件存储 shard 中若干 chunk 的 token id 序列，idx 记录位置偏移。\n3. 选择 chunk 粒度的主要原因是实现简单。虽然理论上可以对每个 JSON 文本打分，但这在与预训练结合时需要处理复杂的 padding 和 truncating。由于最终目标是预训练出效果好的模型，因此只需做到模型预训练能接受的 token id 粒度即可。",{"id":157,"question_zh":158,"answer_zh":159,"source_url":160},14338,"训练 UPRiSE 时在第一个 epoch 结束后报错，变量未移动到指定设备（device）怎么办？","该问题通常是因为 `validate_average_rank()` 函数中的部分代码缺失，导致张量变量未移动到 `cfg.device`。需要在该函数中手动添加设备迁移代码。具体修复代码如下：\n```python\nif torch.is_tensor(q_ids):\n    q_ids = q_ids.to(cfg.device)\nif torch.is_tensor(q_segments):\n    q_segments = q_segments.to(cfg.device)\nif torch.is_tensor(q_attn_mask):\n    q_attn_mask = q_attn_mask.to(cfg.device)\nif torch.is_tensor(ctx_ids_batch):\n    ctx_ids_batch = ctx_ids_batch.to(cfg.device)\nif torch.is_tensor(ctx_seg_batch):\n    ctx_seg_batch = ctx_seg_batch.to(cfg.device)\nif torch.is_tensor(ctx_attn_mask):\n    ctx_attn_mask = ctx_attn_mask.to(cfg.device)\n```\n添加上述代码后程序通常可正常运行。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLMOps\u002Fissues\u002F238",{"id":162,"question_zh":163,"answer_zh":164,"source_url":165},14339,"MiniLLM 项目中使用的是 Llama1 还是 Llama2 版本？可以用 Llama1 的数据训练 Llama2 吗？","可以使用 Llama1 处理过的 roberta 数据集来训练基于 Llama2 的 MiniLLM。\n1. Llama1 和 Llama2 的分词器（tokenizer）差异很小，直接使用 Llama1 的数据对性能影响较小。\n2. 如果需要使用 Llama2 的分词器重新处理数据，可以将各个子数据集合并后进行分词，该数据集主要用于正则化，且训练中仅使用一小部分数据。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLMOps\u002Fissues\u002F218",{"id":167,"question_zh":168,"answer_zh":169,"source_url":165},14340,"在 MiniLLM 中使用 LoRA 进行 SFT（监督微调）会影响最终性能吗？如何选择最佳模型？","1. 虽然官方未专门测试过在 MiniLLM 中使用 LoRA 进行 SFT，但推测其对最终性能影响不大，特别是在受限于 GPU 数量无法进行全量微调时，这是一个可行的替代方案。\n2. 关于模型选择：如果在训练过程中保存了多个 epoch 的模型（例如 10 个文件夹），可以根据验证集上的 'rougeL score' 来选择表现最好的模型作为最终的 SFT 模型。",{"id":171,"question_zh":172,"answer_zh":173,"source_url":174},14341,"在多节点（Multi-node）环境下训练 Llama-7B\u002F13B 时 Loss 不下降，但在单节点正常，如何解决？","该问题通常与 DeepSpeed 配置在多节点环境下的优化策略有关。如果在多节点训练时 Loss 不下降且验证集分数降低，尝试在 DeepSpeed 配置中启用优化器卸载（offload_optimizer）到 CPU。\n修改 `ds_config.json` 如下：\n```json\n\"zero_optimization\": {\n    \"stage\": 2,\n    \"offload_optimizer\": {\n        \"device\": \"cpu\"\n    },\n    \"allgather_partitions\": true,\n    \"allgather_bucket_size\": 2e8,\n    \"overlap_comm\": true,\n    \"reduce_scatter\": true,\n    \"reduce_bucket_size\": 2e8,\n    \"contiguous_gradients\": true\n}\n```\n启用 `offload_optimizer: {\"device\": \"cpu\"}` 后，多节点训练的 Loss 通常会正常下降，评估指标也会逐步提升。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLMOps\u002Fissues\u002F91",[]]