[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-deepseek-ai--open-infra-index":3,"tool-deepseek-ai--open-infra-index":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159636,2,"2026-04-17T23:33:34",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":77,"owner_twitter":76,"owner_website":78,"owner_url":79,"languages":76,"stars":80,"forks":81,"last_commit_at":82,"license":83,"difficulty_score":84,"env_os":85,"env_gpu":86,"env_ram":87,"env_deps":88,"category_tags":95,"github_topics":76,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":96,"updated_at":97,"faqs":98,"releases":99},8862,"deepseek-ai\u002Fopen-infra-index","open-infra-index","Production-tested AI infrastructure tools for efficient AGI development and community-driven innovation","open-infra-index 是深度求索（DeepSeek）开源的一系列经过生产环境验证的 AI 基础设施工具集，旨在为高效开发通用人工智能（AGI）提供坚实的技术底座。它主要解决了大模型在训练与推理过程中面临的算力瓶颈、通信延迟高以及数据存储吞吐不足等核心难题，将原本封闭的内部工程能力转化为社区共享的开源成果。\n\n这套工具非常适合从事大模型底层优化的研究人员、系统工程师及开发者使用。其技术亮点显著：FlashMLA 针对 Hopper 架构 GPU 优化了变长序列解码，实现了极高的显存带宽利用率；DeepEP 提供了首个开源的专家混合（MoE）模型通信库，支持低延迟推理与高吞吐训练；DeepGEMM 则以极简的代码实现了高性能 FP8 矩阵运算；此外，双流水线并行策略（DualPipe）与高性能并行文件系统（3FS）进一步打破了计算与通信的壁垒，大幅提升了集群整体效率。open-infra-index 拒绝“纸上谈兵”，所有组件均源自真实业务场景的打磨，是构建下一代高效 AI 系统的宝贵资源。","\u003C!-- markdownlint-disable first-line-h1 -->\n\u003C!-- markdownlint-disable html -->\n\u003C!-- markdownlint-disable no-duplicate-header -->\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepSeek-V2\u002Fblob\u002Fmain\u002Ffigures\u002Flogo.svg?raw=true\" width=\"60%\" alt=\"DeepSeek-Open-Infra\" \u002F>\n\u003C\u002Fdiv>\n\u003Chr>\n\n# Hello, DeepSeek Open Infra!\n\n## 202505 Industry Track Paper (ISCA25)  \n### Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures\n[**📄 Arxiv Paper Link**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.09343)\n\n## 202504 [The Path to Open-Sourcing the DeepSeek Inference Engine](OpenSourcing_DeepSeek_Inference_Engine\u002FREADME.md)\n\n## 202502 Open-Source Week\nWe're a tiny team @deepseek-ai pushing our limits in AGI exploration.\n\nStarting **this week** , Feb 24, 2025 we'll open-source 5 repos – one daily drop – not because we've made grand claims, \nbut simply as developers sharing our small-but-sincere progress with full transparency.\n\nThese are humble building blocks of our online service: documented, deployed, and battle-tested in production. \nNo vaporware, just sincere code that moved our tiny yet ambitious dream forward.\n\nWhy? Because every line shared becomes collective momentum that accelerates the journey.\nDaily unlocks begin soon. No ivory towers - just pure garage-energy and community-driven innovation 🔧\n\nStay tuned – let's geek out in the open together.\n\n### Day 1 - [FlashMLA](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FFlashMLA)\n\n**Efficient MLA Decoding Kernel for Hopper GPUs**  \nOptimized for variable-length sequences, battle-tested in production  \n\n🔗 [**FlashMLA GitHub Repo**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FFlashMLA)  \n✅ BF16 support  \n✅ Paged KV cache (block size 64)  \n⚡ Performance: 3000 GB\u002Fs memory-bound | BF16 580 TFLOPS compute-bound on H800\n\n### Day 2 - [DeepEP](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepEP)\n\nExcited to introduce **DeepEP** - the first open-source EP communication library for MoE model training and inference.\n\n🔗 [**DeepEP GitHub Repo**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepEP)  \n✅ Efficient and optimized all-to-all communication  \n✅ Both intranode and internode support with NVLink and RDMA  \n✅ High-throughput kernels for training and inference prefilling  \n✅ Low-latency kernels for inference decoding  \n✅ Native FP8 dispatch support  \n✅ Flexible GPU resource control for computation-communication overlapping  \n\n### Day 3 - [DeepGEMM](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepGEMM)\n\nIntroducing **DeepGEMM** - an FP8 GEMM library that supports both dense and MoE GEMMs, powering V3\u002FR1 training and inference.\n\n🔗 [**DeepGEMM GitHub Repo**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepGEMM)  \n⚡ Up to 1350+ FP8 TFLOPS on Hopper GPUs  \n✅ No heavy dependency, as clean as a tutorial  \n✅ Fully Just-In-Time compiled  \n✅ Core logic at ~300 lines - yet outperforms expert-tuned kernels across most matrix sizes  \n✅ Supports dense layout and two MoE layouts  \n\n### Day 4 - Optimized Parallelism Strategies\n\n✅ **DualPipe** - a bidirectional pipeline parallelism algorithm for computation-communication overlap in V3\u002FR1 training.  \n🔗 [**GitHub Repo**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDualPipe)  \n\n✅ **EPLB** - an expert-parallel load balancer for V3\u002FR1.  \n🔗 [**GitHub Repo**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002Feplb)  \n\n📊 Analyze computation-communication overlap in V3\u002FR1.  \n🔗 [**GitHub Repo**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002Fprofile-data)  \n\n### Day 5 - 3FS, Thruster for All DeepSeek Data Access\n\n**Fire-Flyer File System (3FS)** - a parallel file system that utilizes the full bandwidth of modern SSDs and RDMA networks.\n\n⚡ 6.6 TiB\u002Fs aggregate read throughput in a 180-node cluster  \n⚡ 3.66 TiB\u002Fmin throughput on GraySort benchmark in a 25-node cluster  \n⚡ 40+ GiB\u002Fs peak throughput per client node for KVCache lookup  \n🧬 Disaggregated architecture with strong consistency semantics  \n✅ Training data preprocessing, dataset loading, checkpoint saving\u002Freloading, embedding vector search & KVCache lookups for inference in V3\u002FR1\n\n📥 **3FS** → 🔗[**GitHub Repo**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002F3FS)  \n⛲ **Smallpond** - data processing framework on 3FS → 🔗[**GitHub Repo**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002Fsmallpond)\n\n### Day 6 - One More Thing: DeepSeek-V3\u002FR1 Inference System Overview\n\nOptimized throughput and latency via:  \n🔧 Cross-node EP-powered batch scaling  \n🔄 Computation-communication overlap  \n⚖️ Load balancing  \n\nProduction data of V3\u002FR1 online services:  \n⚡ **73.7k\u002F14.8k** input\u002Foutput tokens per second per H800 node  \n🚀 Cost profit margin **545%**  \n\n![Cost And Theoretical Income.jpg](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdeepseek-ai_open-infra-index_readme_586e12a21bcd.jpg)\n\n💡 We hope this week's insights offer value to the community and contribute to our shared AGI goals.\n\n📖 Deep Dive: 🔗[Day 6 - One More Thing: DeepSeek-V3\u002FR1 Inference System Overview](202502OpenSourceWeek\u002Fday_6_one_more_thing_deepseekV3R1_inference_system_overview.md)  \n📖 中文版: 🔗[DeepSeek-V3 \u002F R1 推理系统概览](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F27181462601)\n\n## 2024 AI Infrastructure Paper (SC24)  \n### Fire-Flyer AI-HPC: A Cost-Effective Software-Hardware Co-Design for Deep Learning\n\n[**📄 Paper Link**](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002F10.1109\u002FSC41406.2024.00089)  \n[**📄 Arxiv Paper Link**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.14158)\n","\u003C!-- markdownlint-disable first-line-h1 -->\n\u003C!-- markdownlint-disable html -->\n\u003C!-- markdownlint-disable no-duplicate-header -->\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepSeek-V2\u002Fblob\u002Fmain\u002Ffigures\u002Flogo.svg?raw=true\" width=\"60%\" alt=\"DeepSeek-Open-Infra\" \u002F>\n\u003C\u002Fdiv>\n\u003Chr>\n\n# 你好，DeepSeek 开放基础设施！\n\n## 202505 行业赛道论文（ISCA25）  \n### DeepSeek-V3 洞察：扩展挑战与面向 AI 架构的硬件思考\n[**📄 Arxiv 论文链接**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.09343)\n\n## 202504 【DeepSeek 推理引擎开源之路】(OpenSourcing_DeepSeek_Inference_Engine\u002FREADME.md)\n\n## 202502 开源周\n我们是 @deepseek-ai 的一支小团队，在 AGI 探索的路上不断突破自我。\n\n从 **本周** 开始，即 2025 年 2 月 24 日起，我们将每天发布一个开源项目，连续五天，总共开源五个仓库。这并不是因为我们有过什么宏大的承诺，而只是作为开发者，以完全透明的方式分享我们虽小但真诚的进步。\n\n这些是我们在线服务的基础组件：有完整的文档、已在生产环境中部署并经过实战检验。没有空中楼阁式的炒作，只有真正推动我们这个渺小却充满雄心的梦想向前迈进的代码。\n\n为什么？因为每一段共享的代码，都会汇聚成集体的力量，加速整个进程。每日解锁即将开始。没有高高在上的象牙塔，只有纯粹的车库精神和社区驱动的创新 🔧\n\n敬请期待——让我们一起公开地交流技术心得吧。\n\n### 第一天 - [FlashMLA](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FFlashMLA)\n\n**适用于 Hopper GPU 的高效 MLA 解码内核**  \n针对变长序列优化，已在生产环境中经受考验  \n\n🔗 [**FlashMLA GitHub 仓库**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FFlashMLA)  \n✅ 支持 BF16 数据类型  \n✅ 分页 KV 缓存（块大小 64）  \n⚡ 性能：内存带宽极限 3000 GB\u002Fs | BF16 计算带宽极限 580 TFLOPS（H800 上）\n\n### 第二天 - [DeepEP](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepEP)\n\n我们很高兴推出 **DeepEP** —— 首个用于 MoE 模型训练与推理的开源 EP 通信库。\n\n🔗 [**DeepEP GitHub 仓库**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepEP)  \n✅ 高效优化的全互连通信  \n✅ 同时支持节点内与节点间通信，兼容 NVLink 和 RDMA  \n✅ 高吞吐量内核，适用于训练与推理预填充阶段  \n✅ 低延迟内核，专为推理解码设计  \n✅ 原生 FP8 调度支持  \n✅ 灵活的 GPU 资源控制，实现计算与通信重叠  \n\n### 第三天 - [DeepGEMM](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepGEMM)\n\n隆重推出 **DeepGEMM** —— 一款同时支持密集 GEMM 和 MoE GEMM 的 FP8 GEMM 库，为 V3\u002FR1 的训练与推理提供动力。\n\n🔗 [**DeepGEMM GitHub 仓库**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepGEMM)  \n⚡ 在 Hopper GPU 上最高可达 1350+ FP8 TFLOPS  \n✅ 无繁重依赖，简洁如教程示例  \n✅ 完全即时编译  \n✅ 核心逻辑仅约 300 行，却在大多数矩阵尺寸上超越专家调优的内核  \n✅ 支持密集布局及两种 MoE 布局  \n\n### 第四天 - 优化的并行策略\n\n✅ **DualPipe** —— 一种双向流水线并行算法，用于 V3\u002FR1 训练中的计算与通信重叠。  \n🔗 [**GitHub 仓库**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDualPipe)  \n\n✅ **EPLB** —— V3\u002FR1 专用的专家级负载均衡器。  \n🔗 [**GitHub 仓库**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002Feplb)  \n\n📊 分析 V3\u002FR1 中计算与通信的重叠情况。  \n🔗 [**GitHub 仓库**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002Fprofile-data)  \n\n### 第五天 - 3FS，DeepSeek 数据访问的强力引擎\n\n**Fire-Flyer 文件系统（3FS）** —— 一种充分利用现代 SSD 和 RDMA 网络带宽的并行文件系统。\n\n⚡ 在 180 节点集群中，总读取吞吐量达 6.6 TiB\u002Fs  \n⚡ 在 25 节点集群中，GraySort 基准测试的吞吐量为 3.66 TiB\u002Fmin  \n⚡ 每个客户端节点对 KVCache 查找的峰值吞吐量超过 40 GiB\u002Fs  \n🧬 分离式架构，具备强一致性语义  \n✅ 用于 V3\u002FR1 的训练数据预处理、数据集加载、检查点保存与加载、嵌入向量搜索以及推理中的 KVCache 查找\n\n📥 **3FS** → 🔗[**GitHub 仓库**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002F3FS)  \n⛲ **Smallpond** —— 基于 3FS 的数据处理框架 → 🔗[**GitHub 仓库**](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002Fsmallpond)\n\n### 第六天 - 还有一件事：DeepSeek-V3\u002FR1 推理系统概览\n\n通过以下方式优化吞吐量与延迟：  \n🔧 跨节点 EP 驱动的批量扩展  \n🔄 计算与通信重叠  \n⚖️ 负载均衡  \n\nV3\u002FR1 在线服务的实际运行数据：  \n⚡ 每个 H800 节点每秒可处理 73.7k 输入\u002F14.8k 输出标记  \n🚀 成本利润率高达 **545%**\n\n![成本与理论收益.jpg](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdeepseek-ai_open-infra-index_readme_586e12a21bcd.jpg)\n\n💡 我们希望本周的分享能为社区带来价值，并助力我们共同的 AGI 目标。\n\n📖 深度解析：🔗[第六天 - 还有一件事：DeepSeek-V3\u002FR1 推理系统概览](202502OpenSourceWeek\u002Fday_6_one_more_thing_deepseekV3R1_inference_system_overview.md)  \n📖 中文版：🔗[DeepSeek-V3 \u002F R1 推理系统概览](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F27181462601)\n\n## 2024 AI 基础设施论文（SC24）  \n### Fire-Flyer AI-HPC：面向深度学习的高性价比软硬件协同设计\n\n[**📄 论文链接**](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002F10.1109\u002FSC41406.2024.00089)  \n[**📄 Arxiv 论文链接**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.14158)","# open-infra-index 快速上手指南\n\n`open-infra-index` 并非单一软件包，而是 DeepSeek AI 开源基础设施系列的索引门户。它汇总了支撑 DeepSeek-V3\u002FR1 模型训练与推理的核心组件（如 FlashMLA, DeepEP, DeepGEMM, 3FS 等）。\n\n本指南将指导你如何根据需求选择并部署这些核心组件。由于各组件功能独立，请根据你的具体场景（如 MoE 通信、FP8 计算或高性能存储）选择对应的仓库进行安装。\n\n## 环境准备\n\n大多数 DeepSeek 基础设施组件专为现代 NVIDIA GPU 架构设计，特别是 Hopper (H800\u002FH100) 系列，部分支持 Ampere。\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu 20.04\u002F22.04 或 CentOS 7+)\n- **GPU**: NVIDIA Hopper (H800\u002FH100) 或 Ampere (A100\u002FA800)\n- **CUDA**: 12.0 或更高版本\n- **编译器**: GCC 9+ 或 compatible with CUDA toolkit\n- **网络**: 如需多机通信（DeepEP），需配置 NVLink 和 RDMA (InfiniBand\u002FRoCE)\n\n### 前置依赖\n确保已安装以下基础工具：\n```bash\n# 更新包管理器并安装基础依赖 (Ubuntu 示例)\nsudo apt-get update\nsudo apt-get install -y git cmake build-essential libnuma-dev libibverbs-dev\n\n# 验证 CUDA 安装\nnvcc --version\nnvidia-smi\n```\n\n> **提示**：国内开发者建议使用清华源或阿里源加速 `apt` 和 `pip` 包的下载。\n\n## 安装步骤\n\n由于该索引包含多个独立项目，请选择你需要的组件克隆并安装。以下以核心计算库 **DeepGEMM** 和通信库 **DeepEP** 为例。\n\n### 1. 获取代码\n```bash\n# 克隆所需的具体仓库 (以 DeepGEMM 为例)\ngit clone https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepGEMM.git\ncd DeepGEMM\n\n# 或者克隆 DeepEP\n# git clone https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepEP.git\n# cd DeepEP\n```\n\n> **加速建议**：如果 GitHub 访问缓慢，可使用国内镜像站（如 Gitee 镜像，若有）或通过代理加速克隆。\n\n### 2. 安装 Python 依赖\n建议使用虚拟环境（conda 或 venv）以避免冲突。\n\n```bash\n# 创建并激活虚拟环境\nconda create -n deepseek-infra python=3.10 -y\nconda activate deepseek-infra\n\n# 安装核心依赖 (PyTorch 需匹配你的 CUDA 版本)\n# 推荐使用 PyTorch 官方提供的 CUDA 12.x 版本\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu121\n\n# 安装项目特定依赖\npip install -r requirements.txt\n```\n\n### 3. 编译与构建\n大多数底层算子库需要即时编译 (JIT) 或手动构建 C++\u002FCUDA 扩展。\n\n**对于 DeepGEMM (JIT 模式):**\n无需额外编译步骤，首次运行时会自动 JIT 编译内核。确保 `nvcc` 在路径中即可。\n\n**对于 DeepEP (需手动构建):**\n```bash\n# 安装开发依赖\npip install ninja packaging\n\n# 构建扩展\npython setup.py build_ext --inplace\n```\n\n**对于 3FS (文件系统):**\n3FS 是一个独立的并行文件系统，需要在操作系统层面部署，而非简单的 pip 安装。请参考其仓库中的 `docs\u002Fbuild.md` 进行源码编译和集群配置。\n\n## 基本使用\n\n以下展示如何在 Python 中调用核心组件的最简示例。\n\n### 示例 1: 使用 DeepGEMM 进行 FP8 矩阵乘法\nDeepGEMM 提供了简洁的 API 来执行高性能 FP8 GEMM 操作。\n\n```python\nimport torch\nimport deep_gemm\n\n# 准备输入张量 (FP8 格式)\n# 注意：实际使用时需根据模型权重形状调整维度\nM, N, K = 1024, 1024, 1024\na = torch.randn((M, K), dtype=torch.float8_e4m3fn, device='cuda')\nb = torch.randn((N, K), dtype=torch.float8_e4m3fn, device='cuda').t()\n\n# 执行矩阵乘法\n# deep_gemm.gemm_fp8_fp8_bf16 是核心接口\nc = deep_gemm.gemm_fp8_fp8_bf16(a, b)\n\nprint(f\"Output shape: {c.shape}, dtype: {c.dtype}\")\n```\n\n### 示例 2: 使用 DeepEP 进行 MoE 通信\nDeepEP 用于处理专家并行（Expert Parallelism）中的 All-to-All 通信。\n\n```python\nimport torch\nimport deep_ep\n\n# 初始化通信组 (假设已在 torch.distributed 环境中)\n# 此处仅为伪代码示意，实际需配合 distributed training 脚本\nbuffer = deep_ep.Buffer(\n    group=None,  # 替换为实际的 process_group\n    num_max_dispatch_tokens_per_rank=1024,\n    num_experts=128,\n    rank=0,      # 当前 GPU rank\n    world_size=1 # 总 GPU 数\n)\n\n# 模拟局部令牌数据\nlocal_tokens = torch.randn(100, 1024, dtype=torch.bfloat16, device='cuda')\nexpert_indices = torch.randint(0, 128, (100,), device='cuda')\n\n# 执行 dispatch (发送数据到对应专家)\nreceived_tokens, received_indices, handle = buffer.dispatch(\n    local_tokens, \n    expert_indices=expert_indices\n)\n\nprint(f\"Dispatched tokens shape: {received_tokens.shape}\")\n```\n\n### 示例 3: 集成 FlashMLA (注意力解码)\nFlashMLA 通常作为底层 Kernel 被推理引擎调用，直接调用示例如下：\n\n```python\n# FlashMLA 主要优化变长序列的 MLA 解码\n# 具体调用方式依赖于集成的推理框架 (如 vLLM 或自研引擎)\n# 以下为概念性调用示意\nfrom flash_mla import flash_mla_func\n\n# q, kv, seqlens 等参数需严格对齐 Hopper 架构要求\noutput = flash_mla_func(q, kv, seqlens, causal=True)\n```\n\n> **注意**：生产环境中，这些组件通常被封装在完整的推理服务（如 DeepSeek 开源的推理引擎）中。单独使用时，请严格参考各仓库 `examples\u002F` 目录下的测试脚本以获取最新的参数配置。","某 AI 初创团队正基于 DeepSeek-V3 架构训练超大规模 MoE（混合专家）模型，亟需在有限算力下突破训练效率瓶颈。\n\n### 没有 open-infra-index 时\n- **通信成为致命短板**：缺乏专用的 EP 通信库，多节点间专家路由的 All-to-All 通信延迟极高，导致昂贵的 H800 GPU 大量时间处于空闲等待状态。\n- **算子性能未达极限**：自行编写的 FP8 矩阵乘法内核未经过生产级验证，计算吞吐量远低于硬件理论值，且难以支持动态变化的 MoE 负载。\n- **存储 IO 严重阻塞**：传统文件系统无法承载海量训练数据的并发读取与高频 Checkpoint 写入，数据加载速度跟不上计算速度，集群整体利用率不足 40%。\n- **并行策略调试困难**：缺乏成熟的流水线并行算法参考，团队需从零摸索计算与通信的重叠方案，研发周期被无谓拉长数周。\n\n### 使用 open-infra-index 后\n- **通信效率质的飞跃**：集成 DeepEP 库后，利用其原生 FP8 分发与 RDMA 优化，实现了节点间低延迟通信，彻底消除了 MoE 模型训练中的通信阻塞。\n- **算力释放最大化**：直接部署 DeepGEMM 与 FlashMLA，在 Hopper 架构上跑满 1350+ TFLOPS 的 FP8 算力，并显著提升了长序列推理的显存带宽利用率。\n- **数据吞吐无缝衔接**：引入 3FS 并行文件系统，单客户端峰值吞吐超 40 GiB\u002Fs，完美支撑了从数据预处理到 KVCache 查找的全链路高速访问。\n- **架构落地立竿见影**：复用 DualPipe 双向流水线算法与 EPLB 负载均衡器，快速实现了计算 - 通信重叠，让集群有效训练时长占比提升至 90% 以上。\n\nopen-infra-index 将深求智能经过生产环境残酷考验的基础设施能力转化为开源组件，帮助开发者跳过重复造轮子的坑，直接站在巨人的肩膀上加速 AGI 创新。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdeepseek-ai_open-infra-index_ae96db1a.png","deepseek-ai","DeepSeek","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fdeepseek-ai_04503588.png","",null,"service@deepseek.com","https:\u002F\u002Fwww.deepseek.com\u002F","https:\u002F\u002Fgithub.com\u002Fdeepseek-ai",7976,286,"2026-04-17T07:34:50","CC0-1.0",5,"Linux","必需 NVIDIA Hopper 架构 GPU (如 H800)，支持 BF16 和 FP8，需 NVLink 和 RDMA 支持","未说明 (依赖集群规模，文中提及 180 节点集群)",{"notes":89,"python":90,"dependencies":91},"该项目是 DeepSeek 开源周发布的多个底层基础设施组件的索引（包括 FlashMLA、DeepEP、DeepGEMM、3FS 等），主要面向大规模集群训练和推理优化。核心组件针对 Hopper GPU 进行了极致优化（如 FP8 GEMM、高效 MoE 通信）。包含高性能并行文件系统 3FS，需配合 RDMA 网络使用。这不是一个单一的 Python 包，而是一套生产级系统组件集合。","未说明",[92,93,94],"NVLink","RDMA","现代 SSDs",[14],"2026-03-27T02:49:30.150509","2026-04-18T14:31:51.167160",[],[]]