[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-thu-pacman--chitu":3,"tool-thu-pacman--chitu":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",151918,2,"2026-04-12T11:33:05",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":108,"forks":109,"last_commit_at":110,"license":111,"difficulty_score":10,"env_os":112,"env_gpu":113,"env_ram":114,"env_deps":115,"category_tags":119,"github_topics":120,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":127,"updated_at":128,"faqs":129,"releases":160},6966,"thu-pacman\u002Fchitu","chitu","High-performance inference framework for large language models, focusing on efficiency, flexibility, and availability.","Chitu「赤兔」是一款专注于效率、灵活性与可用性的高性能大语言模型推理框架，旨在为企业级 AI 应用提供生产级的部署解决方案。它主要解决了大模型在不同硬件环境下部署难、推理速度慢以及大规模集群稳定性不足的问题，帮助用户平滑地从单卡试验过渡到大规模集群落地。\n\nChitu 特别适合需要构建高并发 AI 服务的开发者、运维工程师以及致力于模型落地的企业技术团队。其核心亮点在于强大的多元算力适配能力，不仅全面支持 NVIDIA 各代显卡，还深度优化了华为昇腾、沐曦、海光等国产芯片，打破了硬件壁垒。此外，Chitu 具备全场景可伸缩性，支持从纯 CPU、单机异构混合推理到千卡集群的弹性部署，并引入了 FP4\u002FFP8 高效量化算子等技术，显著提升了如 DeepSeek-R1 等超大模型的推理性能与资源利用率。无论是快速验证原型还是承载生产流量，Chitu 都能提供稳定且高效的引擎支持。","\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthu-pacman_chitu_readme_adcb079fe504.png\" width=\"20%\">\n\n# Chitu「赤兔」\n\n[![Ask DeepWiki](https:\u002F\u002Fdeepwiki.com\u002Fbadge.svg)](https:\u002F\u002Fdeepwiki.com\u002Fthu-pacman\u002Fchitu)\n\n中文 | [English](\u002Fdocs\u002Fen\u002FREADME.md)\n\nChitu「赤兔」是一个专注于效率、灵活性和可用性的高性能大模型推理框架。\n\n## 里程碑\n\n* [2026\u002F02\u002F06] 发布 v0.5.1，适配摩尔线程 GPU。\n* [2025\u002F12\u002F12] 发布 v0.5.0，重点提升集群部署场景的性能。\n* [2025\u002F08\u002F01] 发布 v0.4.0，大幅提升了一体机推理部署场景的性能和稳定性，适配昇腾、英伟达、沐曦、海光，支持 DeepSeek、Qwen、GLM、Kimi 等模型。\n* [2025\u002F07\u002F28] 发布 v0.3.9，首发支持华为昇腾 910B 推理部署智谱 GLM-4.5 MoE 模型。\n* [2025\u002F06\u002F12] 发布 v0.3.5，提供昇腾 910B 完整原生支持，提供 Qwen3 系列模型高性能推理方案。\n* [2025\u002F04\u002F29] 发布 v0.3.0，新增 FP4 在线转 FP8、BF16 的高效算子实现，支持 DeepSeek-R1 671B 的 [FP4 量化版](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002FDeepSeek-R1-FP4)。\n* [2025\u002F04\u002F18] 发布 v0.2.2，新增 CPU+GPU 异构混合推理支持，实现单卡推理 DeepSeek-R1 671B。\n* [2025\u002F03\u002F14] 发布 v0.1.0，支持 DeepSeek-R1 671B，提供 FP8 在线转 BF16 的高效算子实现。\n\n## 简介\n\n赤兔定位于「生产级大模型推理引擎」，充分考虑企业 AI 落地从小规模试验到大规模部署的渐进式需求，专注于提供以下重要特性：\n\n- **多元算力适配**：不仅支持 NVIDIA 最新旗舰到旧款的多系列产品，也为国产芯片提供优化支持。\n- **全场景可伸缩**：从纯 CPU 部署、单 GPU 部署到大规模集群部署，赤兔引擎提供可扩展的解决方案。\n- **长期稳定运行**：可应用于实际生产环境，稳定性足以承载并发业务流量。\n\n项目团队感谢广大用户及开源社区提出的宝贵意见和建议，并将持续改进赤兔推理引擎。\n然而，受制于团队成员的精力，无法保证及时解决所有用户在使用中遇到问题。\n如需专业技术服务，欢迎致信 solution@chitu.ai\n\n## 测试数据\n\n请参阅赤兔开发团队测试的[性能数据](docs\u002Fzh\u002FPERFORMANCE.md)，也欢迎分享您的[自测数据](https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fdiscussions\u002F104)。\n\n性能数据与您的硬件配置、软件版本、测试负载相关，多次测试结果可能存在波动。\n\n## 安装使用\n\n请参阅[开发手册](\u002Fdocs\u002Fzh\u002FDEVELOPMENT.md)获取完整的安装使用说明。\n\n对于在单机环境上快速验证的场景，建议使用官方镜像进行部署。目前提供适用于以下平台的镜像：\n- 英伟达（arch 8.0、8.9）：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_80_89:latest\n- 英伟达（arch 9.0）：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_90:latest\n- 沐曦：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:latest\n- 昇腾（A2）：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a2:latest\n- 昇腾（A3）：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a3:latest\n\n### 查看支持的模型\n\n更多模型请参见 [支持的模型](\u002Fdocs\u002Fzh\u002FSUPPORTED_MODELS.md)。\n\n## 参与开发\n\n赤兔项目欢迎开源社区的朋友们参与项目共建，请参阅[贡献指南](\u002Fdocs\u002Fzh\u002FCONTRIBUTING.md)。\n\n## 交流讨论\n\n如果您有任何问题或疑虑，欢迎提交issue。\n\n您也可以扫码加入赤兔交流微信群：\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthu-pacman_chitu_readme_79f97ed20ee2.png\" width=\"20%\">\n\n## 许可证\n\n本项目采用 Apache License v2.0 许可证 - 详见 [LICENSE](\u002FLICENSE) 文件。\n\n本代码仓库还引用了一些来自其他开源项目的代码片段，相关版权信息已在代码中以 SPDX 格式标注。这些代码片段的许可证信息可以在 `LICENSES\u002F` 目录下找到。\n\n本代码仓库还包含遵循其他开源许可证的第三方子模块。您可以在 `third_party\u002F` 目录下找到这些子模块，该目录中包含了它们各自的许可证文件。\n\n## 常见问题\n\n[中文](\u002Fdocs\u002Fzh\u002FFAQ.md) | [English](\u002Fdocs\u002Fen\u002FFAQ.md)\n\n## 致谢\n\n非常感谢来自华为、沐曦、海光、燧原、智谱、中国电信、并行科技等各方的帮助。\n\n在构建 Chitu 的过程中，我们从以下项目（按字母排序）中学到了很多，并复用了一些函数：\n\n- [DeepSeek](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai)\n- [FlashAttention](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention)\n- [FlashInfer](https:\u002F\u002Fgithub.com\u002Fflashinfer-ai\u002Fflashinfer)\n- [KTransformers](https:\u002F\u002Fgithub.com\u002Fkvcache-ai\u002Fktransformers)\n- [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp)\n- [SGLang](https:\u002F\u002Fgithub.com\u002Fsgl-project\u002Fsglang)\n- [TensorRT-LLM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM)\n- [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm)\n\n我们将持续为开源社区贡献更高效、更灵活、更兼容、更稳定的大模型推理部署解决方案。\n","\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthu-pacman_chitu_readme_adcb079fe504.png\" width=\"20%\">\n\n# Chitu「赤兔」\n\n[![Ask DeepWiki](https:\u002F\u002Fdeepwiki.com\u002Fbadge.svg)](https:\u002F\u002Fdeepwiki.com\u002Fthu-pacman\u002Fchitu)\n\n中文 | [English](\u002Fdocs\u002Fen\u002FREADME.md)\n\nChitu「赤兔」是一个专注于效率、灵活性和可用性的高性能大模型推理框架。\n\n## 里程碑\n\n* [2026\u002F02\u002F06] 发布 v0.5.1，适配摩尔线程 GPU。\n* [2025\u002F12\u002F12] 发布 v0.5.0，重点提升集群部署场景的性能。\n* [2025\u002F08\u002F01] 发布 v0.4.0，大幅提升了一体机推理部署场景的性能和稳定性，适配昇腾、英伟达、沐曦、海光，支持 DeepSeek、Qwen、GLM、Kimi 等模型。\n* [2025\u002F07\u002F28] 发布 v0.3.9，首发支持华为昇腾 910B 推理部署智谱 GLM-4.5 MoE 模型。\n* [2025\u002F06\u002F12] 发布 v0.3.5，提供昇腾 910B 完整原生支持，提供 Qwen3 系列模型高性能推理方案。\n* [2025\u002F04\u002F29] 发布 v0.3.0，新增 FP4 在线转 FP8、BF16 的高效算子实现，支持 DeepSeek-R1 671B 的 [FP4 量化版](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002FDeepSeek-R1-FP4)。\n* [2025\u002F04\u002F18] 发布 v0.2.2，新增 CPU+GPU 异构混合推理支持，实现单卡推理 DeepSeek-R1 671B。\n* [2025\u002F03\u002F14] 发布 v0.1.0，支持 DeepSeek-R1 671B，提供 FP8 在线转 BF16 的高效算子实现。\n\n## 简介\n\n赤兔定位于「生产级大模型推理引擎」，充分考虑企业 AI 落地从小规模试验到大规模部署的渐进式需求，专注于提供以下重要特性：\n\n- **多元算力适配**：不仅支持 NVIDIA 最新旗舰到旧款的多系列产品，也为国产芯片提供优化支持。\n- **全场景可伸缩**：从纯 CPU 部署、单 GPU 部署到大规模集群部署，赤兔引擎提供可扩展的解决方案。\n- **长期稳定运行**：可应用于实际生产环境，稳定性足以承载并发业务流量。\n\n项目团队感谢广大用户及开源社区提出的宝贵意见和建议，并将持续改进赤兔推理引擎。\n然而，受制于团队成员的精力，无法保证及时解决所有用户在使用中遇到问题。\n如需专业技术服务，欢迎致信 solution@chitu.ai\n\n## 测试数据\n\n请参阅赤兔开发团队测试的[性能数据](docs\u002Fzh\u002FPERFORMANCE.md)，也欢迎分享您的[自测数据](https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fdiscussions\u002F104)。\n\n性能数据与您的硬件配置、软件版本、测试负载相关，多次测试结果可能存在波动。\n\n## 安装使用\n\n请参阅[开发手册](\u002Fdocs\u002Fzh\u002FDEVELOPMENT.md)获取完整的安装使用说明。\n\n对于在单机环境上快速验证的场景，建议使用官方镜像进行部署。目前提供适用于以下平台的镜像：\n- 英伟达（arch 8.0、8.9）：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_80_89:latest\n- 英伟达（arch 9.0）：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_90:latest\n- 沐曦：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:latest\n- 昇腾（A2）：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a2:latest\n- 昇腾（A3）：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a3:latest\n\n### 查看支持的模型\n\n更多模型请参见 [支持的模型](\u002Fdocs\u002Fzh\u002FSUPPORTED_MODELS.md)。\n\n## 参与开发\n\n赤兔项目欢迎开源社区的朋友们参与项目共建，请参阅[贡献指南](\u002Fdocs\u002Fzh\u002FCONTRIBUTING.md)。\n\n## 交流讨论\n\n如果您有任何问题或疑虑，欢迎提交issue。\n\n您也可以扫码加入赤兔交流微信群：\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthu-pacman_chitu_readme_79f97ed20ee2.png\" width=\"20%\">\n\n## 许可证\n\n本项目采用 Apache License v2.0 许可证 - 详见 [LICENSE](\u002FLICENSE) 文件。\n\n本代码仓库还引用了一些来自其他开源项目的代码片段，相关版权信息已在代码中以 SPDX 格式标注。这些代码片段的许可证信息可以在 `LICENSES\u002F` 目录下找到。\n\n本代码仓库还包含遵循其他开源许可证的第三方子模块。您可以在 `third_party\u002F` 目录下找到这些子模块，该目录中包含了它们各自的许可证文件。\n\n## 常见问题\n\n[中文](\u002Fdocs\u002Fzh\u002FFAQ.md) | [English](\u002Fdocs\u002Fen\u002FFAQ.md)\n\n## 致谢\n\n非常感谢来自华为、沐曦、海光、燧原、智谱、中国电信、并行科技等各方的帮助。\n\n在构建 Chitu 的过程中，我们从以下项目（按字母排序）中学到了很多，并复用了一些函数：\n\n- [DeepSeek](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai)\n- [FlashAttention](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention)\n- [FlashInfer](https:\u002F\u002Fgithub.com\u002Fflashinfer-ai\u002Fflashinfer)\n- [KTransformers](https:\u002F\u002Fgithub.com\u002Fkvcache-ai\u002Fktransformers)\n- [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp)\n- [SGLang](https:\u002F\u002Fgithub.com\u002Fsgl-project\u002Fsglang)\n- [TensorRT-LLM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM)\n- [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm)\n\n我们将持续为开源社区贡献更高效、更灵活、更兼容、更稳定的大模型推理部署解决方案。","# Chitu「赤兔」快速上手指南\n\nChitu 是一个专注于效率、灵活性和可用性的高性能大模型推理框架，支持多元算力（英伟达、昇腾、沐曦等）及全场景部署。\n\n## 1. 环境准备\n\n### 系统要求\n- **操作系统**：推荐 Linux (Ubuntu 20.04\u002F22.04 或兼容发行版)\n- **硬件支持**：\n  - **NVIDIA GPU**：架构 8.0, 8.9, 9.0 (如 A100, H100, H800 等)\n  - **华为昇腾**：910B (A2\u002FA3 版本)\n  - **国产芯片**：沐曦、海光等\n- **软件依赖**：Docker (推荐用于快速验证)\n\n### 前置检查\n确保已安装 Docker 并配置好对应的 GPU 驱动及容器运行时（如 NVIDIA Container Toolkit 或 Ascend Docker Runtime）。\n\n## 2. 安装步骤\n\n对于单机快速验证场景，推荐使用官方提供的预构建镜像。请根据您的硬件平台选择对应的镜像地址（已优化国内访问）：\n\n### 拉取镜像\n\n**NVIDIA GPU (架构 8.0 \u002F 8.9)**\n```bash\ndocker pull qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_80_89:latest\n```\n\n**NVIDIA GPU (架构 9.0)**\n```bash\ndocker pull qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_90:latest\n```\n\n**沐曦 (Muxi)**\n```bash\ndocker pull qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:latest\n```\n\n**华为昇腾 (Ascend A2)**\n```bash\ndocker pull qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a2:latest\n```\n\n**华为昇腾 (Ascend A3)**\n```bash\ndocker pull qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a3:latest\n```\n\n> **注意**：如需从源码编译或进行深度开发，请参阅 [开发手册](\u002Fdocs\u002Fzh\u002FDEVELOPMENT.md)。\n\n## 3. 基本使用\n\n以下以 NVIDIA 环境为例，展示如何启动容器并运行推理服务。其他硬件平台只需替换镜像名称并确保宿主机驱动正常即可。\n\n### 启动推理服务\n\n假设您要部署一个支持的模型（如 Qwen 或 DeepSeek 系列），使用以下命令启动容器并映射端口：\n\n```bash\ndocker run --gpus all -it --rm \\\n  -p 8000:8000 \\\n  -v \u002Fpath\u002Fto\u002Fyour\u002Fmodels:\u002Fmodels \\\n  qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_80_89:latest \\\n  python -m chitu.entrypoint --model_path \u002Fmodels\u002FQwen2.5-7B-Instruct --port 8000\n```\n\n*注：具体启动参数（如 `--model_path`）需根据实际模型路径和调整，更多参数请参考 [支持的模型](\u002Fdocs\u002Fzh\u002FSUPPORTED_MODELS.md) 文档。*\n\n### 发送测试请求\n\n服务启动后，可通过 HTTP API 发送测试请求：\n\n```bash\ncurl http:\u002F\u002Flocalhost:8000\u002Fgenerate \\\n  -H \"Content-Type: application\u002Fjson\" \\\n  -d '{\n    \"prompt\": \"你好，请介绍一下赤兔框架\",\n    \"max_tokens\": 512\n  }'\n```\n\n若返回生成内容，即表示部署成功。","某金融科技公司计划在私有化部署环境中上线基于 DeepSeek-R1 671B 的智能风控助手，需同时适配华为昇腾 910B 与英伟达旧款 GPU 混合算力集群。\n\n### 没有 chitu 时\n- **硬件适配困难**：原生框架对国产昇腾芯片支持不完善，团队需耗费数周手动移植算子，且无法利用存量旧款 NVIDIA 显卡。\n- **超大模型部署受阻**：671B 参数量的 MoE 模型显存占用极高，单卡无法加载，缺乏高效的 CPU+GPU 异构推理方案导致项目停滞。\n- **推理性能低下**：未针对 FP4\u002FFP8 量化进行底层优化，高并发下首字延迟超过 2 秒，无法满足实时风控的业务 SLA。\n- **运维稳定性差**：缺乏生产级容错机制，长时运行后易出现显存泄漏或服务崩溃，难以承载连续业务流量。\n\n### 使用 chitu 后\n- **多元算力即插即用**：chitu 原生适配昇腾 910B 及多代 NVIDIA 架构，无需修改代码即可统一调度异构资源，大幅降低迁移成本。\n- **异构混合推理落地**：利用 chitu 的 CPU+GPU 混合推理特性，成功在单卡环境下启动 671B 模型，并通过动态卸载技术解决显存瓶颈。\n- **极致性能释放**：借助 chitu 内置的 FP4 在线转 BF16 高效算子，量化推理吞吐量提升 3 倍，首字延迟降至 200 毫秒以内。\n- **生产级稳定运行**：框架专为长期服务设计，在压力测试中连续运行 72 小时无故障，完美支撑日均百万次的风控调用请求。\n\nchitu 通过屏蔽底层硬件差异并提供极致的异构推理优化，让超大规模模型在国产化混合算力集群上的低成本、高性能落地成为现实。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthu-pacman_chitu_0a3f9f7b.png","thu-pacman","PACMAN Group, Tsinghua University","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fthu-pacman_6d92379d.png","Parallel Architecture & Compiler technology of Mobile, Accelerated, and Networked systems",null,"https:\u002F\u002Fpacman.cs.tsinghua.edu.cn","https:\u002F\u002Fgithub.com\u002Fthu-pacman",[80,84,88,92,96,100,104],{"name":81,"color":82,"percentage":83},"Python","#3572A5",80.7,{"name":85,"color":86,"percentage":87},"C++","#f34b7d",8.1,{"name":89,"color":90,"percentage":91},"Cuda","#3A4E3A",7.5,{"name":93,"color":94,"percentage":95},"Shell","#89e051",2.5,{"name":97,"color":98,"percentage":99},"Dockerfile","#384d54",0.9,{"name":101,"color":102,"percentage":103},"HTML","#e34c26",0.3,{"name":105,"color":106,"percentage":107},"C","#555555",0.1,3431,354,"2026-04-12T09:40:52","Apache-2.0","Linux","必需。支持 NVIDIA (Arch 8.0, 8.9, 9.0)、华为昇腾 (910B\u002FA2\u002FA3)、沐曦、海光、摩尔线程。提供官方 Docker 镜像适配不同架构。","未说明（取决于模型大小，支持单卡推理 671B 参数模型需配合 CPU 异构混合推理）",{"notes":116,"python":117,"dependencies":118},"建议使用官方提供的 Docker 镜像进行快速部署，镜像已针对不同硬件平台（英伟达、沐曦、昇腾等）预配置环境。支持纯 CPU、单 GPU 及大规模集群部署。支持 DeepSeek-R1 671B 等大模型的 FP4\u002FFP8 量化推理及 CPU+GPU 异构混合推理。如需专业技术服务可联系 solution@chitu.ai。","未说明",[117],[35,14],[121,122,123,124,125,126],"deepseek","gpu","llm","pytorch","llm-serving","model-serving","2026-03-27T02:49:30.150509","2026-04-13T06:11:52.014628",[130,135,140,145,150,155],{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},31399,"微信群人数超过 200 人无法扫码加入怎么办？","可以添加“赤兔小助手”的微信，由小助手手动将您拉入群组。","https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fissues\u002F10",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},31400,"如何获取开箱即用的 Docker 镜像以替代 vLLM？","项目已提供 Dockerfile，您可以参考仓库根目录下的 Dockerfile 自行构建镜像：https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fblob\u002Fpublic-main\u002FDockerfile","https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fissues\u002F7",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},31401,"运行时报错 'World size not match' 是什么原因？","该错误通常是因为 torchrun 启动参数与配置参数不匹配。例如，如果您使用 `torchrun --nproc_per_node 8` 启动，则代表 tp_size=8，此时配置参数 `infer.tp_size` 也必须设置为 8，若设置为 1 则会报错。请确保 `--nproc_per_node` 的值等于 `infer.tp_size` 乘以 `infer.pp_size`。","https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fissues\u002F84",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},31402,"安装或运行时遇到 'undefined symbol: ...fmt...' 相关报错如何解决？","这通常是因为缺少子模块（如 spdlog）。如果您是直接下载的 ZIP 包而非使用 git 克隆，会导致子模块缺失。解决方法是使用递归克隆命令获取完整代码：\n`git clone --recursive https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu`\n然后重新执行安装步骤。","https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fissues\u002F40",{"id":151,"question_zh":152,"answer_zh":153,"source_url":154},31403,"如何在多机集群环境中配置和启动赤兔（Chitu）？","可以使用 `torchrun` 来构建集群。示例命令如下：\n节点 0：`torchrun --nproc_per_node=8 --nnodes=2 --node_rank=0 --master_addr=\"192.168.1.1\" --master_port=29500 train.py`\n节点 1：`torchrun --nproc_per_node=8 --nnodes=2 --node_rank=1 --master_addr=\"192.168.1.1\" --master_port=29500 train.py`\n请根据实际网络环境和节点数量调整 `--nnodes`、`--node_rank` 和 `--master_addr` 参数。","https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fissues\u002F45",{"id":156,"question_zh":157,"answer_zh":158,"source_url":159},31404,"在流水线并行（Pipeline Parallel）中遇到显存分配不均导致 OOM，如何手动分割流水线？","目前可以通过直接修改配置文件 `chitu\u002Fconfig\u002Fserve_config.yaml` 来设置流水线分割。虽然命令行解析脚本可能存在兼容性问题，但直接编辑 YAML 文件是有效的临时解决方案。后续版本将修复命令行参数的兼容性问题。","https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fissues\u002F39",[161,166,171,176,181,186,191,196,201,206,211,216,221,226,231,236,241,246,251,256],{"id":162,"version":163,"summary_zh":164,"released_at":165},231096,"v0.5.4","- 新模型：GLM-5.1 系列和 Kimi-K2.5。\r\n- 兼容 OpenAI `\u002Fresponse` API（[文档](https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fblob\u002Fpublic-main\u002Fdocs\u002Fzh\u002FAPI_PARAMETERS.md#responses-%E6%8E%A5%E5%8F%A3)）。\r\n- 支持在 Qwen3-Next 和 Qwen3.5 系列模型中使用 MTP。\r\n- 支持在 DP 并行时例外地 TP 并行 `embed_token` 和 `lm_head` 层（设置 `infer.embed_tokens_lm_head_tp_size` 使用）。\r\n- 新增优雅关闭服务的功能。\r\n- 新增内置的 profiling 功能。\r\n- 优化 DeepSeek-V3.2 及类似模型中的稀疏 attention。\r\n- 弃用 `infer.max_reqs` 选项，改为意义更明确的 `infer.max_batch_size` 和 `infer.max_concurrent_requests` 选项。\r\n- 增加 `infer.mla_absorb=auto` 选项，并将 `auto` 作为默认值。\r\n- 重构有状态的采样器。\r\n- 重构 KV cache，使其更能适配不同种类的模型。\r\n- 重构代码仓库中包含的若干测试。\r\n- 修复前缀缓存中的若干问题。\r\n- 修复 MoE 算子分发以及 DeepGEMM 集成的若干问题。\r\n- 修复 log 不能被完整存储到文件的问题。\r\n- 修复带有稠密层的 MoE 模型无法使用 DP+EP+PP 并行的问题。\r\n- 修复依据 `infer.memory_utilization` 选项自动分配 KV cache 时的计算错误。\r\n- 修复监控数据中显存占用量的显示错误。\r\n- 进一步修复 tokenizer 解码特殊字符时的问题。\r\n\r\n------\r\n\r\n- 新模型：GLM-5.1 系列和 Kimi-K2.5。\r\n- 兼容 OpenAI `\u002Fresponse` API（[文档](https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fblob\u002Fpublic-main\u002Fdocs\u002Fen\u002FAPI_PARAMETERS.md#responses-endpoint)）。\r\n- Qwen3-Next 和 Qwen3.5 系列模型支持 MTP。\r\n- 在使用 DP 并行其他层时，可例外地对 `embed_token` 和 `lm_head` 层使用 TP 并行（需设置 `infer.embed_tokens_lm_head_tp_size` 参数）。\r\n- 新增服务优雅关闭功能。\r\n- 新增内置性能分析功能。\r\n- 优化 DeepSeek-V3.2 及类似模型中的稀疏注意力机制。\r\n- 废弃 `infer.max_reqs` 参数，改用含义更清晰的 `infer.max_batch_size` 和 `infer.max_concurrent_requests` 参数。\r\n- 新增 `infer.mla_absorb=auto` 参数，默认值为 `auto`。\r\n- 重构带状态的采样器。\r\n- 重构 KV 缓存，使其更好地适应不同类型的模型。\r\n- 重构代码库中的部分测试用例。\r\n- 修复前缀缓存相关问题。\r\n- 修复 MoE 算子调度及 DeepGEMM 集成中的若干问题。\r\n- 修复日志无法完整保存到文件的问题。\r\n- 修复带有稠密层的 MoE 模型与 DP+EP+PP 并行不兼容的问题。\r\n- 修复根据 `infer.memory_utilization` 自动分配 KV 缓存时的计算错误。\r\n- 修复监控数据中显存占用量显示错误的问题。\r\n- 进一步修复 tokenizer 解码特殊字符时的问题。\r\n\r\n------\r\n\r\n官方 Docker 镜像 \u002F 官方 docker 镜像:\r\n\r\n- 英伟达 \u002F NVIDIA (arch 8.0, 8.9): qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_80_89:v0.5.4\r\n- 英伟达 \u002F NVIDIA (arch 9.0): qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_90:v0.5.4\r\n- 沐曦 \u002F MetaX: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:v0.5.4\r\n- 昇腾 \u002F Ascend (A2): qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a2:v0.5.4\r\n- 昇腾 \u002F Ascend (A3): qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a3:v0.5.4","2026-04-09T16:29:45",{"id":167,"version":168,"summary_zh":169,"released_at":170},231097,"v0.5.3","- 支持 Qwen3.5 系列模型。\n- 支持前缀缓存（设置 `infer.enable_prefix_caching` 选项）。\n- 监控数据支持 Grafana 可视化。\n- `\u002Ftokenize` 接口新增包含 chat template 的变体。\n- 改进 Anthropic 接口的兼容性。\n- DeepSeek-V3.2 及类似模型中的 indexer 模块支持 soft FP8（设置 `infer.raise_lower_bit_float_to` 选项）。\n- 升级 NVIDIA 镜像的基础软件版本。\n- 重构 VL 多模态模型支持。\n- 重构对不同 moe 算子实现的分发逻辑。\n- 确保 ue8m0 scale 的处理与 DeepSeek 模型的原始定义一致。\n- 优化 DeepGEMM 接入过程中的若干开销。\n- 修复量化算子除以 0 的问题。\n- 修复 EP 通信算子与共享专家算子的重叠优化。\n- 修复 moe 临时激活值显存均衡功能错误地将阈值设置得过低的问题。\n- 修复个别算子中的 int32 溢出问题。\n- 修复 tokenizer 解码特殊字符时的若干问题。\n- 修复流水线并行时对共享 embedding - lm_head 层的处理。\n- 避免在构建镜像时在工作目录中留下 root 权限的临时文件。\n\n------\n\n- 新增模型：Qwen3.5 系列。\n- 前缀缓存功能（设置 `infer.enable_prefix_caching` 参数）。\n- 支持使用 Grafana 可视化监控指标。\n- `\u002Ftokenize` 端点新增包含聊天模板的变体。\n- 提升与 Anthropic API 的兼容性。\n- DeepSeek-V3.2 及类似模型中的 indexer 模块支持 soft FP8 格式（设置 `infer.raise_lower_bit_float_to` 参数）。\n- 更新 NVIDIA 镜像构建中的基础依赖包版本。\n- 重构 VL 多模态模型的支持逻辑。\n- 重构不同 MoE 算子实现的调度机制。\n- 以与 DeepSeek 模型原始定义一致的方式处理 ue8m0 缩放比例。\n- 降低 DeepGEMM 集成过程中的开销。\n- 修复部分量化算子中出现的除以零问题。\n- 修复 EP 通信算子与共享专家计算之间的重叠优化问题。\n- 修复 MoE 临时激活值显存均衡功能因阈值设置过低而导致的问题。\n- 修复部分算子中的 int32 溢出问题。\n- 修复分词器在解码特殊字符时存在的若干问题。\n- 修复流水线并行模式下共享 embedding-lm_head 层的处理问题。\n- 构建镜像时不再在工作目录中生成具有 root 权限的临时文件。\n\n------\n\n官方 Docker 镜像 \u002F 官方 docker 镜像：\n\n- 英伟达 \u002F NVIDIA (arch 8.0, 8.9): qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_80_89:v0.5.3\n- 英伟达 \u002F NVIDIA (arch 9.0): qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_90:v0.5.3\n- 沐曦 \u002F MetaX: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:v0.5.3\n- 昇腾 \u002F Ascend (A2): qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a2:v0.5.3\n- 昇腾 \u002F Ascend (A3): qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a3:v0.5.3","2026-03-27T06:05:38",{"id":172,"version":173,"summary_zh":174,"released_at":175},231098,"v0.5.2","- 工具调用支持。\n- 新模型：GLM-4.6V、GLM-4.7-Flash、GLM-5、Qwen3-Coder-Next、DeepSeek-V3.2（非 Exp）。\n- 支持在 DeepSeek-V3.2 及同类模型使用 FP8 KV 缓存。\n- 针对 OpenAI 和 Anthropic 接口兼容性的多项改进。\n- 改进 Triton MoE 内核的自动调优。\n- 针对显存分配器在显存压力较大时隐式性能下降的问题增加警告。\n- 增加记录请求 trace 的调试选项。\n- 增加昇腾 MLA 优化算子。\n- 沐曦 native layout 内核兼容性更新。\n- 针对 MTP 多项修复。\n- 针对 KV 缓存管理的多项修复。\n- 针对 DeepSeek-V3.2、Qwen3-VL 等模型的修复。\n- 修复 Interrupt（Ctrl+C）有时无法停止赤兔的问题（#127）。\n- 修复针对低速 I\u002FO 场景的分别进行模型权重预处理和模型推理的功能。\n- 重构 PD 分离。\n- 重构流水线并行（PP）。\n- 重构 Qwen3-Next 及同类模型中的权重合并优化。\n- 重构镜像构建脚本。\n\n------\n\n- 工具调用支持。\n- 新模型：GLM-4.6V、GLM-4.7-Flash、GLM-5、Qwen3-Coder-Next、DeepSeek-V3.2（w\u002Fo -Exp）。\n- 支持使用 FP8 KV 缓存在 DeepSeek-V3.2 和类似模型中。\n- 多项关于 OpenAI 和 Anthropic API 兼容性的改进。\n- 对 Triton MoE 内核的自动调优进行了改进。\n- 新增在设备显存压力较高时出现隐性性能下降的警告。\n- 新增保存请求轨迹的调试选项。\n- 新增适用于 Ascend 平台 MLA 的优化算子。\n- 更新了 MetaX 平台原生布局内核的兼容性。\n- 对 MTP 进行了多项修复。\n- 对 KV 缓存管理进行了多项修复。\n- 修复了 DeepSeek-V3.2 和 Qwen3-VL 相关的问题。\n- 修复了中断（Ctrl+C）有时无法停止赤兔的问题（#127）。\n- 修复了针对低速 I\u002FO 平台的模型权重预处理与模型推理分离功能。\n- 重构了 PD 解耦。\n- 重构了流水线并行（PP）。\n- 重构了 Qwen3-Next 及类似模型中的权重合并优化。\n- 重构了镜像构建脚本。\n\n------\n\n官方 Docker 镜像 \u002F 官方 docker 镜像：\n\n- 英伟达 \u002F NVIDIA（arch 8.0, 8.9）：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_80_89:v0.5.2\n- 英伟达 \u002F NVIDIA（arch 9.0）：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_90:v0.5.2\n- 沐曦 \u002F MetaX：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:v0.5.2\n- 昇腾 \u002F Ascend（A2）：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a2:v0.5.2\n- 昇腾 \u002F Ascend（A3）：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a3:v0.5.2","2026-03-12T05:53:14",{"id":177,"version":178,"summary_zh":179,"released_at":180},231099,"v0.5.1","- 初步支持摩尔线程 GPU。\r\n- MTP（multi-token prediction）支持。\r\n- 优化开启 PP 或 DP 时的任务预处理性能。\r\n- 针对 TP、EP 并行以及 MoE 类模型（特别是 Qwen3-Next 和 DeepSeek-V3.2 模型）进行算子融合和优化。\r\n- 支持 Qwen3-VL 系列模型。\r\n- 支持 FP8 KV cache 量化。\r\n- 降低 MoE 模型在 prefill 时的峰值显存占用。\r\n- 降低模型加载时的主存占用。\r\n- 改进多机任务启动脚本。\r\n- 性能测试脚本支持更多场景。\r\n- 改进服务启动时的 auto tuning。\r\n- 初步兼容 Anthropic API。\r\n- 修复关于任务调度、KV cache 管理、性能监控等的多处问题。\r\n- 对 MoE、元信息通信、异构 attention 的 KV cache 管理、算子性能测试等进行重构。\r\n\r\n--------------\r\n\r\n- 初始支持摩尔线程 GPU。\r\n- 支持 MTP（多标记预测）功能。\r\n- 优化启用 PP 或 DP 时的任务预处理性能。\r\n- 针对 TP、EP 并行以及 MoE 模型（尤其是 Qwen3-Next 和 DeepSeek-V3.2）进行算子融合与优化。\r\n- 支持 Qwen3-VL 系列模型。\r\n- 支持 FP8 KV 缓存量化。\r\n- 降低 MoE 模型在预填充阶段的显存峰值占用。\r\n- 降低模型加载时的主存占用。\r\n- 改进多节点任务启动脚本。\r\n- 性能基准测试脚本覆盖更多场景。\r\n- 改进服务启动时的自动调优功能。\r\n- 初步支持 Anthropic API。\r\n- 修复了任务调度、KV 缓存管理、性能监控等方面的多个 bug。\r\n- 针对 MoE、元数据通信、算子性能测试等领域进行了多项代码重构。\r\n\r\n--------------\r\n\r\n官方 Docker 镜像 \u002F 官方 docker 镜像:\r\n\r\n- 英伟达 \u002F NVIDIA (arch 8.0, 8.9): qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_80_89:v0.5.1\r\n- 英伟达 \u002F NVIDIA (arch 9.0): qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia_arch_90:v0.5.1\r\n- 沐曦 \u002F MetaX: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:v0.5.1\r\n- 昇腾 \u002F Ascend (A2): qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a2:v0.5.1\r\n- 昇腾 \u002F Ascend (A3): qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend_a3:v0.5.1","2026-02-06T06:21:43",{"id":182,"version":183,"summary_zh":184,"released_at":185},231100,"v0.5.0","针对集群部署性能的多项改进：\n- 更好的 DP+TP+EP 混合并行支持。\n- MoE 负载均衡策略。\n- 针对预处理和后处理的性能优化。\n- 多处问题修复。\n\n官方 Docker 镜像：\n- NVIDIA：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia:v0.5.0\n- Muxi：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:v0.5.0\n- Ascend A2：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend:v0.5.0\n- Ascend A3：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend-a3:v0.5.0","2025-12-12T11:58:14",{"id":187,"version":188,"summary_zh":189,"released_at":190},231101,"v0.4.3","修复了一些性能问题。\n\n修复了一些性能问题。\n\n---\n官方 Docker 镜像：\n\nNVIDIA：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia:v0.4.3\nMuxi：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:v0.4.3\nAscend：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend:v0.4.3","2025-09-18T17:56:45",{"id":192,"version":193,"summary_zh":194,"released_at":195},231102,"v0.4.2","- 新增对部分新模型的支持。  \n    - Seed-OSS-36B-Instruct\n    - DeepSeek-V3.1\n    - 详情请参阅 [SUPPORTED_MODELS](https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fblob\u002Fpublic-main\u002Fdocs\u002Fen\u002FSUPPORTED_MODELS.md)\n\n- 性能优化\n    - 支持分块预填充（Chunked Prefill）\n    - 支持使用 DeepEP 优化 EP 通信\n        - 需要额外安装 nvshmem（参见[安装指南](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepEP\u002Fblob\u002Fmain\u002Fthird-party\u002FREADME.md)）\n        - 使用 DeepEP 时可启用 CUDA 图\n\n- 修复了一些 bug\n\n---\n\n- 新增模型支持\n\n    - Seed-OSS-36B-Instruct\n    - DeepSeek-V3.1\n    - 详见 [SUPPORTED_MODELS](https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fblob\u002Fpublic-main\u002Fdocs\u002Fzh\u002FSUPPORTED_MODELS.md)\n\n- 性能优化\n\n    - 支持分块预填充（Chunked Prefill）\n    - 支持利用 DeepEP 优化 EP 通信\n        - 需要额外安装 nvshmem（参考[官方安装说明](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepEP\u002Fblob\u002Fmain\u002Fthird-party\u002FREADME.md)）\n        - 利用 DeepEP 时可开启 CUDA graph\n\n- 修复若干缺陷\n\n---\n官方 Docker 镜像 \u002F 官方 docker 镜像：\n\n- NVIDIA: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia:v0.4.2\n- Muxi: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:v0.4.2\n- Ascend: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend:v0.4.2","2025-08-28T16:39:51",{"id":197,"version":198,"summary_zh":199,"released_at":200},231103,"v0.4.1","- 支持专家并行（EP）。通过设置 `infer.ep_size` 来启用它（目前应与 `infer.tp_size` 相等，表示注意力部分以相同的并行度进行 TP 并行）。\n- 支持 PD 分离推理（需要额外依赖，当前请基于赤兔基础镜像，按照 mooncake 配置指南手动构建）。\n- 支持在 NVIDIA Blackwell GPU 上进行硬件 fp4 计算（需要额外依赖，建议通过 `blackwell.Dockerfile` 构建镜像）。\n- 新增部分模型支持，详见 [chitu\u002Fdocs\u002Fzh\u002FSUPPORTED_MODELS.md at public-main · thu-pacman\u002Fchitu](https:\u002F\u002Fgithub.com\u002Fthu-pacman\u002Fchitu\u002Fblob\u002Fpublic-main\u002Fdocs\u002Fzh\u002FSUPPORTED_MODELS.md)。\n- 修复若干缺陷。\n\n---\n\n官方 Docker 镜像：\n\n- NVIDIA: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia:v0.4.1\n- Muxi: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:v0.4.1\n- Ascend: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend:v0.4.1\n","2025-08-14T12:47:37",{"id":202,"version":203,"summary_zh":204,"released_at":205},231104,"v0.4.0","v0.4.0 在性能和可用性方面相比 v0.3.x 有了显著提升。我们建议所有中等规模（约 1 至 4 台服务器）的部署升级到此版本。\n\n主要更新：\n- 针对 NVIDIA GPU、Ascend NPU、MetaX GPU 和 Hygon DCU 等平台进行了优化。\n- 针对 DeepSeek-R1、Qwen3-32B、Kimi K2 和 GLM-4.5 等模型进行了优化。\n\n\n官方 Docker 镜像：\n\n- NVIDIA：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia:v0.4.0\n- Muxi：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:v0.4.0\n- Ascend：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend:v0.4.0","2025-08-01T03:38:36",{"id":207,"version":208,"summary_zh":209,"released_at":210},231105,"v0.3.9","多平台新增支持模型，包括 NVIDIA GPU 和 Ascend NPU：\n\n- [GLM-4.5](https:\u002F\u002Fhuggingface.co\u002Fzai-org\u002FGLM-4.5)：使用时，在启动 Chitu 时追加命令行参数 `models=GLM-4.5` 和 `models.ckpt_dir=\u002Fyour\u002Flocal\u002Fmodel\u002Fpath`。\n- [GLM-4.5-Air](https:\u002F\u002Fhuggingface.co\u002Fzai-org\u002FGLM-4.5-Air)：使用时，在启动 Chitu 时追加命令行参数 `models=GLM-4.5-Air` 和 `models.ckpt_dir=\u002Fyour\u002Flocal\u002Fmodel\u002Fpath`。\n- [Kimi-K2-Instruct](https:\u002F\u002Fhuggingface.co\u002Fmoonshotai\u002FKimi-K2-Instruct)：使用时，在启动 Chitu 时追加命令行参数 `models=Kimi-K2-Instruct` 和 `models.ckpt_dir=\u002Fyour\u002Flocal\u002Fmodel\u002Fpath`。\n\n官方 Docker 镜像：\n\n- NVIDIA：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia:latest\n- Muxi：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:latest\n- Ascend：qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend:latest","2025-07-28T13:49:27",{"id":212,"version":213,"summary_zh":214,"released_at":215},231106,"v0.3.8","What's new:\r\n\r\n- Performance has been further optimized.\r\n- DeepSeek models quantized with mixed precision [DeepSeek-R1-mix](https:\u002F\u002Fwww.modelscope.cn\u002Fmodels\u002Fqingcheng-ai\u002FDeepSeek-R1-mix) are now released.\r\n- FP4 models are now compatible with Ascend 910B2.\r\n\r\nOfficial Docker images:\r\n\r\n- NVIDIA: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia:latest\r\n- Muxi: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:latest\r\n- Ascend: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend:latest","2025-07-10T15:04:09",{"id":217,"version":218,"summary_zh":219,"released_at":220},231107,"v0.3.7","What's new:\r\n\r\n- Initial support for Hygon DCU.\r\n- Optimized post-processing performance.\r\n- Added launch argument validation.\r\n\r\nOfficial Docker images:\r\n\r\n- NVIDIA: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia:latest\r\n- Muxi: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:latest\r\n- Ascend: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend:latest\r\n","2025-06-26T13:23:18",{"id":222,"version":223,"summary_zh":224,"released_at":225},231108,"v0.3.6","What's new:\r\n\r\n- Support recent GLM models\r\n- Automatic settings for KV Cache manager and task scheduler\r\n- Fixed some known issues.\r\n\r\n\r\nOfficial Docker images:\r\n\r\n- NVIDIA: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia:v0.3.6\r\n- Muxi: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:v0.3.6\r\n- Ascend: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend:v0.3.6\r\n\r\n","2025-06-19T13:07:34",{"id":227,"version":228,"summary_zh":229,"released_at":230},231109,"v0.3.5","What's new:\r\n\r\n- Support for Ascend NPU aclgraph to enhance higher performance.\r\n- Fixed some known issues.\r\n- We provide official Docker images:\r\n    - NVIDIA: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-nvidia:0.3.5\r\n    - Muxi: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-muxi:0.3.5\r\n    - Ascend: qingcheng-ai-cn-beijing.cr.volces.com\u002Fpublic\u002Fchitu-ascend:0.3.5\r\n\r\n","2025-06-12T12:35:07",{"id":232,"version":233,"summary_zh":234,"released_at":235},231110,"v0.3.4","What's new:\r\n\r\n- Fused MoE kernel for Qwen3 MoE models.\r\n- Optimizations to metadata communication in DP and PP.\r\n- Support of explicit configuration of micro batch size for PP by users. ","2025-05-29T16:29:43",{"id":237,"version":238,"summary_zh":239,"released_at":240},231111,"v0.3.3","Initial support for Ascend NPU.","2025-05-22T11:28:36",{"id":242,"version":243,"summary_zh":244,"released_at":245},231112,"v0.3.2","What's new:\r\n\r\n**[NEW]** Qwen3 Models:\r\n  The following Qwen3 models are now available for use:\r\n  - Qwen3-0.6B\r\n  - Qwen3-1.7B\r\n  - Qwen3-4B\r\n  - Qwen3-8B\r\n  - Qwen3-14B\r\n  - Qwen3-30B-A3B\r\n  - Qwen3-32B\r\n  - Qwen3-235B-A22B\r\n\r\nUsage: To use these models, append the `models=Qwen3-\u003Cdesired_model_size>` argument when starting Chitu. For example, if you wish to use Qwen3-32B, you would use the command with `models=Qwen3-32B`","2025-05-15T09:45:07",{"id":247,"version":248,"summary_zh":249,"released_at":250},231113,"v0.3.1","Better support for MetaX (沐曦) GPUs:\r\n\r\n- Support of both Llama-like models and DeepSeek models. Tested with `DeepSeek-R1-Distill-Llama-70B` and `DeepSeek-R1-671B` using bf16, fp16, and soft fp8 precision.\r\n- New `infer.op_impl=muxi_custom_kernel` mode optimized for small batches.","2025-04-30T07:21:17",{"id":252,"version":253,"summary_zh":254,"released_at":255},231114,"v0.3.0","Added support for online conversion from FP4 to FP8 and BF16, supporting the [FP4 quantized version](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002FDeepSeek-R1-FP4) of DeepSeek-R1 671B on non-Blackwell GPUs.","2025-04-29T09:59:07",{"id":257,"version":258,"summary_zh":259,"released_at":260},231115,"v0.2.3","Multiple bugs fixed.","2025-04-24T11:04:49"]