Chitu「赤兔」

中文 | English

Chitu「赤兔」是一个专注于效率、灵活性和可用性的高性能大模型推理框架。

里程碑

• [2026/02/06] 发布 v0.5.1，适配摩尔线程 GPU。
• [2025/12/12] 发布 v0.5.0，重点提升集群部署场景的性能。
• [2025/08/01] 发布 v0.4.0，大幅提升了一体机推理部署场景的性能和稳定性，适配昇腾、英伟达、沐曦、海光，支持 DeepSeek、Qwen、GLM、Kimi 等模型。
• [2025/07/28] 发布 v0.3.9，首发支持华为昇腾 910B 推理部署智谱 GLM-4.5 MoE 模型。
• [2025/06/12] 发布 v0.3.5，提供昇腾 910B 完整原生支持，提供 Qwen3 系列模型高性能推理方案。
• [2025/04/29] 发布 v0.3.0，新增 FP4 在线转 FP8、BF16 的高效算子实现，支持 DeepSeek-R1 671B 的 FP4 量化版。
• [2025/04/18] 发布 v0.2.2，新增 CPU+GPU 异构混合推理支持，实现单卡推理 DeepSeek-R1 671B。
• [2025/03/14] 发布 v0.1.0，支持 DeepSeek-R1 671B，提供 FP8 在线转 BF16 的高效算子实现。

简介

赤兔定位于「生产级大模型推理引擎」，充分考虑企业 AI 落地从小规模试验到大规模部署的渐进式需求，专注于提供以下重要特性：

• 多元算力适配：不仅支持 NVIDIA 最新旗舰到旧款的多系列产品，也为国产芯片提供优化支持。
• 全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大规模集群部署，赤兔引擎提供可扩展的解决方案。
• 长期稳定运行：可应用于实际生产环境，稳定性足以承载并发业务流量。

项目团队感谢广大用户及开源社区提出的宝贵意见和建议，并将持续改进赤兔推理引擎。 然而，受制于团队成员的精力，无法保证及时解决所有用户在使用中遇到问题。 如需专业技术服务，欢迎致信 solution@chitu.ai

测试数据

请参阅赤兔开发团队测试的性能数据，也欢迎分享您的自测数据。

性能数据与您的硬件配置、软件版本、测试负载相关，多次测试结果可能存在波动。

安装使用

请参阅开发手册获取完整的安装使用说明。

对于在单机环境上快速验证的场景，建议使用官方镜像进行部署。目前提供适用于以下平台的镜像：

• 英伟达（arch 8.0、8.9）：qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_80_89:latest
• 英伟达（arch 9.0）：qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_90:latest
• 沐曦：qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-muxi:latest
• 昇腾（A2）：qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend_a2:latest
• 昇腾（A3）：qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend_a3:latest

查看支持的模型

更多模型请参见 支持的模型。

参与开发

赤兔项目欢迎开源社区的朋友们参与项目共建，请参阅贡献指南。

交流讨论

如果您有任何问题或疑虑，欢迎提交issue。

您也可以扫码加入赤兔交流微信群：

许可证

本项目采用 Apache License v2.0 许可证 - 详见 LICENSE 文件。

本代码仓库还引用了一些来自其他开源项目的代码片段，相关版权信息已在代码中以 SPDX 格式标注。这些代码片段的许可证信息可以在 LICENSES/ 目录下找到。

本代码仓库还包含遵循其他开源许可证的第三方子模块。您可以在 third_party/ 目录下找到这些子模块，该目录中包含了它们各自的许可证文件。

常见问题

中文 | English

致谢

非常感谢来自华为、沐曦、海光、燧原、智谱、中国电信、并行科技等各方的帮助。

在构建 Chitu 的过程中，我们从以下项目（按字母排序）中学到了很多，并复用了一些函数：

• DeepSeek
• FlashAttention
• FlashInfer
• KTransformers
• llama.cpp
• SGLang
• TensorRT-LLM
• vLLM

我们将持续为开源社区贡献更高效、更灵活、更兼容、更稳定的大模型推理部署解决方案。

Chitu「赤兔」快速上手指南

Chitu 是一个专注于效率、灵活性和可用性的高性能大模型推理框架，支持多元算力（英伟达、昇腾、沐曦等）及全场景部署。

1. 环境准备

系统要求

• 操作系统：推荐 Linux (Ubuntu 20.04/22.04 或兼容发行版)
• 硬件支持：
  • NVIDIA GPU：架构 8.0, 8.9, 9.0 (如 A100, H100, H800 等)
  • 华为昇腾：910B (A2/A3 版本)
  • 国产芯片：沐曦、海光等
• 软件依赖：Docker (推荐用于快速验证)

前置检查

确保已安装 Docker 并配置好对应的 GPU 驱动及容器运行时（如 NVIDIA Container Toolkit 或 Ascend Docker Runtime）。

2. 安装步骤

对于单机快速验证场景，推荐使用官方提供的预构建镜像。请根据您的硬件平台选择对应的镜像地址（已优化国内访问）：

拉取镜像

NVIDIA GPU (架构 8.0 / 8.9)

docker pull qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_80_89:latest

NVIDIA GPU (架构 9.0)

docker pull qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_90:latest

沐曦 (Muxi)

docker pull qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-muxi:latest

华为昇腾 (Ascend A2)

docker pull qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend_a2:latest

华为昇腾 (Ascend A3)

docker pull qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend_a3:latest

注意：如需从源码编译或进行深度开发，请参阅 开发手册。

3. 基本使用

以下以 NVIDIA 环境为例，展示如何启动容器并运行推理服务。其他硬件平台只需替换镜像名称并确保宿主机驱动正常即可。

启动推理服务

假设您要部署一个支持的模型（如 Qwen 或 DeepSeek 系列），使用以下命令启动容器并映射端口：

docker run --gpus all -it --rm \
  -p 8000:8000 \
  -v /path/to/your/models:/models \
  qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_80_89:latest \
  python -m chitu.entrypoint --model_path /models/Qwen2.5-7B-Instruct --port 8000

注：具体启动参数（如 --model_path）需根据实际模型路径和调整，更多参数请参考 支持的模型 文档。

发送测试请求

服务启动后，可通过 HTTP API 发送测试请求：

curl http://localhost:8000/generate \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "你好，请介绍一下赤兔框架",
    "max_tokens": 512
  }'

若返回生成内容，即表示部署成功。