TileRT：基于分块的超低延迟大模型推理运行时

概述 · 生成 · MTP生成 · 安装 · 新闻

📰 新闻

• :fire: 2026-02-14 · 试用在线演示。我们的在线演示现已上线！体验使用 GLM-5 和 DeepSeek-V3.2 的超低延迟推理。立即试用 !

• 🎉 2026-02-14 · v0.1.3 发布。v0.1.3 版本新增对最新 GLM-5 模型的支持，在 GLM-5-FP8 上可达到每秒 500 个 token，在 DeepSeek-V3.2 上则可达每秒 600 个 token。

• 🚀 2026-01-26 · v0.1.2-alpha.1。TileRT 现已支持多 token 预测（MTP）！在 mtp=3 的设置下，我们在合成负载测试中实现了高达 590 tokens/s 的解码速率。

TileRT 是一个专为超低延迟场景设计的大语言模型（LLM）服务项目。其目标是在不牺牲模型规模和质量的前提下，突破 LLM 的延迟极限——使拥有数千亿参数的模型也能实现毫秒级的每输出 token 时间（TPOT）。

在我们最新的 v0.1.3 版本中，我们针对最新的 GLM-5 模型测试了 TileRT 的性能，证明了该方法在实际应用中的有效性。我们是首批支持这一最新模型的团队之一，验证了我们所开发技术的强大之处。

我们使用 GLM-5 模型（未采用量化或蒸馏等有损优化手段），在 8 张 NVIDIA B200 GPU 上以批大小为 1 的方式进行评估，以测试 TileRT 的初步性能。如下文的基准测试所示，TileRT 相较于现有的推理系统表现出显著的提升。

图 1. 评估设置。批大小：1；输入序列长度：1K、16K、32K、64K、128K、150K、192K；输出序列长度：1K；使用 合成数据进行基准测试。SGLang v0.5.9.dev0 使用 MTP=3；vLLM v0.16.0rc2.dev173 使用 MTP=1（vLLM 在 MTP=3 时失败，因此我们按照 vLLM-GPT5-recipe 将其设置为 MTP=1）；TileRT v0.1.3 使用 MTP=3。

图 2. 评估设置。批大小：1；输入序列长度：1K、16K、32K、64K、128K、150K、192K；输出序列长度：1K；使用 合成数据进行基准测试。SGLang v0.5.9.dev0；vLLM v0.16.0rc2.dev173；TileRT v0.1.3。

与传统为高吞吐量批量处理而优化的推理系统不同，TileRT 更加注重 响应速度，这对于高频交易、交互式 AI、实时决策、长时间运行的智能体以及 AI 辅助编程等应用场景至关重要——在这些场景中，单个请求的延迟最为关键。

为此，TileRT 引入了 分块级运行时引擎。通过编译器驱动的方法，LLM 操作被分解为细粒度的分块级任务，而运行时则会动态地重新调度计算、I/O 和通信操作，在多个设备之间高度重叠地执行。这种设计最大限度地减少了空闲时间，提高了硬件利用率。

该项目仍在积极发展中，相关的编译器技术将随着它们逐步集成到 TileLang 和 TileScale 中，陆续向社区开放分享。

安装

• 先决条件
• Python 包安装

先决条件

在安装 TileRT 之前，请确保您的环境满足以下要求：

硬件要求

• 8 张 NVIDIA B200 GPU

操作系统

• Linux x86_64（推荐 Ubuntu 20.04 或更高版本）

Python 版本

• Python 3.11 – 3.12 (该 wheel 包是基于这些版本构建并测试的。)

PyTorch 构建

• 为 CUDA 12.8 或 12.9 编译的 PyTorch wheels (必须与 B200 GPU 所需的 CUDA 驱动程序/运行时版本匹配。)

Python 包安装

[!IMPORTANT] 免责声明：TileRT 是一个实验性项目。目前预构建的包仅支持 8 张 B200 GPU 的配置。为了获得最可靠的体验，我们强烈建议您在提供的 Docker 镜像中安装该包。

推荐的安装方式是使用预先配置好的 Docker 镜像，其中包含了所有必要的依赖项。

步骤 1：拉取 Docker 镜像

docker pull tileai/tilert:v0.1.0

步骤 2：启动 Docker 容器

IMAGE_NAME="tileai/tilert:v0.1.0"
WORKSPACE_PATH="/path/to/your/workspace"  # 替换为您实际的工作空间路径

docker run --gpus all -it \
    -v $WORKSPACE_PATH:/workspace/ \
    $IMAGE_NAME

步骤 3：安装 TileRT 包

进入容器后，使用 pip 安装 TileRT：

pip install tilert

现在您已经可以使用 TileRT 了！请前往 入门指南 下载模型权重并运行您的第一次推理。

入门指南

第 1 步：下载官方模型权重

自 v0.1.3 版本起，TileRT 不再需要从 Hugging Face 下载预先转换好的权重。相反，您可以直接从模型的源（例如 Hugging Face）下载官方模型权重，然后使用最新 TileRT 发行版中包含的权重转换脚本对其进行转换。

第 2 步：使用 weight_converter.py 转换权重

下载官方模型权重后，您可以使用以下命令将其转换为与 TileRT 兼容的格式：

对于 DeepSeek-V3.2，运行：

python -m tilert.models.preprocess.weight_converter \
  --model_type deepseek-v32 \
  --model_dir "/path/to/DeepSeek-V3.2" \
  --save_dir "/path/to/DeepSeek-V3.2-TileRT"

请将 /path/to/DeepSeek-V3.2 替换为您下载模型权重的目录，并将 /path/to/DeepSeek-V3.2-TileRT 替换为您希望保存转换后权重的目录。

同样，对于 GLM-5，运行：

python -m tilert.models.preprocess.weight_converter \
  --model_type glm-5 \
  --model_dir "/path/to/GLM-5-FP8" \
  --save_dir "/path/to/GLM-5-FP8-TileRT"

请将 /path/to/GLM-5-FP8 替换为包含已下载 GLM-5 模型权重的目录，将 /path/to/GLM-5-FP8-TileRT 替换为保存转换后权重的目标位置。

第 3 步：设置转换后的权重目录

权重转换完成后，请设置环境变量，使 TileRT 指向包含转换后权重的目录：

export MODEL_WEIGHTS_DIR= ... # 转换后的权重

现在您就可以使用 TileRT 和转换后的权重了！

运行生成示例

下载模型权重后，您可以在 Docker 环境中按如下方式运行生成示例：

MODEL_WEIGHTS_DIR="/path/to/tilert_weights"

docker run --gpus all -it \
    -v $WORKSPACE_PATH:/workspace/ \
    -v $MODEL_WEIGHTS_DIR:$MODEL_WEIGHTS_MOUNT \
    tilert:v0.1.0

进入容器后，运行以下 Python 脚本以执行文本生成：

from tilert.models.deepseek_v3_2.dsa_show_hands import ShowHandsGenerator

generator: ShowHandsGenerator = ShowHandsGenerator(
    max_new_tokens=1000,
    model_weights_dir=MODEL_WEIGHTS_DIR,
    with_mtp=False,  // 禁用 MTP
)
generator.from_pretrained()

prompt = (
    "给我讲三个笑话：\n\n"
    "1. 一个爸爸式的冷笑话，\n"
    "2. 一个程序员笑话，\n"
    "3. 一个只有尝试过训练大型语言模型的人才懂的笑话。\n"
    "每个笑话不超过15个字。"
)

print("提示词：", prompt)
print("完成内容：")
completion = generator.generate(prompt)

例如，TileRT 可能会生成：

1. 我担心日历。它的日子不多了。
2. 只有10种人：懂二进制的和不懂二进制的。
3. 我的模型损失很低，但回答仍然是一堆胡话。这是过拟合。

此示例展示了使用预编译模型进行基本单步自回归生成的过程。

使用多标记预测 (MTP) 运行生成示例

TileRT 还支持多标记预测 (MTP)，该功能允许模型在每次前向传播中生成多个标记，从而减少序列解码的深度。

为了更好地说明 MTP 的行为，我们使用一个更长的提示词来鼓励生成更长的内容：

from tilert.models.deepseek_v3_2.dsa_show_hands import ShowHandsGenerator

generator: ShowHandsGenerator = ShowHandsGenerator(
    max_new_tokens=1000,
    model_weights_dir=MODEL_WEIGHTS_DIR,
    with_mtp=True,  // 启用 MTP
)
generator.from_pretrained()
prompt = "给我讲10个笑话，每个笑话不超过100个字。"

print("提示词：", prompt)
print("完成内容：")
completion = generator.generate(prompt)

启用 MTP 后，TileRT 在生成过程中可能会报告类似如下的统计信息：

接受长度：平均值=2.77，最小值=1，最大值=4

这表明在 MTP 下，平均每次解码步骤都会接受多个标记。

当然！这里给你准备了10个小笑话。

1. 我跟我老婆说她画眉毛画得太高了。她一脸惊讶。

2. 我发明了一个新词：抄袭。

3. 为什么科学家不信任原子？因为它们构成了所有东西。

4. 我正在读一本关于反重力的书。简直让人欲罢不能。

5. 你最喜欢瑞士的什么？我也不知道，不过那面国旗确实很加分。

6. 我跟电脑说我想休息一下，结果它现在不停地给我推送度假广告。

7. 为什么稻草人能获奖？因为他在这个领域太出色了。

8. 假面条叫什么？假意面。

9. 我跟行李箱说我没打算去度假，结果它现在背负着太多“包袱”。

10. 为什么骷髅之间不会打架？因为他们没有勇气。

此示例突出了 MTP 如何通过在每次解码步骤中接受多个标记，高效地生成更长的输出，同时保持相同的 Python API 接口。

更多详细信息，请参阅 生成脚本。

当前状态与未来工作

TileRT 目前仍处于预览发布阶段，我们才刚刚起步。 我们将不断改进安装体验，并持续提升端到端性能。未来的版本将继续突破低延迟生成的极限。

感谢您的关注与支持——敬请期待，更快的标记生成即将到来！

TileRT 快速上手指南

TileRT 是一个专为超低延迟大语言模型（LLM）推理设计的运行时引擎。它通过细粒度的任务分解和动态调度，在单节点多卡环境下实现毫秒级的单令牌生成时间（TPOT），特别适用于高频交易、实时交互智能体等对延迟敏感的场景。

环境准备

在开始之前，请确保您的硬件和软件环境满足以下严格要求：

硬件要求

• GPU: 8× NVIDIA B200 GPU（当前预构建包仅支持此配置）

软件要求

• 操作系统: Linux x86_64 (推荐 Ubuntu 20.04 或更高版本)
• Python 版本: 3.11 – 3.12
• PyTorch: 需编译为 CUDA 12.8 或 12.9 版本（必须与 B200 GPU 驱动的 CUDA 版本匹配）

注意：由于依赖环境复杂，强烈建议使用官方提供的 Docker 镜像进行部署，以获得最稳定的体验。

安装步骤

推荐使用 Docker 容器化部署，步骤如下：

1. 拉取 Docker 镜像

docker pull tileai/tilert:v0.1.0

2. 启动容器

将本地工作目录挂载到容器中：

IMAGE_NAME="tileai/tilert:v0.1.0"
WORKSPACE_PATH="/path/to/your/workspace"  # 请替换为您的实际工作目录路径

docker run --gpus all -it \
    -v $WORKSPACE_PATH:/workspace/ \
    $IMAGE_NAME

3. 安装 Python 包

进入容器后，使用 pip 安装 TileRT：

pip install tilert

基本使用

第一步：下载并转换模型权重

从 v0.1.3 版本开始，您可以直接下载官方模型权重（如 HuggingFace 上的 GLM-5 或 DeepSeek-V3.2），然后使用内置脚本转换为 TileRT 格式。

转换 DeepSeek-V3.2 模型：

python -m tilert.models.preprocess.weight_converter \
  --model_type deepseek-v32 \
  --model_dir "/path/to/DeepSeek-V3.2" \
  --save_dir "/path/to/DeepSeek-V3.2-TileRT"

转换 GLM-5 模型：

python -m tilert.models.preprocess.weight_converter \
  --model_type glm-5 \
  --model_dir "/path/to/GLM-5-FP8" \
  --save_dir "/path/to/GLM-5-FP8-TileRT"

请将路径替换为您实际的模型下载目录和期望的输出目录。

第二步：设置环境变量

指定转换后的权重目录：

export MODEL_WEIGHTS_DIR="/path/to/DeepSeek-V3.2-TileRT" 
# 或 export MODEL_WEIGHTS_DIR="/path/to/GLM-5-FP8-TileRT"

第三步：运行推理示例

以下是最基础的文本生成示例（关闭多令牌预测 MTP 模式）：

from tilert.models.deepseek_v3_2.dsa_show_hands import ShowHandsGenerator

# 初始化生成器
generator: ShowHandsGenerator = ShowHandsGenerator(
    max_new_tokens=1000,
    model_weights_dir=MODEL_WEIGHTS_DIR,
    with_mtp=False,  # 设置为 False 禁用 MTP，True 则启用
)
generator.from_pretrained()

# 定义提示词
prompt = (
    "Tell me three jokes:\n\n"
    "1. A dad joke,\n"
    "2. A programmer joke,\n"
    "3. A joke that only makes sense if you've ever tried "
    "to train a large language model.\n"
    "Keep each joke under 15 words."
)

print("Prompt:", prompt)
print("Completion:")

# 执行生成
completion = generator.generate(prompt)
print(completion)

启用多令牌预测 (MTP)： 若需获得更高的解码吞吐量，只需将 with_mtp 参数设为 True：

generator: ShowHandsGenerator = ShowHandsGenerator(
    max_new_tokens=1000,
    model_weights_dir=MODEL_WEIGHTS_DIR,
    with_mtp=True,  # 启用 MTP
)