Vidur：LLM 推理系统模拟器

Vidur 是一款高保真且可扩展的 LLM 推理系统模拟器。它可以帮助您：

1. 研究模型在不同工作负载和配置下的系统性能。

   TTFT	TPOT	请求端到端时间	批量大小

   Llama-3-8B 在单个 A100 80GB 上以 6.45 QPS 的速率运行 AzureLLMInferenceTrace2023_conv 跟踪数据

2. 进行容量规划，并为您的 LLM 部署找到最佳部署配置。 不同部署配置下每美元容量与 LLaMA2-70B 的 TTFT-P90 和 TBT-P99 的关系图。

3. 快速测试新的研究想法，例如新的调度算法、推测解码等优化技术。

…所有这些都不需要访问 GPU，只需一个快速的初始性能分析阶段即可 🎉。我们强烈建议您查看我们的 MLSys'24 论文 和 演讲 以获取更多详细信息。

支持的模型

有关如何将新模型添加到现有或新 SKU 的说明，请参阅 这里。

模型 / 设备	A100 80GB DGX	H100 DGX	4xA100 80GB 双向 NVLink 节点	8xA40 双向 NVLink 节点
meta-llama/Meta-Llama-3-8B	✅	❌	✅	❌
meta-llama/Meta-Llama-3-70B	✅	❌	✅	❌
meta-llama/Llama-2-7b-hf	✅	✅	✅	✅
codellama/CodeLlama-34b-Instruct-hf"	✅	✅	✅	✅
meta-llama/Llama-2-70b-hf	✅	✅	✅	✅
internlm/internlm-20b	✅	✅	✅	✅
Qwen/Qwen-72B	✅	✅	✅	✅

• 所有模型的最大上下文长度为 4k，除了 Llama3-8B 和 Llama3-70B，它们通过传递额外的 CLI 参数支持 16k 的上下文长度：

  --random_forrest_execution_time_predictor_config_prediction_max_prefill_chunk_size 16384 \
  --random_forrest_execution_time_predictor_config_prediction_max_batch_size 512 \
  --random_forrest_execution_time_predictor_config_prediction_max_tokens_per_request 16384
  

• 所有模型都支持流水线并行。PP 维度应能整除模型的层数。

• 在 DGX 节点中，有 8 个 GPU，通过 NVLink 完全连接。因此，支持 TP1、TP2、TP4 和 TP8。

• 在 4x 双向 NVLink 节点中，只有 4 个 GPU，因此仅支持 TP1、TP2 和 TP4。这里的 TP4 性能不如 DGX 节点中的 TP4，因为 (GPU1, GPU2) 和 (GPU3, GPU4) 分别通过 NVLink 连接，而这两组之间则使用较慢的互连通道。

• 您可以任意组合 TP 和 PP。例如，您可以在 4xA100 80GB 双向 NVLink 节点上以 TP2-PP2 的方式运行 LLaMA2-70B。

设置

使用 mamba

要运行模拟器，需创建一个包含指定依赖文件的 mamba 环境。

mamba env create -p ./env -f ./environment.yml
mamba env update -f environment-dev.yml

使用 venv

1. 确保您的系统已安装 Python 3.10。请参考 https://www.bitecode.dev/p/installing-python-the-bare-minimum
2. 切换到仓库根目录
3. 使用 venv 模块创建虚拟环境：python3.10 -m venv .venv
4. 激活虚拟环境：source .venv/bin/activate
5. 安装依赖项：python -m pip install -r requirements.txt
6. 运行 deactivate 以停用虚拟环境。

使用 conda（不推荐）

要运行模拟器，需创建一个包含指定依赖文件的 conda 环境。

conda env create -p ./env -f ./environment.yml
conda env update -f environment-dev.yml

设置 wandb（可选）

首先，在 https://<your-org>.wandb.io/ 或公共 wandb 上注册账号，获取 API 密钥，然后运行以下命令：

wandb login --host https://<your-org>.wandb.io

若要禁用 wandb，可选择以下任一方法：

1. 在 shell 中设置 export WANDB_MODE=disabled，或将此设置添加到 ~/.zshrc 或 ~/.bashrc 文件中。记得使用 source ~/.zshrc 重新加载配置。
2. 将 vidur/config/default.yml 中的 wandb_project 和 wandb_group 设置为空字符串。同时，从调用模拟器的 shell 命令中移除这些 CLI 参数。

运行模拟器

要运行模拟器，从仓库根目录执行以下命令：

python -m vidur.main

或者使用包含所有参数的完整示例：

python -m vidur.main  \
--replica_config_device a100 \
--replica_config_model_name meta-llama/Meta-Llama-3-8B \
--cluster_config_num_replicas 1 \
--replica_config_tensor_parallel_size 1 \
--replica_config_num_pipeline_stages 1 \
--request_generator_config_type synthetic \
--synthetic_request_generator_config_num_requests 512  \
--length_generator_config_type trace \
--trace_request_length_generator_config_max_tokens 16384 \
--trace_request_length_generator_config_trace_file ./data/processed_traces/splitwise_conv.csv \
--interval_generator_config_type poisson \
--poisson_request_interval_generator_config_qps 6.45 \
--replica_scheduler_config_type sarathi  \
--sarathi_scheduler_config_batch_size_cap 512  \
--sarathi_scheduler_config_chunk_size 512 \
--random_forrest_execution_time_predictor_config_prediction_max_prefill_chunk_size 16384 \
--random_forrest_execution_time_predictor_config_prediction_max_batch_size 512 \
--random_forrest_execution_time_predictor_config_prediction_max_tokens_per_request 16384

或者获取所有参数的信息：

python -m vidur.main -h

模拟器输出

• 指标将直接记录到 wandb，并会在 simulator_output/<TIMESTAMP> 目录中保存一份副本。所有记录指标的描述可在 这里 查看。

• Vidur 会导出每次模拟的 Chrome 跟踪文件。跟踪文件位于 simulator_output 目录中。您可以通过导航至 chrome://tracing/ 或 edge://tracing/ 并加载跟踪文件来查看。

  

格式化代码

要格式化代码，执行以下命令：

make format

使用 Canary 版本

我们一直在对模拟器进行多项改进，包括支持前缀缓存、不同的路由策略、降低模拟器的内存需求等。然而，目前仍有一些未完全解决的问题。在此期间，如果您需要这些功能的支持，请使用 canary 分支。

贡献

本项目欢迎贡献和建议。大多数贡献都需要您签署贡献者许可协议（CLA），声明您有权且确实将您的贡献的使用权利授予我们。有关详细信息，请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人会自动判断您是否需要提供 CLA，并相应地为 PR 添加标记（例如状态检查、评论）。请按照机器人提供的指示操作。对于使用我们 CLA 的所有仓库，您只需执行此操作一次。

本项目已采用 微软开源行为准则。如需更多信息，请参阅 行为准则常见问题解答，或发送电子邮件至 opencode@microsoft.com 咨询更多问题或意见。

商标

本项目可能包含项目、产品或服务的商标或徽标。未经授权使用微软商标或徽标须遵守并遵循 微软商标与品牌指南。在本项目的修改版本中使用微软商标或徽标时，不得造成混淆或暗示微软的赞助关系。任何第三方商标或徽标的使用均应遵守该第三方的相关政策。

Vidur 快速上手指南

Vidur 是一个高保真、可扩展的大语言模型（LLM）推理系统模拟器。它无需大量 GPU 资源，即可帮助开发者研究不同负载和配置下的系统性能、进行容量规划以及测试新的调度算法或优化策略（如推测解码）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2）。
• Python 版本：必须安装 Python 3.10。
  • 提示：国内用户可使用 清华大学开源软件镜像站 加速 Python 包下载。
• 依赖管理工具（任选其一，推荐 mamba 或 venv）：
  • mamba (推荐，速度快)
  • venv (Python 内置)
  • conda (不推荐，速度较慢)

安装步骤

方式一：使用 Mamba（推荐）

Mamba 是 conda 的快速替代品，能显著缩短环境创建时间。

# 创建环境
mamba env create -p ./env -f ./environment.yml

# 更新开发依赖
mamba env update -f environment-dev.yml

# 激活环境
mamba activate ./env

方式二：使用 Venv

如果您偏好使用 Python 原生虚拟环境：

# 1. 进入项目根目录
cd <vidur-repo-root>

# 2. 创建虚拟环境 (确保 python 命令指向 3.10 版本)
python3.10 -m venv .venv

# 3. 激活环境
source .venv/bin/activate

# 4. 安装依赖 (建议配置国内 pip 源)
# export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple
python -m pip install -r requirements.txt

可选：配置 WandB (实验追踪)

Vidur 默认将指标记录到 WandB。如需使用，请先登录：

wandb login --host https://<your-org>.wandb.io

若不需要 WandB，可通过设置环境变量禁用：

export WANDB_MODE=disabled

基本使用

安装完成后，您可以直接运行模拟器。以下是几种常用的运行方式：

1. 运行默认示例

使用默认配置文件运行最简单的模拟：

python -m vidur.main

2. 运行自定义配置示例

以下命令演示了如何模拟 Llama-3-8B 模型在单张 A100 显卡上，使用 Sarathi 调度器处理合成请求的场景：

python -m vidur.main  \
--replica_config_device a100 \
--replica_config_model_name meta-llama/Meta-Llama-3-8B \
--cluster_config_num_replicas 1 \
--replica_config_tensor_parallel_size 1 \
--replica_config_num_pipeline_stages 1 \
--request_generator_config_type synthetic \
--synthetic_request_generator_config_num_requests 512  \
--length_generator_config_type trace \
--trace_request_length_generator_config_max_tokens 16384 \
--trace_request_length_generator_config_trace_file ./data/processed_traces/splitwise_conv.csv \
--interval_generator_config_type poisson \
--poisson_request_interval_generator_config_qps 6.45 \
--replica_scheduler_config_type sarathi  \
--sarathi_scheduler_config_batch_size_cap 512  \
--sarathi_scheduler_config_chunk_size 512 \
--random_forrest_execution_time_predictor_config_prediction_max_prefill_chunk_size 16384 \
--random_forrest_execution_time_predictor_config_prediction_max_batch_size 512 \
--random_forrest_execution_time_predictor_config_prediction_max_tokens_per_request 16384

3. 查看参数帮助

查看所有可用的配置参数及其说明：

python -m vidur.main -h

查看结果

• 指标数据：模拟结束后，指标会自动上传至 WandB（如果已启用），并在本地 simulator_output/<TIMESTAMP> 目录下保存副本。
• 性能轨迹：生成的 Chrome Trace 文件位于 simulator_output 目录。您可以在 Chrome 或 Edge 浏览器地址栏输入 chrome://tracing/ 或 edge://tracing/ 并加载该文件，以可视化分析推理过程中的时间线。