LLM-Viewer

LLM-Viewer 是一款用于可视化语言与学习模型（LLMs）并分析其在不同硬件平台上性能的工具。它支持网络级别的分析，考虑峰值内存消耗和总推理时间成本等因素。借助 LLM-Viewer，您可以深入了解 LLM 的推理过程及性能优化方法。 您可以在网页浏览器中使用 LLM-Viewer，也可以将其作为命令行界面（CLI）工具运行。网页版提供友好的用户界面，便于配置和可视化，访问地址为 LLM-Viewer Web。

我们诚邀您阅读我们的论文《LLM 推理揭秘：综述与 Roofline 模型洞察》（链接）。在这篇论文中，我们利用 LLM-Viewer 对高效 LLM 推理领域的最新进展进行了全面分析。

本项目将持续更新。待办事项：

• 显示张量的形状。
• 为非 Transformer 层提供预处理和后处理功能。
• 展示整个网络结构。
• 扩展硬件平台兼容性，并允许手动配置硬件参数。
• 增加对更多 LLM 的支持，并支持手动配置模型图。

工作流程

如图所示，工作流程包括以下步骤：

1. 输入 LLM 并收集各层的关键信息，包括计算量、输入输出张量形状以及数据依赖关系。
2. 提供硬件参数，生成 Roofline 模型，该模型会考虑硬件的计算能力和内存带宽。
3. 配置推理设置，例如批量大小、提示词长度和生成词长度。
4. 配置优化设置，比如量化位宽、是否使用 FlashAttention、解码方法以及其他系统优化技术。
5. 使用 LLM-Viewer 分析器，基于 Roofline 模型和各层信息，分析每层的性能。同时，它还会跟踪每层的内存使用情况，并根据数据依赖关系计算峰值内存消耗。通过汇总所有层的结果，即可得到 LLM 的整体网络性能。
6. 生成报告，提供每层及整个网络的最大性能、性能瓶颈以及内存占用等信息。报告可用于分析各类曲线，如批量大小-性能曲线和序列长度-性能曲线，从而了解不同设置对性能的影响。
7. 访问 LLM-Viewer 网页查看器，方便地可视化网络架构和分析结果。该工具有助于轻松调整配置，并提供各层的多种数据。

网页使用方法

要在网页浏览器中使用 LLM-Viewer，请访问网站 LLM-Viewer Web。 点击节点即可获取该层的详细分析信息。

CLI 使用方法

从 GitHub 克隆 LLM-Viewer 仓库： git clone https://github.com/hahnyuan/LLM-Viewer.git

安装依赖： pip install transformers flask flask_cors easydict

要在命令行界面（CLI）中使用 LLM-Viewer 分析 LLM，请运行以下命令：

python3 analyze_cli.py facebook/opt-125m nvidia_A6000
python3 analyze_cli.py meta-llama/Llama-2-7b-hf nvidia_A6000 --batchsize 1 --seqlen 2048
python3 analyze_cli.py meta-llama/Llama-2-13b-hf nvidia_A6000 --batchsize 16 --seqlen 2048
python3 analyze_cli.py meta-llama/Llama-2-13b-hf nvidia_A6000 --batchsize 1 --seqlen 8192

# DiT 模型
python3 analyze_cli.py DiT-XL/2 nvidia_A6000 --batchsize 1 --seqlen 256 --source DiT

注意：Roofline 模型估算的时间代表硬件理论上能够达到的性能。 创建此工具的目的是帮助读者更清晰地理解影响 LLM 推理的关键因素。 仅可参考相对关系。

引用

如果您在研究中使用了 LLM-Viewer，请引用我们的论文：

@misc{yuan2024llm,
      title={LLM Inference Unveiled: Survey and Roofline Model Insights}, 
      author={Zhihang Yuan and Yuzhang Shang and Yang Zhou and Zhen Dong and Chenhao Xue and Bingzhe Wu and Zhikai Li and Qingyi Gu and Yong Jae Lee and Yan Yan and Beidi Chen and Guangyu Sun and Kurt Keutzer},
      year={2024},
      eprint={2402.16363},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

LLM-Viewer 快速上手指南

LLM-Viewer 是一款用于可视化大语言模型（LLM）架构并分析其在不同硬件平台上推理性能的工具。它基于 Roofline 模型，帮助用户分析峰值内存消耗、总推理耗时及性能瓶颈，从而优化推理策略。

环境准备

• 操作系统：支持 Linux、macOS 或 Windows（需具备 Python 环境）。
• Python 版本：建议 Python 3.8 及以上。
• 前置依赖：
  • transformers：用于加载和分析模型结构。
  • flask 和 flask_cors：用于支持 Web 界面服务（如需本地部署）。
  • easydict：用于配置管理。

安装步骤

1. 克隆仓库 从 GitHub 获取源代码：

   git clone https://github.com/hahnyuan/LLM-Viewer.git
   cd LLM-Viewer
   

2. 安装依赖 使用 pip 安装所需库。国内用户推荐使用清华源或阿里源加速安装：

   pip install transformers flask flask_cors easydict -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

LLM-Viewer 支持命令行（CLI）和 Web 浏览器两种使用方式。

1. 命令行分析 (CLI)

通过命令行快速分析指定模型在特定硬件上的理论性能。

基本命令格式：

python3 analyze_cli.py <模型名称> <硬件型号> [可选参数]

常用示例：

• 分析 OPT-125m 模型在 NVIDIA A6000 上的表现：

  python3 analyze_cli.py facebook/opt-125m nvidia_A6000
  

• 指定 Batch Size 和序列长度（Seqlen）：

  python3 analyze_cli.py meta-llama/Llama-2-7b-hf nvidia_A6000 --batchsize 1 --seqlen 2048
  

• 高并发场景测试（Batch Size 16）：

  python3 analyze_cli.py meta-llama/Llama-2-13b-hf nvidia_A6000 --batchsize 16 --seqlen 2048
  

• 长上下文场景测试（Seqlen 8192）：

  python3 analyze_cli.py meta-llama/Llama-2-13b-hf nvidia_A6000 --batchsize 1 --seqlen 8192
  

• 分析 DiT (Diffusion Transformer) 模型：

  python3 analyze_cli.py DiT-XL/2 nvidia_A6000 --batchsize 1 --seqlen 256 --source DiT
  

注意：工具估算的时间基于 Roofline 模型的理论性能上限，主要用于理解影响推理的关键因素及相对性能关系，而非绝对精确的实际运行时间。

2. Web 可视化界面

若需查看详细的网络架构图、逐层性能分析及内存占用曲线，可使用 Web 界面。

• 在线访问：直接访问 LLM-Viewer Web。
• 功能说明：在网页中点击模型节点，即可查看该层的详细分析报告、调整配置参数（如量化位宽、FlashAttention 开关等）并生成性能对比图表。