..

版权所有 © 2020-2021，NVIDIA Corporation。保留所有权利。

根据 Apache 许可证第 2.0 版（“许可证”）授权；

您不得在不符合许可证的情况下使用此文件。

您可以在以下网址获得许可证副本：

http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，否则软件

按照“AS IS”的基础分发，并且不提供任何类型的

明示或暗示的保证或条件。

有关许可的具体语言、权限和限制，请参阅许可证。

|许可证|

PyProf - PyTorch 性能分析工具

**公告：** 
2021年6月30日，NVIDIA 将不再对 PyProf 仓库进行贡献。

若要对 PyTorch 中的模型进行性能分析，请使用 `NVIDIA 深度学习性能分析器 (DLProf) <https://docs.nvidia.com/deeplearning/frameworks/dlprof-user-guide/>`_。

DLProf 可以帮助数据科学家、工程师和研究人员通过分析文本报告或使用 DLProf 查看器在网页浏览器中可视化报告来理解并提升其模型的性能。

DLProf 可在 NGC 上获取，也可通过 Python PIP 轮子安装。

如需继续开发 PyProf，请访问 https://github.com/adityaiitb/PyProf。

.. overview-begin-marker-do-not-remove

PyProf 是一款用于分析和评估 PyTorch 模型 GPU 性能的工具。PyProf 会聚合来自 Nsight Systems <https://developer.nvidia.com/nsight-systems>_ 或 NvProf <https://developer.nvidia.com/nvidia-visual-profiler>_ 的内核性能数据，并提供以下附加功能：

• 识别启动某个内核的层：例如，ComputeOffsetsKernel 与具体的 PyTorch 层或 API 之间的关联并不明显。

• 识别张量的维度和精度：如果不了解张量的维度和精度，就无法判断实际（硬件层面）的内核执行时间是否接近该内核在 GPU 上的最大性能。通过了解张量的维度和精度，我们可以计算出该层所需的 FLOPs 和带宽，从而确定该内核对于该操作的性能距离峰值还有多远。

• 前向传播与反向传播的相关性：PyProf 可以确定导致特定权重梯度和数据梯度（wgrad、dgrad）产生的前向传播步骤，从而可以推断这些反向传播步骤所需的张量维度，以评估其性能。

• 确定 Tensor Core 的使用情况：PyProf 可以高亮显示使用 Tensor Cores <https://developer.nvidia.com/tensor-cores>_ 的内核。

• 将用户代码中启动特定内核的行与程序跟踪相关联。

.. overview-end-marker-do-not-remove

PyProf 的当前版本为 3.10.0，已在 NVIDIA GPU Cloud (NGC) 上的 PyTorch 容器 21.04 版本中发布。该版本的分支为 r21.04 <https://github.com/NVIDIA/PyProf/tree/r21.04>_。

快速安装说明

.. quick-install-start-marker-do-not-remove

• 克隆 Git 仓库 ::

  $ git clone https://github.com/NVIDIA/PyProf.git

• 进入 PyProf 的顶级目录

• 安装 PyProf ::

  $ pip install .

• 使用 pip list 验证安装是否完成 ::

  $ pip list | grep pyprof

• 应显示 ::

  pyprof 3.11.0.dev0

.. quick-install-end-marker-do-not-remove

快速入门说明

.. quick-start-start-marker-do-not-remove

• 在您想要分析的 PyTorch 网络中添加以下几行代码：::

  import torch.cuda.profiler as profiler import pyprof pyprof.init()

• 使用 NVProf 或 Nsight Systems 进行性能分析，生成 SQL 文件。::

  $ nsys profile -f true -o net --export sqlite python net.py

• 运行 parse.py 脚本以生成字典文件。::

  $ python -m pyprof.parse net.sqlite > net.dict

• 运行 prof.py 脚本以生成报告。::

  $ python -m pyprof.prof --csv net.dict

.. quick-start-end-marker-do-not-remove

文档

用户指南可在 当前版本的文档 <https://docs.nvidia.com/deeplearning/frameworks/pyprof-user-guide/index.html>_ 中找到，其中提供了关于如何安装和使用 PyProf 进行性能分析的说明。

一份完整的 快速入门指南 <https://docs.nvidia.com/deeplearning/frameworks/pyprof-user-guide/quickstart.html>_ 提供了逐步指导，帮助您快速上手使用 PyProf。

一个 常见问题解答 <https://docs.nvidia.com/deeplearning/frameworks/pyprof-user-guide/faqs.html>_ 列出了常见问题的答案。

发行说明 <https://docs.nvidia.com/deeplearning/frameworks/pyprof-release-notes/index.html>_ 指明了所需的 NVIDIA 驱动程序和 CUDA 的版本，并描述了哪些 GPU 支持 PyProf。

演示文稿和论文 ^^^^^^^^^^^^^^^^^^^

• 自动化端到端 PyTorch 性能分析 <https://developer.nvidia.com/gtc/2020/video/s21143>_。
  • 演示文稿幻灯片 <https://developer.download.nvidia.com/video/gputechconf/gtc/2020/presentations/s21143-automating-end-to-end-pytorch-profiling.pdf>_。

贡献

我们非常欢迎对 PyProf 的贡献。要贡献代码，请提交拉取请求，并遵循 贡献说明 <CONTRIBUTING.md>_ 文档中的指南。

报告问题、提问

我们感谢您对该项目的任何反馈、问题或错误报告。当需要代码方面的帮助时，请遵循 Stack Overflow (https://stackoverflow.com/help/mcve) 文档中概述的流程。请确保发布的示例：

• 最小化——尽可能使用最少的代码，但仍能重现相同的问题。
• 完整性——提供所有用于重现问题的部分。检查是否可以去除外部依赖，同时仍然展示问题。我们花在重现问题上的时间越少，就越有更多的时间来修复它。
• 可验证性——在提供代码之前，请先测试代码，确保它确实能够重现问题。移除所有与您的请求或问题无关的问题。

.. |License| image:: https://img.shields.io/badge/License-Apache2-green.svg :target: http://www.apache.org/licenses/LICENSE-2.0

PyProf 快速上手指南

重要提示：NVIDIA 已于 2021 年 6 月 30 日停止对官方 PyProf 仓库的维护。对于新的 PyTorch 性能分析需求，官方推荐使用 NVIDIA Deep Learning Profiler (DLProf)。如果您仍需使用或参与 PyProf 的后续开发，请参考社区维护版本：https://github.com/adityaiitb/PyProf

PyProf 是一款用于分析 PyTorch 模型 GPU 性能的工具。它能聚合 Nsight Systems 或 NvProf 的数据，帮助您识别算子对应的网络层、张量维度、精度、前后向传播关联以及 Tensor Core 使用情况。

环境准备

• 操作系统: Linux
• GPU: 支持 CUDA 的 NVIDIA GPU
• 前置依赖:
  • Python 3.x
  • PyTorch (已安装并配置好 CUDA)
  • NVIDIA 性能分析工具：需安装 Nsight Systems (nsys) 或 NvProf (推荐在新版硬件上使用 Nsight Systems)
  • Git

安装步骤

1. 克隆仓库

   git clone https://github.com/NVIDIA/PyProf.git
   

2. 进入目录

   cd PyProf
   

3. 安装工具

   pip install .
   

   (注：国内用户若下载缓慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华镜像源)

4. 验证安装

   pip list | grep pyprof
   

   输出应包含 pyprof 及其版本号（例如 3.11.0.dev0）。

基本使用

1. 修改代码

在需要分析的 PyTorch 脚本（例如 net.py）中，导入并初始化 PyProf：

import torch.cuda.profiler as profiler
import pyprof

pyprof.init()

# ... 原有的模型定义和训练代码 ...

2. 采集性能数据

使用 nsys (或 nvprof) 运行脚本并生成 SQLite 数据库文件。以下命令将生成 net.sqlite：

nsys profile -f true -o net --export sqlite python net.py

3. 解析数据

运行 parse.py 将 SQLite 文件转换为字典格式：

python -m pyprof.parse net.sqlite > net.dict

4. 生成报告

运行 prof.py 生成分析报告（支持 CSV 格式）：

python -m pyprof.prof --csv net.dict

执行完成后，您将看到包含算子名称、耗时、FLOPs、带宽利用率等详细信息的报表，可用于定位性能瓶颈。