AWS Neuron

Neuron SDK 概述

AWS Neuron 是一款软件开发工具包 (SDK)，可借助 AWS 的自研机器学习加速器 Inferentia 和 Trainium 实现高性能深度学习加速。通过 Neuron，您可以在配备加速器的 EC2 实例（例如 Inf1 和 Trn1）上开发、性能分析和部署高性能机器学习工作负载。

Neuron 包含编译器、运行时驱动程序以及调试和性能分析工具，并提供用于可视化的 TensorBoard 插件。它已预先集成到 PyTorch、TensorFlow 和 MXNet 等主流机器学习框架中，从而为用户提供无缝的机器学习加速工作流。

Neuron SDK 文档

有关完整文档（包括用户指南、操作指南和教程），请参阅 Neuron SDK 文档。

支持

如果您在 GitHub 和在线资源中未能找到问题的答案，请访问 AWS Neuron 支持论坛。

AWS Neuron SDK 快速上手指南

AWS Neuron 是一套专为 AWS Inferentia 和 Trainium 机器学习加速器设计的软件开发工具包（SDK）。它包含编译器、运行时驱动以及调试和性能分析工具，并已预集成到 PyTorch、TensorFlow 和 MXNet 等主流框架中，帮助开发者在 Inf1 和 Trn1 等加速型 EC2 实例上高效开发、分析和部署深度学习工作负载。

环境准备

在使用 AWS Neuron SDK 之前，请确保满足以下系统要求和前置条件：

• 操作系统：推荐使用 Amazon Linux 2 (AL2) 或 Ubuntu 20.04/22.04。
• 硬件实例：必须运行在支持 Neuron 的 EC2 实例类型上，例如：
  • Inf1 / Inf2 (基于 AWS Inferentia)
  • Trn1 / Trn2 (基于 AWS Trainium)
• 前置依赖：
  • 已安装对应的深度学习框架（如 torch-neuron, tensorflow-neuron 等）。
  • 建议通过 AWS Deep Learning AMI (DLAMI) 启动实例，该镜像已预装 Neuron SDK 及相关框架，可免去繁琐的环境配置。

注意：Neuron SDK 强依赖于特定的硬件驱动，无法在非 AWS 环境或非加速实例上运行。

安装步骤

如果您未使用预装好的 Deep Learning AMI，可以通过以下命令在 Amazon Linux 2 上安装 Neuron 组件。

1. 配置仓库源

首先添加 AWS Neuron 的 yum 仓库：

curl -O https://aws-neuron.s3.us-west-2.amazonaws.com/aws-neuron.repo
sudo mv aws-neuron.repo /etc/yum.repos.d/
sudo yum update -y

2. 安装核心组件

安装 Neuron 运行时、编译器和监控工具：

sudo yum install -y aws-neuron-runtime-collectd aws-neuron-runtime-tools aws-neuron-dkms

3. 安装框架插件

根据您使用的框架安装对应的集成包。

对于 PyTorch:

pip install torch-neuron

对于 TensorFlow:

pip install tensorflow-neuron

提示：国内用户若遇到 pip 下载缓慢，可临时切换至国内镜像源，例如： pip install torch-neuron -i https://pypi.tuna.tsinghua.edu.cn/simple (注：需确保该镜像源同步了 AWS 特有的 neuron 包，否则建议使用官方源或 AWS DLAMI)

基本使用

以下是一个使用 PyTorch 进行模型编译和推理的最简示例。该流程展示了如何将标准的 PyTorch 模型转换为 Neuron 格式并在 Inferentia/Trainium 芯片上运行。

1. 导入必要的库

import torch
import torch_neuron
from torchvision import models

2. 加载预训练模型并设置为评估模式

model = models.resnet50(pretrained=True)
model.eval()

3. 创建示例输入数据

# 创建一个符合 ResNet50 输入的随机张量 (Batch size=1, Channels=3, Height=224, Width=224)
image = [torch.rand(1, 3, 224, 224)]

4. 编译模型

使用 torch.neuron.trace 将模型编译为针对 Neuron 核心优化的格式。

model_neuron = torch.neuron.trace(model, image)

5. 执行推理

直接像使用普通 PyTorch 模型一样运行编译后的模型。

with torch.no_grad():
    output = model_neuron(*image)

print(output.shape)

编译后的模型可以保存并在后续的推理服务中重复加载，以充分利用 AWS 加速实例的高吞吐量特性。