LiteRT Torch

LiteRT Torch 是一个 Python 库，支持将 PyTorch 模型转换为 .tflite 格式，随后可以在 LiteRT 上运行。这使得 Android、iOS 和 IoT 应用程序能够在设备端完全本地运行模型。LiteRT Torch 提供了广泛的 CPU 支持，并初步支持 GPU 和 NPU。LiteRT Torch 致力于与 PyTorch 紧密集成，基于 torch.export() 构建，并对 Core ATen 运算符提供了良好的覆盖。

要开始将 PyTorch 模型转换为 LiteRT 格式，请参阅 PyTorch 转换器 部分的详细说明。对于大型语言模型（LLMs）和基于 Transformer 的模型，生成式 API 支持模型创作和量化，以提升设备端性能。

尽管它们属于同一个 PyPI 包，但 PyTorch 转换器目前处于 Beta 版本，而生成式 API 则是 Alpha 版本。更多信息请参阅 发布说明。

PyTorch 转换器

以下是将 PyTorch 模型转换为 .tflite FlatBuffer 文件所需的步骤：

import torch
import torchvision
import litert_torch

# 使用带有预训练权重的 resnet18。
resnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1)
sample_inputs = (torch.randn(1, 3, 224, 224),)

# 将 PyTorch 模型转换并序列化为 .tflite FlatBuffer 文件。请注意，在转换之前，我们已将模型设置为评估模式。
edge_model = litert_torch.convert(resnet18.eval(), sample_inputs)
edge_model.export("resnet18.tflite")

在 入门指南 Jupyter 笔记本中，提供了转换过程的初步演示，并可通过 Google Colab 进行尝试。

PyTorch 转换器的更多技术细节请参见 这里。

生成式 API

LiteRT Torch 生成式 API 是一个原生 Torch 库，用于创作针对移动设备优化的 PyTorch Transformer 模型，这些模型可以被转换为 LiteRT-LM 模型，从而让用户能够轻松地在边缘设备上部署大型语言模型（LLMs）。转换后的模型可以通过 LiteRT-LM 运行。

更详细的文档可在 这里 找到。

生成式 API 目前支持 CPU 和 GPU，并计划支持 NPU。未来的一个发展方向是与 PyTorch 社区合作，确保常用的 Transformer 抽象可以直接得到支持，而无需重新编写代码。

构建状态

构建类型	状态
生成式 API（Linux）
模型覆盖率（Linux）
单元测试（Linux）
夜间发布

安装

要求和依赖项

• Python 版本：>=3.10
• 操作系统：Linux
• PyTorch：
• TensorFlow：

Python 虚拟环境

设置一个 Python 虚拟环境：

python -m venv --prompt litert-torch venv
source venv/bin/activate

可以使用以下命令安装最新稳定版：

pip install litert-torch

或者，也可以安装夜间版本：

pip install --pre litert-torch-nightly

• 已发布的版本列表可在 这里 查看。
• PyPI 上的所有版本列表（包括夜间构建）可在 这里 查看。

贡献

请参阅我们的 贡献文档。

获取帮助

如有任何问题，请 创建 GitHub 问题。

LiteRT Torch 快速上手指南

LiteRT Torch 是一个 Python 库，支持将 PyTorch 模型转换为 .tflite 格式，以便在 Android、iOS 和 IoT 设备上通过 LiteRT 进行完全本地化的推理。该工具基于 torch.export() 构建，广泛支持 Core ATen 算子，并提供针对大语言模型（LLM）的生成式 API 支持。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux
• Python 版本: >= 3.10
• PyTorch: >= 2.4.0
• TensorFlow: 需安装 tf-nightly (用于底层转换支持)

注意：目前官方主要支持 Linux 环境。PyTorch 转换器处于 Beta 阶段，生成式 API 处于 Alpha 阶段。

安装步骤

建议使用 Python 虚拟环境进行安装，以避免依赖冲突。

1. 创建并激活虚拟环境：

   python -m venv --prompt litert-torch venv
   source venv/bin/activate
   

2. 安装 LiteRT Torch：

   安装最新稳定版：

   pip install litert-torch
   

   或者，如需体验最新夜间构建版（包含最新功能但可能不稳定）：

   pip install --pre litert-torch-nightly
   

   (注：如果在国内网络环境下安装较慢，可尝试添加国内镜像源，例如：pip install litert-torch -i https://pypi.tuna.tsinghua.edu.cn/simple)

基本使用

以下是将预训练的 PyTorch ResNet18 模型转换为 .tflite 格式的最小化示例：

import torch
import torchvision
import litert_torch

# 加载预训练的 ResNet18 模型
resnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1)
sample_inputs = (torch.randn(1, 3, 224, 224),)

# 转换并序列化模型为 .tflite flatbuffer
# 注意：转换前必须将模型设置为评估模式 (.eval())
edge_model = litert_torch.convert(resnet18.eval(), sample_inputs)

# 导出模型文件
edge_model.export("resnet18.tflite")

转换完成后，生成的 resnet18.tflite 文件即可部署到支持 LiteRT 的移动端或边缘设备上进行推理。

对于大语言模型（LLM）和 Transformer 架构，请参考官方文档中的 Generative API 部分以获取模型编写和量化的高级用法。