React Native ExecuTorch 提供了一种使用 React Native 在设备端运行 AI 模型的声明式方法，由 ExecuTorch 驱动 :rocket:。它开箱即用地支持广泛的 LLM、计算机视觉模型等。请访问我们的 HuggingFace 页面以探索这些模型。

由 Meta 开发的 ExecuTorch 是一种创新框架，允许在手机或微控制器等设备上执行 AI 模型。

React Native ExecuTorch 弥合了 React Native 与原生平台能力之间的差距，使开发者能够高效地在移动设备上运行本地 AI 模型。这一切无需深厚的原生编程或机器学习专业知识。

目录

• 支持的版本
• 实际案例
• 快速入门 - 运行 Llama
  • :one: 安装
  • :two: 设置与初始化
  • :three: 运行模型！
• 演示应用
• 现成模型
• 文档
• 许可证
• 下一步是什么？
• React Native ExecuTorch 由 Software Mansion 创建

支持的版本

最低支持版本如下：

• iOS 17.0
• Android 13
• React Native - 请参阅 兼容性表

[!重要提示] React Native ExecuTorch 仅支持 新的 React Native 架构。

实际案例

React Native ExecuTorch 正在为 Private Mind 提供支持，这是一款注重隐私的移动 AI 应用程序，现已在 App Store 和 Google Play 上架。

快速入门 - 运行 Llama

只需 3 个简单步骤，即可开始使用 AI 驱动的文本生成！

:one: 安装

# 安装包
yarn add react-native-executorch

# 如果您使用 Expo，请添加以下用于资源获取的包：
yarn add react-native-executorch-expo-resource-fetcher
yarn add expo-file-system expo-asset

# 如果您使用原生 React Native 项目，请使用以下包：
yarn add react-native-executorch-bare-resource-fetcher
yarn add @dr.pogodin/react-native-fs @kesha-antonov/react-native-background-downloader

# 根据平台选择 iOS 或 Android
yarn < ios | android >

:two: 设置与初始化

将以下内容添加到你的组件文件中：

import {
  useLLM,
  LLAMA3_2_1B,
  Message,
  initExecutorch,
} from 'react-native-executorch';
import { ExpoResourceFetcher } from 'react-native-executorch-expo-resource-fetcher';

initExecutorch({
  resourceFetcher: ExpoResourceFetcher,
});

function MyComponent() {
  // 初始化模型 🚀
  const llm = useLLM({ model: LLAMA3_2_1B });
  // ... 组件的其余部分
}

:three: 运行模型！

const handleGenerate = async () => {
  const chat: Message[] = [
    { role: 'system', content: '你是一个乐于助人的助手' },
    { role: 'user', content: '生命的意义是什么？' }
  ];

  // 聊天完成
  await llm.generate(chat);
  console.log('Llama 说：', llm.response);
};

演示应用

我们目前托管了一些示例应用，展示了我们库的各种使用场景：

• llm - 展示 LLM 使用的聊天应用
• speech - 语音转文本和文本转语音任务的实现
• computer-vision - 计算机视觉相关任务
• text-embeddings - 用于语义搜索的文本表示计算
• bare_rn - 适用于原生 React Native（不使用 Expo）的 LLM 聊天示例

如果你想运行某个演示应用，请进入其项目目录。然后安装依赖并运行应用：

yarn && yarn < ios | android >

[!警告] 运行 LLM 需要大量的内存。如果你遇到意外的应用崩溃，请尝试增加模拟器分配的内存。

现成模型

我们的库包含许多开箱即用的 AI 模型；完整列表可在文档中找到。如果你有兴趣运行自己的 AI 模型，首先需要将其导出为 .pte 格式。有关如何操作的说明，请参阅 Python API 和 optimum-executorch README。

文档

请访问我们的文档，了解我们的库如何帮助你构建 React Native AI 功能： https://docs.swmansion.com/react-native-executorch

许可证

本库采用 MIT 许可证 许可。

下一步？

如需了解我们的未来计划和发展，请访问我们的里程碑。

React Native ExecuTorch 由 Software Mansion 打造

自 2012 年以来，Software Mansion 是一家拥有丰富经验的软件公司，专注于构建 Web 和移动应用。我们是 React Native 的核心贡献者，也是处理各种 React Native 问题的专家。我们可以帮助你打造下一个梦想产品——联系我们。

React Native ExecuTorch 快速上手指南

React Native ExecuTorch 是一个基于 Meta ExecuTorch 框架的声明式库，允许你在 React Native 应用中直接在设备端运行 AI 模型（如 LLM、计算机视觉模型等），无需深厚的原生开发或机器学习背景。

环境准备

在开始之前，请确保你的开发环境满足以下最低要求：

• 操作系统:
  • iOS: 17.0 及以上
  • Android: 13 (API Level 33) 及以上
• React Native: 必须使用 新架构 (New Architecture)。
  • 具体版本兼容性请参考官方文档。
• 依赖管理: Yarn 或 npm。

注意：本项目不支持旧版 React Native 架构。

安装步骤

1. 安装核心包

在项目根目录下运行以下命令安装主包：

yarn add react-native-executorch

2. 安装资源获取插件

根据你是否使用 Expo，选择安装对应的资源获取插件：

如果你使用 Expo:

yarn add react-native-executorch-expo-resource-fetcher
yarn add expo-file-system expo-asset

如果你使用 bare React Native (非 Expo) 项目:

yarn add react-native-executorch-bare-resource-fetcher
yarn add @dr.pogodin/react-native-fs @kesha-antonov/react-native-background-downloader

3. 安装原生依赖并构建

完成 JS 包安装后，执行以下命令安装 iOS/Android 原生依赖：

# 对于 iOS
cd ios && pod install && cd ..
yarn ios

# 对于 Android
yarn android

基本使用

以下是最简单的使用示例，展示如何在组件中初始化并运行 Llama 3.2 模型进行文本生成。

1. 初始化与模型加载

在你的组件文件中引入必要的钩子和配置：

import {
  useLLM,
  LLAMA3_2_1B,
  Message,
  initExecutorch,
} from 'react-native-executorch';
// 如果使用 Expo，引入 ExpoResourceFetcher
import { ExpoResourceFetcher } from 'react-native-executorch-expo-resource-fetcher';
// 如果是 Bare RN 项目，请改为引入 BareResourceFetcher

// 全局初始化 Executorch
initExecutorch({
  resourceFetcher: ExpoResourceFetcher, // 或 BareResourceFetcher
});

function MyComponent() {
  // 初始化模型 🚀
  // 首次加载时会自动下载模型文件
  const llm = useLLM({ model: LLAMA3_2_1B });
  
  // ... 其余组件逻辑
}

2. 运行模型生成文本

调用 generate 方法发送消息并获取回复：

const handleGenerate = async () => {
  const chat: Message[] = [
    { role: 'system', content: 'You are a helpful assistant' },
    { role: 'user', content: 'What is the meaning of life?' }
  ];

  try {
    // 执行对话补全
    await llm.generate(chat);
    
    // 获取生成的回复
    console.log('Llama says:', llm.response);
  } catch (error) {
    console.error('Generation failed:', error);
  }
};

性能提示: 运行大型语言模型 (LLM) 需要大量内存。如果在模拟器中遇到应用崩溃，请尝试增加分配给模拟器的 RAM 大小，或在真机上测试。