RunAnywhere

为所有平台提供设备端AI。
在本地运行大语言模型、语音转文本和文本转语音——私密、离线、快速。

 

实际演示

---

RunAnywhere是什么？

RunAnywhere让你能够为你的应用添加完全在设备端运行的AI功能：

• LLM聊天——Llama、Mistral、Qwen、SmolLM等
• 语音转文本——Whisper驱动的转录
• 文本转语音——神经网络语音合成
• 语音助手——完整的STT→LLM→TTS流水线

无需云端。无延迟。数据不会离开设备。

---

SDK列表

平台	状态	安装方式	文档
Swift (iOS/macOS)	稳定	Swift Package Manager	docs.runanywhere.ai/swift
Kotlin (Android)	稳定	Gradle	docs.runanywhere.ai/kotlin
Web (浏览器)	测试版	npm	SDK README
React Native	测试版	npm	docs.runanywhere.ai/react-native
Flutter	测试版	pub.dev	docs.runanywhere.ai/flutter

---

快速入门

Swift (iOS / macOS)

import RunAnywhere
import LlamaCPPRuntime

// 1. 初始化
LlamaCPP.register()
try RunAnywhere.initialize()

// 2. 加载模型
try await RunAnywhere.downloadModel("smollm2-360m")
try await RunAnywhere.loadModel("smollm2-360m")

// 3. 生成
let response = try await RunAnywhere.chat("法国的首都是哪里？")
print(response) // "巴黎是法国的首都。"

通过Swift Package Manager安装：

https://github.com/RunanywhereAI/runanywhere-sdks

完整文档 → · 源代码

---

Kotlin (Android)

import com.runanywhere.sdk.public.RunAnywhere
import com.runanywhere.sdk.public.extensions.*

// 1. 初始化
LlamaCPP.register()
RunAnywhere.initialize(environment = SDKEnvironment.DEVELOPMENT)

// 2. 加载模型
RunAnywhere.downloadModel("smollm2-360m").collect { println("${it.progress * 100}%") }
RunAnywhere.loadLLMModel("smollm2-360m")

// 3. 生成
val response = RunAnywhere.chat("法国的首都是哪里？")
println(response) // "巴黎是法国的首都。"

通过Gradle安装：

dependencies {
    implementation("com.runanywhere.sdk:runanywhere-kotlin:0.16.1")
    implementation("com.runanywhere.sdk:runanywhere-core-llamacpp:0.16.1")
}

完整文档 → · 源代码

---

React Native

import { RunAnywhere, SDKEnvironment } from '@runanywhere/core';
import { LlamaCPP } from '@runanywhere/llamacpp';

// 1. 初始化
await RunAnywhere.initialize({ environment: SDKEnvironment.Development });
LlamaCPP.register();

// 2. 加载模型
await RunAnywhere.downloadModel('smollm2-360m');
await RunAnywhere.loadModel('smollm2-360m');

// 3. 生成
const response = await RunAnywhere.chat('法国的首都是哪里？');
console.log(response); // "巴黎是法国的首都。"

通过npm安装：

npm install @runanywhere/core @runanywhere/llamacpp

完整文档 → · 源代码

---

Flutter

import 'package:runanywhere/runanywhere.dart';
import 'package:runanywhere_llamacpp/runanywhere_llamacpp.dart';

// 1. 初始化
await RunAnywhere.initialize();
await LlamaCpp.register();

// 2. 加载模型
await RunAnywhere.downloadModel('smollm2-360m');
await RunAnywhere.loadModel('smollm2-360m');

// 3. 生成
final response = await RunAnywhere.chat('法国的首都是哪里？');
print(response); // "巴黎是法国的首都。"

通过pub.dev安装：

dependencies:
  runanywhere: ^0.16.0
  runanywhere_llamacpp: ^0.16.0  # LLM文本生成
  # runanywhere_onnx: ^0.16.0   # 如果需要STT、TTS或语音功能，请添加此依赖

完整文档 → · 源代码

---

网页（浏览器）

import { RunAnywhere, TextGeneration } from '@runanywhere/web';

// 1. 初始化
await RunAnywhere.initialize({ environment: 'development' });

// 2. 加载模型
await TextGeneration.loadModel('/models/qwen2.5-0.5b-instruct-q4_0.gguf', 'qwen2.5-0.5b');

// 3. 生成
const result = await TextGeneration.generate('法国的首都是哪里？');
console.log(result.text); // "巴黎是法国的首都在。"

通过 npm 安装：

npm install @runanywhere/web

完整文档 → · 源代码

---

示例应用

展示 SDK 功能的全功能演示应用：

平台	源代码	下载
iOS	examples/ios/RunAnywhereAI	App Store
Android	examples/android/RunAnywhereAI	Google Play
Web	examples/web/RunAnywhereAI	从源码构建
React Native	examples/react-native/RunAnywhereAI	从源码构建
Flutter	examples/flutter/RunAnywhereAI	从源码构建

---

入门示例

在各个平台上快速上手 RunAnywhere 的最小化入门项目：

平台	仓库
Kotlin (Android)	RunanywhereAI/kotlin-starter-example
Swift (iOS)	RunanywhereAI/swift-starter-example
Flutter	RunanywhereAI/flutter-starter-example
React Native	RunanywhereAI/react-native-starter-app

---

实验室

使用 RunAnywhere 构建的、推动设备端 AI 边界的现实世界项目。每个项目都以可构建和运行的独立应用形式提供。

Android Use Agent

一个完全在设备上运行的自主 Android 助手，能够控制你的手机。只需给它一个目标，比如“打开 YouTube 并搜索 LoFi 音乐”，它就会通过无障碍 API 读取屏幕内容，利用设备上的 LLM（Qwen3-4B）推理下一步操作，并执行点击、滑动和文本输入——全程无需任何云端调用。内置三星前台加速功能，可将推理速度提升 15 倍；支持基于 Android Intent 的智能预启动；并具备循环检测与自动恢复功能。已在 Galaxy S24 上对四种 LLM 模型进行了基准测试。完整基准测试

设备端浏览器助手

一款 Chrome 扩展程序，完全在设备上使用 WebLLM 和 WebGPU 自动化浏览器任务。采用双代理架构——规划器负责将目标分解为步骤，导航器则与页面元素交互——同时支持基于 DOM 和视觉的页面理解。包含针对亚马逊、YouTube 等网站的特定工作流。所有 AI 推理在初始模型下载后均在本地 GPU 上运行。

Swift 入门应用

一款功能齐全的 iOS 应用，以简洁的 SwiftUI 界面展示了 RunAnywhere SDK 的核心 AI 能力。包括使用设备端语言模型进行 LLM 对话、基于 Whisper 的语音转文字、神经网络文语转换，以及将 STT、LLM 和 TTS 通过语音活动检测串联起来的完整语音流水线。是开发 iOS 上隐私优先 AI 功能的良好起点。

Linux 语音助手

一套完整的 Linux 设备端语音 AI 流水线（适用于 Raspberry Pi 5、x86_64 和 ARM64）。说出“Hey Jarvis”即可激活，自然对话并获得响应——全程本地运行，零云端依赖。将唤醒词检测（openWakeWord）、语音活动检测（Silero VAD）、语音转文字（Whisper Tiny EN）、LLM 推理（Qwen2.5 0.5B Q4）以及文语转换（Piper 神经网络 TTS）整合进一个 C++ 可执行文件中。

OpenClaw 混合助手

一种混合语音助手，将延迟敏感的组件保留在设备上（唤醒词、VAD、STT、TTS），而将推理部分通过 OpenClaw WebSocket 路由到云端 LLM。支持打断式交互（可通过说出唤醒词中断 TTS）、等待提示音以反馈云端响应，以及具有脉冲滤波功能的抗噪 VAD。专为设备端 LLM 太慢但又希望进行私密音频处理的场景设计。

---

功能特性

功能	iOS	Android	Web	React Native	Flutter
LLM 文本生成	✅	✅	✅	✅	✅
流式输出	✅	✅	✅	✅	✅
语音转文字	✅	✅	✅	✅	✅
文字转语音	✅	✅	✅	✅	✅
语音助手流水线	✅	✅	✅	✅	✅
视觉语言模型	✅	—	✅	—	—
模型下载 + 进度显示	✅	✅	✅	✅	✅
结构化输出（JSON）	✅	✅	✅	🔜	🔜
工具调用	✅	✅	✅	—	—
嵌入表示	—	—	✅	—	—
Apple 基础模型	✅	—	—	—	—

---

支持的模型

LLM（GGUF 格式，通过 llama.cpp 加载）

模型	大小	所需内存	使用场景
SmolLM2 360M	~400MB	500MB	快速轻量级
Qwen 2.5 0.5B	~500MB	600MB	多语言支持
Llama 3.2 1B	~1GB	1.2GB	平衡性能
Mistral 7B Q4	~4GB	5GB	高质量

语音转文字（Whisper，通过 ONNX 加载）

模型	大小	语言
Whisper Tiny	~75MB	英语
Whisper Base	~150MB	多语言

文字转语音（Piper，通过 ONNX 加载）

声音	大小	语言
Piper 美式英语	~65MB	英语（美）
Piper 英式英语	~65MB	英语（英）

---

仓库结构

runanywhere-sdks/
├── sdk/
│   ├── runanywhere-swift/          # iOS/macOS SDK
│   ├── runanywhere-kotlin/         # Android SDK
│   ├── runanywhere-web/            # Web SDK (WebAssembly)
│   ├── runanywhere-react-native/   # React Native SDK
│   ├── runanywhere-flutter/        # Flutter SDK
│   └── runanywhere-commons/        # 共享 C++ 核心
│
├── examples/
│   ├── ios/RunAnywhereAI/          # iOS 示例应用
│   ├── android/RunAnywhereAI/      # 安卓示例应用
│   ├── web/RunAnywhereAI/          # Web 示例应用
│   ├── react-native/RunAnywhereAI/ # React Native 示例应用
│   └── flutter/RunAnywhereAI/      # Flutter 示例应用
│
├── Playground/
│   ├── swift-starter-app/          # iOS AI 演示应用
│   ├── on-device-browser-agent/    # Chrome 浏览器自动化代理
│   ├── android-use-agent/          # 设备端自主安卓代理
│   ├── linux-voice-assistant/      # Linux 设备端语音助手
│   └── openclaw-hybrid-assistant/  # 混合语音助手（设备端 + 云端）
│
└── docs/                           # 文档

---

系统要求

平台	最低版本	推荐版本
iOS	17.0+	17.0+
macOS	14.0+	14.0+
Android	API 24 (7.0)	API 28+
Web	Chrome 96+ / Edge 96+	Chrome 120+
React Native	0.74+	0.76+
Flutter	3.10+	3.24+

内存： 最低 2GB，运行大型模型建议 4GB 以上

---

贡献

我们欢迎各类贡献。详情请参阅我们的 贡献指南。

# 克隆仓库
git clone https://github.com/RunanywhereAI/runanywhere-sdks.git

# 设置特定 SDK（以 Swift 为例）
cd runanywhere-sdks/sdk/runanywhere-swift
./scripts/build-swift.sh --setup

# 运行示例应用
cd ../../examples/ios/RunAnywhereAI
open RunAnywhereAI.xcodeproj

---

支持

• Discord： 加入我们的社区
• GitHub Issues： 报告问题或请求功能
• 邮箱： founders@runanywhere.ai
• Twitter： @RunanywhereAI

---

许可证

Apache 2.0 — 详情请参阅 LICENSE 文件。

RunAnywhere SDKs 快速上手指南

RunAnywhere 是一个致力于在**设备端（On-device）**运行 AI 模型的开源框架。它支持在大语言模型（LLM）、语音转文字（STT）、文字转语音（TTS）及视觉语言模型等场景下，实现完全离线、低延迟且保护隐私的 AI 功能。

环境准备

在开始之前，请确保您的开发环境满足以下基本要求：

• 操作系统：
  • iOS/macOS: macOS 13.0+ (Swift)
  • Android: Android 8.0 (API 26)+ (Kotlin)
  • Web: 现代浏览器 (支持 WebGPU/WebAssembly)
  • 跨平台: Flutter 3.x+, React Native 0.70+
• 前置依赖：
  • Xcode (iOS/macOS)
  • Android Studio & Gradle (Android)
  • Node.js & npm (Web/React Native)
  • Dart & Flutter SDK (Flutter)
• 网络说明：首次运行需下载模型文件（GGUF 格式），建议确保网络连接通畅。国内开发者若遇到模型下载缓慢，可考虑配置代理或使用支持断点续传的网络环境。

---

安装步骤

根据您的目标平台，选择对应的安装方式：

1. Swift (iOS / macOS)

通过 Swift Package Manager 添加依赖：

• Repository URL: https://github.com/RunanywhereAI/runanywhere-sdks

2. Kotlin (Android)

在 build.gradle (Module level) 的 dependencies 块中添加：

dependencies {
    implementation("com.runanywhere.sdk:runanywhere-kotlin:0.16.1")
    implementation("com.runanywhere.sdk:runanywhere-core-llamacpp:0.16.1")
}

3. React Native

使用 npm 安装核心包和 LlamaCPP 运行时：

npm install @runanywhere/core @runanywhere/llamacpp

4. Flutter

在 pubspec.yaml 的 dependencies 中添加：

dependencies:
  runanywhere: ^0.16.0
  runanywhere_llamacpp: ^0.16.0  # 用于 LLM 文本生成
  # runanywhere_onnx: ^0.16.0   # 如需 STT/TTS 功能请取消注释

然后运行 flutter pub get。

5. Web (Browser)

使用 npm 安装 Web 专用包：

npm install @runanywhere/web

---

基本使用

以下示例展示了如何初始化 SDK、下载并加载模型（以 smollm2-360m 为例），以及进行简单的对话生成。

Swift 示例

import RunAnywhere
import LlamaCPPRuntime

// 1. 初始化
LlamaCPP.register()
try RunAnywhere.initialize()

// 2. 下载并加载模型
try await RunAnywhere.downloadModel("smollm2-360m")
try await RunAnywhere.loadModel("smollm2-360m")

// 3. 生成回复
let response = try await RunAnywhere.chat("What is the capital of France?")
print(response) // 输出："Paris is the capital of France."

Kotlin (Android) 示例

import com.runanywhere.sdk.public.RunAnywhere
import com.runanywhere.sdk.public.extensions.*

// 1. 初始化
LlamaCPP.register()
RunAnywhere.initialize(environment = SDKEnvironment.DEVELOPMENT)

// 2. 下载并加载模型 (带进度监听)
RunAnywhere.downloadModel("smollm2-360m").collect { println("${it.progress * 100}%") }
RunAnywhere.loadLLMModel("smollm2-360m")

// 3. 生成回复
val response = RunAnywhere.chat("What is the capital of France?")
println(response) // 输出："Paris is the capital of France."

React Native 示例

import { RunAnywhere, SDKEnvironment } from '@runanywhere/core';
import { LlamaCPP } from '@runanywhere/llamacpp';

async function runDemo() {
  // 1. 初始化
  await RunAnywhere.initialize({ environment: SDKEnvironment.Development });
  LlamaCPP.register();

  // 2. 下载并加载模型
  await RunAnywhere.downloadModel('smollm2-360m');
  await RunAnywhere.loadModel('smollm2-360m');

  // 3. 生成回复
  const response = await RunAnywhere.chat('What is the capital of France?');
  console.log(response); // 输出："Paris is the capital of France."
}

Flutter 示例

import 'package:runanywhere/runanywhere.dart';
import 'package:runanywhere_llamacpp/runanywhere_llamacpp.dart';

void main() async {
  // 1. 初始化
  await RunAnywhere.initialize();
  await LlamaCpp.register();

  // 2. 下载并加载模型
  await RunAnywhere.downloadModel('smollm2-360m');
  await RunAnywhere.loadModel('smollm2-360m');

  // 3. 生成回复
  final response = await RunAnywhere.chat('What is the capital of France?');
  print(response); // 输出："Paris is the capital of France."
}

Web 示例

import { RunAnywhere, TextGeneration } from '@runanywhere/web';

async function runDemo() {
  // 1. 初始化
  await RunAnywhere.initialize({ environment: 'development' });

  // 2. 加载模型 (Web 端通常需指定模型文件路径)
  await TextGeneration.loadModel('/models/qwen2.5-0.5b-instruct-q4_0.gguf', 'qwen2.5-0.5b');

  // 3. 生成回复
  const result = await TextGeneration.generate('What is the capital of France?');
  console.log(result.text); // 输出："Paris is the capital of France."
}

提示：首次调用 downloadModel 时会从网络拉取模型文件，后续运行将直接使用本地缓存，实现完全离线推理。