用语音与你的 Mac 交流，查询你的文档，无需云端。

RCLI 是一款适用于 macOS 的设备端语音 AI。它是一个完整的 STT + LLM + TTS + VLM 流程，原生运行在 Apple Silicon 上——通过语音实现 40 种 macOS 操作，在你的文档上进行本地 RAG 查询，支持设备端视觉功能（摄像头和屏幕分析），端到端延迟低于 200 毫秒。无需云端，无需 API 密钥。

由 RunAnywhere, Inc. 专为 Apple Silicon 打造的专有 GPU 推理引擎 MetalRT 提供动力。

演示

实时屏幕录制，基于 Apple Silicon——无云端、无剪辑、无花招。

语音对话 自然交谈——RCLI 在设备端聆听、理解并响应。 点击观看完整音频视频	应用控制 控制 Spotify、调节音量——通过语音实现 38 种 macOS 操作。 点击观看完整音频视频
模型 浏览模型、热插拔 LLM——全部通过 TUI 完成。 点击观看完整音频视频	文档智能（RAG） 导入文档、用语音提问——约 4 毫秒的混合检索。 点击观看完整音频视频

安装

[重要提示] 需要 macOS 13+ 和 Apple Silicon。MetalRT 引擎要求 M3 或更高版本。 M1/M2 Mac 将自动回退到 llama.cpp。

一条命令：

curl -fsSL https://raw.githubusercontent.com/RunanywhereAI/RCLI/main/install.sh | bash

或通过 Homebrew：

brew tap RunanywhereAI/rcli https://github.com/RunanywhereAI/RCLI.git
brew install rcli
rcli setup          # 必需步骤——下载 AI 模型（约 1GB，一次性）

升级到最新版本：

brew update
brew upgrade rcli

# 强制刷新 tap 以获取最新 formula
cd $(brew --repo RunanywhereAI/rcli) && git fetch origin && git reset --hard origin/main
brew reinstall rcli

brew untap RunanywhereAI/rcli
rm -rf "$(brew --cache)/downloads/"*rcli*
brew tap RunanywhereAI/rcli https://github.com/RunanywhereAI/RCLI.git
brew install rcli
rcli setup

快速入门

rcli                             # 交互式 TUI（按住说话 + 文本输入）
rcli listen                      # 连续语音模式
rcli ask "open Safari"           # 一次性的命令
rcli ask "play some jazz on Spotify"
rcli vlm photo.jpg "what's in this image?"  # 视觉分析
rcli camera                      # 实时摄像头 VLM
rcli screen                      # 屏幕截图 VLM
rcli metalrt                     # MetalRT GPU 引擎管理
rcli llamacpp                    # llama.cpp 引擎管理

基准测试

MetalRT 解码吞吐量 vs llama.cpp 和 Apple MLX 在 Apple M3 Max 上的对比

STT 和 TTS 实时因子——数值越低越好。MetalRT 的 STT 速度比实时快 714 倍。

更多信息：

• https://www.runanywhere.ai/blog/metalrt-fastest-llm-decode-engine-apple-silicon
• https://www.runanywhere.ai/blog/metalrt-speech-fastest-stt-tts-apple-silicon
• https://www.runanywhere.ai/blog/fastvoice-on-device-voice-ai-pipeline-apple-silicon

功能

语音流水线

一个完整的 STT + LLM + TTS 流水线，运行在 Metal GPU 上，采用三个并发线程：

• VAD — Silero 语音活动检测
• STT — Zipformer 流式传输 + Whisper / Parakeet 离线模型
• LLM — Qwen3 / LFM2 / Qwen3.5，支持 KV 缓存延续和 Flash Attention
• TTS — 双缓冲句级合成（当前句子播放时，下一句已准备就绪）
• 工具调用 — LLM 原生工具调用格式（Qwen3、LFM2 等）
• 多轮记忆 — 滑动窗口对话历史，按 token 预算修剪

视觉（VLM）

使用设备端视觉语言模型分析图像、摄像头捕捉内容以及屏幕区域。VLM 通过 Metal GPU 在 llama.cpp 引擎上运行——无需云端。

• 图像分析 — rcli vlm photo.jpg "describe this" 用于单张图像查询
• 摄像头 — 在 TUI 中按下 V 键，或运行 rcli camera 进行实时摄像头分析
• 屏幕截图 — 在 TUI 中按下 S 键，或运行 rcli screen 分析屏幕区域
• 模型 — Qwen3 VL 2B、Liquid LFM2 VL 1.6B、SmolVLM 500M——可通过 rcli models vlm 按需下载

注意： 目前 VLM 仅在 llama.cpp 引擎上可用。MetalRT 对 VLM 的支持即将推出。

40 个 macOS 操作

通过语音或文本控制您的 Mac。LLM 会将意图路由到通过 AppleScript 和 shell 命令在本地执行的操作。

运行 rcli actions 查看全部 40 个，或在 TUI 操作面板中启用/禁用它们。

提示： 如果工具调用感觉不可靠，请在 TUI 中按 X 清除对话并重置上下文。对于小型 LLM，累积的上下文可能会降低工具调用的准确性——重新开始一个全新的上下文通常可以解决这个问题。

RAG（本地文档问答）

索引本地文档，并通过语音进行查询。混合向量 + BM25 检索，在 5000 多个分块上延迟约为 4 毫秒。支持 PDF、DOCX 和纯文本。

rcli rag ingest ~/Documents/notes
rcli ask --rag ~/Library/RCLI/index "summarize the project plan"

交互式 TUI

一个终端仪表盘，具有按住说话功能、实时硬件监控、模型管理和操作浏览器。

MetalRT GPU 引擎

MetalRT 是由 RunAnywhere, Inc. 专门为 Apple Silicon 打造的高性能 GPU 推理引擎。它为 LLM、STT 和 TTS 提供最快的设备端推理——LLM 吞吐量高达 550 tok/s，端到端语音延迟低于 200 毫秒。

需要 Apple M3 或更高版本。 MetalRT 使用 M3、M3 Pro、M3 Max、M4 及更高芯片上可用的 Metal 3.1 GPU 特性。M1/M2 的支持即将推出。在 M1/M2 上，RCLI 会自动回退到开源 llama.cpp 引擎。

MetalRT 会在 rcli setup 时自动安装（选择“MetalRT”或“两者”）。也可以单独安装：

rcli metalrt install
rcli metalrt status

支持的模型： Qwen3 0.6B、Qwen3 4B、Llama 3.2 3B、LFM2.5 1.2B（LLM）· Whisper Tiny/Small/Medium（STT）· Kokoro 82M，带 28 种声音（TTS）

MetalRT 采用 专有许可 分发。如需许可咨询，请联系 founder@runanywhere.ai。

支持的模型

RCLI 支持 LLM、STT、TTS、VLM、VAD 和嵌入等领域的 20 多种模型。所有模型都在 Apple Silicon 上本地运行。使用 rcli models 浏览、下载或切换模型。

LLM： LFM2 1.2B（默认）、LFM2 350M、LFM2.5 1.2B、LFM2 2.6B、Qwen3 0.6B、Qwen3.5 0.8B/2B/4B、Qwen3 4B

STT： Zipformer（流式）、Whisper base.en（离线，默认）、Parakeet TDT 0.6B（约 1.9% WER）

TTS： Piper Lessac/Amy、KittenTTS Nano、Matcha LJSpeech、Kokoro 英语/多语言

VLM： Qwen3 VL 2B、Liquid LFM2 VL 1.6B、SmolVLM 500M——可通过 rcli models vlm 按需下载（仅限 llama.cpp 引擎）

默认安装（rcli setup）：约 1GB——LFM2 1.2B + Whisper + Piper + Silero VAD + Snowflake 嵌入。VLM 模型按需下载。

rcli models                  # 交互式模型管理
rcli models vlm              # 下载/管理 VLM 模型
rcli upgrade-llm             # 引导式 LLM 升级
rcli voices                  # 浏览和切换 TTS 音色
rcli cleanup                 # 删除未使用的模型

从源代码构建

仅 CPU 构建，使用 llama.cpp + sherpa-onnx（无 MetalRT）：

git clone https://github.com/RunanywhereAI/RCLI.git && cd RCLI
bash scripts/setup.sh
bash scripts/download_models.sh
mkdir -p build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
cmake --build . -j$(sysctl -n hw.ncpu)
./rcli

所有依赖项均已打包或通过 CMake 获取。需要 CMake 3.15+ 和 Apple Clang（C++17）。

rcli                          交互式 TUI（按住说话 + 文本 + 跟踪）
rcli listen                   连续语音模式
rcli ask <text>               一次性文本命令
rcli vlm <image> [prompt]     使用 VLM 分析图像
rcli camera [prompt]          实时摄像头捕捉 + VLM 分析
rcli screen [prompt]          屏幕截图 + VLM 分析
rcli actions [name]           列出操作或显示详细信息
rcli rag ingest <dir>         为 RAG 索引文档
rcli rag query <text>         查询已索引的文档
rcli models [llm|stt|tts|vlm] 管理 AI 模型
rcli voices                   管理 TTS 音色
rcli metalrt                  MetalRT GPU 引擎管理
rcli llamacpp                 llama.cpp 引擎管理
rcli setup                    下载默认模型
rcli info                     显示引擎和模型信息

选项：
  --models <dir>      模型目录（默认：~/Library/RCLI/models）
  --rag <index>       加载 RAG 索引以获取基于文档的答案
  --gpu-layers <n>    LLM 的 GPU 层数（默认：99 = 全部）
  --ctx-size <n>      LLM 的上下文大小（默认：4096）
  --no-speak          仅输出文本（不使用 TTS）
  --verbose, -v       调试日志

贡献

欢迎贡献。请参阅 CONTRIBUTING.md 了解构建说明以及如何添加新的操作、模型或音色。

许可证

RCLI 采用 MIT 许可证 开源。

MetalRT 是 RunAnywhere, Inc. 的专有软件，采用单独的 许可证 分发。

由 RunAnywhere, Inc. 构建

RCLI 快速上手指南

RCLI 是一款专为 macOS Apple Silicon 芯片设计的本地化语音 AI 工具。它集成了语音识别 (STT)、大语言模型 (LLM)、语音合成 (TTS) 和视觉语言模型 (VLM)，无需云端即可实现自然的语音交互、文档问答及系统控制。

环境准备

在开始之前，请确保您的设备满足以下要求：

• 操作系统：macOS 13.0 (Ventura) 或更高版本。
• 硬件架构：必须为 Apple Silicon (M1, M2, M3, M4 系列芯片)。
  • 高性能模式：若需使用专有的 MetalRT GPU 推理引擎（超低延迟），需要 M3 或更新机型。
  • 兼容模式：M1/M2 机型将自动回退至开源的 llama.cpp 引擎运行。
• 网络环境：初次安装需下载约 1GB 的 AI 模型文件，请保持网络连接畅通。

安装步骤

您可以选择通过一键脚本或 Homebrew 进行安装。

方式一：一键脚本安装（推荐）

在终端执行以下命令：

curl -fsSL https://raw.githubusercontent.com/RunanywhereAI/RCLI/main/install.sh | bash

方式二：通过 Homebrew 安装

如果您已安装 Homebrew，可执行以下步骤：

# 添加 RCLI 仓库
brew tap RunanywhereAI/rcli https://github.com/RunanywhereAI/RCLI.git

# 安装 RCLI
brew install rcli

# 初始化设置（必需）：下载默认 AI 模型（约 1GB，仅首次运行）
rcli setup

注意：如果在安装过程中遇到校验和错误或版本问题，请参考官方文档清理缓存后重试。

基本使用

安装完成后，您可以通过以下几种方式使用 RCLI：

1. 启动交互式终端界面 (TUI)

这是最常用的模式，支持按键说话、文本输入及实时硬件监控。

rcli

• 空格键 (SPACE)：按住说话 (Push-to-talk)。
• V 键：调用摄像头进行视觉分析。
• S 键：截取屏幕区域进行视觉分析。
• M 键：浏览和切换模型。
• A 键：管理 macOS 系统动作。
• ESC 键：退出。

2. 连续语音监听模式

让 RCLI 持续监听您的指令（适合免提操作）：

rcli listen

3. 单次命令执行

直接通过命令行发送一条指令并获取结果：

# 打开 Safari 浏览器
rcli ask "open Safari"

# 在 Spotify 上播放爵士乐
rcli ask "play some jazz on Spotify"

4. 视觉分析 (VLM)

分析本地图片、实时摄像头画面或屏幕内容：

# 分析本地图片
rcli vlm photo.jpg "what's in this image?"

# 启动实时摄像头分析
rcli camera

# 启动屏幕截图分析
rcli screen

5. 本地文档问答 (RAG)

索引本地文档并进行语音或文本问答：

# 索引文档目录
rcli rag ingest ~/Documents/notes

# 基于索引提问
rcli ask --rag ~/Library/RCLI/index "summarize the project plan"

6. 查看可用系统动作

RCLI 内置了 40 多种 macOS 控制动作（如调节音量、切换深色模式、发送消息等）：

rcli actions