---

不只是一款聊天应用

大多数“本地LLM”应用只是提供一个文本聊天机器人就结束了。而Off Grid则是一个完整的离线AI套件——文本生成、图像生成、视觉AI、语音转录、工具调用和文档分析等功能，全部原生运行在你的手机或Mac硬件上。

---

它能做什么？

文本生成——支持Qwen 3、Llama 3.2、Gemma 3、Phi-4等GGUF模型。流式响应、思考模式、Markdown渲染，在旗舰设备上可达15–30 tok/s。你也可以导入自己的.gguf文件。

远程LLM服务器——可连接本地网络中的任何OpenAI兼容服务器（如Ollama、LM Studio、LocalAI）。自动发现模型，通过SSE流式接收响应，并将API密钥安全存储在系统钥匙串中。可在本地与远程模型之间无缝切换。

工具调用——支持函数调用的模型可以使用内置工具：网页搜索、计算器、日期时间、设备信息以及知识库搜索。具备防失控机制的自动工具循环，搜索结果中还提供可点击链接。

项目知识库——可将PDF和文本文档上传至项目知识库。文档会在设备端分块并嵌入，采用捆绑的MiniLM模型进行向量化，再通过余弦相似度检索——所有数据均本地存储于SQLite数据库中。search_knowledge_base工具会自动出现在项目对话中。

图像生成——设备端Stable Diffusion，实时预览。在骁龙平台上由NPU加速（每张图5–10秒），iOS则使用Core ML。支持20多种模型，包括Absolute Reality、DreamShaper、Anything V5等。

视觉AI——只需将相机对准任何物体即可提问。SmolVLM、Qwen3-VL、Gemma 3n等模型可分析文档、描述场景、读取收据。在旗舰设备上耗时约7秒。

语音输入——设备端Whisper语音转文字。长按录音，自动转写。音频绝不会离开你的手机。

文档分析——可将PDF、代码文件、CSV等附加到对话中。两个平台上均支持原生PDF文本提取。

AI提示增强——输入简单提示，输出详细Stable Diffusion提示。你的文本模型会自动优化图像生成提示。

---

性能

任务	旗舰机型	中端机型
文本生成	15–30 tok/s	5–15 tok/s
图像生成（NPU）	5–10秒	—
图像生成（CPU）	~15秒	~30秒
视觉推理	~7秒	~15秒
语音转录	实时	实时

测试设备：骁龙8 Gen 2/3、Apple A17 Pro。具体性能因模型大小和量化方式而异。

---

安装

或者从GitHub Releases下载最新APK。

macOS：iOS App Store版本可通过Mac Catalyst/iPad兼容性原生运行在Apple Silicon Mac上。

从源码构建

git clone https://github.com/alichherawalla/off-grid-mobile.git
cd off-grid-mobile
npm install

# Android
cd android && ./gradlew clean && cd ..
npm run android

# iOS
cd ios && pod install && cd ..
npm run ios

需要Node.js 20+、JDK 17 / Android SDK 36（Android）、Xcode 15+（iOS）。详情请参阅完整构建指南。

---

测试

每次PR提交时，都会在三个平台上运行测试：

平台	框架	测试内容
React Native	Jest + RNTL	存储、服务、组件、屏幕、接口协议
Android	JUnit	LocalDream、DownloadManager、BroadcastReceiver
iOS	XCTest	PDFExtractor、CoreMLDiffusion、DownloadManager
端到端	Maestro	关键路径流程（启动、聊天、模型、下载）

npm test              # 运行所有测试（Jest + Android + iOS）
npm run test:e2e      # 运行Maestro端到端流程（需先运行应用）

---

文档

文档	描述
架构与技术参考	系统架构、设计模式、原生模块、性能调优
代码库指南	全面的代码解析
设计系统	野兽派设计哲学、主题系统、样式变量
视觉层级标准	视觉层级与布局规范

---

社区

加入 Slack 的讨论——提问、分享反馈，并与其他 Off Grid 用户和贡献者交流。

---

贡献

欢迎贡献！请先 Fork，再创建分支并提交 Pull Request。代码风格请参考 开发指南，设计模式则可参阅 代码库指南。

---

致谢

站在巨人的肩膀上构建： llama.cpp | whisper.cpp | llama.rn | whisper.rn | local-dream | ml-stable-diffusion | MNN | Hugging Face

---

星标历史

Off Grid Mobile AI 快速上手指南

Off Grid 是一款功能全面的端侧 AI 套件，支持文本生成、图像生成、视觉识别、语音转录及工具调用。所有计算均在手机或 Mac 本地运行，数据不出设备，无需联网即可使用。

环境准备

在从源码构建之前，请确保您的开发环境满足以下要求：

• Node.js: 版本 20 或更高
• 包管理器: npm (随 Node.js 安装)
• Android 开发 (可选):
  • JDK 17
  • Android SDK 36
  • Android Studio (推荐用于模拟器调试)
• iOS/macOS 开发 (可选):
  • Xcode 15 或更高版本
  • CocoaPods (sudo gem install cocoapods)
• 硬件建议:
  • Android: 推荐骁龙 8 Gen 2/3 或同等性能设备以获得最佳推理速度。
  • iOS/macOS: 推荐 Apple Silicon (M 系列芯片) 设备。

注意：国内开发者若遇到 npm install 依赖下载缓慢，可临时切换至淘宝镜像源： npm config set registry https://registry.npmmirror.com

安装步骤

1. 克隆项目

git clone https://github.com/alichherawalla/off-grid-mobile.git
cd off-grid-mobile

2. 安装依赖

npm install

3. 构建并运行

Android 平台

清理构建缓存并启动应用：

cd android && ./gradlew clean && cd ..
npm run android

iOS 平台

安装 iOS 原生依赖并启动应用：

cd ios && pod install && cd ..
npm run ios

macOS 用户提示：构建出的 iOS 应用可通过 Mac Catalyst 直接在 Apple Silicon Mac 上运行，无需额外配置。

4. 直接安装成品 (非开发者)

如果您仅需使用而非开发，可直接通过以下渠道下载：

• Android: Google Play 或 GitHub Releases 下载 APK。
• iOS/macOS: App Store。

基本使用

启动应用后，您将进入一个完全离线的 AI 工作环境。以下是核心功能的最简使用流程：

1. 模型加载与文本对话

• 内置模型：应用预置了 Qwen 3, Llama 3.2, Gemma 3 等模型的量化版本，首次打开时会自动下载（仅需一次）。
• 自定义模型：您可以将任何 .gguf 格式的模型文件放入设备存储，并在设置中导入。
• 开始对话：在主界面输入框输入问题（例如：“解释量子纠缠”），点击发送。模型将在本地实时流式输出回答，支持 Markdown 渲染。

2. 图像生成

• 在对话中输入描述性文字（例如：“一只在太空中的猫”）。
• 点击附件图标或选择“生成图像”模式。
• 系统会自动调用本地的 Stable Diffusion 模型（如 Absolute Reality），利用 NPU/Core ML 加速，通常在 5-15 秒内生成图片。

3. 视觉与文档分析

• 视觉 AI：点击相机图标，对准物体拍照或直接取景，然后提问（例如：“这张收据上的总金额是多少？”）。支持 SmolVLM 等视觉模型本地推理。
• 文档分析：点击回形针图标上传 PDF、CSV 或代码文件。文件内容会在本地被切片并向量化存入 SQLite 数据库。随后您可以在对话中使用 search_knowledge_base 工具查询文档内容。

4. 连接远程模型 (可选)

虽然主打离线，但也支持局域网内的远程模型：

• 进入设置，添加 OpenAI 兼容的本地服务器地址（如 Ollama, LM Studio）。
• 应用会自动发现模型，之后可在对话中无缝切换使用远程算力。

---

所有数据处理均在设备本地完成，无云端传输，保障隐私安全。