SmolChat - 在 Android 设备上进行 SLM 的本地推理

安装

Google Play

在 Google Play 获取

GitHub

1. 从 GitHub Releases 下载最新的 APK，并将其传输到您的 Android 设备。
2. 如果您的设备不允许从未知来源下载 APK，请搜索适用于您设备的“如何允许从未知来源下载 APK”。

Obtainium

Obtainium 允许用户直接从其源（如 GitHub 或 FDroid）更新或下载应用程序。

1. 下载 Obtainium 应用程序，选择您的设备架构或“下载通用 APK”。
2. 从底部菜单中，选择“➕添加应用”。
3. 在标有“应用源 URL *”的文本框中，输入以下 URL 并点击文本框旁边的“添加”：https://github.com/shubham0204/SmolChat-Android
4. 现在，SmolChat 应该会显示在“应用”屏幕上。您可以接收有关新版本的通知，并直接下载它们，而无需访问 GitHub 仓库。

项目目标

• 提供一个可用的用户界面，以便在本地设备上与小型语言模型 (SLM) 进行交互。
• 允许用户添加或删除 SLM（GGUF 模型），并修改其系统提示或推理参数（温度、min-p）。
• 允许用户快速创建特定下游任务，并使用 SLM 生成响应。
• 代码库简单易懂且易于扩展。

设置

1. 克隆包含来自 llama.cpp 子模块的仓库：

git clone --depth=1 https://github.com/shubham0204/SmolChat-Android
cd SmolChat-Android
git submodule update --init --recursive

2. Android Studio 会自动开始构建项目。如果没有，请选择 Build > Rebuild Project 来启动项目构建。

3. 项目成功构建后，连接 Android 设备 到您的系统。连接成功后，设备名称应显示在 Android Studio 的顶部菜单栏中。

工作原理

1. 该应用程序使用 llama.cpp 加载和执行 GGUF 模型。由于 llama.cpp 是用纯 C/C++ 编写的，因此可以使用 NDK 轻松编译到基于 Android 的目标平台上。

2. smollm 模块使用一个 llm_inference.cpp 类，该类通过 llama.cpp 的 C 风格 API 执行 GGUF 模型，并通过 JNI 绑定 smollm.cpp 实现。请查看 此处的 C++ 源文件。在 Kotlin 方面，SmolLM 类提供了与 JNI（C++ 方面）绑定交互所需的方法。

3. app 模块包含应用程序逻辑和 UI 代码。每当打开一个新的聊天时，应用程序会实例化 SmolLM 类，并为其提供由 LLMModel 实体存储的模型文件路径。接下来，应用程序会从数据库中检索消息，并使用 LLMInference::addChatMessage 将角色为 user 和 system 的消息添加到聊天中。

4. 对于任务，消息不会被持久化，我们通过将 _storeChats=false 传递给 LLMInference::loadModel 来通知 LLMInference。

技术

• ggerganov/llama.cpp 是一个纯 C/C++ 框架，用于在多个执行后端上运行机器学习模型。它提供了一个原始的 C 风格 API，用于与转换为 GGUF 格式 的 LLM 交互，该格式是 ggml/llama.cpp 的原生格式。该应用程序使用 JNI 绑定与一个小类 smollm.cpp 交互，该类使用 llama.cpp 加载和执行 GGUF 模型。

• noties/Markwon 是一个用于 Android 的 Markdown 渲染库。该应用程序使用 Markwon 和 Prism4j（用于代码语法高亮）来渲染来自 SLM 的 Markdown 响应。

更多设备端机器学习项目

• shubham0204/Android-Doc-QA：基于 RAG 的文档问答，在设备端进行。
• shubham0204/OnDevice-Face-Recognition-Android：使用 FaceNet、Mediapipe 和 ObjectBox 向量数据库进行实时人脸识别。
• shubham0204/FaceRecognition_With_FaceNet_Android：使用 FaceNet 和 MLKit 进行实时人脸识别。
• shubham0204/CLIP-Android：在 Android 设备上进行 CLIP 推理（通过文本查询搜索图像）。
• shubham0204/Segment-Anything-Android：在 Android 上使用 onnxruntime 执行 Meta 的 SAM 模型。
• shubham0204/Depth-Anything-Android：在 Android 上使用 onnxruntime 执行 Depth-Anything 模型，用于单目深度估计。
• shubham0204/Sentence-Embeddings-Android：在 Android 上生成句子嵌入（例如使用 all-MiniLM-L6-V2 模型）。

未来计划

以下功能和任务计划在未来的应用程序版本中实现：

• 自动为聊天命名（就像 ChatGPT 和 Claude 一样）。
• 在导航抽屉中添加搜索栏，以搜索聊天中的消息。
• 添加后台服务，使用蓝牙/HTTP/WiFi 与桌面应用程序通信，将桌面端的查询发送到移动设备进行推理。
• 在 ChatActivity 中生成部分响应时启用自动滚动。
• 测量 RAM 使用情况。
• 集成 Android-Doc-QA，以实现基于 RAG 的文档问答。
• 检查是否可以编译 llama.cpp，使其在 Android 设备上使用 Vulkan 进行推理（并利用移动 GPU）。

SmolChat-Android 快速上手指南

SmolChat-Android 是一款专为 Android 设备设计的本地小语言模型（SLM）推理应用。它基于 llama.cpp，支持在手机上离线运行 GGUF 格式的模型，提供聊天交互、参数调整及特定任务生成等功能。

环境准备

• 操作系统：Windows, macOS 或 Linux
• 开发工具：Android Studio (最新稳定版)
• 核心依赖：
  • Android NDK (用于编译 C/C++ 代码)
  • Git (需支持 submodule 初始化)
• 测试设备：一台已开启“开发者选项”和"USB 调试”的 Android 手机（建议内存 8GB 以上以获得更好的模型运行体验）

安装步骤

方式一：直接安装 APK（普通用户推荐）

1. Google Play: 访问 Google Play 商店页面 直接安装。
2. GitHub Releases:
   • 访问 Releases 页面 下载最新版本的 .apk 文件。
   • 将文件传输至手机，若系统拦截，请在设置中允许“安装未知来源应用”。
3. Obtainium (自动更新):
   • 安装 Obtainium。
   • 点击 ➕Add App，输入源地址：https://github.com/shubham0204/SmolChat-Android 并添加。

方式二：源码编译（开发者推荐）

1. 克隆仓库（包含 llama.cpp 子模块）：

   git clone --depth=1 https://github.com/shubham0204/SmolChat-Android
   cd SmolChat-Android
   git submodule update --init --recursive
   

   提示：国内开发者若遇到克隆速度慢的问题，可配置 Git 加速代理或使用 Gitee 镜像（如有）。

2. 构建项目：

   • 使用 Android Studio 打开项目目录。
   • IDE 通常会自动开始构建。若未启动，请点击菜单栏 Build > Rebuild Project。
   • 确保 NDK 已正确安装并在 local.properties 中配置。

3. 运行调试：

   • 通过 USB 连接 Android 设备。
   • 确认设备名称出现在 Android Studio 顶部工具栏。
   • 点击 Run 按钮将应用部署到设备。

基本使用

1. 准备模型：

   • 下载任意兼容的 GGUF 格式小语言模型文件（例如来自 HuggingFace 的 SmolLM 系列或其他量化模型）。
   • 将 .gguf 文件存入手机存储。

2. 加载模型：

   • 打开 SmolChat 应用。
   • 在模型管理界面选择“添加模型”，浏览并选中刚才存入的 .gguf 文件。
   • 可选：调整系统提示词（System Prompt）、温度（Temperature）或 min-p 等推理参数。

3. 开始对话：

   • 创建新聊天会话，应用会自动实例化 SmolLM 引擎并加载模型。
   • 输入问题，模型将在本地即时生成回复（支持 Markdown 渲染及代码高亮）。
   • 对于临时任务，可选择“不保存聊天记录”模式进行快速推理。

注意：首次加载大模型可能需要数秒至数十秒，具体取决于手机性能和模型大小。推理过程完全在本地进行，无需联网。