VisionClaw

一款专为 Meta Ray-Ban 智能眼镜打造的实时 AI 助手。它能够“看见你所见、听见你说的话”，并通过语音为你执行各种操作。

基于 Meta Wearables DAT SDK（iOS）/ DAT Android SDK（Android）+ Gemini Live API + OpenClaw（可选）构建而成。

支持平台： iOS（iPhone）和 Android（Pixel、三星等）

功能简介

戴上眼镜，轻触 AI 按钮，即可开始对话：

• “我在看什么？” —— Gemini 会通过眼镜摄像头识别场景并进行描述。
• “把牛奶加到购物清单里” —— 委托 OpenClaw 通过你已连接的应用程序完成操作。
• “给约翰发消息说我晚点了” —— 信息将经由 OpenClaw 转发至 WhatsApp、Telegram 或 iMessage。
• “搜索附近最好的咖啡店” —— 通过 OpenClaw 进行网络搜索，并将结果以语音形式反馈给你。

眼镜摄像头以约 1 帧/秒的速率向 Gemini 传输视频流以获取视觉上下文，同时音频则以实时双向方式传输。

工作原理

Meta Ray-Ban 眼镜（或手机摄像头）
       |
       | 视频帧 + 麦克风音频
       v
iOS / Android 应用（本项目）
       |
       | JPEG 帧（约 1 帧/秒）+ PCM 音频（16kHz）
       v
Gemini Live API（WebSocket）
       |
       |-- 音频响应（PCM 24kHz）--> 应用 --> 扬声器
       |-- 工具调用（执行）-------> 应用 --> OpenClaw 网关
       |                                              |
       |                                              v
       |                                      56+ 技能：网页搜索、
       |                                      消息发送、智能家居控制、
       |                                      备忘录、提醒等
       |                                              |
       |<---- 工具响应（文本） <----- 应用 <-------+
       |
       v
  Gemini 将结果以语音播报出来

核心组件：

• Gemini Live —— 基于 WebSocket 的实时语音与视觉 AI（原生音频处理，而非先转文字再处理）。
• OpenClaw（可选）—— 本地网关，为 Gemini 提供访问 56+ 工具及所有已连接应用的权限。
• 手机模式 —— 使用手机摄像头代替眼镜进行全流程测试。
• WebRTC 流媒体 —— 可将眼镜视角实时共享给浏览器端观众。

---

快速入门（iOS）

1. 克隆并打开项目

git clone https://github.com/sseanliu/VisionClaw.git
cd VisionClaw/samples/CameraAccess
open CameraAccess.xcodeproj

2. 添加密钥信息

复制示例文件并填写你的值：

cp CameraAccess/Secrets.swift.example CameraAccess/Secrets.swift

编辑 Secrets.swift 文件，填入你的 Gemini API 密钥（必填），以及可选的 OpenClaw/WebRTC 配置。

3. 构建并运行

选择你的 iPhone 作为目标设备，然后点击运行（Cmd+R）。

4. 开始体验

无需眼镜（iPhone 模式）：

1. 点击 “在 iPhone 上启动” —— 使用 iPhone 后置摄像头。
2. 点击 AI 按钮 启动 Gemini Live 会话。
3. 与 AI 对话——它可以通过你的 iPhone 摄像头“看见”周围环境。

使用 Meta Ray-Ban 眼镜：

首先，在 Meta AI 应用中启用开发者模式：

1. 打开 iPhone 上的 Meta AI 应用。
2. 进入 设置（左下角齿轮图标）。
3. 点击 应用信息。
4. 连续点击 应用版本号 5 次——这将解锁开发者模式。
5. 返回设置页面，你会看到一个 开发者模式 开关，将其打开。

然后在 VisionClaw 中：

1. 点击应用中的 “开始直播”。
2. 点击 AI 按钮 进行语音与视觉交互。

---

快速入门（Android）

1. 克隆并打开项目

git clone https://github.com/sseanliu/VisionClaw.git

在 Android Studio 中打开 samples/CameraAccessAndroid/ 目录。

2. 配置 GitHub Packages（DAT SDK）

Meta DAT Android SDK 通过 GitHub Packages 发布。你需要一个具有 read:packages 权限的 GitHub 个人访问令牌。

1. 访问 GitHub > 设置 > 开发人员设置 > 个人访问令牌，创建一个具有 read:packages 权限的 经典 令牌。
2. 在 samples/CameraAccessAndroid/local.properties 文件中添加：

github_token=YOUR_GITHUB_TOKEN

提示： 如果你已安装 gh CLI，可以运行 gh auth token 获取有效令牌。确保该令牌具备 read:packages 权限——若没有，请运行 gh auth refresh -s read:packages。

注意： 即使是公共仓库，GitHub Packages 也需要身份验证。出现 401 错误通常意味着你的令牌缺失或无效。

3. 添加密钥信息

cd samples/CameraAccessAndroid/app/src/main/java/com/meta/wearable/dat/externalsampleapps/cameraaccess/
cp Secrets.kt.example Secrets.kt

编辑 Secrets.kt 文件，填入你的 Gemini API 密钥（必填），以及可选的 OpenClaw/WebRTC 配置。

4. 构建并运行

1. 让 Gradle 在 Android Studio 中同步（它将从 GitHub Packages 下载 DAT SDK）。
2. 选择你的 Android 手机作为目标设备。
3. 点击运行（Shift+F10）。

无线调试： 你也可以通过 ADB 无线方式安装。在手机的开发者选项中启用 无线调试，然后使用 adb pair <ip>:<port> 进行配对。

5. 开始体验

无需眼镜（手机模式）：

1. 点击 “在手机上启动” —— 使用手机后置摄像头。
2. 点击 AI 按钮（火花图标）启动 Gemini Live 会话。
3. 与 AI 对话——它可以通过你的手机摄像头“看见”周围环境。

使用 Meta Ray-Ban 眼镜：

在 Meta AI 应用中启用开发者模式（步骤同 iOS），然后：

1. 点击应用中的 “开始直播”。
2. 点击 AI 按钮 进行语音与视觉交互。

---

设置：OpenClaw（可选）

OpenClaw 使 Gemini 能够执行实际操作——发送消息、上网搜索、管理待办事项、控制智能家居设备等。如果没有 OpenClaw，Gemini 仅具备语音与视觉功能。

1. 安装并配置 OpenClaw

请按照 OpenClaw 设置指南 操作。确保网关已启用：

在 ~/.openclaw/openclaw.json 文件中：

{
  "gateway": {
    "port": 18789,
    "bind": "lan",
    "auth": {
      "mode": "token",
      "token": "your-gateway-token-here"
    },
    "http": {
      "endpoints": {
        "chatCompletions": { "enabled": true }
      }
    }
  }
}

关键设置：

• bind: "lan" —— 将网关暴露在本地网络中，以便你的手机可以访问。
• chatCompletions.enabled: true —— 启用 /v1/chat/completions 端点（默认关闭）。
• auth.token —— 你的应用将用于认证的令牌。

2. 配置应用

iOS -- 在 Secrets.swift 中：

static let openClawHost = "http://Your-Mac.local"
static let openClawPort = 18789
static let openClawGatewayToken = "your-gateway-token-here"

Android -- 在 Secrets.kt 中：

const val openClawHost = "http://Your-Mac.local"
const val openClawPort = 18789
const val openClawGatewayToken = "your-gateway-token-here"

要查找您的 Mac 的 Bonjour 主机名：系统设置 > 通用 > 共享 -- 它显示在顶部（例如 Johns-MacBook-Pro.local）。

iOS 和 Android 还都提供应用内设置界面，您可以在运行时更改这些值，而无需编辑源代码。

3. 启动网关

openclaw gateway restart

验证是否正在运行：

curl http://localhost:18789/health

现在，当您与 AI 对话时，它可以通过 OpenClaw 执行任务。

---

架构

关键文件（iOS）

所有源代码都在 samples/CameraAccess/CameraAccess/ 目录下：

文件	用途
Gemini/GeminiConfig.swift	API 密钥、模型配置、系统提示
Gemini/GeminiLiveService.swift	Gemini Live API 的 WebSocket 客户端
Gemini/AudioManager.swift	麦克风录音（PCM 16kHz）+ 音频播放（PCM 24kHz）
Gemini/GeminiSessionViewModel.swift	会话生命周期、工具调用连接、对话记录状态
OpenClaw/ToolCallModels.swift	工具声明、数据类型
OpenClaw/OpenClawBridge.swift	OpenClaw 网关的 HTTP 客户端
OpenClaw/ToolCallRouter.swift	将 Gemini 的工具调用路由到 OpenClaw
iPhone/IPhoneCameraManager.swift	iPhone 摄像头模式的 AVCaptureSession 封装
WebRTC/WebRTCClient.swift	WebRTC 对等连接 + SDP 协商
WebRTC/SignalingClient.swift	WebRTC 房间的 WebSocket 信令

关键文件（Android）

所有源代码都在 samples/CameraAccessAndroid/app/src/main/java/.../cameraaccess/ 目录下：

文件	用途
gemini/GeminiConfig.kt	API 密钥、模型配置、系统提示
gemini/GeminiLiveService.kt	OkHttp WebSocket 客户端，用于 Gemini Live API
gemini/AudioManager.kt	AudioRecord（16kHz）+ AudioTrack（24kHz）
gemini/GeminiSessionViewModel.kt	会话生命周期、工具调用连接、UI 状态
openclaw/ToolCallModels.kt	工具声明、数据类
openclaw/OpenClawBridge.kt	OkHttp HTTP 客户端，用于 OpenClaw 网关
openclaw/ToolCallRouter.kt	将 Gemini 的工具调用路由到 OpenClaw
phone/PhoneCameraManager.kt	CameraX 封装，用于手机摄像头模式
webrtc/WebRTCClient.kt	WebRTC 对等连接（stream-webrtc-android）
webrtc/SignalingClient.kt	OkHttp WebSocket 信令，用于 WebRTC 房间
settings/SettingsManager.kt	SharedPreferences，带有 Secrets.kt 的后备机制

音频管道

• 输入：手机麦克风 -> AudioManager（PCM Int16，16kHz 单声道，100ms 块）-> Gemini WebSocket
• 输出：Gemini WebSocket -> AudioManager 播放队列 -> 手机扬声器
• iOS iPhone 模式：使用 .voiceChat 音频会话进行回声消除，并在 AI 说话时关闭麦克风。
• iOS 眼镜模式：使用 .videoChat 音频会话（麦克风在眼镜上，扬声器在手机上——无回声）。
• Android：使用 VOICE_COMMUNICATION 音频源进行内置的声学回声消除。

视频管道

• 眼镜：DAT SDK 视频流（24fps）-> 调整至 ~1fps -> JPEG（50% 质量）-> Gemini
• 手机：相机拍摄（30fps）-> 调整至 ~1fps -> JPEG -> Gemini

工具调用

Gemini Live 支持函数调用。两个应用都声明了一个名为 execute 的工具，该工具将所有请求路由到 OpenClaw：

1. 用户说“把鸡蛋加到我的购物清单里”
2. Gemini 回答“好的，我现在就添加”（在工具调用之前进行口头确认）
3. Gemini 发送包含 execute(task: "Add eggs to the shopping list") 的 toolCall
4. ToolCallRouter 向 OpenClaw 网关发送 HTTP POST 请求
5. OpenClaw 使用其 56 多种已连接技能执行任务
6. 结果通过 toolResponse 返回给 Gemini
7. Gemini 再次回应确认信息。

WebRTC 实时直播

您可以将眼镜视角实时共享到浏览器观看者那里，实现双向音视频传输。

1. 点击应用中的 Live 按钮
2. 应用连接到信令服务器并获取一个 6 位数的房间代码
3. 分享该代码——观看者在浏览器中打开服务器 URL 并输入代码
4. 建立 WebRTC 对等连接（通过信令服务器进行 SDP + ICE 协商）
5. 媒体以对等方式流动：眼镜视频传输到浏览器，浏览器摄像头再传回 iOS 的画中画窗口。

关键细节：

• 信令服务器：Node.js + WebSocket，位于 samples/CameraAccess/server/ 目录下——为浏览器观看者提供服务，并中继 SDP/ICE。
• NAT 穿透：Google STUN 服务器 + ExpressTURN 中继（从 /api/turn 获取）。
• 视频：24 fps，最大比特率 2.5 Mbps。
• 后台处理：iOS 应用进入后台后有 60 秒的宽限期——房间保持存活以便重新连接。
• 限制：不能与 Gemini Live 同时运行（音频设备冲突）。

更多详细信息，请参阅 samples/CameraAccess/CameraAccess/WebRTC/README.md。

---

要求

iOS

• iOS 17.0+
• Xcode 15.0+
• Gemini API 密钥（可免费获取）
• Meta Ray-Ban 眼镜（可选——可使用 iPhone 模式进行测试）
• 您的 Mac 上安装了 OpenClaw（可选——用于代理行动）

Android

• Android 14+（API 34+）
• Android Studio Ladybug 或更高版本
• GitHub 账户及具有 read:packages 权限的令牌（用于 DAT SDK）
• Gemini API 密钥（可免费获取）
• Meta Ray-Ban 眼镜（可选——可使用 Phone 模式进行测试）
• 您的 Mac 上安装了 OpenClaw（可选——用于代理行动）

---

故障排除

一般问题

Gemini 听不到我的声音——请检查是否已授予麦克风权限。该应用使用激进的语音活动检测——请清晰地以正常音量说话。

OpenClaw 连接超时——请确保您的手机和 Mac 连接到同一 Wi‑Fi 网络，网关正在运行（openclaw gateway restart），并且主机名与您 Mac 的 Bonjour 名称一致。

OpenClaw 打开重复的浏览器标签页——这是 OpenClaw 的 CDP（Chrome 开发者工具协议）连接管理中已知的上游问题（#13851, #12317）。使用 profile: "openclaw"（托管 Chrome）而不是默认的扩展程序中继，可能会提高稳定性。

iOS 特定问题

“未配置 Gemini API 密钥”——请在 Secrets.swift 或应用内设置中添加您的 API 密钥。

iPhone 模式下的回声/反馈——当 AI 说话时，应用会静音麦克风。如果您仍然听到回声，请尝试调低音量。

Android 特定问题

Gradle 同步失败，返回 401 Unauthorized 错误 -- 您的 GitHub Token 丢失或未授予 read:packages 范围权限。请检查 local.properties 文件中的 gpr.user 和 gpr.token 配置项。您可以在 github.com/settings/tokens 生成一个新的 Token。

Gemini WebSocket 超时 -- Gemini Live API 会发送二进制 WebSocket 帧。如果您正在构建自定义客户端，请确保同时处理文本帧和二进制帧。

音频无法工作 -- 请确保已授予 RECORD_AUDIO 权限。在 Android 13 及以上版本中，您可能需要手动前往“设置 > 应用”来授予此权限。

手机摄像头无法启动 -- 请确保已授予 CAMERA 权限。CameraX 需要同时具备该权限以及有效的生命周期。

如遇 DAT SDK 相关问题，请参阅 开发者文档 或 讨论论坛。

许可证

本源代码根据位于本项目根目录下 LICENSE 文件中的许可协议进行授权。

VisionClaw 快速上手指南

VisionClaw 是一款专为 Meta Ray-Ban 智能眼镜打造的实时 AI 助手。它能让 AI“看见”你所见，“听见”你所说，并通过语音执行操作（如搜索、发消息、管理清单）。支持 iOS 和 Android 平台，也可仅使用手机摄像头进行体验。

环境准备

系统要求

• iOS: iPhone 运行 iOS 17.0+，需安装 Xcode 15.0+
• Android: Android 手机（推荐 Pixel 或 Samsung），需安装 Android Studio
• 账号: Google AI Studio API Key（必选）
• 硬件（可选）: Meta Ray-Ban 智能眼镜
• 网络: 需能访问 Google Gemini API 及 GitHub Packages

前置依赖

• GitHub Token (仅 Android): 用于下载 Meta DAT SDK。需创建具有 read:packages 权限的 Classic Personal Access Token。
• OpenClaw (可选): 若需让 AI 执行实际操作（如发微信、搜网页），需额外部署 OpenClaw 网关。

安装步骤

方案 A：iOS 端安装

1. 克隆项目并打开工程

   git clone https://github.com/sseanliu/VisionClaw.git
   cd VisionClaw/samples/CameraAccess
   open CameraAccess.xcodeproj
   

2. 配置密钥 复制示例配置文件并填入你的 Gemini API Key：

   cp CameraAccess/Secrets.swift.example CameraAccess/Secrets.swift
   

   编辑 CameraAccess/Secrets.swift，将 geminiApiKey 替换为你的真实 Key。如需使用 OpenClaw，也可在此配置主机地址和 Token。

3. 编译运行 在 Xcode 中选择你的 iPhone 作为目标设备，点击 Run (Cmd+R)。

方案 B：Android 端安装

1. 克隆项目

   git clone https://github.com/sseanliu/VisionClaw.git
   

   使用 Android Studio 打开 samples/CameraAccessAndroid/ 目录。

2. 配置 GitHub Token 在项目根目录或 samples/CameraAccessAndroid/local.properties 文件中添加：

   github_token=YOUR_GITHUB_TOKEN
   

   注意：Token 必须包含 read:packages 权限，否则构建时会报 401 错误。

3. 配置密钥 进入以下目录复制并编辑配置文件：

   cd samples/CameraAccessAndroid/app/src/main/java/com/meta/wearable/dat/externalsampleapps/cameraaccess/
   cp Secrets.kt.example Secrets.kt
   

   编辑 Secrets.kt，填入你的 Gemini API Key。

4. 编译运行 等待 Gradle 同步完成（会自动下载 DAT SDK），连接 Android 手机，点击 Run (Shift+F10)。

基本使用

模式一：手机摄像头模式（无需眼镜）

最适合快速测试功能。

1. 启动 App 后，点击 "Start on iPhone" (iOS) 或 "Start on Phone" (Android)。
2. 点击屏幕上的 AI 按钮（火花图标）开始会话。
3. 对着手机后置摄像头说话，例如：
   • "What am I looking at?"（我在看什么？）
   • "Describe this scene."（描述这个场景。） AI 将实时分析画面并用语音回答。

模式二：Meta Ray-Ban 眼镜模式

需先开启开发者模式：

1. 开启开发者模式：

   • 打开手机上的 Meta AI 应用。
   • 进入 Settings (左下角齿轮) > App Info。
   • 连续点击 App version 版本号 5 次，直到出现提示。
   • 返回设置页，开启 Developer Mode 开关。

2. 连接使用：

   • 在 VisionClaw App 中点击 "Start Streaming"。
   • 点击 AI 按钮，戴上眼镜说话即可实现第一视角的语音交互。

进阶：启用行动能力 (OpenClaw)

若需让 AI 执行“添加到购物清单”、“发送消息”等操作：

1. 在电脑本地安装并运行 OpenClaw 网关，确保 gateway 在 lan 模式运行且端口为 18789。
2. 在 App 的设置界面（或直接修改代码中的 Secrets 文件），将 openClawHost 指向你的电脑局域网 IP 或 Bonjour 主机名（如 http://Your-Mac.local）。
3. 重启 App 后即可尝试指令，如："Add milk to my shopping list"。