Owl - 始终在线的可穿戴人工智能

如果你拥有一款能够倾听并观察你生活中每一件事的人工智能，你会如何利用它呢？Owl 旨在通过始终在线的可穿戴设备来探索这一理念。强大的 LLM 和 VLM 模型与低功耗可穿戴设备的结合，为人类与计算机的交互开辟了全新的领域，包括记忆增强、主动式生活辅助以及分布式知识收集等。我们坚信以透明和开放的方式进行探索。

核心功能

• 📱 广泛的采集设备支持： 使用基于 ESP 平台、Sony Spresense 或 Apple Watch 等消费级硬件的自定义设备记录你的生活。我们将持续增加对更多设备的支持，任何配备传感器的设备都能将数据发送到 Owl。
• 🧠 灵活的推理选项： 完全在本地运行，或利用商用模型。你可以使用 Ollama 上的任意模型进行推理，也可以选择 GPT-4 等商用模型。语音合成方面，既可使用 Whisper，也可选用 Deepgram 等商业服务。
• 🌐 网页端采集： 轻松从桌面或任何手机上捕获内容。
• 🎙️ 多模态采集： 持续记录位置和音频信息。图像和视频的支持也将很快推出！
• 📶 丰富的连接方式： 支持 BLE、LTE 或 WiFi 的设备均可接入。
• 🚶‍♂️ 随身互动式 AI： 通过原生 iOS 和网页界面轻松与你的 AI 互动（Android 支持即将上线！）。
• 🔊 说话人验证： 你的 AI 会学习你的声音，从而识别何时是你本人在交谈。
• 📡 流媒体与离线模式： 可以实时将你的生活数据传输给 AI，获得主动协助；在无网络环境下则切换至离线模式。
• 💬 高级对话理解： 利用基于 VAD 的对话分段技术，对你的交流进行分割和理解。

目录

• 概述
  • 项目目标
• 联系方式
• 隐私与安全
• 设置指南
  • 服务器设置
  • iOS 和 watchOS 应用构建说明
  • 采集设备设置
• 技术指南
  • 源码之旅
  • 采集存储
• 贡献

概述

项目目标

Owl 是一项关于人机交互的实验，利用可穿戴设备观察我们的生活，并借助 AI 从中提取信息和洞见。目前仅采集音频和位置信息，但我们计划逐步加入视觉和其他模态的数据。项目的总体目标如下：

1. 构建一个始终在线且“实用”的 AI 系统，开启提升生产力、加深自我认知与世界理解、以及加强人际连接的新途径。
2. 实现始终在线 AI 的具体应用场景（例如：生产力与记忆增强、知识采集与共享、健康管理等）。
3. 探索人机交互相关问题：用户体验、界面设计、隐私保护、安全保障等。

本项目包含三大核心组件：

1. 可穿戴采集设备。这些设备既有需要一定组装的半定制开发板（详见 开发板文档），也有像 Apple Watch 这样的现成产品。我们还希望开发完全开源的定制硬件。
2. AI 服务器。
3. 展示客户端。用于显示系统收集的信息（如文字稿、对话摘要）并允许用户与在线助手互动的应用程序。目前包括移动端应用和网页端应用。

首次亮相：我们的参考硬件设备——Bee 🐝

我们非常高兴地推出“Bee”，这是一款专为 AI 可穿戴开发者及爱好者打造的先锋参考硬件设备。Bee 具有惊人的 50 小时续航能力，同时外形轻巧紧凑，直径仅为 1.2 英寸。

Bee 的核心特性：

• 🔋 50 小时续航： 专为持久性设计，Bee 让你能将自己的全部生活作为上下文输入个人 AI，使其随时待命，助你一臂之力。
• 🤏 小巧便携： 直径仅 1.2 英寸的 Bee，能够无缝融入各种可穿戴场景。
• 🌍 社区测试计划： 我们将 Bee 提供给部分贡献者以及那些热衷于挖掘其潜力、探索生产力、记忆和智能代理等领域新用例的伙伴。

加入我们

如需了解有关 Bee 的详细信息、参与测试的机会，或与志同道合的 AI 可穿戴爱好者交流，请立即加入我们的 Discord 社区。

我们迫不及待地想看看你用 Bee 打造出什么作品！🌟

联系方式

请加入我们的 Discord 社区！

社交媒体：

• Ethan Sutin (Twitter, GitHub, LinkedIn)
• Bart Trzynadlowski (Twitter, GitHub, LinkedIn)

隐私与安全

• 尊重当地的隐私和录音法律法规。 无论法律如何规定，我们仍建议用户在录制对话时提前告知对方，并尊重对方的意愿。在探索这一令人兴奋的技术的应用场景时，我们希望用户能够保持尊重和充分透明的态度。我们也欢迎针对如何提升用户体验的安全性和隐私保护方面的反馈与贡献。

• 根据服务器的托管方式，敏感数据可能会以明文形式传输和存储。例如，如果在家庭服务器上通过 HTTP 协议运行，并且 iOS 和 Watch Xcode 项目中配置了例外域名，则所有发送到服务器的音频数据都将未加密，而对话转录文本将以纯文本形式被沿途任何拦截数据包的人读取。此外，HTTP 连接还可能导致用户授权令牌被截获，从而获得对服务器上所有对话的访问权限。为提高安全性，建议采取以下措施：

  • 服务器应使用 HTTPS 协议托管，并配备有效的 SSL 证书。
  • 在个人服务器上运行时，请使用反向代理（如 ngrok），它将通过 HTTPS 加密流量。
  • 如果您坚持使用未加密的家庭服务器，请定期更换授权令牌，并考虑频繁删除数据库和捕获目录，以避免大量对话暴露在外。

设置指南

服务器设置

各平台安装和运行服务器的具体说明：

• macOS 和 Linux 指南。
• Windows 指南。
• Docker 指南。

服务器安装完成后，可以进行完全自定义配置：

• 服务器配置

iOS 和 watchOS 应用程序构建说明

iOS 应用程序是查看和交互对话的主要方式。Xcode 项目中还包含一个 watchOS 捕获客户端应用，允许 Apple Watch 作为可穿戴式捕获设备使用。

• iOS 和 watchOS 应用程序构建说明

捕获设备设置

支持多种捕获设备：

• Apple Watch
• XIAO ESP32S3 Sense 开发板
• 索尼 Spresense LTE-M 开发板

技术指南

一次“源代码之旅”

为了帮助新加入的开发者快速熟悉代码库，我们将追踪数据在整个系统中从语音到最终显示摘要的完整流程。

流式蓝牙设备示例：XIAO ESP32S3 Sense

基于蓝牙的设备，例如本示例中的 XIAO ESP32S3 Sense 开发板，会连接到 iOS 客户端应用（clients/ios），并与之持续通信。

1. Sense 开发板上的麦克风以 16 kHz 的采样率持续采集音频，并将其编码为 AAC 格式。这样可以将数据包大小压缩至原来的三分之一，这一点非常重要，因为传输是耗电最多的环节。在开发板固件的 loop() 函数中（位于 clients/xiao-esp32s3-sense/firmware/src/main.cpp），数据包会以与录制速度相同的速度通过 BLE 广播出去。

2. 数据包会在 iOS 应用的 peripheral(_:,didUpdateValueFor:,error:) 方法中进入应用（路径为 clients/ios/Owl/Services/BLEManager.swift）。iOS 应用会通过套接字将完整的帧传递给服务器。“帧”在这里指一个 AAC 帧，并且使用了序列号机制来检测是否丢失了 BLE 数据包。由于 AAC 帧是独立的，我们可以丢弃不完整的帧，从而避免下游转写模型因处理异常而崩溃。

3. 帧数据会进入服务器的套接字，在 owl/server/capture_socket.py 中的 on_audio_data() 方法中被接收。CaptureSocketApp 对象是在 main.py 中与 FastAPI 服务器一同创建的。系统会根据捕获会话的 UUID 查找对应的 StreamingCaptureHandler，并将数据转发到该处理器。

4. 在 owl/server/streaming_capture_handler.py 中，音频数据会被追加到磁盘上的文件中，随后传递给转写服务进行实时转写和对话端点检测。同时会创建一个 Capture 对象，并将其记录在持久化数据库中，用于表示当前的捕获会话及磁盘上的文件。捕获文件包含了会话期间录制的所有音频。当检测到对话时，这些对话会被写入单独的“片段”文件中，并生成相应的 CaptureSegment 对象来表示它们，可以将其视为父级捕获文件的“子文件”。此外，还会生成 Conversation 对象来存储对话的具体内容（转写文本、摘要、处理状态等）。每当对话服务创建一个新的对话时，都会通过与 iOS 应用的套接字连接向服务器推送一条通知。

5. 转写服务使用流式转写模型（目前采用 Deepgram，未来计划支持本地部署），该模型会将话语片段传递给 handle_utterance() 方法。后者再将包含时间戳的话语片段传递给端点检测服务。当端点检测服务判断对话结束时，就会调用 on_endpoint() 方法。随后，完成的对话片段文件会被更彻底地转写并生成摘要。系统会创建一个任务并将其放入服务器的异步后台处理队列中，该队列会在 main.py 中的 process_queue() 方法中被持续处理。这个任务仍然位于 streaming_capture_handler.py 文件中，它只是简单地调用 ConversationService 实例上的 process_conversation_from_audio() 方法，而 ConversationService 实例则是作为服务器应用共享状态的一部分（AppState）创建的。

6. ConversationService 位于 owl/services/conversation/conversation_service.py 文件中，它会使用非流式模型对对话音频进行转写，生成摘要，并根据 iOS 应用发送到服务器的位置信息为对话关联位置。所有这些信息都会被提交到数据库以及本地的捕获目录中，以 JSON 文件的形式保存，便于检查。最后，系统会通过 NotificationService 实例上的 send_notification() 方法发送通知（定义在 owl/services/notification/notification_service.py 文件中）。该方法利用套接字连接将新创建的对话推送到 iOS 应用。

7. 回到 iOS 应用端：ConversationsViewModel 位于 clients/ios/Owl/ViewModels/ConversationsViewModel.swift 文件中，它会订阅对话消息，并在收到消息时更新其公开属性。视图模型对象在 SwiftUI 的顶级视图 ContentView 中被实例化，并传递给 ConversationsView。

8. ConversationsView 会观察视图模型的变化，并在变化发生时更新列表视图，从而将对话展示给用户。

以上就是从捕获设备客户端开始、经过服务器中转、最终到达 iOS 客户端的端到端流程。

分块与缓冲式音频示例：Apple Watch

服务器还支持以分块方式对捕获数据进行非实时同步，这种方式使用与实时流式传输不同的服务器路由。这些数据可以在捕获会话结束后很长时间才上传。Apple Watch 同时支持流式传输和分块上传两种模式，并且能够根据网络状况进行机会性分块上传。

1. 在 Watch 应用的 ContentView 中（路径为 clients/ios/Owl Watch App/Views/ContentView.swift），点击录制按钮会使用 CaptureManager 单例对象启动一个捕获会话。

2. CaptureManager（路径为 clients/ios/Owl Watch App/Services/CaptureManager.swift）会通过设置 AVAudioSession 并安装一个音频样本捕捉器来开始录音（位于 startAudioEngine() 方法中）。该捕捉器会将音频降采样至 16 kHz，并将音频传递给 AudioFileWriter 实例，由其写入磁盘。即使是入门级的 Apple Watch 也拥有 32 GB 的存储空间！

3. AudioFileWriter（路径为 clients/ios/Shared/Files/AudioFileWriter.swift）会按顺序创建多个文件，文件名包含捕获的时间戳、UUID 以及一个递增的分块编号。每隔一段时间（例如 30 秒），当前分块就会完成，然后创建下一个文件。这些文件包含原始的 PCM 数据，相当于没有头部信息的 WAV 文件。

4. 同时，Watch 应用会运行一个异步任务（见 clients/ios/Shared/FileUploadTask.swift 文件），该任务在应用启动时被创建，用于监控待上传的文件。文件会按顺序通过 POST 请求上传到服务器，上传成功后即被删除。一旦所有当前文件都上传完毕，系统会检查一个特殊的空标记文件，以确定捕获是否真正结束，并向服务器发送处理请求。这一过程的详细说明已在 FileUploadTask.swift 文件的注释中给出。由于文件存储在磁盘上，因此即使在录音进行中，或者数小时甚至数天之后，都可以继续传输文件。此外，用户还可以通过应用内的设置完全禁用上传功能。

5. 在服务器端，/capture/upload_chunk 路由会接收这些文件。具有相同 capture_uuid 的文件会按照到达顺序依次追加在一起。这一过程发生在 owl/server/routes/capture.py 文件中。

6. 每个分块的数据会被交给一个后台任务 ProcessAudioChunkTask，以异步方式处理（位于 owl/server/main.py 中的 process_queue() 方法）。该任务会逐步进行对话检测，以找到对话的开始和结束时间戳。这一处理方式与流式版本有所不同，尽管我们希望将来能够将两者统一起来。系统会使用语音活动检测器（VAD）来寻找长时间的静音段落，以此分割对话，但这种方法较为简单且可靠性较低。一旦识别出对话，就会将其提取到单独的文件中，然后调用 ConversationService 上的 process_conversation_from_audio() 方法进行进一步处理。从这一点开始，流程与上述流式传输的情况相同。需要注意的是，系统会尽早通过检查各个分块来检测对话。

7. 最后，如果捕获会话结束并使用 /process_capture 路由，则会提交最后一个 ProcessAudioChunkTask 任务，以完成对最后一个分块中可能仍在进行的对话的处理。

分块上传进入服务器的方式与流式音频不同，使用的对话端点检测方法也有所区别，但后续的流程与流式传输一致，最终同样会返回到 iOS 应用。

捕获存储

捕获文件会存储在 YAML 配置文件中 capture_dir 键所指定的目录下。它们按日期和捕获设备进行组织，以便于手动检查。当捕获文件中检测到对话时，这些对话会被提取到以该捕获文件命名的子目录中。子目录内将包含对话音频文件以及 JSON 格式的转录本和摘要。需要注意的是，对话检测有时可能会出现误判；过短或完全不含对话的片段不会被生成摘要，相应的 JSON 文件也会缺失。

2024年2月17日录制的 Apple Watch 捕获文件，每个文件都有对应的对话子目录。

从某一捕获文件中提取出的对话。

贡献

我们欢迎讨论和贡献。请 联系我们。如需贡献，我们建议：

• 提交一个问题，并描述您正在开展的工作，以便团队成员了解情况并共同讨论。
• 分支我们的仓库，并在准备就绪时提交拉取请求。

Owl 快速上手指南

Owl 是一个始终在线的可穿戴 AI 项目，旨在通过可穿戴设备（如 Apple Watch、ESP32 开发板等）持续采集音频和位置数据，利用大语言模型（LLM）和多模态模型（VLM）进行实时分析、记忆增强和主动生活辅助。

环境准备

系统要求

• 服务器端：
  • 操作系统：macOS, Linux, 或 Windows (推荐 Linux/macOS 以获得最佳兼容性)
  • Python 3.9+
  • Docker (可选，用于容器化部署)
• 客户端（iOS/watchOS）：
  • macOS (需安装 Xcode)
  • iOS 15+ / watchOS 8+
• 硬件采集设备（任选其一）：
  • Apple Watch
  • Seeed Studio XIAO ESP32S3 Sense
  • Sony Spresense LTE-M Board
  • 或其他支持 BLE/WiFi/LTE 的传感器设备

前置依赖

• Python 依赖：pip, virtualenv (推荐)
• AI 模型推理：
  • 本地方案：安装 Ollama 并拉取所需模型
  • 云端方案：准备好 OpenAI API Key 或 Deepgram API Key
• 网络工具：若在内网部署，建议使用 ngrok 进行内网穿透以提供 HTTPS 支持。

注意：国内开发者若访问 GitHub 或 HuggingFace 受限，建议配置代理或使用国内镜像源加速 Python 包下载（如 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...）。

---

安装步骤

1. 克隆项目代码

git clone https://github.com/ethansutin/owl.git
cd owl

2. 服务器端设置

方案 A：使用 Docker (推荐)

docker-compose up --build

启动后，服务默认运行在 http://localhost:8000。

方案 B：手动安装 (Linux/macOS)

# 创建虚拟环境
python3 -m venv venv
source venv/bin/activate

# 安装依赖
pip install -r requirements.txt

# 配置环境变量 (复制示例文件并编辑)
cp .env.example .env
# 编辑 .env 文件，填入你的 LLM API Key (如 OPENAI_API_KEY) 或其他配置

# 启动服务器
python -m uvicorn owl.server.main:app --reload --host 0.0.0.0 --port 8000

安全提示：生产环境或外网访问请务必配置 HTTPS。若在本地测试且使用 iOS 真机调试，建议使用 ngrok 穿透：

ngrok http 8000

将生成的 https://xxxx.ngrok.io 地址填入 iOS 项目的配置中。

3. iOS 和 watchOS 应用构建

1. 打开 clients/ios/Owl.xcodeproj。
2. 在 Xcode 中登录你的 Apple ID。
3. 修改 Owl/Config/Environment.swift (或相应配置文件)，将服务器地址指向你的服务器 IP 或 ngrok 地址。
4. 选择目标设备（iPhone 或 Apple Watch），点击 Run (⌘R) 进行编译和安装。

4. 采集设备设置 (以 XIAO ESP32S3 Sense 为例)

1. 安装 Arduino IDE 或 PlatformIO。
2. 打开固件项目：clients/xiao-esp32s3-sense/firmware。
3. 在代码中配置 WiFi 信息和服务器地址。
4. 烧录固件到开发板。
5. 设备上电后，通过蓝牙与 iOS App 配对。

---

基本使用

1. 启动数据采集

• 佩戴好已配置的设备（如 Apple Watch 或 ESP32 胸牌）。
• 打开 iOS 端的 Owl App。
• 确保 App 显示"Connected"状态，此时设备开始通过蓝牙或网络向服务器流式传输音频数据。

2. 进行对话测试

• 对着设备麦克风正常说话（例如：“记得我明天下午三点有个会议”或“我现在在 Home Depot 买锤子”）。
• Owl 会自动检测语音活动（VAD），分割对话片段。

3. 查看结果

• 实时转录：在 iOS App 主界面即可看到实时的语音转文字内容。
• 智能总结：对话结束后，后台任务会自动调用 LLM 对对话进行总结、提取关键信息或执行指令。
• 历史回顾：在 App 的"Historical"或"Memory"板块查看过往的记录和 AI 生成的洞察。

4. 交互式查询

• 在 App 的聊天界面输入问题，例如：“我这周去过哪些地方？”或“上次提到的会议时间是什么时候？”。
• AI 将基于采集到的历史上下文（音频、位置、转录文本）进行回答。

---

隐私与安全提醒： 本项目涉及持续的音频和环境数据采集。请严格遵守当地法律法规，在录制他人对话前务必告知并获得同意。建议在部署服务器时启用 HTTPS 加密传输，并定期更换授权令牌，以防敏感数据泄露。