技术论文 | 文档 | X

OpenMind 的 OM1 是一款模块化的 AI 运行时，赋能开发者在数字环境和实体机器人中创建并部署多模态 AI 代理，涵盖人形机器人、手机应用、四足机器人、TurtleBot 4 等教育机器人，以及 Gazebo 和 Isaac Sim 等仿真平台。OM1 代理能够处理来自网络数据、社交媒体、摄像头馈流和激光雷达等多种输入，并执行运动控制、自主导航和自然对话等物理动作。OM1 的目标是让开发高度智能、以人类为中心的机器人变得简单易行，同时便于升级和（重新）配置，以适应不同的硬件形态。

OM1 的核心能力

• 模块化架构：采用 Python 构建，简单易用且无缝集成。
• 数据输入：轻松接入新数据与各类传感器。
• 插件式硬件支持：通过插件支持新硬件，实现 API 端点及特定机器人硬件与 ROS2、Zenoh 和 CycloneDDS 的连接。（我们推荐所有新开发均使用 Zenoh）。
• 基于 Web 的调试界面：借助 WebSim（访问地址：http://localhost:8000/）实时监控系统运行状态，方便进行可视化调试。
• 预配置端点：支持文本转语音、来自 OpenAI、xAI、DeepSeek、Anthropic、Meta、Gemini、NearAI、Ollama（本地模型）等多个大语言模型，以及多种视觉语言模型（VLM），并为每项服务提供预配置端点。

架构概览

快速上手

让我们从运行 Spot 代理开始体验 OM1。Spot 将利用你的摄像头捕捉并标注物体，随后将这些文本描述发送至大语言模型，模型会返回移动、语音和面部表情等行动指令。这些指令将在 WebSim 上显示，并附带基本的时间信息及其他调试数据。

包管理与虚拟环境

你需要安装 uv 包管理器。

安装依赖

对于 macOS：

brew install portaudio ffmpeg

对于 Linux：

sudo apt-get update
sudo apt-get install portaudio19-dev python3-dev ffmpeg

克隆仓库

git clone https://github.com/OpenMind/OM1.git
cd OM1
git submodule update --init
uv venv

获取 OpenMind API 密钥

请在 OpenMind 门户获取你的 API 密钥：

1. 如果尚未注册，请先在 OpenMind 门户创建账户。
2. 进入仪表盘，生成新的 API 密钥。
3. 复制生成的密钥。
4. 编辑 config/spot.json5，将其中的 openmind_free 占位符替换为你自己的 API 密钥。或者，你也可以通过以下命令配置 .env 文件——cp .env.example .env，然后将密钥添加到 .env 中。

此外，你还可以将 API 密钥设置在 .bashrc 或 .zshrc 文件中：

vi ~/.bashrc # 对于 Linux
vi ~/.zshrc # 对于 macOS

在文件中加入以下内容：

export OM_API_KEY="<your_api_key>"

source ~/.bashrc # 对于 Linux
source ~/.zshrc # 对于 macOS

OMCU

OMCU 是 OpenMind 平台上的计费单位。免费套餐每月可获得 50 个 OMCU。

如需更多额度，请在此处升级套餐：OpenMind 门户。

启动 OM1

运行以下命令：

uv run src/run.py spot

启动后，Spot 代理将与你互动并执行（模拟的）动作。如需进一步帮助将 OM1 与你的机器人硬件连接，请参阅 入门指南。

注意：这只是一个示例代理配置。若想与代理交互并观察其运行情况，请确保在 spot.json5 中已正确配置 ASR 和 TTS 功能。

接下来？

• 尝试一些 示例。
• 添加新的 输入 和 动作。
• 通过自定义 json5 配置文件，组合不同的输入与动作，设计专属的代理和机器人。
• 修改配置文件中的系统提示词（位于 /config/ 目录下），以创造全新的行为模式。

与新型机器人硬件对接

OM1 假设机器人硬件提供一个高级 SDK，能够接收诸如“后空翻”、“奔跑”、“轻轻拿起红苹果”、“move(0.37, 0, 0)”和“微笑”等基础运动与动作指令。例如，在 src/actions/move/connector/ros2.py 中有如下代码：

...
elif output_interface.action == "shake paw":
    if self.sport_client:
        self.sport_client.Hello()
...

如果你的机器人硬件尚未提供合适的 HAL（硬件抽象层），则需要结合强化学习（RL）与适当的仿真环境（Unity、Gazebo）、传感器（如手持 ZED 深度相机）以及自定义 VLA 来构建 HAL。此外，还假设你的 HAL 能够接受运动轨迹、提供电池与热管理功能，并对 IMU、激光雷达和磁力计等传感器进行校准与调优。

OM1 可通过 USB、串口、ROS2、CycloneDDS、Zenoh 或 WebSocket 与你的 HAL 对接。有关先进人形机器人的 HAL 示例，请参阅 Unitree 的 C++ SDK：链接。通常，HAL 代码（尤其是 ROS2 代码）会被容器化，从而可通过 DDS 中间件或 WebSocket 与 OM1 通信。

推荐开发平台

OM1 已在以下平台上完成开发：

• Nvidia Thor（搭载 JetPack 7.0）——全面支持
• Jetson AGX Orin 64GB（搭载 Ubuntu 22.04 和 JetPack 6.1）——有限支持
• Mac Studio（配备 Apple M2 Ultra 处理器，48 GB 统一内存，运行 MacOS Sequoia）
• Mac Mini（配备 Apple M4 Pro 处理器，48 GB 统一内存，运行 MacOS Sequoia）
• 通用 Linux 机器（搭载 Ubuntu 22.04）

OM1 _应_能在其他平台（如 Windows）以及树莓派 5 16GB 等微控制器上运行。

BrainPack 简介

从科研到真实世界的自主性，一个与你共同学习、移动并构建的平台。

BrainPack 专为直接安装在机器人上而设计，集地图构建、目标识别、远程控制和自动充电于一体，为人形机器人和四足机器人提供导航、记忆与有目的行动所需的能力。

完全自主导航

我们很高兴地推出适用于 Unitree Go2 和 G1 机器人，并搭配 BrainPack 使用的完全自主导航功能。完全自主导航包含五项服务，它们以闭环方式协同工作，无需人工干预：

• om1
• OM1-ros2-sdk – 一个 ROS 2 包，利用 RPLiDAR(S2L) 传感器、SLAM 工具箱和 Nav2 导航栈，为 Unitree Go2 机器人提供同时定位与地图构建（SLAM）能力。
• om1-avatar – 一款基于 React 的现代化前端应用，为 OM1 机器人软件提供用户界面和虚拟形象显示系统。
• om1-video-processor – OM1 视频处理器是一个基于 Docker 的解决方案，可为 OM1 机器人实现实时视频流传输、人脸识别和音频采集功能。
• om1-system-setup – 用于配置 Wi‑Fi，并监控和管理 Docker 容器。

模拟器支持

OM1 集成了流行的机器人模拟器，可在无需物理硬件的情况下实现快速原型设计和测试。目前我们支持使用 Gazebo 模拟 Unitree Go2 机器人，以及使用 Isaac Sim 模拟 Unitree Go2 和 G1 机器人。

Gazebo

全面支持 Gazebo，并集成 ROS2。非常适合测试自主 SLAM 地图生成与导航栈、传感器仿真以及多机器人场景。

请参阅 Gazebo，开始使用。

Isaac Sim

支持 NVIDIA Isaac Sim，提供具有物理精确度且基于 GPU 加速的仿真环境。

需要配备 NVIDIA GPU 并支持 CUDA。请参阅 Isaac Sim 设置，开始使用。

详细文档

更多详细文档可在 docs.openmind.com 查阅。

贡献

在提交拉取请求之前，请务必阅读贡献指南。

许可证

本项目采用 MIT 许可证授权，这是一种宽松的自由软件许可证，允许用户自由使用、修改和分发该软件。MIT 许可证广泛使用且久经考验，以其简洁性和灵活性而闻名。通过采用 MIT 许可证，本项目旨在鼓励对软件的协作、修改和分发。

OM1 快速上手指南

OM1 是 OpenMind 推出的模块化 AI 运行时，旨在帮助开发者轻松创建和部署多模态 AI 智能体。它支持从数字环境到物理机器人（如人形机器人、四足机器狗、TurtleBot 等）的广泛场景，能够处理摄像头、激光雷达等多种输入，并执行运动、导航和自然对话等动作。

环境准备

系统要求

OM1 主要在以下平台开发和测试：

• Linux: Ubuntu 22.04 (推荐)
• macOS: macOS Sequoia (适用于 Apple Silicon M2/M4 芯片)
• 嵌入式: Nvidia Jetson AGX Orin (JetPack 6.1/7.0), Nvidia Thor
• 注：理论上支持 Windows 及 Raspberry Pi 5，但需自行验证。

前置依赖

在开始之前，请确保系统已安装以下基础工具：

1. 包管理器: 必须安装 uv。
2. 系统库:
   • macOS:

     brew install portaudio ffmpeg
     

   • Linux:

     sudo apt-get update
     sudo apt-get install portaudio19-dev python3-dev ffmpeg
     

安装步骤

1. 克隆代码库

获取源代码并初始化子模块，同时使用 uv 创建虚拟环境：

git clone https://github.com/OpenMind/OM1.git
cd OM1
git submodule update --init
uv venv

2. 配置 API Key

OM1 需要 OpenMind 平台的 API Key 才能运行。

1. 访问 OpenMind Portal 注册账号并创建新的 API Key。

2. 复制生成的 Key。

3. 方式一（推荐）：修改配置文件。 编辑 config/spot.json5，将 openmind_free 占位符替换为你的真实 API Key。

   或者，复制环境变量文件并填入 Key：

   cp .env.example .env
   # 编辑 .env 文件，填入 OM_API_KEY=<your_api_key>
   

4. 方式二：设置全局环境变量。

   • Linux (~/.bashrc) 或 macOS (~/.zshrc)：

     export OM_API_KEY="<your_api_key>"
     

   • 使配置生效：

     source ~/.bashrc  # Linux
     source ~/.zshrc   # macOS
     

注意: 免费计划每月提供 50 OMCU 计算额度。如需更多算力，可在官网升级套餐。

基本使用

安装完成后，你可以运行内置的 Spot Agent 示例。该智能体会调用你的摄像头捕捉画面，识别物体并生成描述，随后通过大语言模型（LLM）决策，输出运动、语音和面部表情指令，并在 Web 界面中展示调试信息。

启动智能体

在项目根目录下运行以下命令：

uv run src/run.py spot

查看运行状态

启动后，打开浏览器访问本地调试界面：

• 地址: http://localhost:8000/ (WebSim)

在此界面中，你可以实时观察智能体的感知数据、推理过程以及生成的动作指令（如移动、说话等）。

提示: 若要体验完整的交互功能（语音识别与合成），请确保在 config/spot.json5 中已正确配置 ASR 和 TTS 服务。

---

更多高级用法（如自定义机器人配置、连接真实硬件 ROS2/Zenoh 接口、使用 Gazebo/Isaac Sim 仿真器）请参阅官方文档：docs.openmind.com