Project Aria 工具

Project Aria 工具是一套 C++/Python 实用程序，旨在帮助研究人员借助 Project Aria 拓展增强现实、机器感知和人工智能的研究边界。它专为简化 Aria 数据及其开放数据集的使用而设计，同时支持 Aria 第一代和第二代数据。

---

🚀 Aria 第二代的新特性

Aria 第二代 在硬件和软件方面带来了显著提升，并在本次 2.0.0 版本中实现了完整的 API 支持。

硬件与传感器

• 1200万像素 RGB 相机，4 个计算机视觉相机（更广的视场角、HDR、前置立体相机），2 个眼动追踪相机
• 新增传感器：接近传感器、接触式麦克风、PPG 健康监测、环境光传感器、GNSS
• 6–8 小时续航，可折叠设计，配备开放式扬声器实现直接交互

设备端机器感知

由 Meta 自定义协处理器驱动的设备端算法：

• 眼动追踪、手势追踪（21 个关键点）、VIO/SLAM（20Hz + 800Hz 高频轨迹）

软件与工具

• 统一的 API：Gen1 和 Gen2 数据采用相同的 Python/C++ 接口
• 新工具：aria_rerun_viewer（交互式 3D 可视化）、gen2_mp_csv_exporter、升级版 vrs_health_check
• 增强的流式传输：通过 USB 或无线方式传输传感器数据，并同步设备端感知信号

---

📖 文档

Aria 第二代文档 - 新！✨

• Gen2 文档 - Aria 第二代数据及工具的完整指南
  • 研究工具 API
  • Python/C++ 示例
  • 数据格式与规格说明
  • 设备端 ML 功能

Aria 第一代文档

• Gen1 文档 - Aria 第一代的旧版文档

---

📚 交互式 Python 教程（Google Colab）

Aria 第二代教程 - 新！✨

全面覆盖 Aria 第二代数据处理的教程：

1. VrsDataProvider 基础 - 如何在加载和访问 Aria VRS 文件中的数据时执行基本操作。

2. 设备校准 - 如何处理 Aria VRS 中的设备校准信息。

3. 多传感器顺序访问 - 如何使用统一的队列式 API 高效“流式”读取多传感器数据。

4. 眼动追踪与手势追踪 - 如何处理 Aria 第二代眼镜上设备端生成的眼球注视和手势追踪信号。

5. 设备端 VIO - 如何处理 Aria 第二代眼镜上设备端生成的 VIO 数据。

6. 时间同步 - 理解 Aria 数据中的时间戳映射，以及如何在多设备录制中应用时间戳对齐。

7. MPS（机器感知服务） - 如何加载并可视化来自 Aria MP 服务 的输出数据。

Aria 第一代教程

• Aria VRS 数据提供者

• 读取并使用 Aria 机器感知服务的输出（SLAM、眼动追踪、手势追踪数据）

---

🗂️ 开放数据集

Aria 第二代数据集

• Aria 第二代试点数据集： 数据集链接
  • 多人参与的室内外录制
  • 完整的设备端输出（眼动追踪、手势追踪、VIO）
  • 子GHz 精确同步的多设备采集
  • 高质量的 MPS 输出（SLAM、点云、轨迹）

Aria 第一代数据集

• Aria 日常活动：
  • 数据集链接
  • 
• Aria 数字孪生：
  • 数据集链接
  • 
• Aria 合成环境：
  • 数据集链接

---

如何贡献

我们欢迎各类贡献！请访问 CONTRIBUTING 以及我们的 行为准则 ，了解如何开始参与。

许可证

Project Aria 工具由 Meta 根据 Apache 2.0 许可证 发布。

Project Aria Tools 快速上手指南

Project Aria Tools 是一套 C++/Python 实用工具集，旨在帮助研究人员利用 Project Aria 数据拓展增强现实（AR）、机器感知和人工智能的研究边界。本工具支持 Aria Gen1 和 Aria Gen2 两代设备的数据处理。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: Python 3.8 或更高版本。
• 前置依赖:
  • pip (Python 包管理工具)
  • git (用于克隆示例代码)
  • (可选) CUDA 环境 (如需使用 GPU 加速的机器学习功能)

提示：国内开发者若遇到网络连接问题，建议在安装前配置国内 pip 镜像源（如清华源或阿里源）以加速下载。

安装步骤

推荐使用 pip 直接安装最新稳定版。

1. 基础安装

pip install projectaria_tools

2. 使用国内镜像源加速安装（推荐）

如果默认源下载缓慢，请使用以下命令：

pip install projectaria_tools -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 验证安装

安装完成后，可通过以下命令检查版本：

python -c "import projectaria_tools; print(projectaria_tools.__version__)"

4. 获取示例代码（可选）

为了运行官方教程，建议克隆仓库获取示例 Notebook 和数据：

git clone https://github.com/facebookresearch/projectaria_tools.git
cd projectaria_tools

基本使用

Project Aria Tools 的核心功能是读取和处理 .vrs (Video Recording Stream) 格式的数据文件。以下是一个最简单的 Python 示例，展示如何加载数据并获取传感器信息。

示例：读取 VRS 文件基本信息

假设你已拥有一个 Aria 设备录制的 example.vrs 文件：

from projectaria_tools.core import data_provider

# 1. 创建数据提供者实例
# 替换为你的实际 .vrs 文件路径
vrs_file_path = "path/to/your/recording.vrs"
provider = data_provider.create_vrs_data_provider(vrs_file_path)

# 2. 获取设备校准信息
calibration = provider.get_device_calibration()

# 3. 打印可用的传感器标签
print("Available sensors:")
for label in provider.get_available_labels():
    print(f"- {label}")

# 4. 获取特定传感器的图像帧数 (以 RGB 相机为例)
rgb_label = "camera-rgb"
if provider.has_stream(rgb_label):
    count = provider.get_num_data(rgb_label)
    print(f"Total RGB frames: {count}")
    
    # 获取第一帧的时间戳
    first_frame = provider.get_image_data_by_id(rgb_label, 0)
    print(f"First frame timestamp: {first_frame[0].capture_timestamp_ns}")
else:
    print("RGB stream not found in this recording.")

进阶学习资源

对于更复杂的功能（如多传感器同步、眼动追踪、手部追踪、VIO 数据处理），官方提供了详细的 Google Colab 交互式教程：

• Aria Gen2 系列教程:

  • Tutorial 1: VrsDataProvider 基础
  • Tutorial 4: 眼动与手部追踪
  • Tutorial 5: 机载 VIO 数据

• 文档参考:

  • Aria Gen2 完整文档
  • Aria Gen1 遗留文档