基于时间的多模态数据栈与可视化

Rerun 正在构建一个多模态数据栈，用于对机器人技术相关的数据进行建模、摄取、存储、查询和展示。 它广泛应用于机器人、空间与具身人工智能、生成式媒体、工业制造、仿真、安防以及医疗健康等领域。

Rerun 使用起来非常简单！ 只需使用 Rerun SDK（支持 C++、Python 和 Rust）即可记录图像、张量、点云和文本等数据。 这些日志可以实时流式传输到 Rerun 查看器中进行可视化，也可以保存为文件以供后续使用。 此外，您还可以通过我们的 DataFrame API 对已记录的数据进行查询。

几分钟内即可开始使用——无需注册账号！

• 在浏览器中运行 Rerun 查看器：点击这里
• 了解 Rerun 是什么以及它的适用人群：查看文档

简短示例

import rerun as rr  # 使用 pip 安装 rerun-sdk

rr.init("rerun_example_app")

rr.spawn()  # 启动一个带有查看器的子进程并连接
# rr.save("recording.rrd")  # 将所有日志流式保存到磁盘
# rr.connect_grpc()  # 连接到远程查看器

# 将后续数据关联到“frame”时间轴上的 42 处
rr.set_time("frame", sequence=42)

# 将彩色 3D 点记录到 `path/to/points` 路径下的实体
rr.log("path/to/points", rr.Points3D(positions, colors=colors))
…

快速入门

• C++
• Python：pip install rerun-sdk 或通过 conda
• Rust：cargo add rerun

安装 Rerun 查看器二进制文件

若需通过网络传输日志数据或加载 .rrd 数据文件，还需安装 rerun 二进制工具。 可通过 pip install rerun-sdk 或 cargo install rerun-cli --locked --features nasm 来安装（详见下方说明）。 需要注意的是，只有 Python SDK 打包了查看器，而 C++ 和 Rust 则始终需要单独安装。

注意：nasm Cargo 特性要求系统已安装并配置好 nasm CLI，且其路径已在环境变量中设置。 如果您选择不启用此特性，视频解码性能可能会有所下降。

现在您应该可以在任何终端中运行 rerun --help。

文档资源

• 📚 高级文档
• ⏃ 可记录类型参考
• ⚙️ 示例代码
• 📖 代码片段
• 🌊 C++ API 文档
• 🐍 Python API 文档
• 🦀 Rust API 文档
• ⁉️ 故障排除指南

当前状态

我们目前正处于积极开发阶段。 还有许多功能待添加，API 也在不断演进。 请做好迎接重大变更的准备！

当前存在的不足：

• 当实体数量过多时，查看器会变慢
• 处理百万级点云时可能较慢

Rerun 的应用场景是什么？

Rerun 旨在帮助您理解和优化涉及丰富多模态数据的复杂流程，例如 2D 图像、3D 模型、文本、时间序列、张量等。 它被广泛应用于机器人、仿真、计算机视觉等多个行业， 以及任何需要处理大量传感器数据或其他随时间变化信号的场景。

示例用例

假设你正在开发一款扫地机器人，但它总是撞到墙壁。这是为什么呢？你需要一种调试工具来排查问题，但普通的调试器并不能提供帮助。同样，仅仅记录文本日志也作用不大。机器人可能会记录“正在通过门口”，但这并不能解释它为什么会把墙壁误认为是门。

你真正需要的是一个可视化且支持时间序列的调试工具，它可以记录机器人在其“小脑袋”中维护的各种世界表示，例如：

• RGB摄像头画面
• 深度图像
• 激光雷达扫描数据
• 分割图像（机器人如何解读其感知到的内容）
• 机器人构建的公寓3D地图
• 机器人检测到的所有物体（或它认为检测到的物体），以3D形状的形式存储在3D地图中
• 机器人对其预测结果的信心程度
• 等等

你还希望看到这些数据流随时间的变化过程，以便回溯并精确地定位问题发生的时间、原因以及具体环节。

也许你会发现，阳光的眩光以某种方式干扰了某个传感器，导致分割网络产生混淆，进而影响了物体检测的准确性。又或者，问题出在激光雷达扫描的代码中。也可能是因为机器人的里程计出现了故障，导致它误以为自己身处公寓的不同位置。当然，还有可能是其他成千上万种可能性。Rerun可以帮助你找到答案！

然而，从机器人的视角观察世界并不仅仅是为了调试——它还能为你提供改进算法的思路、新的测试用例，或是需要收集的数据集。此外，它也能让你向同事、老板和客户清晰地展示机器人的“大脑”是如何工作的。总之，眼见为实，一张图胜过千言万语，而多模态的时间序列记录则胜过千张图片 :)

尽管观察和理解数据是推动机器人技术进步的核心，但还有一点值得注意： 你还可以利用为可视化而收集的数据，创建用于训练和评估机器人上运行的模型与算法的新数据集。 Rerun提供了查询API，可以轻松地从你的录制数据中提取干净的数据集，专门用于这一目的。

当然，Rerun的应用远不止于机器人领域。只要你的系统涉及任何形式的传感器，或者存在随时间演化的2D/3D状态，Rerun都是一款非常优秀的工具。

Rerun vs. Rviz

如果你习惯使用纯可视化工具，比如RViz，可能只会看到最新的数据。而Rerun不仅仅是一个可视化工具，它还是一个多模态数据平台，配备了强大的可视化器、存储模型和查询引擎（详情请参阅“什么是Rerun？”)。 在机器人领域，你可以使用Rerun来记录测试运行、管理和查询训练数据、对实时流或录制数据进行可视化调试（甚至支持来自第三方格式如MCAP的数据），以及其他更多用途。

因此，虽然Rerun可以让你的数据流在查看器中可视化，但将Rerun的日志功能集成到你的机器人应用中，也会为你打开一扇大门，让你充分利用Rerun更广泛的功能。

如果你只关注可视化，Rerun查看器具备强大的功能，例如得益于其基于时间的内存数据库，你可以回溯历史数据。你可以根据需求调整该缓冲区的大小（详见这里)，比如在长时间运行或内存受限的应用中，将其设置得更小一些，从而将Rerun作为RViz的替代品。

商业模式

Rerun采用开源核心模式。本仓库中的所有内容都将保持开源且免费（既指啤酒，也指自由）。

我们也在构建一个商业级数据平台。目前，该平台仅对少数精选合作伙伴开放。 如果您感兴趣，请点击此处。

Rerun开源项目主要面向个人开发者的需求。而我们的商业产品则专注于为那些开发和运营计算机视觉及机器人产品的团队提供服务。

如何引用Rerun

当你在研究中使用Rerun时，请务必引用它，以肯定其对你工作的贡献。这可以通过在论文的软件或方法部分添加对Rerun的引用实现。

建议的引用格式如下：

@software{RerunSDK,
  title = {Rerun: 多模态数据可视化SDK},
  author = {{Rerun开发团队}},
  url = {https://www.rerun.io},
  version = {请填写版本号},
  date = {请填写使用日期},
  year = {2024},
  publisher = {{Rerun Technologies AB}},
  address = {线上},
  note = {可从https://www.rerun.io/和https://github.com/rerun-io/rerun获取}
}

请将“请填写版本号”替换为你所使用的Rerun版本，“请填写使用日期”则替换为你在研究中使用该工具的具体日期。 这种引用格式有助于确保Rerun开发团队获得应有的认可，并促进该工具被更多研究人员发现。

开发

• ARCHITECTURE.md
• CODE_OF_CONDUCT.md
• CODE_STYLE.md
• CONTRIBUTING.md
• BUILD.md
• rerun_py/README.md - Python SDK使用说明
• rerun_cpp/README.md - C++ SDK使用说明

安装预发布版Python SDK

1. 从Github Releases下载正确的.whl文件
2. 运行pip install rerun_sdk<…>.whl（将<…>替换为实际文件名）
3. 测试：rerun --version

Rerun 快速上手指南

Rerun 是一个专为机器人、空间智能和生成式媒体等领域设计的多模态数据栈。它支持记录图像、张量、点云等数据，并提供强大的时间轴可视化功能，帮助你调试和理解随时间演变的复杂系统。

环境准备

• 操作系统：支持 Windows, macOS, Linux。
• 编程语言支持：Python, C++, Rust。
• 前置依赖：
  • Python: 建议 Python 3.8+。
  • Rust (可选): 若需从源码编译或使用 Rust SDK，需安装 Rust toolchain。若通过 Cargo 安装 Viewer 并启用 nasm 特性以获得最佳视频解码性能，需预先安装 nasm 命令行工具。

安装步骤

1. 安装 Python SDK (推荐)

Python SDK 已捆绑 Rerun Viewer，安装后即可直接使用。

pip install rerun-sdk

国内加速提示：如果遇到下载速度慢的问题，可以使用清华或阿里镜像源：

pip install rerun-sdk -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 独立安装 Rerun Viewer (可选)

如果你使用 C++ 或 Rust SDK，或者希望将 Viewer 作为独立命令行工具使用，需要单独安装二进制文件。

• 通过 Pip 安装 (同 Python SDK):

  pip install rerun-sdk
  

• 通过 Cargo 安装 (Rust 用户):

  cargo install rerun-cli --locked --features nasm
  

  (注意：使用 --features nasm 前请确保系统已安装 nasm)

安装完成后，可在终端运行 rerun --help 验证安装。

3. 其他语言 SDK

• C++: 请参考官方文档构建，或通过包管理器引入。
• Rust:

  cargo add rerun
  

基本使用

以下是一个最简单的 Python 示例，展示如何初始化 Rerun、设置时间轴并记录 3D 点云数据。

1. 编写代码 (main.py)：

import rerun as rr  # pip install rerun-sdk
import numpy as np

# 初始化应用
rr.init("rerun_example_app")

# 启动一个子进程运行 Viewer 并连接
rr.spawn()  

# 在 "frame" 时间轴上关联数据，序列号为 42
rr.set_time("frame", sequence=42)

# 模拟一些数据
positions = np.random.rand(100, 3) * 10
colors = np.random.rand(100, 3)

# 记录彩色 3D 点到实体路径 `path/to/points`
rr.log("path/to/points", rr.Points3D(positions, colors=colors))

print("数据已发送，请在弹出的 Rerun Viewer 中查看。")

2. 运行程序：

python main.py

3. 查看结果： 运行后会自动弹出一个 Rerun Viewer 窗口。你可以：
   • 在 3D 视图中查看点云。
   • 拖动底部的时间轴滑块，回溯或快进数据（如果有更多帧数据）。
   • 保存录制文件供后续分析：将代码中的 rr.spawn() 替换为 rr.save("recording.rrd") 即可将数据流保存到磁盘。

---

更多高级用法（如查询数据、连接远程 Viewer、多语言示例）请访问 Rerun 官方文档。