简介

Xtreme1 是一个面向多模态训练数据的一站式开源平台。

Xtreme1 在数据标注、数据整理以及本体管理方面实现了效率的飞跃，助力解决计算机视觉和大型语言模型领域的机器学习挑战。该平台的 AI 驱动工具将您的标注工作提升至全新的效率水平，以前所未有的方式推动您在 2D/3D 物体检测、2D/3D 语义/实例分割以及激光雷达与相机融合等项目中的进展。

如需了解企业版，请点击此处 🎉 免费申请演示。

本 README 文档仅包含安装、构建和运行的相关内容。如果您对功能有任何疑问或疑虑，欢迎随时访问我们的 文档网站。

关注我们：Twitter | Medium | 问题反馈

核心功能

图像标注（边界框、分割）——YOLOR 和 RITM	激光雷达-相机融合标注——OpenPCDet 和 AB3DMOT

:one: 支持图像、3D 激光雷达以及 2D/3D 传感器融合数据集的数据标注

:two: 内置预标注和交互式模型，支持 2D/3D 物体检测、分割和分类

:three: 可配置的本体中心，提供通用类别（含层级结构）和属性，用于您的模型训练

:four: 数据管理和质量监控

:five: 发现并修复标注错误

:six: 模型结果可视化，帮助您评估模型性能

:seven: 大型语言模型的 RLHF 功能 :new: （测试版）

图像数据整理（可视化与调试）——MobileNetV3 和 openTSNE	LLM 的 RLHF 标注工具（测试版）

安装

前提条件

操作系统要求

任何操作系统均可通过 Docker Compose 安装 Xtreme1 平台（在 Mac、Windows 和 Linux 设备上安装 Docker Desktop）。在 Linux 服务器上，您可以使用 Docker Compose 插件 安装 Docker Engine。

硬件要求

CPU: AMD64 或 ARM64
内存: 2GB 或更高
硬盘: 10GB 以上可用空间（取决于数据量）

软件要求

适用于带有桌面环境的 Mac、Windows 和 Linux。

Docker Desktop: 4.1 或更高版本

适用于 Linux 服务器。

Docker Engine: 20.10 或更高版本
Docker Compose 插件: 2.0 或更高版本

内置模型部署要求

内置模型容器仅可在安装了 NVIDIA CUDA 驱动程序 和 NVIDIA 容器工具包 的 Linux 服务器上运行。

GPU: NVIDIA T4 或其他类似 GPU
内存: 4GB 或更高

使用 Docker 安装

下载安装包

下载最新发布的安装包并解压。

wget https://github.com/xtreme1-io/xtreme1/releases/download/v0.9.1/xtreme1-v0.9.1.zip
unzip -d xtreme1-v0.9.1 xtreme1-v0.9.1.zip

启动服务

进入发布包目录，执行以下命令以启动所有服务。初始化数据库并准备测试数据集需要几分钟时间。

cd xtreme1-v0.9.1
docker compose up

在浏览器中访问 http://localhost:8190 即可体验 Xtreme1！如果您想从另一台设备访问，可以将 localhost 替换为 IP 地址。

Docker Compose 将从 Docker Hub 拉取所有服务镜像，包括基础服务 MySQL、Redis、MinIO 以及应用服务 backend、frontend。您可以在 docker-compose.yml 中找到访问 MySQL、Redis 和 MinIO 的用户名、密码及端口映射，例如可以通过 http://localhost:8194 访问 MinIO 控制台。我们使用 Docker 卷来保存数据，因此即使容器被重新创建，数据也不会丢失。

Docker Compose 高级命令：

# 在前台启动。
docker compose up

# 或者添加 -d 选项在后台运行。
docker compose up -d

# 完成后，您可以启动或停止全部或特定服务。
docker compose start
docker compose stop

# 停止所有服务并删除所有容器，但数据卷会保留。
docker compose down

# 警告！删除所有卷。MySQL、Redis 和 MinIO 中的所有数据。
docker compose down -v

启动内置模型

您需要显式指定模型配置文件才能启用模型服务。

docker compose --profile model up

请确保主机上已安装 NVIDIA CUDA 驱动程序 和 NVIDIA 容器工具包。

# 您需要在 /etc/docker/daemon.json 中将 "default-runtime" 设置为 "nvidia" 并重启 Docker，以启用 NVIDIA 容器工具包。
{
  "runtimes": {
    "nvidia": {
      "path": "nvidia-container-runtime",
      "runtimeArgs": []
    }
  },
  "default-runtime": "nvidia"
}

如果您使用的是 Docker Desktop + WSL2.0，请参考此 问题 #144。

在 ARM CPU 上运行

请注意，某些 Docker 镜像（包括 MySQL）可能与 ARM 架构不兼容。如果您的计算机基于 ARM CPU（例如 Apple M1），您可以创建一个名为 docker-compose.override.yml 的 Docker Compose 覆盖文件，并加入以下内容。虽然这种方法使用 QEMU 模拟来强制在 ARM64 平台上使用 ARM64 镜像，但可能会影响性能。

services:
  mysql:
    platform: linux/amd64

从源码安装

如果您希望构建或扩展功能，可以下载源代码并在本地运行。

启用 Docker BuildKit

我们使用 Docker BuildKit 来加速构建速度，例如在不同构建之间缓存 Maven 和 NPM 包。默认情况下，Docker Desktop 并未启用 BuildKit，你可以按照以下步骤进行启用。更多详细信息，请参阅官方文档 使用 BuildKit 构建镜像。

# 设置环境变量以仅在本次构建中启用 BuildKit。
DOCKER_BUILDKIT=1 docker build .
DOCKER_BUILDKIT=1 docker compose up

# 或者编辑 Docker 守护进程配置文件 daemon.json，以默认启用 BuildKit，内容可以是 '{ "features": { "buildkit": true } }'。
vi /etc/docker/daemon.json

# 如果遇到与包版本相关的问题，可以清除构建缓存。
docker builder prune

克隆仓库

git clone https://github.com/basicai/xtreme1.git
cd xtreme1

构建镜像并运行服务

docker-compose.yml 默认会从 Docker Hub 拉取应用镜像。如果你希望从源代码构建镜像，可以注释掉服务的 image 行，并取消注释 build 行。

services:
  backend:
    # image: basicai/xtreme1-backend
    build: ./backend
  frontend:
    # image: basicai/xtreme1-frontend
    build: ./frontend

然后当你运行 docker compose up 时，它会先构建 backend 和 frontend 镜像，并启动这些服务。请务必在代码发生变化时运行 docker compose build，因为 up 命令只会构建不存在的镜像。

不应将更改提交到 docker-compose.yml 文件中。为了避免这种情况，可以将 docker-compose.yml 复制为一个新的文件 docker-compose.develop.yml，并根据开发需求修改该文件；此文件已添加到 .gitignore 中。在运行 Docker Compose 命令时，需要指定这个特定文件，例如 docker compose -f docker-compose.develop.yml build。

许可证

本软件采用 Apache 2.0 许可证授权。Xtreme1 是 LF AI & Data Foundation 的商标。

Xtreme1 现已托管于 LF AI & Data Foundation，作为首个开源的数据标注、注释和可视化项目。

如果 Xtreme1 是你开发流程、项目或出版物的一部分，请引用我们 ❤️：

@misc{Xtreme1,
title = {Xtreme1 - 多感官训练数据的下一代平台},
year = {2023},
note = {软件可从 https://github.com/xtreme1-io/xtreme1/ 获取},
url={https://xtreme1.io/},
author = {LF AI & Data Foundation},
}

Xtreme1 快速上手指南

Xtreme1 是一个开源的多模态训练数据一站式平台，支持图像、3D LiDAR 及传感器融合数据的标注、清洗和本体管理。内置 AI 预标注模型，可显著提升计算机视觉和大语言模型（LLM）项目的数据处理效率。

环境准备

系统要求

• 操作系统：支持 macOS、Windows 和 Linux。
  • 桌面端用户推荐安装 Docker Desktop (版本 4.1+)。
  • Linux 服务器用户需安装 Docker Engine (20.10+) 和 Docker Compose Plugin (2.0+)。
• 硬件配置：
  • CPU：AMD64 或 ARM64 架构。
  • 内存：至少 2GB（若启用内置 AI 模型，建议 4GB+ 并配备 NVIDIA GPU）。
  • 硬盘：至少 10GB 可用空间（视数据量而定）。

前置依赖

若需使用内置的预标注模型（如 YOLOR, RITM, OpenPCDet 等），必须满足以下条件：

• 操作系统：仅限 Linux 服务器。
• GPU：NVIDIA T4 或同等性能显卡。
• 驱动与工具：已安装 NVIDIA CUDA Driver 和 NVIDIA Container Toolkit。

注意：若使用 Docker Desktop + WSL2.0 环境，请参考官方 Issue #144 进行额外配置。

安装步骤

方法一：使用 Docker 快速部署（推荐）

1. 下载安装包 下载最新 release 包并解压：

   wget https://github.com/xtreme1-io/xtreme1/releases/download/v0.9.1/xtreme1-v0.9.1.zip
   unzip -d xtreme1-v0.9.1 xtreme1-v0.9.1.zip
   

2. 启动服务 进入目录并启动所有基础服务（首次运行需几分钟初始化数据库）：

   cd xtreme1-v0.9.1
   docker compose up
   

   提示：添加 -d 参数可在后台运行 (docker compose up -d)。

3. 访问平台 在浏览器中访问： http://localhost:8190 （若从其他机器访问，请将 localhost 替换为服务器 IP）。

4. （可选）启用内置 AI 模型 若需使用预标注功能，请确保宿主机已配置好 NVIDIA 环境，然后执行：

   docker compose --profile model up
   

   配置 NVIDIA 运行时提示：需在 /etc/docker/daemon.json 中设置 "default-runtime": "nvidia" 并重启 Docker。

   ARM 架构用户注意（如 Apple M1）： 部分镜像（如 MySQL）可能不兼容 ARM。需创建 docker-compose.override.yml 文件强制使用 amd64 模拟：

   services:
     mysql:
       platform: linux/amd64
   

方法二：源码编译安装

适用于需要二次开发或扩展功能的用户。

1. 开启 Docker BuildKit 加速构建过程（缓存 Maven/NPM 包）：

   export DOCKER_BUILDKIT=1
   

   或在 /etc/docker/daemon.json 中添加 "features": { "buildkit": true }。

2. 克隆代码

   git clone https://github.com/basicai/xtreme1.git
   cd xtreme1
   

3. 修改构建配置 编辑 docker-compose.yml（建议复制为 docker-compose.develop.yml 以免提交更改），注释掉 image 行，取消注释 build 行：

   services:
     backend:
       # image: basicai/xtreme1-backend
       build: ./backend
     frontend:
       # image: basicai/xtreme1-frontend
       build: ./frontend
   

4. 构建并运行

   docker compose -f docker-compose.develop.yml build
   docker compose -f docker-compose.develop.yml up
   

基本使用

1. 登录平台 打开浏览器访问 http://localhost:8190。默认安装后通常无需复杂配置即可直接开始使用（具体默认账号密码可查看 docker-compose.yml 中的环境变量或使用初始引导流程）。

2. 创建项目与本体 (Ontology)

   • 进入 Ontology Center，定义你的类别层级（Classes）和属性（Attributes），例如针对目标检测定义 "Car", "Pedestrian" 等标签。

3. 导入数据

   • 支持上传图像、3D LiDAR 点云或多传感器融合数据集。
   • 平台提供数据管理和质量监控功能，可直观查看数据分布。

4. 开始标注

   • 图像标注：选择 2D 框（B-box）或分割（Segmentation）工具。利用内置的 YOLOR 或 RITM 模型进行智能预标注，人工只需微调即可。
   • 3D/融合标注：针对 LiDAR-Camera 融合数据，使用 OpenPCDet 等模型辅助进行 3D 目标检测和跟踪标注。
   • LLM 标注 (Beta)：若需进行大语言模型的 RLHF（人类反馈强化学习）标注，可切换至对应的标注模式。

5. 模型评估与导出

   • 标注完成后，可可视化模型结果以评估效果。
   • 发现标注错误可直接在平台上修正。
   • 导出数据集用于后续模型训练。

更多详细功能说明（如高级配置、API 使用等），请访问官方文档站点：https://docs.xtreme1.io/