语义分割编辑器

一款基于Web的标注工具，用于创建AI训练数据集（2D和3D）。该工具是在自动驾驶研究背景下开发的。它支持图像文件（.jpg或.png）以及点云文件（.pcd）。这是一款使用Meteor框架，并结合React、Paper.js和three.js构建的应用程序。

最新变更

• 版本1.5: 提供Docker镜像并升级至Meteor 1.10
• 版本1.4: 支持RGB点云（感谢@Gekk0r）
• 版本1.3: 改进点云标注功能：修复了若干Bug并提升了性能（现在可以标注包含100万点的点云）
• 版本1.2.2: 破坏性变更：导出的点云坐标不再进行平移（感谢@hetzge）
• 版本1.2.0: 支持二进制及二进制压缩格式的点云文件（感谢@CecilHarvey）

位图图像编辑器

:movie_camera: 视频：位图标注概览

PCD点云编辑器

:movie_camera: 视频：点云标注概览

如何运行

使用Docker Compose

1. 下载Docker Compose堆栈文件（sse-docker-stack.yml）
2. 设置包含位图和点云文件的目录（YOUR_IMAGES_PATH），然后使用docker-compose运行工具
3. 工具默认在端口80上运行，您可以在sse-docker-stack.yml中更改映射配置。

wget https://raw.githubusercontent.com/Hitachi-Automotive-And-Industry-Lab/semantic-segmentation-editor/master/sse-docker-stack.yml
wget https://raw.githubusercontent.com/Hitachi-Automotive-And-Industry-Lab/semantic-segmentation-editor/master/settings.json
METEOR_SETTINGS=$(cat ./settings.json) SSE_IMAGES=YOUR_IMAGES_PATH docker-compose -f stack.yml up

（可选）您可以修改settings.json来自定义类别数据。

从源码运行

安装Meteor（OSX或Linux）

curl https://install.meteor.com/ | sh

或者下载Meteor Windows安装程序

从这里下载并解压最新版本

启动应用

cd semantic-segmentation-editor-x.x.x
meteor npm install
meteor npm start

编辑器默认会在http://localhost:3000上运行。

(可选) 编辑settings.json

默认情况下，图像会从your_home_dir/sse-images目录提供服务，而点云二进制分割数据则会存储在your_home_dir/sse-internal目录中。您可以通过修改settings.json中的images-folder和internal-folder属性来配置这些目录。在Windows系统中，请使用“/”作为路径分隔符，例如c:/Users/john/images。

请查阅Meteor环境变量文档，以配置您的应用 (MONGO_URL、DISABLE_WEBSOCKETS等...)

配置文件：settings.json

{
  "configuration": {
    "images-folder": "/mnt/images", // 包含图像和PCD文件的根目录
    "internal-folder": "/mnt/pointcloud_data" // 分割数据（仅3D）将存储在此目录
  },
  // 工具中可用的不同类别集合
  // 对于对象类别，仅需填写'label'字段
  // 'icon'字段可以使用mdi-material-ui包中的图标
  "sets-of-classes": [
    {
      "name": "Cityscapes", "objects": [
      {"label": "VOID", "color": "#CFCFCF"},
      {"label": "道路", "color": "#804080", "icon": "Road"},
      {"label": "人行道", "color": "#F423E8", "icon": "NaturePeople"},
      {"label": "停车场", "color": "#FAAAA0", "icon": "Parking"},
      {"label": "铁路轨道", "color": "#E6968C", "icon": "Train"},
      {"label": "行人", "color": "#DC143C", "icon": "Walk"},
      {"label": "骑车人", "color": "#FF0000", "icon": "Motorbike"},
      {"label": "汽车", "color": "#0000E8", "icon": "Car"}
    },
    { ... }
  ]
}

使用方法

编辑器由三个不同的界面组成：

文件浏览器允许您浏览可用文件，选择位图图像或点云进行标注。

位图图像编辑器专门用于对jpg和png文件进行多边形标注。

点云编辑器则用于通过创建由3D点子集构成的对象来标注点云。

使用位图图像编辑器

有多种工具可用于创建标注多边形：

多边形绘制工具 (P)

• 单击和/或拖动以创建点
• 按 ESC 键可按相反顺序移除最后创建的点
• 拖动鼠标指针或按住 Shift 键，即可在无需为每个点单击的情况下创建复杂多边形
• 按 ENTER 键或双击第一个点以闭合多边形

魔术工具 (A)

• 使用对比度阈值检测自动创建多边形
• 此工具仅适用于绘制具有鲜明边缘对比的对象轮廓（例如：天空、车道标线）
• 在要描绘的区域内单击，然后调整右侧的滑块以优化结果
• 按 ENTER 键确认结果

操作工具 (Alt)

• 选择、移动现有多边形，并为其添加点
• 单击多边形内部将其选中
• 单击某个点将其选中
• 绘制套索圈以同时选中多个点
• 用鼠标拖动点以移动它
• 按住 Shift 键可分离属于多个多边形的点
• 单击多边形的一条边以创建新点，然后拖动新点以放置其位置

裁剪/扩展工具 (C)

• 修改现有多边形的形状
• 选择要修改的多边形
• 在多边形的轮廓上绘制一条起始和终止于轮廓上的直线
• 新线条将替换起始点和终点之间的原有路径
• 最终生成的形状始终是最大的一个

连续多边形工具 (F)

• 轻松创建连续多边形
• 使用多边形绘制工具开始绘制新多边形
• 将起点捕捉到要绕过的多边形轮廓上
• 将终点捕捉到另一条轮廓上，在此过程中应形成一条穿过一个或多个现有多边形的直线
• 按 F 键一次或多次以选择绕行路径

使用点云编辑器

• 鼠标左键：围绕当前焦点点（默认为点云中心）旋转点云；单击单个点将其添加到当前选区
• 鼠标滚轮：放大/缩小
• 鼠标中键（或 Ctrl+单击）：更改相机目标
• 鼠标右键：根据当前的选择工具和选择模式，用于同时选择多个点。
• 方向键：在场景中移动

PCD 支持

• 支持的 PCD 输入格式：ASCII、二进制及压缩二进制
• 支持的输入字段：x、y、z、label（可选整数）、rgb（可选整数）
• 输出 PCD 格式为 ASCII，包含字段 x、y、z、label、object 以及 rgb（如有）

API 端点

• /api/listing：列出所有已标注的图像
• /api/json/[文件路径]：（仅限 2D）获取该文件的多边形及其他数据
• /api/pcdtext/[文件路径]：（仅限 3D）使用两个附加列：label 和 object 获取 PCD 文件的标注信息
• /api/pcdfile/[文件路径]：（仅限 3D）与上一条相同，但以“纯文本”附件形式返回并可供下载

Semantic Segmentation Editor 快速上手指南

Semantic Segmentation Editor 是一款基于 Web 的标注工具，专为创建 AI 训练数据集（2D 图像和 3D 点云）而设计，广泛应用于自动驾驶研究领域。支持 JPG/PNG 图像及 PCD 点云文件的标注。

环境准备

系统要求

• 操作系统: Linux, macOS 或 Windows (WSL 推荐)
• 运行方式:
  • 方案 A：Docker & Docker Compose（推荐，环境隔离好）
  • 方案 B：本地源码运行（需安装 Meteor）

前置依赖

若选择方案 B（源码运行），需先安装 Meteor：

• Linux/macOS:

  curl https://install.meteor.com/ | sh
  

• Windows: 下载并运行 Meteor Windows Installer

注意：国内网络环境下安装 Meteor 可能较慢，建议配置代理或使用国内镜像源加速 curl 请求。

安装步骤

方案一：使用 Docker Compose（推荐）

1. 下载配置文件 获取 docker-compose 栈文件和默认设置文件：

   wget https://raw.githubusercontent.com/Hitachi-Automotive-And-Industry-Lab/semantic-segmentation-editor/master/sse-docker-stack.yml
   wget https://raw.githubusercontent.com/Hitachi-Automotive-And-Industry-Lab/semantic-segmentation-editor/master/settings.json
   

2. 准备数据目录 创建一个文件夹存放待标注的图像和点云文件，假设路径为 /home/user/data。

3. 启动服务 替换 YOUR_IMAGES_PATH 为你的实际数据路径，并执行以下命令：

   METEOR_SETTINGS=$(cat ./settings.json) SSE_IMAGES=/home/user/data docker-compose -f sse-docker-stack.yml up
   

   注：默认端口为 80，如需修改可在 sse-docker-stack.yml 中调整端口映射。

方案二：从源码运行

1. 下载最新版本 从 GitHub Releases 下载最新压缩包并解压。

2. 安装依赖并启动 进入项目目录执行：

   cd semantic-segmentation-editor-x.x.x
   meteor npm install
   meteor npm start
   

3. 访问应用 启动成功后，在浏览器打开 http://localhost:3000。

基本使用

启动后，编辑器主要包含三个界面：文件导航、2D 图像编辑器、3D 点云编辑器。

1. 配置类别 (可选)

在启动前或运行时，可编辑 settings.json 自定义标注类别（如道路、车辆、行人等）。

• images-folder: 图像和 PCD 文件根目录。
• sets-of-classes: 定义标签名称、颜色及图标。

2. 2D 图像标注流程

1. 在文件导航中选择 .jpg 或 .png 文件。
2. 绘制多边形 (快捷键 P):
   • 点击或拖动创建顶点。
   • 按 ESC 撤销上一个点。
   • 按住 Shift 拖动可连续绘制复杂形状。
   • 双击起点或按 ENTER 闭合多边形。
3. 智能填充 (快捷键 A):
   • 适用于边缘对比度明显的物体（如天空、车道线）。
   • 点击区域内部，调整右侧滑块优化结果，按 ENTER 确认。
4. 编辑与调整:
   • 使用 操纵工具 (Alt) 移动顶点或调整形状。
   • 使用 切割/扩展工具 (C) 修改多边形边界。

3. 3D 点云标注流程

1. 在文件导航中选择 .pcd 文件（支持 ASCII, Binary, Binary compressed 格式）。
2. 视角控制:
   • 左键: 旋转视角；单击单点可将其加入选中状态。
   • 滚轮: 缩放。
   • 中键 (或 Ctrl+ 左键): 平移视角中心。
   • 右键: 框选多个点（取决于当前选择模式）。
   • 方向键: 在场景中移动。
3. 标注操作:
   • 选中点后，分配对应的类别标签。
   • 标注数据将保存为包含 label 和 object 字段的 PCD 文件。

4. 数据导出

• 2D 数据: 通过 /api/json/[文件路径] 获取多边形坐标 JSON。
• 3D 数据: 通过 /api/pcdfile/[文件路径] 下载标注后的 PCD 文件。