M-LSD：迈向轻量级与实时线段检测

官方 TensorFlow 实现，对应论文《M-LSD：迈向轻量级与实时线段检测》（AAAI 2022 口头报告）

Geonmo Gu*, Byungsoo Ko*, SeoungHyun Go, Sung-Hyun Lee, Jingeun Lee, Minchul Shin (* 共同第一作者。)

@NAVER/LINE Vision

论文 | Colab | PPT

集成至 Huggingface Spaces，使用 Gradio 框架。查看演示：

概述

第一张图：M-LSD 与现有 LSD 方法在 GPU 上的对比。 第二张图：在 移动设备 上的推理速度和内存占用情况。

我们提出了一种适用于资源受限环境的实时、轻量级线段检测器，名为 Mobile LSD (M-LSD)。M-LSD 采用了极其高效的 LSD 架构，并结合了新颖的训练策略，包括 SoL 数据增强和几何学习方案。我们的模型能够在 GPU、CPU，甚至 移动设备 上实现实时运行。

线段与边界框检测演示

我们基于 M-LSD 模型准备了一个线段与边界框检测演示。该演示采用 Python Flask 开发，便于通过 Google Chrome 等浏览器查看结果。

所有 M-LSD 系列模型均已转换为 TFLite 格式。由于使用 TFLite 模型，运行该演示无需 GPU 支持。

需要注意的是，在将 TensorFlow 模型转换为 TFLite 模型时，我们特意将输入设置为 RGBA 图像（A 表示 Alpha 通道），以遵循 针对移动 GPU 的优化建议。不过，请不必担心 Alpha 通道的影响——在 TFLite 模型的 Stem 层中，会对 Alpha 通道应用全零卷积核，因此无论 Alpha 通道取何值，最终结果均不受影响。

用于边界框检测的后处理代码基于 NumPy 实现。若计划在移动设备上运行此边界框检测器，建议将后处理代码移植到基于 eigen3 的实现中。

以上示例由 M-LSD tiny 模型拍摄，输入尺寸为 512

如何运行演示

安装依赖

$ pip install -r requirements.txt

运行线段与边界框检测演示

$ python demo_MLSD.py

使用 Gradio 运行线段检测演示

$ python linedemo.py

Colab 笔记本

您可以通过我们的 Colab 笔记本，直接体验 M-LSD 的线段与边界框检测功能。该笔记本支持交互式 UI，借助 Gradio 实现，如下所示：

PyTorch 演示

https://github.com/lhwcv/mlsd_pytorch（由 lhwcv 提供）

如何将 Checkpoint 模型转换为 TFLite 模型

注意：当使用 TensorFlow 2.3.0 版本时，TFLite 转换器可以顺利将 Checkpoint 模型转换为 TFLite 格式。

# M-LSD_512_large_fp32，RGBA 输入
python frozen_models.py \
--model_path=./ckpt_models/M-LSD_512_large \
--model_tflite_path=./tflite_models/M-LSD_512_large_fp32.tflite \
--input_size=512 \
--map_size=256 \
--batch_size=1 \
--dilate=5 \
--with_alpha=True \
--backbone_type=MLSD_large \
--topk=200 \
--fp16=False

# M-LSD_320_large_fp32，RGBA 输入
python frozen_models.py \
--model_path=./ckpt_models/M-LSD_320_large \
--model_tflite_path=./tflite_models/M-LSD_320_large_fp32.tflite \
--input_size=320 \
--map_size=160 \
--batch_size=1 \
--dilate=5 \
--with_alpha=True \
--backbone_type=MLSD_large \
--topk=200 \
--fp16=False

# M-LSD_512_tiny_fp32，RGBA 输入
python frozen_models.py \
--model_path=./ckpt_models/M-LSD_512_tiny \
--model_tflite_path=./tflite_models/M-LSD_512_tiny_fp32.tflite \
--input_size=512 \
--map_size=256 \
--batch_size=1 \
--dilate=5 \
--with_alpha=True \
--backbone_type=MLSD \
--topk=200 \
--fp16=False

# M-LSD_320_tiny_fp32，RGBA 输入
python frozen_models.py \
--model_path=./ckpt_models/M-LSD_320_tiny \
--model_tflite_path=./tflite_models/M-LSD_320_tiny_fp32.tflite \
--input_size=512 \
--map_size=256 \
--batch_size=1 \
--dilate=5 \
--with_alpha=True \
--backbone_type=MLSD \
--topk=200 \
--fp16=False

引用

如果您在项目中使用了 M-LSD，请考虑引用以下论文：

@inproceedings{gu2021realtime,
    title={Towards Light-weight and Real-time Line Segment Detection},
    author={Geonmo Gu and Byungsoo Ko and SeoungHyun Go and Sung-Hyun Lee and Jingeun Lee and Minchul Shin},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    year={2022},
}

许可证

版权所有 © 2021 年至今 NAVER Corp.

根据 Apache License, Version 2.0（“许可证”）授权。除非遵守许可证条款，否则不得使用本文件。您可以在以下网址获取许可证副本：

    http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，否则软件按“原样”分发，不提供任何形式的保证或条件。有关权限和限制的具体内容，请参阅许可证。

M-LSD 快速上手指南

M-LSD (Mobile Line Segment Detector) 是一个轻量级、实时的线段检测模型，专为资源受限环境（如移动端、CPU）设计，同时也能在 GPU 上高效运行。本项目基于 TensorFlow 实现，并提供了转换为 TFLite 模型的完整流程。

环境准备

• 操作系统: Linux, macOS, Windows
• Python 版本: 推荐 Python 3.6 - 3.8
• 核心依赖:
  • TensorFlow (官方测试版本为 2.3.0，此版本转换 TFLite 模型最稳定)
  • NumPy
  • OpenCV-Python
  • Flask (用于 Web Demo)
  • Gradio (用于交互式 Demo)

国内加速建议： 安装依赖时，建议使用清华或阿里镜像源以提升下载速度： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/naver-ai/mlsd.git
   cd mlsd
   

2. 安装依赖

   pip install -r requirements.txt
   

   注：若需手动指定 TensorFlow 版本以确保模型转换兼容性，可执行：

   pip install tensorflow==2.3.0
   

3. 获取预训练模型 确保 ckpt_models 目录下包含官方提供的预训练权重文件（通常需从发布页下载或通过 Colab 获取）。

基本使用

1. 运行线段与方框检测 Demo (Web 版)

这是最简单的体验方式，启动后会通过浏览器展示检测结果。该 Demo 基于 Flask，默认使用已转换好的 TFLite 模型，无需 GPU 即可运行。

python demo_MLSD.py

启动后，在浏览器访问显示的本地地址（通常为 http://127.0.0.1:5000），上传图片即可查看线段和方框检测结果。

2. 运行交互式 Demo (Gradio 版)

如果你更喜欢简洁的交互式界面，可以使用 Gradio 启动：

python linedemo.py

3. 在线体验 (Colab)

如果不想配置本地环境，可以直接使用 Google Colab 笔记本进行尝试，支持交互式 UI：

• M-LSD Colab Notebook

4. 模型转换 (进阶)

如需将检查点 (.ckpt) 模型转换为移动端可用的 .tflite 格式，请使用以下命令（以 M-LSD_512_large 为例）：

python frozen_models.py \
--model_path=./ckpt_models/M-LSD_512_large \
--model_tflite_path=./tflite_models/M-LSD_512_large_fp32.tflite \
--input_size=512 \
--map_size=256 \
--batch_size=1 \
--dilate=5 \
--with_alpha=True \
--backbone_type=MLSD_large \
--topk=200 \
--fp16=False

注意：模型输入被设计为 RGBA 格式以优化移动端 GPU 性能，但 Alpha 通道在内部会被零卷积核处理，因此输入 RGB 或 RGBA 图像结果一致。