lanenet-lane-detection
Lanenet-Lane-Detection 是一个基于深度学习的实时车道线检测工具，通过TensorFlow框架实现，主要应用于自动驾驶和智能交通场景。该工具结合编码器-解码器结构与实例分割技术，利用Discriminative Loss Function提升检测精度，能够在复杂路况下高效识别车道线边界。其核心优势在于支持实时处理，单张图片推理速度可达50帧/秒，且提供预训练模型供直接使用。
该工具解决了传统车道线检测中精度不足、计算效率低等问题，尤其适用于需要快速响应的场景。开发者可通过自定义数据集训练模型，适应不同道路环境。对于研究人员，其开源代码和详细文档提供了良好的实验基础；对于自动驾驶开发者，预训练模型和测试脚本可快速集成到系统中。
工具采用双阶段分割策略（二值分割+实例分割），在保持高精度的同时降低计算负担，适合需要平衡速度与准确性的应用。目前支持Tusimple数据集训练与测试，用户可直接下载预训练模型并进行本地验证，或通过脚本生成自定义数据集进行模型优化。
使用场景
自动驾驶初创公司「智行科技」的算法团队正在开发L2级辅助驾驶系统，需要在嵌入式设备上实现全天候车道线检测。传统CV算法在复杂路况中频繁失效，团队尝试部署深度学习模型时面临实时性和准确率的双重挑战。
没有 lanenet-lane-detection 时
- 夜间逆光场景下，传统霍夫变换算法漏检率达40%，导致车道保持功能失效
- 雨雪天气需手动调整10+个参数，每次调参耗时2-3小时且效果不稳定
- 基于ResNet的检测模型推理延迟达800ms，无法满足ADAS系统实时性要求
- 多车道场景中无法区分相邻车道线，导致变道决策错误率提升25%
- 自建数据集需从零训练模型，预训练模型迁移效果差，迭代周期长达3周
使用 lanenet-lane-detection 后
- 二值分割与实例分割双任务架构使夜间检测准确率提升至92%，逆光场景漏检率降至8%
- 端到端训练流程自动优化特征提取，参数调整工作量减少70%，单次调优仅需30分钟
- 轻量化网络结构实现50FPS实时推理，端到端延迟压缩至20ms内
- 实例分割输出支持4车道并行识别，变道决策准确率提升至95%
- 预训练模型在自建数据集微调仅需3天即可收敛，mIOU指标达到0.87
核心价值：lanenet-lane-detection通过端到端深度学习架构与优化的推理速度，在复杂工况下实现亚像素级车道线检测，使自动驾驶系统的车道感知模块达到车规级可靠性要求。
运行环境要求
- Linux
需要 NVIDIA GPU，显存 8GB+，CUDA 9.0
未说明
快速开始
LaneNet-车道检测
使用 tensorflow 实现一个深度神经网络用于实时车道检测，主要基于 IEEE IV 会议论文 "Towards End-to-End Lane Detection: an Instance Segmentation Approach"。详情请参考其论文 https://arxiv.org/abs/1802.05591。该模型包含编码器-解码器阶段、二元语义分割阶段和使用判别损失函数的实例语义分割阶段，用于实时车道检测任务。
主要网络架构如下：
网络架构
安装
该软件仅在 ubuntu 16.04(x64)、python3.5、cuda-9.0、cudnn-7.0 配置下测试通过，配备 GTX-1070 GPU。安装此软件需要 tensorflow 1.12.0，其他版本的 tensorflow 尚未测试，但我认为在 tensorflow 1.12 版本以上应该可以正常工作。其他所需包可通过以下命令安装：
pip3 install -r requirements.txt
测试模型
本仓库上传了一个在 tusimple 车道数据集 Tusimple_Lane_Detection 上训练的模型。深度神经网络推理部分可以达到约 50fps，与论文中的描述相似。但目前实现的输入管道需要改进以实现真正的实时车道检测系统。
训练好的 lanenet 模型权重文件存储在 lanenet_pretrained_model。您可以下载模型并将它们放入 weights/tusimple_lanenet/ 文件夹中。
您也可以通过 BaiduNetDisk 这里 下载预训练模型，提取代码为 86sd。
您可以使用以下命令在训练模型上测试单张图像：
python tools/test_lanenet.py --weights_path /PATH/TO/YOUR/CKPT_FILE_PATH
--image_path https://oss.gittoolsai.com/images/MaybeShewill-CV_lanenet-lane-detection_readme_107befcdf558.jpg
结果如下：
测试输入图像
测试车道掩码图像
测试车道二元语义分割图像
测试车道实例语义分割图像
如果您想在整个 tusimple 测试数据集上评估模型，可以调用
python tools/evaluate_lanenet_on_tusimple.py
--image_dir ROOT_DIR/TUSIMPLE_DATASET/test_set/clips
--weights_path /PATH/TO/YOUR/CKPT_FILE_PATH
--save_dir ROOT_DIR/TUSIMPLE_DATASET/test_set/test_output
如果设置了 save_dir 参数，结果将保存在该文件夹中，否则在推理过程中会显示结果并每张图像保持 3 秒钟。我已在整个 tusimple 车道检测数据集上测试了该模型并制作成视频。您可下方查看。
Tusimple 测试数据集 gif
训练自己的模型
数据准备
首先您需要按照 data/training_data_example 文件夹结构组织训练数据。还需要生成 train.txt 和 val.txt 来记录用于训练模型的数据。
训练样本包含三个组成部分：二元语义分割标签文件、实例语义分割标签文件和原始图像。二元语义分割使用 255 表示车道区域，0 表示其余部分。实例语义分割使用不同像素值表示不同车道区域，0 表示其余部分。
所有训练图像都将根据配置文件缩放至相同尺度。
使用此处的脚本生成 tensorflow 记录文件
python tools/make_tusimple_tfrecords.py
训练模型
在我的实验中，训练轮数为 80010，批量大小为 4，初始学习率为 0.001，使用多项式衰减（power 0.9）。关于训练参数详情请查看 global_configuration/config.py。您可以通过切换 --net 参数更改基础编码器阶段。如果您选择 --net vgg，则使用 vgg16 作为基础编码器阶段并加载预训练参数。您还可以修改训练脚本加载自己的预训练参数，或实现自己的基础编码器阶段。您可以调用以下脚本训练自己的模型
python tools/train_lanenet_tusimple.py
您可以使用 tensorboard 工具监控训练过程
在我的实验中，总损失 下降情况如下：
二元语义分割损失 下降情况如下：
实例语义分割损失 下降情况如下：
实验
训练过程中的准确率提升情况如下：
如您使用本仓库，请引用我的 repo lanenet-lane-detection。
Segment-Anything-U-Specify
您可能对最近发布的 SAM 模型感兴趣。这里有一个使用 clip + sam 实现的仓库，可用于指定分割任意实例。 segment-anything-u-specify.
服务您的模型
如果您希望通过 Web 服务器服务您的模型，可能对 mortred_model_server 感兴趣，这是一个高性能的 DNN 视觉模型 Web 服务器 :fire::fire::fire:
最近更新 2018.11.10
根据新的 tensorflow API 调整了一些基本的 CNN 操作。使用传统的 SGD 优化器优化整个模型，而不是原论文中使用的原始 Adam 优化器。我发现 SGD 优化器能带来更稳定的训练过程，并且不容易陷入 nan 损失，这在使用原始代码时经常发生。
最近更新 2018.12.13
由于许多用户希望有一个自动工具来从Tusimple数据集生成训练样本，我上传了我用来生成训练样本的工具。您需要首先下载Tusimple数据集并将文件解压到本地磁盘。然后运行以下命令来生成训练样本和train.txt文件。
python tools/generate_tusimple_dataset.py --src_dir path/to/your/unzipped/file
该脚本会创建train文件夹和test文件夹。原始rgb图像、二值标签图像、实例标签图像的训练样本将自动生成在training/gt_image、training/gt_binary_image、training/gt_instance_image文件夹中。您在开始训练过程前可以自行检查。
请注意，该脚本仅处理训练样本，您需要从train.txt中选择几行来生成自己的val.txt文件。为了获取测试图像，您可以自行修改脚本。
最近更新 2020.06.12
新增基于BiseNetV2的实时分割模型BiseNetV2作为lanenet的backbone。您可以通过修改config/tusimple_lanenet.yaml配置文件来选择lanenet模型的前端。
基于BiseNetV2训练的新lanenet模型可在此处找到 here
BaiduNetDisk 也提供。您可在此处下载 https://pan.baidu.com/s/1sLLSE1CWksKNxmRIGaQn_A 并使用提取码 86sd
新模型在单张图像推理过程中可达78 fps。
最近更新 2022.05.28
由于许多用户在使用自定义数据进行模型推理时遇到了空mask图像问题。例如用户 issue 遇到了此类问题。我在 此处 开启了讨论以提供解决建议。
该问题主要由dbscan聚类算法参数未针对自定义数据进行适当调整导致。例如如果我使用默认的dbscan参数设定 此处
POSTPROCESS:
MIN_AREA_THRESHOLD: 100
DBSCAN_EPS: 0.35
DBSCAN_MIN_SAMPLES: 1000
推理结果为
当我将dbscan DBSCAN_EPS参数从0.35增加到0.5，并将DBSCAN_MIN_SAMPLES参数从1000减少到250时，推理结果为
更多详细讨论您可参考 讨论模块
postprocess模块中的车道拟合过程是为Tusimple数据集设计的，这意味着它在您的自定义数据上无法很好地工作。因此我在测试脚本中添加了一个选项，在处理自定义数据时禁用此功能。它会在源图像上直接绘制mask图像
python tools/test_lanenet.py --weights_path /PATH/TO/YOUR/CKPT_FILE_PATH
--image_path ./data/custom_test_image/test.png --with_lane_fit 0
在测试示例自定义数据前，请按照上述说明调整dbscan聚类参数，测试结果应类似
为了在您的数据上获得更好的车道检测结果，最好在自定义数据集上训练新模型，而不是直接使用预训练模型。
希望有所帮助:)
MNN项目
添加工具将lanenet tensorflow ckpt模型转换为mnn模型并在移动设备上部署
冻结tensorflow ckpt模型权重文件
cd LANENET_PROJECT_ROOT_DIR
python mnn_project/freeze_lanenet_model.py -w lanenet.ckpt -s lanenet.pb
将pb模型转换为mnn模型
cd MNN_PROJECT_ROOT_DIR/tools/converter/build
./MNNConver -f TF --modelFile lanenet.pb --MNNModel lanenet.mnn --bizCode MNN
将lanenet源代码添加到MNN项目
将lanenet源代码添加到MNN项目并修改CMakeList.txt以编译可执行二进制文件。
状态
星星历史
待办事项
- 添加嵌入可视化工具以可视化嵌入特征图
- 添加详细解释如何单独训练lanenet的各个组件。
- 在不同数据集上训练模型
[ ] 调整lanenet hnet模型并将hnet模型合并到主lanenet模型[ ] 将归一化函数从BN改为GN
致谢
lanenet项目参考了以下项目：
访问次数
联系方式
扫描以下二维码讨论:)
常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。