KittiSeg
KittiSeg 是一款基于 TensorFlow 开发的开源道路分割模型，专为自动驾驶场景中的路面识别任务设计。它利用全卷积神经网络（FCN）技术，能够精准地从复杂街景图像中分离出可行驶区域，有效解决了车辆在非结构化道路上判断通行路径的难题。
该工具最显著的技术亮点在于其卓越的数据效率与推理速度。即便仅使用 250 张密集标注的图片进行训练，KittiSeg 仍能在 KITTI 道路检测基准测试中取得超过 96% 的 MaxF1 分数，曾位居榜单首位。同时，其单张图片推理耗时仅为 95 毫秒，完全满足实时应用的需求。此外，项目架构兼容 TensorVision 后端，便于研究人员整洁地管理实验流程，并支持与目标检测等任务联合训练。
KittiSeg 主要面向计算机视觉领域的研究人员、算法工程师及自动驾驶开发者。对于希望在小样本数据集上复现高精度分割效果，或需要构建实时路况感知系统的团队而言，这是一个极具参考价值的基准模型。无论是用于学术研究对比，还是作为实际工程项目的起点，KittiSeg 都提供了完善的训练、评估及可视化代码支持。
使用场景
某自动驾驶初创团队正在开发低速物流车的道路感知模块，需要在有限标注数据下快速实现高精度的可行驶区域识别。
没有 KittiSeg 时
- 数据依赖严重：传统语义分割模型通常需要数千张密集标注图像才能收敛，团队难以承担高昂的数据标注成本和时间开销。
- 实时性不足：自研或通用的重型模型推理速度慢，无法满足车辆行驶中每秒至少 10 帧的实时处理需求，导致决策延迟。
- 精度难以达标：在复杂路况下，现有方案对车道线和路面边界的识别模糊，最大 F1 分数（MaxF1）徘徊在 90% 以下，存在安全隐患。
- 实验管理混乱：缺乏统一的训练与评估框架，每次调整参数都需要手动整理代码和数据，复现优秀结果极其困难。
使用 KittiSeg 后
- 小样本高效训练：利用基于 FCN 的优化架构，仅用 250 张密集标注图像即可完成训练，大幅降低了数据准备门槛。
- 毫秒级实时推理：单张图片推理速度高达 95ms，轻松满足车载嵌入式设备的实时运行要求，确保车辆反应敏捷。
- 标杆级识别精度：在 KITTI 道路检测基准上取得超过 96% 的 MaxF1 分数，精准勾勒出可行驶区域，显著提升了行车安全性。
- 流程规范化：依托 TensorVision 后端，团队能够清晰地组织实验、训练和可视化流程，快速迭代并复现最优模型。
KittiSeg 通过“小数据、高速度、高精度”的特性，帮助团队以极低成本构建了达到行业顶尖水平的道路感知能力。
运行环境要求
- 未说明
支持 GPU 加速（可通过 --gpus 指定），但未明确说明是否必需、具体型号、显存大小或 CUDA 版本
未说明
快速开始
KittiSeg
KittiSeg 使用基于 FCN 的模型对道路进行分割。在提交时，该模型在 KITTI 道路检测基准测试中获得了第一名。有关模型的详细说明，请参阅我们的论文。
该模型专为在小型数据集上表现良好而设计。训练仅使用了 250 张密集标注图像。尽管如此，仍实现了超过 96% 的先进 MaxF1 分数。该模型可用于实时应用，每张图像的推理速度可达惊人的 95ms。
该仓库包含用于在 TensorFlow 中训练、评估和可视化语义分割的代码。它与 TensorVision 后端兼容，后者能够以非常整洁的方式组织实验。此外，还可以查看 KittiBox，这是一个用于执行最先进目标检测的类似项目。最后，MultiNet 仓库包含联合训练分割、分类和检测的代码。KittiSeg 和 KittiBox 在 MultiNet 中被用作子模块。
要求
该代码需要 TensorFlow 1.0、Python 2.7 以及以下 Python 库：
- matplotlib
- numpy
- Pillow
- scipy
- commentjson
可以使用以下命令安装这些模块：pip install numpy scipy pillow matplotlib commentjson 或 pip install -r requirements.txt。
设置
- 克隆此仓库：
git clone https://github.com/MarvinTeichmann/KittiSeg.git - 初始化所有子模块：
git submodule update --init --recursive - 【可选】下载 KITTI 道路数据：
- 在此处获取 KITTI 数据下载链接：http://www.cvlibs.net/download.php?file=data_road.zip
- 运行
python download_data.py --kitti_url URL_YOU_RETRIEVED
使用 demo.py 运行模型时无需下载 KITTI 数据（步骤 3）。只有当您想使用 train.py 训练自己的模型，或使用 evaluate.py 对模型进行官方评估时，才需要执行步骤 3。另外请注意，我建议使用 download_data.py 而不是手动下载数据。该脚本还会解压并准备好数据。如果您想控制数据存储位置，请参阅“管理数据存储”部分（README.md#manage-data-storage）。
更新现有安装时请执行：
- 拉取所有补丁：
git pull - 更新所有子模块：
git submodule update --init --recursive
如果您忘记执行第二步，可能会导致仓库状态不一致。您可能已经拥有 KittiSeg 的新代码，但仍在运行旧版本的子模块代码。虽然这有时也能工作，但我并未对此进行任何测试验证。
教程
入门
运行：python demo.py --input_image data/demo/demo.png，以 demo.png 作为输入获取预测结果。
运行：python evaluate.py 来评估已训练的模型。
运行：python train.py --hypes hypes/KittiSeg.json 使用 KITTI 数据训练模型。
如果您想理解代码，建议首先查看 demo.py。我在该文件中尽可能详尽地记录了每一步操作。
管理数据存储
KittiSeg 允许将数据存储与代码分离。这在许多服务器环境中非常有用。默认情况下，数据存储在 KittiSeg/DATA 文件夹中，运行结果则保存在 KittiSeg/RUNS 文件夹中。可以通过设置 bash 环境变量 $TV_DIR_DATA 和 $TV_DIR_RUNS 来更改此行为。
在您的 .profile 文件中加入 export TV_DIR_DATA="/MY/LARGE/HDD/DATA"，所有数据将被下载到 /MY/LARGE/HDD/DATA/data_road。在 .profile 中加入 export TV_DIR_RUNS="/MY/LARGE/HDD/RUNS"，所有运行结果将被保存到 /MY/LARGE/HDD/RUNS/KittiSeg。
RUNDIR 和实验组织
KittiSeg 可帮助您组织大量实验。为此，每次运行的结果都会存储在其各自的 rundir 中。每个 rundir 包含：
output.log：打印到屏幕上的训练输出副本tensorflow events：可在 rundir 中运行 TensorBoardtensorflow checkpoints：可以从 rundir 加载训练好的模型[dir] images：包含示例输出图像的文件夹。image_iter控制整个验证集被转储的频率[dir] model_files：构建模型所需的所有源代码副本。如果您有多个版本的模型，这将非常有用。
为了跟踪所有实验，您可以使用 --name 标志为每个 rundir 命名。--project 标志会将运行结果存储在一个单独的子文件夹中，从而允许您运行不同的实验系列。例如，python train.py --project batch_size_bench --name size_5 将使用以下目录作为 rundir：$TV_DIR_RUNS/KittiSeg/batch_size_bench/size_5_KittiSeg_2017_02_08_13.12。
--nosave 标志非常有用，可以避免 rundir 中产生过多垃圾文件。
修改模型及使用自有数据训练
模型由文件 hypes/KittiSeg.json 控制。修改此文件应足以让您使用自有数据训练模型，并根据需求调整架构。有关预期输入格式的说明，请参阅 此处。
对于高级修改，代码由 5 个不同的模块控制，这些模块在 hypes/KittiSeg.json 中指定如下：
"model": {
"input_file": "../inputs/kitti_seg_input.py",
"architecture_file" : "../encoder/fcn8_vgg.py",
"objective_file" : "../decoder/kitti_multiloss.py",
"optimizer_file" : "../optimizer/generic_optimizer.py",
"evaluator_file" : "../evals/kitti_eval.py"
},
这些模块独立运作。这使得您可以轻松尝试不同的数据集（input_file）、编码器网络（architecture_file）等。有关这些文件的具体说明，请参阅 TensorVision。
使用 TensorVision 后端
KittiSeg 构建在 TensorVision TensorVision 后端之上。TensorVision 将计算机视觉训练模块化，并有助于实验的组织管理。
要使用 TensorVision 的全部功能，请按照以下步骤安装：
$ cd KittiSeg/submodules/TensorVision
$ python setup.py install
现在您可以使用 TensorVision 的命令行工具，其中包括：
tv-train --hypes hypes/KittiSeg.json 训练一个 JSON 格式的模型。
tv-continue --logdir PATH/TO/RUNDIR 从上次保存的检查点继续训练 RUNDIR 中的模型。可以通过在 model_files/hypes.json 中增加 max_steps 来进行微调。
tv-analyze --logdir PATH/TO/RUNDIR 评估 RUNDIR 中的模型。
有用的标志与变量
以下是一些在使用 KittiSeg 和 TensorVision 时会很有用的标志。所有标志在各个脚本中均可使用。
--hypes：指定要使用的超参数文件。
--logdir：指定要使用的日志目录。
--gpus：指定在哪些 GPU 上运行代码。
--name：为本次运行分配一个名称。
--project：为本次运行分配一个项目。
--nosave：调试运行，日志目录将被设置为 debug。
此外，以下 TensorVision 环境变量也会很有用：
$TV_DIR_DATA：指定数据的元目录。
$TV_DIR_RUNS：指定输出的元目录。
$TV_USE_GPUS：指定默认的 GPU 行为。
在集群上，建议设置 $TV_USE_GPUS=force。这会使 --gpus 标志变为必填项，并确保作业在正确的 GPU 上执行。
有问题吗？
请查看 FAQ。如果您有尚未解答的问题，也欢迎随时提交问题进行讨论。
引用
如果您从本代码中受益，请引用我们的论文：
@article{teichmann2016multinet,
title={MultiNet: Real-time Joint Semantic Reasoning for Autonomous Driving},
author={Teichmann, Marvin and Weber, Michael and Zoellner, Marius and Cipolla, Roberto and Urtasun, Raquel},
journal={arXiv preprint arXiv:1612.07695},
year={2016}
}
常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。