[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-MarvinTeichmann--MultiNet":3,"tool-MarvinTeichmann--MultiNet":62},[4,18,26,36,46,54],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",160784,2,"2026-04-19T11:32:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":42,"last_commit_at":43,"category_tags":44,"status":17},8272,"opencode","anomalyco\u002Fopencode","OpenCode 是一款开源的 AI 编程助手（Coding Agent），旨在像一位智能搭档一样融入您的开发流程。它不仅仅是一个代码补全插件，而是一个能够理解项目上下文、自主规划任务并执行复杂编码操作的智能体。无论是生成全新功能、重构现有代码，还是排查难以定位的 Bug，OpenCode 都能通过自然语言交互高效完成，显著减少开发者在重复性劳动和上下文切换上的时间消耗。\n\n这款工具专为软件开发者、工程师及技术研究人员设计，特别适合希望利用大模型能力来提升编码效率、加速原型开发或处理遗留代码维护的专业人群。其核心亮点在于完全开源的架构，这意味着用户可以审查代码逻辑、自定义行为策略，甚至私有化部署以保障数据安全，彻底打破了传统闭源 AI 助手的“黑盒”限制。\n\n在技术体验上，OpenCode 提供了灵活的终端界面（Terminal UI）和正在测试中的桌面应用程序，支持 macOS、Windows 及 Linux 全平台。它兼容多种包管理工具，安装便捷，并能无缝集成到现有的开发环境中。无论您是追求极致控制权的资深极客，还是渴望提升产出的独立开发者，OpenCode 都提供了一个透明、可信",144296,1,"2026-04-16T14:50:03",[13,45],"插件",{"id":47,"name":48,"github_repo":49,"description_zh":50,"stars":51,"difficulty_score":32,"last_commit_at":52,"category_tags":53,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":55,"name":56,"github_repo":57,"description_zh":58,"stars":59,"difficulty_score":32,"last_commit_at":60,"category_tags":61,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[45,13,15,14],{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":80,"owner_website":80,"owner_url":81,"languages":82,"stars":87,"forks":88,"last_commit_at":89,"license":90,"difficulty_score":91,"env_os":92,"env_gpu":93,"env_ram":92,"env_deps":94,"category_tags":105,"github_topics":106,"view_count":32,"oss_zip_url":80,"oss_zip_packed_at":80,"status":17,"created_at":112,"updated_at":113,"faqs":114,"releases":145},9601,"MarvinTeichmann\u002FMultiNet","MultiNet","Real-time Joint Semantic Reasoning for Autonomous Driving","MultiNet 是一款专为自动驾驶场景设计的实时多任务感知模型。它能够在一个统一的网络中同时完成道路分割、车辆检测以及街道场景分类这三项关键任务，有效解决了传统方案中需运行多个独立模型导致计算资源浪费和延迟较高的问题。\n\n该工具的核心亮点在于其高效的编码器 - 解码器架构：通过共享一个 VGG 编码器提取图像特征，再分发至多个独立的解码器并行处理不同任务。这种设计不仅大幅提升了推理速度，满足自动驾驶对“实时性”的严苛要求，同时在道路分割精度上达到了当时的业界领先水平。此外，MultiNet 基于 TensorFlow 构建，代码结构清晰，支持模块化实验管理。\n\nMultiNet 主要面向自动驾驶领域的算法工程师、科研人员及深度学习开发者。如果你正在研究车载视觉系统，或需要构建高效的多任务学习基准，MultiNet 提供了一个经过验证的优秀起点。需要注意的是，由于项目依赖较早期的技术栈（如 Python 2.7 和 TensorFlow 1.0），使用者需具备一定的环境配置与代码维护能力，以便将其迁移至现代开发环境中使用。","# MultiNet\n\nMultiNet is able to jointly perform road segmentation, car detection and street classification. The model achieves real-time speed and [state-of-the-art](http:\u002F\u002Fwww.cvlibs.net\u002Fdatasets\u002Fkitti\u002Feval_road_detail.php?result=ca96b8137feb7a636f3d774c408b1243d8a6e0df)  performance in segmentation. Check out our [paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F1612.07695) for a detailed model description.\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_readme_19a1a37f6685.png\" width=\"288\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_readme_96d787d88882.png\" width=\"288\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_readme_426ac277982e.png\" width=\"288\"> \n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_readme_7968e7925093.png\" width=\"288\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_readme_19a1a37f6685.png\" width=\"288\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_readme_5e8e43cad6b6.png\" width=\"288\"> \n\nMultiNet is optimized to perform well at a real-time speed. It has two components: [KittiSeg](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiSeg#kittiseg), which sets a new state-of-the art in road segmentation; and [KittiBox](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiBox#kittibox), which improves over the baseline Faster-RCNN in both inference speed and detection performance.\n\n\nThe model is designed as an encoder-decoder architecture. It utilizes one VGG encoder and several independent decoders for each task. This repository contains generic code that combines several tensorflow models in one network. The code for the individual tasks is provided by the [KittiSeg](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiSeg#kittiseg), [KittiBox](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiBox#kittibox), and [KittiClass](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiClass) repositories. These repositories are utilized as [submodules](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FMultiNet\u002Ftree\u002Fmaster\u002Fsubmodules) in this project. This project is built to be compatible with the [TensorVision](http:\u002F\u002Ftensorvision.readthedocs.io\u002Fen\u002Fmaster\u002Fuser\u002Ftutorial.html#workflow) back end, which allows for organizing experiments in a very clean way. \n\n## Requirements\n\nThe code requires [Python 2.7](https:\u002F\u002Fwww.python.org\u002Fdownload\u002Freleases\u002F2.7\u002F), [Tensorflow 1.0](https:\u002F\u002Fwww.tensorflow.org\u002Finstall\u002F), as well as the following python libraries: \n\n* matplotlib\n* numpy\n* Pillow\n* scipy\n* runcython\n* commentjson\n\nThose modules can be installed using: `pip install numpy scipy pillow matplotlib runcython commentjson` or `pip install -r requirements.txt`.\n\n\n## Setup\n\n1. Clone this repository: `https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FMultiNet.git`\n2. Initialize all submodules: `git submodule update --init --recursive`\n3. `cd submodules\u002FKittiBox\u002Fsubmodules\u002Futils\u002F && make` to build cython code\n4. [Optional] Download Kitti Road Data:\n    1. Retrieve kitti data url here: [http:\u002F\u002Fwww.cvlibs.net\u002Fdownload.php?file=data_road.zip](http:\u002F\u002Fwww.cvlibs.net\u002Fdownload.php?file=data_road.zip)\n    2. Call `python download_data.py --kitti_url URL_YOU_RETRIEVED`\n5. [Optional] Run `cd submodules\u002FKittiBox\u002Fsubmodules\u002FKittiObjective2\u002F && make` to build the Kitti evaluation code (see [submodules\u002FKittiBox\u002Fsubmodules\u002FKittiObjective2\u002FREADME.md](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiBox\u002Fblob\u002F1073ab1ef6c53adc78c5340f42ce3468797d50b4\u002Fsubmodules\u002FKittiObjective2\u002FREADME.md) for more information)\n    \nRunning the model using `demo.py` only requires you to perform step 1-3. Step 4 and 5 is only required if you want to train your own model using `train.py`. Note that I recommend using `download_data.py` instead of downloading the data yourself. The script will also extract and prepare the data. See Section [Manage data storage](README.md#manage-data-storage) if you like to control where the data is stored.\n\n##### To update MultiNet do:\n\n1. Pull all patches: `git pull`\n2. Update all submodules: `git submodule update --init --recursive`\n\nIf you forget the second step you might end up with an inconstant repository state. You will already have the new code for MultiNet but run it old submodule versions code. This can work, but I do not run any tests to verify this.\n\n\n## Tutorial\n\n### Getting started\n\nRun: `python demo.py --gpus 0 --input data\u002Fdemo\u002Fum_000005.png` to obtain a prediction using [demo.png](data\u002Fdemo\u002Fum_000005.png) as input.\n\nRun: `python evaluate.py` to evaluate a trained model. \n\nRun: `python train.py --hypes hypes\u002Fmultinet2.json` to train a multinet2\n\nIf you like to understand the code, I would recommend looking at [demo.py](demo.py) first. I have documented each step as thoroughly as possible in this file. \n\nOnly training of MultiNet3 (joint detection and segmentation) is supported out of the box. The data to train the classification model is not public an those cannot be used to train the full MultiNet3 (detection, segmentation and classification). The full code is given here, so you can still train MultiNet3 if you have your own data.\n\n### Manage Data Storage\n\nMultiNet allows to separate data storage from code. This is very useful in many server environments. By default, the data is stored in the folder `MultiNet\u002FDATA` and the output of runs in `MultiNet\u002FRUNS`. This behaviour can be changed by setting the bash environment variables: `$TV_DIR_DATA` and `$TV_DIR_RUNS`.\n\nInclude  `export TV_DIR_DATA=\"\u002FMY\u002FLARGE\u002FHDD\u002FDATA\"` in your `.profile` and the all data will be downloaded to `\u002FMY\u002FLARGE\u002FHDD\u002FDATA\u002F`. Include `export TV_DIR_RUNS=\"\u002FMY\u002FLARGE\u002FHDD\u002FRUNS\"` in your `.profile` and all runs will be saved to `\u002FMY\u002FLARGE\u002FHDD\u002FRUNS\u002FMultiNet`\n\n### Modifying Model & Train on your own data\n\nThe model is controlled by the file `hypes\u002Fmultinet3.json`. This file points the code to the implementation of the submodels. The MultiNet code then loads all models provided and integrates the decoders into one neural network. To train on your own data, it should be enough to modify the hype files of the submodels. A good start will be the [KittiSeg](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiSeg#kittiseg) model, which is very well documented.\n\n```\n    \"models\": {\n        \"segmentation\" : \"..\u002Fsubmodules\u002FKittiSeg\u002Fhypes\u002FKittiSeg.json\",\n        \"detection\" : \"..\u002Fsubmodules\u002FKittiBox\u002Fhypes\u002FkittiBox.json\",\n        \"road\" : \"..\u002Fsubmodules\u002FKittiClass\u002Fhypes\u002FKittiClass.json\"\n    },\n```\n\n### RUNDIR and Experiment Organization\n\nMultiNet helps you to organize a large number of experiments. To do so, the output of each run is stored in its own rundir. Each rundir contains:\n\n* `output.log` a copy of the training output which was printed to your screen\n* `tensorflow events` tensorboard can be run in rundir\n* `tensorflow checkpoints` the trained model can be loaded from rundir\n* `[dir] images` a folder containing example output images. `image_iter` controls how often the whole validation set is dumped\n* `[dir] model_files` A copy of all source code need to build the model. This can be very useful of you have many versions of the model.\n\nTo keep track of all the experiments, you can give each rundir a unique name with the `--name` flag. The `--project` flag will store the run in a separate subfolder allowing to run different series of experiments. As an example, `python train.py --project batch_size_bench --name size_5` will use the following dir as rundir:  `$TV_DIR_RUNS\u002FKittiSeg\u002Fbatch_size_bench\u002Fsize_5_KittiSeg_2017_02_08_13.12`.\n\nThe flag `--nosave` is very useful to not spam your rundir.\n\n\n## Useful Flags & Variabels\n\nHere are some Flags which will be useful when working with KittiSeg and TensorVision. All flags are available across all scripts. \n\n`--hypes` : specify which hype-file to use \u003Cbr>\n`--logdir` : specify which logdir to use \u003Cbr>\n`--gpus` : specify on which GPUs to run the code \u003Cbr>\n`--name` : assign a name to the run \u003Cbr>\n`--project` : assign a project to the run \u003Cbr>\n`--nosave` : debug run, logdir will be set to `debug` \u003Cbr>\n\nIn addition the following TensorVision environment Variables will be useful:\n\n`$TV_DIR_DATA`: specify meta directory for data \u003Cbr>\n`$TV_DIR_RUNS`: specify meta directory for output \u003Cbr>\n`$TV_USE_GPUS`: specify default GPU behaviour. \u003Cbr>\n\nOn a cluster it is useful to set `$TV_USE_GPUS=force`. This will make the flag `--gpus` mandatory and ensure, that run will be executed on the right GPU.\n\n# Citation\n\nIf you benefit from this code, please cite our paper:\n\n```\n@article{teichmann2016multinet,\n  title={MultiNet: Real-time Joint Semantic Reasoning for Autonomous Driving},\n  author={Teichmann, Marvin and Weber, Michael and Zoellner, Marius and Cipolla, Roberto and Urtasun, Raquel},\n  journal={arXiv preprint arXiv:1612.07695},\n  year={2016}\n}\n```\n\n","# MultiNet\n\nMultiNet 能够联合执行道路分割、车辆检测和街道分类任务。该模型在分割任务上达到了实时速度和[最先进](http:\u002F\u002Fwww.cvlibs.net\u002Fdatasets\u002Fkitti\u002Feval_road_detail.php?result=ca96b8137feb7a636f3d774c408b1243d8a6e0df)的性能。有关模型的详细描述，请参阅我们的[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F1612.07695)。\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_readme_19a1a37f6685.png\" width=\"288\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_readme_96d787d88882.png\" width=\"288\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_readme_426ac277982e.png\" width=\"288\"> \n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_readme_7968e7925093.png\" width=\"288\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_readme_19a1a37f6685.png\" width=\"288\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_readme_5e8e43cad6b6.png\" width=\"288\"> \n\nMultiNet 经过优化，能够在实时速度下高效运行。它由两个组件组成：[KittiSeg](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiSeg#kittiseg)，在道路分割任务中树立了新的行业标杆；以及[KittiBox](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiBox#kittibox)，在推理速度和检测性能方面均优于基准的 Faster-RCNN 模型。\n\n\n该模型采用编码器-解码器架构，使用一个 VGG 编码器和针对每个任务的多个独立解码器。本仓库包含将多个 TensorFlow 模型整合到一个网络中的通用代码。各个任务的具体实现分别由 [KittiSeg](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiSeg#kittiseg)、[KittiBox](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiBox#kittibox) 和 [KittiClass](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiClass) 三个仓库提供。这些仓库作为[子模块](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FMultiNet\u002Ftree\u002Fmaster\u002Fsubmodules)被集成到本项目中。该项目与 [TensorVision](http:\u002F\u002Ftensorvision.readthedocs.io\u002Fen\u002Fmaster\u002Fuser\u002Ftutorial.html#workflow) 后端兼容，能够以非常整洁的方式组织实验。 \n\n## 需求\n\n代码需要 [Python 2.7](https:\u002F\u002Fwww.python.org\u002Fdownload\u002Freleases\u002F2.7\u002F)、[TensorFlow 1.0](https:\u002F\u002Fwww.tensorflow.org\u002Finstall\u002F)，以及以下 Python 库：\n\n* matplotlib\n* numpy\n* Pillow\n* scipy\n* runcython\n* commentjson\n\n可以使用以下命令安装这些依赖：`pip install numpy scipy pillow matplotlib runcython commentjson` 或 `pip install -r requirements.txt`。\n\n\n## 设置\n\n1. 克隆本仓库：`https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FMultiNet.git`\n2. 初始化所有子模块：`git submodule update --init --recursive`\n3. 进入 `cd submodules\u002FKittiBox\u002Fsubmodules\u002Futils\u002F && make` 来编译 Cython 代码\n4. [可选] 下载 KITTI 道路数据：\n    1. 在这里获取 KITTI 数据下载链接：[http:\u002F\u002Fwww.cvlibs.net\u002Fdownload.php?file=data_road.zip](http:\u002F\u002Fwww.cvlibs.net\u002Fdownload.php?file=data_road.zip)\n    2. 运行 `python download_data.py --kitti_url URL_YOU_RETRIEVED`\n5. [可选] 运行 `cd submodules\u002FKittiBox\u002Fsubmodules\u002FKittiObjective2\u002F && make` 来编译 KITTI 评估代码（更多信息请参见 [submodules\u002FKittiBox\u002Fsubmodules\u002FKittiObjective2\u002FREADME.md](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiBox\u002Fblob\u002F1073ab1ef6c53adc78c5340f42ce3468797d50b4\u002Fsubmodules\u002FKittiObjective2\u002FREADME.md)）。\n    \n使用 `demo.py` 运行模型只需完成步骤 1–3。步骤 4 和 5 只有在您想使用 `train.py` 训练自己的模型时才需要。请注意，我建议使用 `download_data.py` 脚本来下载数据，而不是手动下载。该脚本还会自动解压并准备好数据。如果您希望控制数据存储位置，请参阅“管理数据存储”部分（README.md#manage-data-storage）。\n\n##### 更新 MultiNet 的步骤如下：\n\n1. 拉取所有补丁：`git pull`\n2. 更新所有子模块：`git submodule update --init --recursive`\n\n如果您忘记执行第二步，可能会导致仓库状态不一致。您可能已经获得了 MultiNet 的新代码，但使用的却是旧版本的子模块代码。虽然这有时也能正常工作，但我并未进行相关测试来验证这一点。\n\n\n## 教程\n\n### 开始使用\n\n运行：`python demo.py --gpus 0 --input data\u002Fdemo\u002Fum_000005.png`，以 [demo.png](data\u002Fdemo\u002Fum_000005.png) 作为输入获得预测结果。\n\n运行：`python evaluate.py` 来评估已训练好的模型。\n\n运行：`python train.py --hypes hypes\u002Fmultinet2.json` 来训练 multinet2。\n\n如果您想理解代码，建议先查看 [demo.py](demo.py)。我在该文件中尽可能详细地记录了每一步操作。\n\n目前开箱即用仅支持 MultiNet3（联合检测与分割）的训练。用于训练分类模型的数据并未公开，因此无法使用这些数据来训练完整的 MultiNet3（检测、分割和分类）。不过，我们提供了完整代码，如果您有自己的数据，仍然可以训练 MultiNet3。\n\n### 管理数据存储\n\nMultiNet 支持将数据存储与代码分离，这在许多服务器环境中非常有用。默认情况下，数据存储在 `MultiNet\u002FDATA` 文件夹中，而运行结果则保存在 `MultiNet\u002FRUNS` 文件夹中。可以通过设置 Bash 环境变量 `$TV_DIR_DATA` 和 `$TV_DIR_RUNS$` 来更改这一行为。\n\n在您的 `.profile` 中添加 `export TV_DIR_DATA=\"\u002FMY\u002FLARGE\u002FHDD\u002FDATA\"`，所有数据将被下载到 `\u002FMY\u002FLARGE\u002FHDD\u002FDATA\u002F`。同样，在 `.profile` 中添加 `export TV_DIR_RUNS=\"\u002FMY\u002FLARGE\u002FHDD\u002FRUNS\"`，所有运行结果将被保存到 `\u002FMY\u002FLARGE\u002FHDD\u002FRUNS\u002FMultiNet`。\n\n### 修改模型及使用自有数据训练\n\n模型由文件 `hypes\u002Fmultinet3.json` 控制。该文件指向子模型的实现。MultiNet 代码会加载所有提供的模型，并将解码器整合为一个神经网络。要使用自有数据训练，通常只需修改各子模型的超参数配置文件即可。从 [KittiSeg](https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FKittiSeg#kittiseg) 模型入手是一个不错的选择，该模型文档非常详尽。\n\n```\n    \"models\": {\n        \"segmentation\" : \"..\u002Fsubmodules\u002FKittiSeg\u002Fhypes\u002FKittiSeg.json\",\n        \"detection\" : \"..\u002Fsubmodules\u002FKittiBox\u002Fhypes\u002FkittiBox.json\",\n        \"road\" : \"..\u002Fsubmodules\u002FKittiClass\u002Fhypes\u002FKittiClass.json\"\n    },\n```\n\n### RUNDIR 与实验组织\n\nMultiNet 帮助您组织大量的实验。为此，每次运行的输出都会存储在各自的 rundir 中。每个 rundir 包含：\n\n* `output.log`：训练输出的日志副本，该日志曾打印到您的屏幕上。\n* `tensorflow events`：可以在 rundir 中运行 TensorBoard。\n* `tensorflow checkpoints`：可以从 rundir 加载训练好的模型。\n* `[dir] images`：包含示例输出图像的文件夹。`image_iter` 控制整个验证集被保存的频率。\n* `[dir] model_files`：构建模型所需的所有源代码的副本。如果您有多个版本的模型，这将非常有用。\n\n为了跟踪所有实验，您可以使用 `--name` 标志为每个 rundir 指定一个唯一的名称。`--project` 标志会将运行存储在一个单独的子文件夹中，从而允许您运行不同的实验系列。例如，`python train.py --project batch_size_bench --name size_5` 将使用以下目录作为 rundir：`$TV_DIR_RUNS\u002FKittiSeg\u002Fbatch_size_bench\u002Fsize_5_KittiSeg_2017_02_08_13.12`。\n\n`--nosave` 标志非常有用，可以避免 rundir 被大量文件淹没。\n\n\n## 有用的标志与变量\n\n以下是一些在使用 KittiSeg 和 TensorVision 时会很有用的标志。所有标志在所有脚本中均可使用。\n\n`--hypes`：指定要使用的超参数配置文件。\u003Cbr>\n`--logdir`：指定要使用的日志目录。\u003Cbr>\n`--gpus`：指定在哪些 GPU 上运行代码。\u003Cbr>\n`--name`：为本次运行分配一个名称。\u003Cbr>\n`--project`：为本次运行分配一个项目。\u003Cbr>\n`--nosave`：调试运行，日志目录将被设置为 `debug`。\u003Cbr>\n\n此外，以下 TensorVision 环境变量也会很有用：\n\n`$TV_DIR_DATA`：指定数据的元目录。\u003Cbr>\n`$TV_DIR_RUNS`：指定输出的元目录。\u003Cbr>\n`$TV_USE_GPUS`：指定默认的 GPU 行为。\u003Cbr>\n\n在集群上，建议将 `$TV_USE_GPUS=force`。这会使 `--gpus` 标志变为必填项，并确保运行会在正确的 GPU 上执行。\n\n# 引用\n\n如果您从这段代码中受益，请引用我们的论文：\n\n```\n@article{teichmann2016multinet,\n  title={MultiNet: 实时联合语义推理用于自动驾驶},\n  author={Teichmann, Marvin and Weber, Michael and Zoellner, Marius and Cipolla, Roberto and Urtasun, Raquel},\n  journal={arXiv 预印本 arXiv:1612.07695},\n  year={2016}\n}\n```","# MultiNet 快速上手指南\n\nMultiNet 是一个用于自动驾驶的实时多任务深度学习模型，能够联合执行**道路分割**、**车辆检测**和**街道分类**。该模型基于 Encoder-Decoder 架构，在保持实时速度的同时达到了业界领先的分割性能。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐)\n*   **Python 版本**: Python 2.7\n*   **深度学习框架**: TensorFlow 1.0\n*   **编译器**: 需要 `make` 和 C++ 编译器以构建 Cython 代码\n*   **Python 依赖库**:\n    *   matplotlib\n    *   numpy\n    *   Pillow\n    *   scipy\n    *   runcython\n    *   commentjson\n\n> **提示**：国内用户建议使用清华或阿里镜像源加速 pip 安装：\n> `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple numpy scipy pillow matplotlib runcython commentjson`\n\n## 安装步骤\n\n请按顺序执行以下命令完成安装：\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FMultiNet.git\n    cd MultiNet\n    ```\n\n2.  **初始化子模块**\n    该项目依赖 KittiSeg、KittiBox 等子模块，必须递归初始化：\n    ```bash\n    git submodule update --init --recursive\n    ```\n\n3.  **编译 Cython 代码**\n    构建必要的工具库：\n    ```bash\n    cd submodules\u002FKittiBox\u002Fsubmodules\u002Futils\u002F && make\n    cd ..\u002F..\u002F..\u002F..\n    ```\n\n4.  **(可选) 下载数据集**\n    如果您仅运行演示（Demo），可跳过此步。若需训练模型，请执行：\n    ```bash\n    # 获取数据链接后运行脚本（脚本会自动下载、解压并预处理）\n    python download_data.py --kitti_url \u003C您获取的 KITTI 数据链接>\n    ```\n\n## 基本使用\n\n安装完成后，您可以立即运行演示脚本测试模型效果。\n\n### 运行演示 (Demo)\n\n使用默认提供的图片进行推理，输出预测结果：\n\n```bash\npython demo.py --gpus 0 --input data\u002Fdemo\u002Fum_000005.png\n```\n\n*   `--gpus 0`: 指定使用第 0 号 GPU。\n*   `--input`: 指定输入图像路径。\n\n### 其他常用命令\n\n*   **评估模型**:\n    ```bash\n    python evaluate.py\n    ```\n*   **训练模型** (以 multinet2 配置为例):\n    ```bash\n    python train.py --hypes hypes\u002Fmultinet2.json\n    ```\n\n### 自定义数据存储路径\n\n在多服务器环境中，您可能希望将数据和运行日志存储在大容量硬盘上。可以通过设置环境变量实现（建议添加到 `~\u002F.profile` 或 `~\u002F.bashrc`）：\n\n```bash\nexport TV_DIR_DATA=\"\u002Fpath\u002Fto\u002Fyour\u002Flarge\u002Fdata\u002Fdisk\"\nexport TV_DIR_RUNS=\"\u002Fpath\u002Fto\u002Fyour\u002Flarge\u002Fruns\u002Fdisk\"\n```\n\n设置后，所有下载的数据将存入 `TV_DIR_DATA`，训练产生的日志和模型将存入 `TV_DIR_RUNS`。","某自动驾驶初创团队正在开发城市道路测试车辆，急需在嵌入式设备上实现实时的环境感知系统。\n\n### 没有 MultiNet 时\n- **系统延迟高**：团队需分别部署道路分割、车辆检测和场景分类三个独立模型，串行推理导致帧率低下，无法满足实时控制需求。\n- **硬件资源浪费**：多个模型各自加载独立的编码器（如 VGG），重复计算特征提取过程，严重占用 GPU 显存和算力。\n- **数据融合困难**：不同模型输出的坐标系和置信度标准不一，后处理阶段需要编写复杂的对齐算法来整合结果，增加了工程维护成本。\n- **精度与速度难平衡**：为了追求实时性被迫简化单个模型结构，导致在复杂路口或恶劣天气下的语义分割精度大幅下降。\n\n### 使用 MultiNet 后\n- **实时联合推理**：MultiNet 通过单一网络并行完成道路分割、车辆检测和街道分类任务，利用共享编码器大幅降低延迟，实现了真正的实时响应。\n- **算力效率倍增**：采用“一编码器多解码器”架构，只需一次前向传播即可输出多种感知结果，显著减少了显存占用和计算冗余。\n- **原生数据对齐**：由于所有任务基于同一特征图生成，输出的语义掩码、检测框和场景标签天然空间对齐，省去了繁琐的后处理融合步骤。\n- **兼顾速度与精度**：在保持高速推理的同时，其道路分割模块达到了当时的业界最先进水平（SOTA），确保了复杂路况下的感知可靠性。\n\nMultiNet 通过架构级的多任务联合优化，成功解决了自动驾驶感知系统中实时性与高精度的矛盾，让资源受限的车载设备也能运行强大的环境理解能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMarvinTeichmann_MultiNet_19a1a37f.png","MarvinTeichmann","Marvin Teichmann","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FMarvinTeichmann_0c07c135.jpg","Germany Phd student.  Working on Deep Learning and Computer Vision projects.","University of Cambridge","Cambridge, United Kingdom","marvin.teichmann@gmail.com",null,"https:\u002F\u002Fgithub.com\u002FMarvinTeichmann",[83],{"name":84,"color":85,"percentage":86},"Python","#3572A5",100,557,244,"2026-04-17T03:49:11","MIT",4,"未说明","支持多 GPU 运行（通过 --gpus 参数指定），具体型号、显存大小及 CUDA 版本未在文中明确说明，但需安装 TensorFlow 1.0",{"notes":95,"python":96,"dependencies":97},"该项目基于较旧的 TensorFlow 1.0 和 Python 2.7 构建。安装时需要编译 Cython 代码（需运行 make 命令）。默认数据和输出分别存储在 DATA 和 RUNS 文件夹，可通过环境变量 $TV_DIR_DATA 和 $TV_DIR_RUNS 自定义路径。若需训练完整模型（包含分类任务），需自行准备非公开的分类数据集；仅道路分割和检测任务可直接使用公开数据训练。","2.7",[98,99,100,101,102,103,104],"tensorflow==1.0","matplotlib","numpy","Pillow","scipy","runcython","commentjson",[15,13,14],[107,108,109,110,111],"tensorflow","computer-vision","real-time","autonomous-driving","deep-learning","2026-03-27T02:49:30.150509","2026-04-20T04:04:29.313823",[115,120,125,130,135,140],{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},43083,"训练模型时提示找不到 vgg16.npy 文件，或者需要在不同路径下重复下载该文件怎么办？","这是因为不同的子模块从不同的位置读取数据。为了避免重复下载，你可以创建软链接将文件关联起来。例如，执行命令：`ln -s weights\u002Fvgg16.npy vgg16.npy` 或者反之。也可以手动将 `vgg16.npy` 同时放置在 `DATA\u002F` 和 `DATA\u002Fweights\u002F` 目录下。","https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FMultiNet\u002Fissues\u002F13",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},43084,"运行 demo.py 时出现 'ImportError: No module named data_utils' 错误如何解决？","该问题通常由代码版本过旧或子模块未正确更新引起。请执行以下命令拉取最新代码并更新子模块：\n```\ngit pull\ngit submodule update --init --recursive\n```\n更新后，手动包含代码的步骤不再需要，只要 `base_path` 设置正确，相应文件夹会自动添加。","https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FMultiNet\u002Fissues\u002F6",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},43085,"初始化子模块时出现 'fatal: reference is not a tree' 错误怎么办？","这通常是因为子模块引用了不存在的提交哈希值。建议尝试重新克隆仓库时使用 HTTPS 协议而不是 SSH：\n`git clone https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FMultiNet.git`\n如果问题依旧，可以尝试直接通过 pip 安装 TensorVision 来解决依赖问题：\n`pip install https:\u002F\u002Fgithub.com\u002FTensorVision\u002FTensorVision\u002Farchive\u002Fmaster.zip`","https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FMultiNet\u002Fissues\u002F5",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},43086,"运行 download_data.py 时提示 'Wrong url' 或不知道如何获取正确的 KITTI 数据集下载链接？","脚本中预期的 URL 结尾应为 'kitti\u002Fdata_object_image_2.zip'。如果你使用的是通过邮件验证后获得的链接（如 data_road.zip），可能会报错。请确保拉取了最新的代码提交，维护者已将相关文件放入主项目的 `data` 目录中，而不是子模块的 `submodules\u002FKittiBox\u002Fdata` 目录中。检查你的文件是否放错了目录。","https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FMultiNet\u002Fissues\u002F4",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},43087,"使用 GTX 1070 (8GB 显存) 训练 multinet2 模型时出现 OOM (显存不足) 错误怎么办？","即使 batch size 设置为 1，8GB 显存对于训练 multinet2 模型可能仍然不足（有用户反馈 6GB 显存必现 OOM）。如果遇到此问题，可能需要更换显存更大的 GPU，或者尝试修改模型配置以减少显存占用（具体需调整 hypes 文件中的参数，但官方未给出明确的小显存优化方案，主要建议是硬件升级）。","https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FMultiNet\u002Fissues\u002F27",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},43088,"克隆仓库后子模块（如 TensorVision）版本不对或缺失导致 train.py 无法运行？","这可能是由于忘记提交子模块的引用或版本不匹配。解决方法是手动安装正确版本的 TensorVision。可以使用以下命令直接从 GitHub 安装：\n`pip install https:\u002F\u002Fgithub.com\u002FTensorVision\u002FTensorVision\u002Farchive\u002Fmaster.zip`\n此外，确保使用 `git clone https:\u002F\u002F...` 方式克隆主仓库，以避免 SSH 密钥导致的子模块检出问题。","https:\u002F\u002Fgithub.com\u002FMarvinTeichmann\u002FMultiNet\u002Fissues\u002F2",[]]