[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-wayveai--fiery":3,"tool-wayveai--fiery":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,2,"2026-04-18T11:18:24",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":32,"last_commit_at":41,"category_tags":42,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[43,13,15,14],"插件",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[52,15,13,14],"语言模型",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,61],"视频",{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":85,"forks":86,"last_commit_at":87,"license":88,"difficulty_score":10,"env_os":89,"env_gpu":90,"env_ram":89,"env_deps":91,"category_tags":96,"github_topics":77,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":98,"updated_at":99,"faqs":100,"releases":141},9863,"wayveai\u002Ffiery","fiery","PyTorch code for the paper \"FIERY: Future Instance Segmentation in Bird's-Eye view from Surround Monocular Cameras\"","FIERY 是一款基于 PyTorch 开发的开源算法项目，源自 ICCV 2021 的口头报告论文。它专注于解决自动驾驶中的核心难题：如何利用车辆周围普通的单目摄像头，精准预测未来时刻其他交通参与者（如车辆、行人）在鸟瞰视角下的运动轨迹与实例分割结果。\n\n传统方法往往难以仅凭二维图像准确推断三维空间中的未来动态，而 FIERY 通过构建高效的鸟瞰视图网络，成功将多路相机输入转化为对未来的多模态预测。其独特技术亮点在于能够同时输出未来物体的精确位置、形状及多种可能的行驶路径，并在 NuScenes 和 Lyft 等权威数据集上取得了优异的性能表现。代码库完整提供了从环境配置、模型训练到可视化演示的全流程工具，支持研究人员快速复现论文结果或进行二次开发。\n\n这款工具主要适合自动驾驶领域的算法工程师、学术研究人员以及计算机视觉开发者使用。对于希望深入探索时序预测、占据网格或端到端自动驾驶规划技术的团队来说，FIERY 提供了一个坚实且灵活的基线框架，帮助开发者在无需昂贵激光雷达的情况下，实现高精度的未来场景感知能力。","# FIERY\nThis is the PyTorch implementation for inference and training of the future prediction bird's-eye view network as \ndescribed in:\n\n> **FIERY: Future Instance Segmentation in Bird's-Eye view from Surround Monocular Cameras**\n>\n> [Anthony Hu](https:\u002F\u002Fanthonyhu.github.io\u002F), [Zak Murez](http:\u002F\u002Fzak.murez.com\u002F), \n[Nikhil Mohan](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fnikhilmohan33), \n[Sofía Dudas](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fsof%C3%ADa-josefina-lago-dudas-2b0737132), \n[Jeffrey Hawke](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fjeffrey-hawke), \n[‪Vijay Badrinarayanan](https:\u002F\u002Fsites.google.com\u002Fsite\u002Fvijaybacademichomepage\u002Fhome), \n[Roberto Cipolla](https:\u002F\u002Fmi.eng.cam.ac.uk\u002F~cipolla\u002Findex.htm) and [Alex Kendall](https:\u002F\u002Falexgkendall.com\u002F)  \n>\n> [ICCV 2021 (Oral)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2104.10490)\u003Cbr\u002F>\n> [Blog post](https:\u002F\u002Fwayve.ai\u002Fblog\u002Ffiery-future-instance-prediction-birds-eye-view)\n\n\u003Cp align=\"center\">\n     \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwayveai_fiery_readme_7ee92119d399.gif\" alt=\"FIERY future prediction\">\n     \u003Cbr\u002F>\n     \u003Csub>\u003Cem>Multimodal future predictions by our bird’s-eye view network.\u003Cbr\u002F>\nTop two rows: RGB camera inputs. The predicted future trajectories and segmentations are projected to the ground plane in the images.\u003Cbr\u002F>\nBottom row: future instance prediction in bird’s-eye view in a 100m×100m capture size around the ego-vehicle, which is indicated by a black rectangle in the center.\n    \u003C\u002Fem>\u003C\u002Fsub>\n\u003C\u002Fp>\n\nIf you find our work useful, please consider citing:\n```bibtex\n@inproceedings{fiery2021,\n  title     = {{FIERY}: Future Instance Segmentation in Bird's-Eye view from Surround Monocular Cameras},\n  author    = {Anthony Hu and Zak Murez and Nikhil Mohan and Sofía Dudas and \n               Jeffrey Hawke and Vijay Badrinarayanan and Roberto Cipolla and Alex Kendall},\n  booktitle = {Proceedings of the International Conference on Computer Vision ({ICCV})},\n  year = {2021}\n}\n```\n\n## ⚙ Setup\n- Create the [conda](https:\u002F\u002Fdocs.conda.io\u002Fen\u002Flatest\u002Fminiconda.html) environment by running `conda env create`.\n\n## 🏄 Prediction\n### Visualisation\n\nIn a colab notebook:\n[![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F12ahc3whI1RQZIVDi53grMWHzdA7WqIuo?usp=sharing)\n\nOr locally:\n- Download [pre-trained weights](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Ffiery.ckpt).\n- Run `python visualise.py --checkpoint ${CHECKPOINT_PATH}`. This will render predictions from the network and save \nthem to an `output_vis` folder.\n\n### Evaluation\n- Download the [NuScenes dataset](https:\u002F\u002Fwww.nuscenes.org\u002Fdownload). For detailed instructions, see [DATASET.md](DATASET.md).\n- Download [pre-trained weights](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Ffiery.ckpt).\n- Run `python evaluate.py --checkpoint ${CHECKPOINT_PATH} --dataroot ${NUSCENES_DATAROOT}`.\n\n## 🔥 Pre-trained models\n\nAll the configs are in the folder `fiery\u002Fconfigs`\n\n| Config and weights      | Dataset | Past context | Future horizon | BEV size | IoU  | VPQ|\n|--------------|---------|-----------------------|----------------|----------|------|----|\n| [`baseline.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Ffiery.ckpt) | NuScenes | 1.0s | 2.0s | 100mx100m (50cm res.) | 36.7 | 29.9 |\n| [`lyft\u002Fbaseline.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Flyft_fiery.ckpt) | Lyft | 0.8s | 2.0s| 100mx100m (50cm res.) | 36.3 | 29.2 |\n| [`literature\u002Fstatic_pon_setting.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Fstatic_pon_setting.ckpt) | NuScenes| 0.0s | 0.0s | 100mx50m (25cm res.) | 37.7| - |\n| [`literature\u002Fpon_setting.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Fpon_setting.ckpt) | NuScenes| 1.0s | 0.0s | 100mx50m (25cm res.) |39.9 | - |\n| [`literature\u002Fstatic_lss_setting.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Fstatic_lift_splat_setting.ckpt) | NuScenes | 0.0s | 0.0s | 100mx100m (50cm res.) | 35.8 | - |\n| [`literature\u002Flift_splat_setting.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Flift_splat_setting.ckpt) | NuScenes | 1.0s | 0.0s | 100mx100m (50cm res.) | 38.2 | - |\n| [`literature\u002Ffishing_setting.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Ffishing_setting.ckpt) | NuScenes | 1.0s | 2.0s | 32.0mx19.2m (10cm res.) | 57.6 | - |\n\n\n## 🏊 Training\nTo train the model from scratch on NuScenes:\n- Download the [NuScenes dataset](https:\u002F\u002Fwww.nuscenes.org\u002Fdownload). For detailed instructions, see [DATASET.md](DATASET.md).\n- Run `python train.py --config fiery\u002Fconfigs\u002Fbaseline.yml DATASET.DATAROOT ${NUSCENES_DATAROOT}`.\n\nThis will train the model on 4 GPUs, each with a batch of size 3. To train on single GPU add the flag `GPUS 1`, and to change the batch \nsize use the flag `BATCHSIZE ${DESIRED_BATCHSIZE}`.\n\n## 🙌 Credits\nBig thanks to Giulio D'Ippolito ([@gdippolito](https:\u002F\u002Fgithub.com\u002Fgdippolito)) for the technical help on the gpu \nservers, Piotr Sokólski ([@pyetras](https:\u002F\u002Fgithub.com\u002Fpyetras)) for the panoptic metric implementation, and to Hannes Liik ([@hannesliik](https:\u002F\u002Fgithub.com\u002Fhannesliik)) \nfor the awesome future trajectory visualisation on the ground plane.\n","# FIERY\n这是未来预测鸟瞰图网络的推理和训练的 PyTorch 实现，如以下论文中所述：\n\n> **FIERY：基于环视单目相机的鸟瞰图未来实例分割**\n>\n> [Anthony Hu](https:\u002F\u002Fanthonyhu.github.io\u002F)、[Zak Murez](http:\u002F\u002Fzak.murez.com\u002F)、\n[Nikhil Mohan](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fnikhilmohan33)、\n[Sofía Dudas](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fsof%C3%ADa-josefina-lago-dudas-2b0737132)、\n[Jeffrey Hawke](https:\u002F\u002Fuk.linkedin.com\u002Fin\u002Fjeffrey-hawke)、\n[‪Vijay Badrinarayanan](https:\u002F\u002Fsites.google.com\u002Fsite\u002Fvijaybacademichomepage\u002Fhome)、\n[Roberto Cipolla](https:\u002F\u002Fmi.eng.cam.ac.uk\u002F~cipolla\u002Findex.htm) 和 [Alex Kendall](https:\u002F\u002Falexgkendall.com\u002F)  \n>\n> [ICCV 2021（口头报告）](https:\u002F\u002Farxiv.org\u002Fabs\u002F2104.10490)\u003Cbr\u002F>\n> [博客文章](https:\u002F\u002Fwayve.ai\u002Fblog\u002Ffiery-future-instance-prediction-birds-eye-view)\n\n\u003Cp align=\"center\">\n     \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwayveai_fiery_readme_7ee92119d399.gif\" alt=\"FIERY未来预测\">\n     \u003Cbr\u002F>\n     \u003Csub>\u003Cem>我们鸟瞰图网络的多模态未来预测。\u003Cbr\u002F>\n前两行：RGB 摄像头输入。预测的未来轨迹和分割结果被投影到图像中的地平面上。\u003Cbr\u002F>\n最后一行：以自车为中心、尺寸为 100m×100m 的区域内的鸟瞰图未来实例预测，其中心用黑色矩形表示。\n    \u003C\u002Fem>\u003C\u002Fsub>\n\u003C\u002Fp>\n\n如果您觉得我们的工作有用，请考虑引用：\n```bibtex\n@inproceedings{fiery2021,\n  title     = {{FIERY}: 基于环视单目相机的鸟瞰图未来实例分割},\n  author    = {Anthony Hu、Zak Murez、Nikhil Mohan、Sofía Dudas、\n               Jeffrey Hawke、Vijay Badrinarayanan、Roberto Cipolla 和 Alex Kendall},\n  booktitle = {国际计算机视觉会议（ICCV）论文集},\n  year      = {2021}\n}\n```\n\n## ⚙ 设置\n- 使用 `conda env create` 命令创建 [conda](https:\u002F\u002Fdocs.conda.io\u002Fen\u002Flatest\u002Fminiconda.html) 环境。\n\n## 🏄 预测\n### 可视化\n\n在 Colab 笔记本中：\n[![在 Colab 中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F12ahc3whI1RQZIVDi53grMWHzdA7WqIuo?usp=sharing)\n\n或者在本地：\n- 下载 [预训练权重](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Ffiery.ckpt)。\n- 运行 `python visualise.py --checkpoint ${CHECKPOINT_PATH}`。这将渲染网络的预测结果，并将其保存到 `output_vis` 文件夹中。\n\n### 评估\n- 下载 [NuScenes 数据集](https:\u002F\u002Fwww.nuscenes.org\u002Fdownload)。详细说明请参阅 [DATASET.md](DATASET.md)。\n- 下载 [预训练权重](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Ffiery.ckpt)。\n- 运行 `python evaluate.py --checkpoint ${CHECKPOINT_PATH} --dataroot ${NUSCENES_DATAROOT}`。\n\n## 🔥 预训练模型\n\n所有配置文件位于 `fiery\u002Fconfigs` 文件夹中。\n\n| 配置与权重      | 数据集 | 过去上下文 | 未来时长 | BEV 尺寸 | IoU  | VPQ|\n|--------------|---------|-----------------------|----------------|----------|------|----|\n| [`baseline.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Ffiery.ckpt) | NuScenes | 1.0秒 | 2.0秒 | 100m×100m（50cm 分辨率） | 36.7 | 29.9 |\n| [`lyft\u002Fbaseline.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Flyft_fiery.ckpt) | Lyft | 0.8秒 | 2.0秒| 100m×100m（50cm 分辨率） | 36.3 | 29.2 |\n| [`literature\u002Fstatic_pon_setting.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Fstatic_pon_setting.ckpt) | NuScenes| 0.0秒 | 0.0秒 | 100m×50m（25cm 分辨率） | 37.7| - |\n| [`literature\u002Fpon_setting.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Fpon_setting.ckpt) | NuScenes| 1.0秒 | 0.0秒 | 100m×50m（25cm 分辨率） |39.9 | - |\n| [`literature\u002Fstatic_lss_setting.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Fstatic_lift_splat_setting.ckpt) | NuScenes | 0.0秒 | 0.0秒 | 100m×100m（50cm 分辨率） | 35.8 | - |\n| [`literature\u002Flift_splat_setting.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Flift_splat_setting.ckpt) | NuScenes | 1.0秒 | 0.0秒 | 100m×100m（50cm 分辨率） | 38.2 | - |\n| [`literature\u002Ffishing_setting.yml`](https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Ffishing_setting.ckpt) | NuScenes | 1.0秒 | 2.0秒 | 32.0m×19.2m（10cm 分辨率） | 57.6 | - |\n\n\n## 🏊 训练\n要在 NuScenes 数据集上从头开始训练模型：\n- 下载 [NuScenes 数据集](https:\u002F\u002Fwww.nuscenes.org\u002Fdownload)。详细说明请参阅 [DATASET.md](DATASET.md)。\n- 运行 `python train.py --config fiery\u002Fconfigs\u002Fbaseline.yml DATASET.DATAROOT ${NUSCENES_DATAROOT}`。\n\n这将在 4 张 GPU 上进行训练，每张 GPU 的批次大小为 3。如果要在单张 GPU 上训练，可添加 `GPUS 1` 标志；若需更改批次大小，则使用 `BATCHSIZE ${DESIRED_BATCHSIZE}` 标志。\n\n## 🙌 致谢\n特别感谢 Giulio D'Ippolito ([@gdippolito](https:\u002F\u002Fgithub.com\u002Fgdippolito)) 在 GPU 服务器方面的技术支持，Piotr Sokólski ([@pyetras](https:\u002F\u002Fgithub.com\u002Fpyetras)) 实现了全景指标，以及 Hannes Liik ([@hannesliik](https:\u002F\u002Fgithub.com\u002Fhannesliik)) 对地面平面未来轨迹的精彩可视化。","# FIERY 快速上手指南\n\nFIERY 是一个基于 PyTorch 的开源项目，用于从环绕单目摄像头输入中预测鸟瞰图（BEV）下的未来实例分割和轨迹。本项目复现了 ICCV 2021 Oral 论文《FIERY: Future Instance Segmentation in Bird's-Eye view from Surround Monocular Cameras》。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 18.04+)\n*   **Python**: 3.7 或更高版本\n*   **深度学习框架**: PyTorch (具体版本由 `environment.yml` 自动管理)\n*   **硬件**: 支持 CUDA 的 NVIDIA GPU (训练建议多卡，推理可单卡)\n*   **依赖管理工具**: [Conda](https:\u002F\u002Fdocs.conda.io\u002Fen\u002Flatest\u002Fminiconda.html) (强烈推荐使用 Miniconda)\n\n> **提示**：国内用户建议在配置 Conda 时使用清华或中科大镜像源以加速依赖下载。\n\n## 安装步骤\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery.git\n    cd fiery\n    ```\n\n2.  **创建 Conda 环境**\n    项目根目录包含环境配置文件，运行以下命令自动安装所有前置依赖：\n    ```bash\n    conda env create\n    ```\n\n3.  **激活环境**\n    ```bash\n    conda activate fiery\n    ```\n\n## 基本使用\n\n### 1. 快速体验（可视化预测）\n\n无需下载大型数据集，即可通过预训练权重查看模型的预测效果。\n\n*   **下载预训练权重**\n    ```bash\n    wget https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Ffiery.ckpt\n    ```\n    *(注：如果下载速度慢，可手动在浏览器打开链接下载后放入当前目录)*\n\n*   **运行可视化脚本**\n    将 `${CHECKPOINT_PATH}` 替换为实际文件路径（例如 `fiery.ckpt`）：\n    ```bash\n    python visualise.py --checkpoint fiery.ckpt\n    ```\n    运行完成后，预测结果视频和图像将保存在 `output_vis` 文件夹中。\n\n*   **在线体验 (Colab)**\n    如果您没有本地 GPU 环境，可以直接在 Google Colab 中运行：\n    [点击此处打开 Colab Notebook](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F12ahc3whI1RQZIVDi53grMWHzdA7WqIuo?usp=sharing)\n\n### 2. 模型评估 (需 NuScenes 数据集)\n\n若需在标准数据集上进行定量评估：\n\n1.  下载 [NuScenes 数据集](https:\u002F\u002Fwww.nuscenes.org\u002Fdownload) 并解压。\n2.  运行评估命令（替换 `${NUSCENES_DATAROOT}` 为数据集根目录路径）：\n    ```bash\n    python evaluate.py --checkpoint fiery.ckpt --dataroot ${NUSCENES_DATAROOT}\n    ```\n\n### 3. 模型训练 (从头训练)\n\n若需在 NuScenes 数据集上重新训练模型：\n\n```bash\npython train.py --config fiery\u002Fconfigs\u002Fbaseline.yml DATASET.DATAROOT ${NUSCENES_DATAROOT}\n```\n\n*   **默认配置**: 4 张 GPU，每张卡 Batch Size 为 3。\n*   **单卡训练**: 添加 `GPUS 1` 参数。\n*   **修改 Batch Size**: 添加 `BATCHSIZE ${DESIRED_BATCHSIZE}` 参数。\n\n示例（单卡，Batch Size 为 2）：\n```bash\npython train.py --config fiery\u002Fconfigs\u002Fbaseline.yml DATASET.DATAROOT ${NUSCENES_DATAROOT} GPUS 1 BATCHSIZE 2\n```","某自动驾驶初创团队正在开发城市道路预测系统，需要利用车载环视单目摄像头实时预判周围车辆与行人的未来轨迹及占据区域。\n\n### 没有 fiery 时\n- **感知维度受限**：传统算法仅能输出当前时刻的静态分割结果，无法直接获知障碍物在未来几秒内的移动趋势，导致规划模块缺乏前瞻性。\n- **多相机融合困难**：处理环视多路视频流时，难以将不同视角的 2D 图像特征高效统一映射到标准的鸟瞰图（BEV）空间，坐标转换误差大且计算冗余。\n- **不确定性建模缺失**：面对复杂路口等场景，模型只能给出单一的确定性预测，无法生成多种可能的未来轨迹（多模态），在应对突发变道时极易误判。\n- **研发周期漫长**：从零复现论文中的时序建模与视图变换逻辑耗时数月，且难以在 NuScenes 等标准数据集上快速验证基线性能。\n\n### 使用 fiery 后\n- **时空联合预测**：fiery 直接基于历史视频帧，输出未来 2 秒内高精度的实例分割掩码与轨迹，让车辆能“看见”未来的路况变化。\n- **原生 BEV 表征**：内置的视图变换模块自动将多路单目相机输入对齐为 100m×100m 的鸟瞰特征图，消除了繁琐的后处理拼接步骤。\n- **多模态概率输出**：fiery 能生成包含多种可能性的未来预测分布，显著提升了系统在行人突然横穿或车辆强行加塞场景下的决策安全性。\n- **开箱即用体验**：团队直接加载预训练权重并在 Colab 中可视化效果，半天内即可完成从数据接入到效果验证的全流程，大幅加速迭代。\n\nfiery 通过将单目视觉序列转化为具有多模态不确定性的鸟瞰图未来预测，为自动驾驶规划系统提供了至关重要的“预见性”感知能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwayveai_fiery_7ee92119.png","wayveai","Wayve","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fwayveai_4fba921b.png","",null,"wayve.ai","https:\u002F\u002Fgithub.com\u002Fwayveai",[81],{"name":82,"color":83,"percentage":84},"Python","#3572A5",100,607,89,"2026-04-01T04:38:30","MIT","未说明","必需 NVIDIA GPU。训练默认配置为 4 张 GPU（每张卡 batch size 3），支持单 GPU 训练；具体显存大小和 CUDA 版本未在文中明确，但鉴于使用 PyTorch 处理鸟瞰图分割任务，通常建议 16GB+ 显存及兼容的 CUDA 环境。",{"notes":92,"python":89,"dependencies":93},"1. 必须使用 conda 创建环境（命令：conda env create）。2. 主要数据集为 NuScenes 或 Lyft，需单独下载并配置路径。3. 提供预训练权重用于推理和评估。4. 代码基于 PyTorch 实现，用于未来实例分割和轨迹预测。",[94,95],"PyTorch","conda",[15,97],"其他","2026-03-27T02:49:30.150509","2026-04-20T07:18:26.396211",[101,106,111,116,121,126,131,136],{"id":102,"question_zh":103,"answer_zh":104,"source_url":105},44289,"训练初期损失值（loss）小于 0 是否正常？","这是正常的。不确定性损失（uncertainty losses）的值可以为负数，因此当 total loss (loss_sum) 小于 0 时也是预期内的行为。","https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Fissues\u002F15",{"id":107,"question_zh":108,"answer_zh":109,"source_url":110},44290,"如何复现论文中 FIERY Static 模型的结果？为什么我的 IoU 与论文不一致？","若要复现论文中 Lift-Splat-Shoot 评估设置下的 FIERY Static 结果，请使用配置文件 `fiery\u002Fconfigs\u002Fliterature\u002Fstatic_lss_setting.yml` 进行训练。\n\n如果您使用的是 `configs\u002Fsingle_timeframe.yml`，该配置会额外掩蔽（mask）相机不可见的车辆标签，这会导致 IoU 偏高。为了与原始评估进行公平比较，复现论文结果时应移除这种掩蔽处理。","https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Fissues\u002F32",{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},44291,"运行 visualise.py 时出现 'FigureCanvasTkAgg' object has no attribute 'renderer' 错误，如何解决？","这通常是因为运行代码的机器没有图形渲染器（例如在无头服务器或远程连接环境中）。\n\n解决方法是在 `visualisation.py` 文件的顶部添加以下代码，以使用非交互式后端：\n```python\nimport matplotlib\nmatplotlib.use('Agg')\n```\n这样可以在保存图像文件之前不进行任何渲染操作。","https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Fissues\u002F14",{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},44292,"推理（inference）时是否必须提供 future_egopose（未来自车姿态）？","是的，代码中需要该参数。`future_egomotion` 用于将过去的特征扭曲（warp）到当前参考系中（参见 `fiery\u002Fmodels\u002Ffiery.py` 第 143 行）。\n\n虽然在实际部署中流预测模块可能无法获取未来的自车姿态，但在该模型的推理逻辑中，它是将历史特征对齐到当前帧所必需的输入。如果将其设为 None，推理将无法正常工作。","https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Fissues\u002F36",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},44293,"训练生成的检查点（checkpoint）保存在哪里？","默认情况下，模型权重保存在 `fiery\u002Ftensorboard_logs` 目录中。\n\n您可以通过修改 `fiery\u002Fconfig.py` 文件中的 `LOG_DIR` 字段来更改保存路径。如果遇到恢复训练时的尺寸不匹配错误，请检查是否在恢复训练时改变了时序模型（temporal model）的大小。","https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Fissues\u002F39",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},44294,"代码中的 get_geometry 和 projection_to_birds_eye_view 函数是如何工作的？","1. `geometry` 张量与特征张量 `x` 对齐，对应每个特征的 3D 位置。通过 `geometry` 张量，您可以知道 `x` 中每个元素的 3D 位置，从而确定每个特征属于哪个体素（voxel），以便在鸟瞰图（BEV）中进行求和。\n2. 特征图来自 N=6 个相机。利用 `geometry` 张量，可以将这些特征图定位到统一的 3D 参考系中（即车辆的惯性中心）。","https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Fissues\u002F7",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},44295,"运行 visualise.py 时如何获取示例数据？下载链接失效怎么办？","示例数据通常在运行 `visualise.py` 时自动下载。数据存储在脚本中定义的 URL 里（参见 `visualise.py` 第 92 行）。\n\n可用的示例数据链接如下：\n- https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Fexample_1.npz\n- https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Fexample_2.npz\n- https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Fexample_3.npz\n- https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Freleases\u002Fdownload\u002Fv1.0\u002Fexample_4.npz\n\n如果直接访问 releases 页面报错，请尝试直接右键点击上述具体文件链接进行下载。","https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Fissues\u002F17",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},44296,"遇到 'AssertionError: Database version not found' (nuScenes) 错误如何解决？","这通常是由于 nuScenes 数据集文件夹的组织结构与代码预期不一致导致的。\n\n请尝试修改 `data.py` 文件第 435 行，将数据根目录设置为配置中的路径：\n`dataroot = cfg.DATASET.DATAROOT`\n\n确保您的数据集目录结构正确包含版本号文件夹（如 `v1.0-trainval`）。","https:\u002F\u002Fgithub.com\u002Fwayveai\u002Ffiery\u002Fissues\u002F35",[142],{"id":143,"version":144,"summary_zh":145,"released_at":146},351847,"v1.0","本版本包含论文中所述模型的预训练权重。","2021-05-03T10:07:04"]