[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-NVlabs--ODISE":3,"tool-NVlabs--ODISE":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",155373,2,"2026-04-14T11:34:08",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":92,"env_os":93,"env_gpu":94,"env_ram":95,"env_deps":96,"category_tags":105,"github_topics":107,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":121,"updated_at":122,"faqs":123,"releases":164},7437,"NVlabs\u002FODISE","ODISE","Official PyTorch implementation of ODISE: Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models [CVPR 2023 Highlight]","ODISE 是一款基于文本到图像扩散模型的开放词汇全景分割工具，旨在让计算机像人类一样，仅凭文字描述就能精准识别并分割图像中的任意物体。传统分割模型通常受限于预定义的固定类别，无法识别训练数据之外的新对象，而 ODISE 巧妙利用了预训练的扩散模型和判别模型的冻结表示，成功突破了这一限制，实现了对“野生”环境下任意类别的泛化分割。\n\n这项技术的核心亮点在于其“开放词汇”能力，用户无需重新训练模型，只需输入自然语言提示（如“穿红衣服的人”或“罕见的鸟类”），ODISE 即可在复杂场景中同时完成实例分割与背景语义分割。作为 CVPR 2023 的亮点论文成果，它展示了生成式模型在感知任务中的巨大潜力。\n\nODISE 非常适合计算机视觉研究人员、AI 开发者以及需要处理复杂场景理解的专业人士使用。虽然普通用户也可以通过 HuggingFace 上的演示体验其效果，但要充分发挥其价值，使用者通常需要具备一定的深度学习基础，以便在本地部署环境或进行二次开发。无论是用于学术探索新的分割范式，还是构建更灵活的视觉分析应用，ODISE 都提供了一个强大且前沿的开源解决方案。","# ODISE: Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models\n\n**ODISE**: **O**pen-vocabulary **DI**ffusion-based panoptic **SE**gmentation exploits pre-trained text-image diffusion and discriminative models to perform open-vocabulary panoptic segmentation.\nIt leverages the frozen representation of both these models to perform panoptic segmentation of any category in the wild. \n\nThis repository is the official implementation of ODISE introduced in the paper:\n\n[**Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.04803)\n[*Jiarui Xu*](https:\u002F\u002Fjerryxu.net),\n[*Sifei Liu**](https:\u002F\u002Fresearch.nvidia.com\u002Fperson\u002Fsifei-liu),\n[*Arash Vahdat**](http:\u002F\u002Flatentspace.cc\u002F),\n[*Wonmin Byeon*](https:\u002F\u002Fwonmin-byeon.github.io\u002F),\n[*Xiaolong Wang*](https:\u002F\u002Fxiaolonw.github.io\u002F),\n[*Shalini De Mello*](https:\u002F\u002Fresearch.nvidia.com\u002Fperson\u002Fshalini-de-mello)\nCVPR 2023 Highlight. (*equal contribution)\n\nFor business inquiries, please visit our website and submit the form: [NVIDIA Research Licensing](https:\u002F\u002Fwww.nvidia.com\u002Fen-us\u002Fresearch\u002Finquiries\u002F).\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_bfc1d46a4403.gif)\n\n## Visual Results\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_e497aa8d7b57.gif\" width=\"32%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_68744e23ae67.gif\" width=\"32%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_73c64a9e6bc1.gif\" width=\"32%\">\n\u003C\u002Fdiv>\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_be54e3ab3775.gif\" width=\"32%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_180c5be9e09d.gif\" width=\"32%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_4601230f8d31.gif\" width=\"32%\">\n\u003C\u002Fdiv>\n\n\n## Links\n* [Jiarui Xu's Project Page](https:\u002F\u002Fjerryxu.net\u002FODISE\u002F) (with additional visual results)\n* [HuggingFace 🤗 Demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fxvjiarui\u002FODISE)\n* [arXiv Page](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.04803)\n\n## Citation\n\nIf you find our work useful in your research, please cite:\n\n```BiBTeX\n@article{xu2023odise,\n  title={{Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models}},\n  author={Xu, Jiarui and Liu, Sifei and Vahdat, Arash and Byeon, Wonmin and Wang, Xiaolong and De Mello, Shalini},\n  journal={arXiv preprint arXiv:2303.04803},\n  year={2023}\n}\n```\n\n## Environment Setup\n\nInstall dependencies by running:\n\n```bash\nconda create -n odise python=3.9\nconda activate odise\nconda install pytorch=1.13.1 torchvision=0.14.1 pytorch-cuda=11.6 -c pytorch -c nvidia\nconda install -c \"nvidia\u002Flabel\u002Fcuda-11.6.1\" libcusolver-dev\ngit clone git@github.com:NVlabs\u002FODISE.git \ncd ODISE\npip install -e .\n```\n\n(Optional) install [xformers](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fxformers) for efficient transformer implementation:\nOne could either install the pre-built version\n\n```\npip install xformers==0.0.16\n```\n\nor build from latest source \n\n```bash\n# (Optional) Makes the build much faster\npip install ninja\n# Set TORCH_CUDA_ARCH_LIST if running and building on different GPU types\npip install -v -U git+https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fxformers.git@main#egg=xformers\n# (this can take dozens of minutes)\n```\n\n## Model Zoo\n\nWe provide two pre-trained models for ODISE trained with label or caption \nsupervision on [COCO's](https:\u002F\u002Fcocodataset.org\u002F#home) entire training set.\nODISE's pre-trained models are subject to the [Creative Commons — Attribution-NonCommercial-ShareAlike 4.0 International — CC BY-NC-SA 4.0 License](https:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002Flegalcode) terms.\nEach model contains 28.1M trainable parameters.\nThe download links for these models are provided in the table below.\nWhen you run the `demo\u002Fdemo.py` or inference script for the very first time, it will also automatically download ODISE's pre-trained model to your local folder `$HOME\u002F.torch\u002Fiopath_cache\u002FNVlabs\u002FODISE\u002Freleases\u002Fdownload\u002Fv1.0.0\u002F`.\n\n\u003Ctable>\n\u003Cthead>\n  \u003Ctr>\n    \u003Cth align=\"center\">\u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\" colspan=\"3\">ADE20K(A-150)\u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\" colspan=\"3\">COCO\u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\">ADE20K-Full \u003Cbr> (A-847)\u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\">Pascal Context 59 \u003Cbr> (PC-59)\u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\">Pascal Context 459 \u003Cbr> (PC-459)\u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\">Pascal VOC 21 \u003Cbr> (PAS-21) \u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\">download \u003C\u002Fth>\n  \u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003C\u002Ftd>\n    \u003Ctd align=\"center\">PQ\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mAP\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mIoU\u003C\u002Ftd>\n    \u003Ctd align=\"center\">PQ\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mAP\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mIoU\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mIoU\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mIoU\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mIoU\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mIoU\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Ca href=\"configs\u002FPanoptic\u002Fodise_label_coco_50e.py\"> ODISE (label) \u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">22.6\u003C\u002Ftd>\n    \u003Ctd align=\"center\">14.4\u003C\u002Ftd>\n    \u003Ctd align=\"center\">29.9\u003C\u002Ftd>\n    \u003Ctd align=\"center\">55.4\u003C\u002Ftd>\n    \u003Ctd align=\"center\">46.0\u003C\u002Ftd>\n    \u003Ctd align=\"center\">65.2\u003C\u002Ftd>\n    \u003Ctd align=\"center\">11.1\u003C\u002Ftd>\n    \u003Ctd align=\"center\">57.3\u003C\u002Ftd>\n    \u003Ctd align=\"center\">14.5\u003C\u002Ftd>\n    \u003Ctd align=\"center\">84.6\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVlabs\u002FODISE\u002Freleases\u002Fdownload\u002Fv1.0.0\u002Fodise_label_coco_50e-b67d2efc.pth\"> checkpoint \u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Ca href=\"configs\u002FPanoptic\u002Fodise_caption_coco_50e.py\"> ODISE (caption) \u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">23.4\u003C\u002Ftd>\n    \u003Ctd align=\"center\">13.9\u003C\u002Ftd>\n    \u003Ctd align=\"center\">28.7\u003C\u002Ftd>\n    \u003Ctd align=\"center\">45.6\u003C\u002Ftd>\n    \u003Ctd align=\"center\">38.4\u003C\u002Ftd>\n    \u003Ctd align=\"center\">52.4\u003C\u002Ftd>\n    \u003Ctd align=\"center\">11.0\u003C\u002Ftd>\n    \u003Ctd align=\"center\">55.3\u003C\u002Ftd>\n    \u003Ctd align=\"center\">13.8\u003C\u002Ftd>\n    \u003Ctd align=\"center\">82.7\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVlabs\u002FODISE\u002Freleases\u002Fdownload\u002Fv1.0.0\u002Fodise_caption_coco_50e-853cc971.pth\"> checkpoint \u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n## Get Started\nSee [Preparing Datasets for ODISE](datasets\u002FREADME.md).\n\nSee [Getting Started with ODISE](GETTING_STARTED.md) for detailed instructions on training and inference with ODISE.\n## Demo\n\n* Integrated into [Huggingface Spaces 🤗](https:\u002F\u002Fhuggingface.co\u002Fspaces) using [Gradio](https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio). Try out the web demo: [![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fxvjiarui\u002FODISE)\n\n* Run the demo on Google Colab: [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FNVlabs\u002FODISE\u002Fblob\u002Fmaster\u002Fdemo\u002Fdemo.ipynb)\n\n\n**Important Note**: When you run the `demo\u002Fdemo.py` script for the very first time, besides ODISE's pre-trained models, it will also automaticlaly download the pre-trained models for [Stable Diffusion v1.3](https:\u002F\u002Fhuggingface.co\u002FCompVis\u002Fstable-diffusion-v-1-3-original\u002Fresolve\u002Fmain\u002Fsd-v1-3.ckpt) and [CLIP](https:\u002F\u002Fopenaipublic.azureedge.net\u002Fclip\u002Fmodels\u002F3035c92b350959924f9f00213499208652fc7ea050643e8b385c2dac08641f02\u002FViT-L-14-336px.pt), from their original sources, to your local directories `$HOME\u002F.torch\u002F` and `$HOME\u002F.cache\u002Fclip`, respectively.\nThe pre-trained models for Stable Diffusion and CLIP are subject to their original license terms from [Stable Diffusion](https:\u002F\u002Fgithub.com\u002FCompVis\u002Fstable-diffusion) and [CLIP](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP), respectively.\n\n* To run ODISE's demo from the command line:\n\n    ```shell\n    python demo\u002Fdemo.py --input demo\u002Fexamples\u002Fcoco.jpg --output demo\u002Fcoco_pred.jpg --vocab \"black pickup truck, pickup truck; blue sky, sky\"\n    ```\n    The output is saved in `demo\u002Fcoco_pred.jpg`. For more detailed options for `demo\u002Fdemo.py` see [Getting Started with ODISE](GETTING_STARTED.md).\n    \n  \n* To run the [Gradio](https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio) demo locally:\n    ```shell\n    python demo\u002Fapp.py\n    ```\n\n## Acknowledgement\n\nCode is largely based on [Detectron2](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdetectron2), [Stable Diffusion](https:\u002F\u002Fgithub.com\u002FCompVis\u002Fstable-diffusion), [Mask2Former](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FMask2Former), [OpenCLIP](https:\u002F\u002Fgithub.com\u002Fmlfoundations\u002Fopen_clip) and [GLIDE](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fglide-text2im).\n\nThank you, all, for the great open-source projects!\n","# ODISE：基于文本到图像扩散模型的开放词汇全景分割\n\n**ODISE**：基于 **O**pen-vocabulary **DI**ffusion 的全景分割，利用预训练的文本-图像扩散模型和判别模型来实现开放词汇的全景分割。\n它借助这两个模型的冻结表征，在真实场景中对任意类别进行全景分割。\n\n本仓库是论文中介绍的 ODISE 的官方实现：\n\n[**基于文本到图像扩散模型的开放词汇全景分割**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.04803)  \n[*Jiarui Xu*](https:\u002F\u002Fjerryxu.net)、  \n[*Sifei Liu**](https:\u002F\u002Fresearch.nvidia.com\u002Fperson\u002Fsifei-liu)、  \n[*Arash Vahdat**](http:\u002F\u002Flatentspace.cc\u002F)、  \n[*Wonmin Byeon*](https:\u002F\u002Fwonmin-byeon.github.io\u002F)、  \n[*Xiaolong Wang*](https:\u002F\u002Fxiaolonw.github.io\u002F)、  \n[*Shalini De Mello*](https:\u002F\u002Fresearch.nvidia.com\u002Fperson\u002Fshalini-de-mello)  \nCVPR 2023 精选论文。（共同第一作者）\n\n如需商业合作，请访问我们的官网并提交表格：[NVIDIA Research Licensing](https:\u002F\u002Fwww.nvidia.com\u002Fen-us\u002Fresearch\u002Finquiries\u002F)。\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_bfc1d46a4403.gif)\n\n## 视觉结果\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_e497aa8d7b57.gif\" width=\"32%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_68744e23ae67.gif\" width=\"32%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_73c64a9e6bc1.gif\" width=\"32%\">\n\u003C\u002Fdiv>\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_be54e3ab3775.gif\" width=\"32%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_180c5be9e09d.gif\" width=\"32%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_readme_4601230f8d31.gif\" width=\"32%\">\n\u003C\u002Fdiv>\n\n\n## 链接\n* [Jiarui Xu 的项目页面](https:\u002F\u002Fjerryxu.net\u002FODISE\u002F)（包含更多视觉结果）\n* [HuggingFace 🤗 演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fxvjiarui\u002FODISE)\n* [arXiv 页面](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.04803)\n\n## 引用\n如果您在研究中使用了我们的工作，请引用以下内容：\n\n```BiBTeX\n@article{xu2023odise,\n  title={{Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models}},\n  author={Xu, Jiarui and Liu, Sifei and Vahdat, Arash and Byeon, Wonmin and Wang, Xiaolong and De Mello, Shalini},\n  journal={arXiv preprint arXiv:2303.04803},\n  year={2023}\n}\n```\n\n## 环境配置\n通过以下命令安装依赖：\n\n```bash\nconda create -n odise python=3.9\nconda activate odise\nconda install pytorch=1.13.1 torchvision=0.14.1 pytorch-cuda=11.6 -c pytorch -c nvidia\nconda install -c \"nvidia\u002Flabel\u002Fcuda-11.6.1\" libcusolver-dev\ngit clone git@github.com:NVlabs\u002FODISE.git \ncd ODISE\npip install -e .\n```\n\n（可选）安装 [xformers](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fxformers) 以高效实现 Transformer：\n可以安装预编译版本：\n\n```\npip install xformers==0.0.16\n```\n\n或者从最新源码构建：\n\n```bash\n# （可选）使构建速度更快\npip install ninja\n# 如果在不同类型的 GPU 上运行和构建，请设置 TORCH_CUDA_ARCH_LIST\npip install -v -U git+https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fxformers.git@main#egg=xformers\n# （这可能需要数十分钟）\n```\n\n## 模型库\n我们提供了两个经过预训练的 ODISE 模型，分别在 [COCO](https:\u002F\u002Fcocodataset.org\u002F#home) 的整个训练集上使用标签或描述性文字进行监督训练。\nODISE 的预训练模型受 [知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议](https:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002Flegalcode) 的约束。\n每个模型包含 2810 万个可训练参数。这些模型的下载链接见下表。\n首次运行 `demo\u002Fdemo.py` 或推理脚本时，系统会自动将 ODISE 的预训练模型下载到您本地的 `$HOME\u002F.torch\u002Fiopath_cache\u002FNVlabs\u002FODISE\u002Freleases\u002Fdownload\u002Fv1.0.0\u002F` 目录中。\n\n\u003Ctable>\n\u003Cthead>\n  \u003Ctr>\n    \u003Cth align=\"center\">\u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\" colspan=\"3\">ADE20K(A-150)\u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\" colspan=\"3\">COCO\u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\">ADE20K-Full \u003Cbr> (A-847)\u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\">Pascal Context 59 \u003Cbr> (PC-59)\u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\">Pascal Context 459 \u003Cbr> (PC-459)\u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\">Pascal VOC 21 \u003Cbr> (PAS-21) \u003C\u002Fth>\n    \u003Cth align=\"center\" style=\"text-align:center\">下载 \u003C\u002Fth>\n  \u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003C\u002Ftd>\n    \u003Ctd align=\"center\">PQ\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mAP\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mIoU\u003C\u002Ftd>\n    \u003Ctd align=\"center\">PQ\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mAP\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mIoU\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mIoU\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mIoU\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mIoU\u003C\u002Ftd>\n    \u003Ctd align=\"center\">mIoU\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Ca href=\"configs\u002FPanoptic\u002Fodise_label_coco_50e.py\"> ODISE（标签） \u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">22.6\u003C\u002Ftd>\n    \u003Ctd align=\"center\">14.4\u003C\u002Ftd>\n    \u003Ctd align=\"center\">29.9\u003C\u002Ftd>\n    \u003Ctd align=\"center\">55.4\u003C\u002Ftd>\n    \u003Ctd align=\"center\">46.0\u003C\u002Ftd>\n    \u003Ctd align=\"center\">65.2\u003C\u002Ftd>\n    \u003Ctd align=\"center\">11.1\u003C\u002Ftd>\n    \u003Ctd align=\"center\">57.3\u003C\u002Ftd>\n    \u003Ctd align=\"center\">14.5\u003C\u002Ftd>\n    \u003Ctd align=\"center\">84.6\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVlabs\u002FODISE\u002Freleases\u002Fdownload\u002Fv1.0.0\u002Fodise_label_coco_50e-b67d2efc.pth\"> checkpoint \u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Ca href=\"configs\u002FPanoptic\u002Fodise_caption_coco_50e.py\"> ODISE（描述） \u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">23.4\u003C\u002Ftd>\n    \u003Ctd align=\"center\">13.9\u003C\u002Ftd>\n    \u003Ctd align=\"center\">28.7\u003C\u002Ftd>\n    \u003Ctd align=\"center\">45.6\u003C\u002Ftd>\n    \u003Ctd align=\"center\">38.4\u003C\u002Ftd>\n    \u003Ctd align=\"center\">52.4\u003C\u002Ftd>\n    \u003Ctd align=\"center\">11.0\u003C\u002Ftd>\n    \u003Ctd align=\"center\">55.3\u003C\u002Ftd>\n    \u003Ctd align=\"center\">13.8\u003C\u002Ftd>\n    \u003Ctd align=\"center\">82.7\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVlabs\u002FODISE\u002Freleases\u002Fdownload\u002Fv1.0.0\u002Fodise_caption_coco_50e-853cc971.pth\"> checkpoint \u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n## 开始使用\n请参阅 [为 ODISE 准备数据集](datasets\u002FREADME.md)。\n\n有关使用 ODISE 进行训练和推理的详细说明，请参阅 [ODISE 使用指南](GETTING_STARTED.md)。\n\n## 演示\n\n* 集成到 [Huggingface Spaces 🤗](https:\u002F\u002Fhuggingface.co\u002Fspaces) 中，使用 [Gradio](https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio) 实现。体验网页版演示：[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fxvjiarui\u002FODISE)\n\n* 在 Google Colab 上运行演示：[![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FNVlabs\u002FODISE\u002Fblob\u002Fmaster\u002Fdemo\u002Fdemo.ipynb)\n\n\n**重要提示**：首次运行 `demo\u002Fdemo.py` 脚本时，除了 ODISE 的预训练模型外，还会自动从其原始来源下载 [Stable Diffusion v1.3](https:\u002F\u002Fhuggingface.co\u002FCompVis\u002Fstable-diffusion-v-1-3-original\u002Fresolve\u002Fmain\u002Fsd-v1-3.ckpt) 和 [CLIP](https:\u002F\u002Fopenaipublic.azureedge.net\u002Fclip\u002Fmodels\u002F3035c92b350959924f9f00213499208652fc7ea050643e8b385c2dac08641f02\u002FViT-L-14-336px.pt) 的预训练模型，并分别保存到本地目录 `$HOME\u002F.torch\u002F` 和 `$HOME\u002F.cache\u002Fclip` 中。Stable Diffusion 和 CLIP 的预训练模型受各自原始许可协议的约束，分别来自 [Stable Diffusion](https:\u002F\u002Fgithub.com\u002FCompVis\u002Fstable-diffusion) 和 [CLIP](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP)。\n\n* 通过命令行运行 ODISE 的演示：\n\n    ```shell\n    python demo\u002Fdemo.py --input demo\u002Fexamples\u002Fcoco.jpg --output demo\u002Fcoco_pred.jpg --vocab \"black pickup truck, pickup truck; blue sky, sky\"\n    ```\n    输出将保存为 `demo\u002Fcoco_pred.jpg`。有关 `demo\u002Fdemo.py` 的更多详细选项，请参阅 [ODISE 使用指南](GETTING_STARTED.md)。\n\n* 在本地运行 [Gradio](https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio) 演示：\n    ```shell\n    python demo\u002Fapp.py\n    ```\n\n## 致谢\n\n代码主要基于 [Detectron2](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdetectron2)、[Stable Diffusion](https:\u002F\u002Fgithub.com\u002FCompVis\u002Fstable-diffusion)、[Mask2Former](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FMask2Former)、[OpenCLIP](https:\u002F\u002Fgithub.com\u002Fmlfoundations\u002Fopen_clip) 和 [GLIDE](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fglide-text2im)。\n\n感谢所有优秀的开源项目！","# ODISE 快速上手指南\n\nODISE (Open-Vocabulary Panoptic Segmentation) 是一个利用预训练的文本 - 图像扩散模型和判别模型，实现开放词汇全景分割的 AI 工具。它无需针对特定类别重新训练，即可对任意类别的物体进行分割。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **GPU**: 支持 CUDA 的 NVIDIA 显卡 (建议显存 8GB 以上)\n*   **CUDA 版本**: 11.6\n*   **Python 版本**: 3.9\n*   **PyTorch 版本**: 1.13.1\n\n## 安装步骤\n\n请依次执行以下命令来配置环境并安装 ODISE。\n\n### 1. 创建并激活 Conda 环境\n```bash\nconda create -n odise python=3.9\nconda activate odise\n```\n\n### 2. 安装 PyTorch 及 CUDA 依赖\n使用官方源安装指定版本的 PyTorch 和 CUDA 工具包：\n```bash\nconda install pytorch=1.13.1 torchvision=0.14.1 pytorch-cuda=11.6 -c pytorch -c nvidia\nconda install -c \"nvidia\u002Flabel\u002Fcuda-11.6.1\" libcusolver-dev\n```\n\n### 3. 克隆代码库并安装 ODISE\n```bash\ngit clone git@github.com:NVlabs\u002FODISE.git \ncd ODISE\npip install -e .\n```\n\n### 4. (可选) 安装 xformers 加速\n为了获得更高效的 Transformer 推理速度，建议安装 `xformers`。您可以选择安装预编译版本（推荐）或从源码构建：\n\n**方式 A：安装预编译版本**\n```bash\npip install xformers==0.0.16\n```\n\n**方式 B：从源码构建（耗时较长）**\n```bash\npip install ninja\npip install -v -U git+https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fxformers.git@main#egg=xformers\n```\n\n## 基本使用\n\n首次运行脚本时，程序会自动下载 ODISE 预训练模型以及 Stable Diffusion v1.3 和 CLIP 的基础模型到本地缓存目录（`$HOME\u002F.torch\u002F` 和 `$HOME\u002F.cache\u002Fclip`），请确保网络连接畅通。\n\n### 命令行演示\n\n使用以下命令对单张图片进行开放词汇分割。您只需通过 `--vocab` 参数指定想要分割的物体类别描述即可。\n\n```shell\npython demo\u002Fdemo.py --input demo\u002Fexamples\u002Fcoco.jpg --output demo\u002Fcoco_pred.jpg --vocab \"black pickup truck, pickup truck; blue sky, sky\"\n```\n\n*   `--input`: 输入图片路径。\n*   `--output`: 输出结果图片保存路径。\n*   `--vocab`: 需要分割的类别列表，多个类别可用分号分隔，同义词可用逗号分隔。\n\n运行完成后，分割结果将保存在 `demo\u002Fcoco_pred.jpg`。\n\n### 本地 Web 界面演示\n\n如果您希望使用图形化界面进行操作，可以启动本地的 Gradio Demo：\n\n```shell\npython demo\u002Fapp.py\n```\n\n启动后，终端会显示一个本地访问地址（通常是 `http:\u002F\u002F127.0.0.1:7860`），在浏览器中打开该地址即可上传图片并输入文本提示词进行交互式分割。","某自动驾驶团队正在构建城市道路感知系统，需要让车辆不仅识别标准交通元素，还能理解施工路障、临时摊位等长尾未知物体。\n\n### 没有 ODISE 时\n- **类别受限严重**：传统分割模型只能识别训练集中预定义的固定类别（如车、人、路），遇到未标注的“临时锥桶”或“散落货物”直接无视或误判。\n- **数据标注成本高昂**：每发现一种新障碍物，都需要人工重新采集数据、逐像素标注并重新训练模型，迭代周期长达数周。\n- **泛化能力薄弱**：模型难以适应复杂多变的野外场景，对于形态各异或非标准物体，分割边缘模糊甚至完全漏检。\n- **语义理解缺失**：无法通过自然语言指令动态调整检测目标，系统缺乏对开放世界概念的灵活响应能力。\n\n### 使用 ODISE 后\n- **开放词汇识别**：利用预训练的文本 - 图像扩散模型，ODISE 能直接根据文本提示（如“红色施工围栏”）分割出从未见过的物体类别。\n- **零样本部署**：无需额外标注数据或重新训练，即可即时新增检测类别，将新场景适配时间从数周缩短至分钟级。\n- **精细全景分割**：结合判别式模型与扩散先验，ODISE 在复杂背景下仍能生成像素级精确的掩码，清晰区分前景物体与背景干扰。\n- **语言驱动交互**：开发人员可通过修改文本查询实时调整感知重点，极大提升了系统应对突发路况的灵活性。\n\nODISE 通过将强大的扩散模型先验引入分割任务，彻底打破了传统算法对封闭类别集的依赖，让机器视觉真正具备了理解开放世界的能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_ODISE_e497aa8d.gif","NVlabs","NVIDIA Research Projects","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FNVlabs_fc20d641.jpg","",null,"http:\u002F\u002Fresearch.nvidia.com","https:\u002F\u002Fgithub.com\u002FNVlabs",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",99.5,{"name":85,"color":86,"percentage":87},"Dockerfile","#384d54",0.5,937,56,"2026-04-03T07:09:24","NOASSERTION",4,"Linux","必需 NVIDIA GPU，安装命令指定 pytorch-cuda=11.6 和 libcusolver-dev (CUDA 11.6.1)，显存需求未明确说明（建议 8GB+ 以运行扩散模型）","未说明",{"notes":97,"python":98,"dependencies":99},"首次运行演示脚本时会自动下载 Stable Diffusion v1.3 和 CLIP (ViT-L\u002F14) 的预训练模型；代码主要基于 Detectron2 构建；建议使用 conda 创建虚拟环境进行安装。","3.9",[100,101,102,103,104],"pytorch=1.13.1","torchvision=0.14.1","pytorch-cuda=11.6","libcusolver-dev","xformers==0.0.16 (可选)",[106,14,15],"其他",[108,109,110,111,112,113,114,115,116,117,118,119,120],"deep-learning","instance-segmentation","panoptic-segmentation","pytorch","semantic-segmentation","diffusion-models","text-image-retrieval","zero-shot-learning","open-vocabulary","open-vocabulary-segmentation","open-world-classification","open-world-object-detection","open-vocabulary-semantic-segmentation","2026-03-27T02:49:30.150509","2026-04-14T20:49:46.109562",[124,129,134,139,144,149,154,159],{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},33370,"在 Google Colab 中加载模型时系统 RAM 溢出导致崩溃，如何解决？","这是一个已知问题，特别是在默认配置的 Colab（12.7GB 系统 RAM + T4 GPU）上。解决方案是在实例化主干网络（backbone）后立即将其移动到 GPU 并进行垃圾回收，然后再实例化完整模型。具体操作逻辑是：先实例化 backbone -> 移至 GPU -> 执行垃圾回收 (gc.collect()) -> 再实例化完整模型。这可以有效释放系统内存避免会话被杀死。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FODISE\u002Fissues\u002F9",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},33371,"安装 ODISE 时遇到 'crypt.h' 或 'cusparse.h' 找不到等编译错误怎么办？","不要尝试从源代码单独安装 Detectron2 和 Mask2Former，这通常会导致头文件缺失的编译错误。正确的做法是直接通过该仓库提供的安装脚本进行安装，它会自动处理依赖。如果遇到 numpy 版本兼容性问题，可以尝试先运行 `pip install numpy==1.23.1`。确保在 conda 环境中正确设置了 CUDA_HOME（例如 `CUDA_HOME=\"\u002Fusr\u002Flocal\u002Fcuda-11.3\" pip install -e .`），但首选方案仍是遵循官方安装流程而非手动编译依赖。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FODISE\u002Fissues\u002F43",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},33372,"运行推理时出现 'AttributeError: module 'keras.backend' has no attribute 'is_tensor'' 错误？","这是由于 `einops` 库的版本不兼容导致的。请在 Google Colab 或你的环境中强制安装特定版本来解决此问题：`!pip install einops==0.3.2`。安装完成后重新运行推理代码即可恢复正常。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FODISE\u002Fissues\u002F10",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},33373,"在 demo.ipynb 中更改 CUDA 设备（如改为 cuda:1）后分割结果异常或不一致？","直接在代码中将 `model.to(cfg.train.device)` 修改为具体的设备索引（如 `cuda:1`）可能导致部分模块加载不正确，从而产生错误的分割图。建议使用环境变量 `CUDA_VISIBLE_DEVICES` 来指定使用的 GPU，而不是在代码中硬编码设备 ID。例如在运行 notebook 前设置 `export CUDA_VISIBLE_DEVICES=1`，这样可以确保模型所有组件正确加载到指定设备上。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FODISE\u002Fissues\u002F8",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},33374,"训练 ODISE 需要什么样的硬件配置以及大概需要多长时间？","根据官方回复，复现论文第 4.2 节的结果需要在 32 张 NVIDIA V100 GPU 上训练约 6 天。如果是复现第 4.3 节关于 COCO 数据集（50 epochs）的实验结果，则需要在 16 张 V100 GPU 上训练约 2 天。请根据你的实验目标准备相应的计算资源。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FODISE\u002Fissues\u002F4",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},33375,"是否有不包含 Implicit Captioner 的预训练模型检查点可供下载？","目前维护者没有直接提供移除了 Implicit Captioner 的预训练检查点。如果你需要这种配置的模型，官方建议参考仓库中提供的详细文档，从头开始自行训练模型以复现该变体。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FODISE\u002Fissues\u002F12",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},33376,"代码中 self.alpha_cond 和 self.alpha_cond_time_embed 参数的作用是什么？","这两个可学习参数用于使扩散模型的特征能够条件化地依赖于输入图像。虽然这种操作在之前的工作中不常见，但在 ODISE 中，它们通过与 Implicit Captioner 生成的前缀（prefix）相互作用，将图像信息注入到潜在扩散模型（Latent Diffusion Model）中，从而增强模型对输入内容的理解能力。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FODISE\u002Fissues\u002F36",{"id":160,"question_zh":161,"answer_zh":162,"source_url":163},33377,"在处理 Context 459 数据集时出现大量类似“猴子”的错误标签或图像显示异常？","这通常是因为标签图像可能是 16 位 TIFF 格式，而读取方式未正确处理导致数据解释错误（例如被误读为 8 位）。解决方法是自定义并重写数据映射器（mapper），确保在加载标注时正确识别和处理 16 位 TIFF 图像，同时注意在元数据中设置正确的 `ignore_label`（通常为 65535）。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FODISE\u002Fissues\u002F52",[165],{"id":166,"version":167,"summary_zh":168,"released_at":169},255576,"v1.0.0","使用COCO训练数据集训练的ODISE有监督预训练模型的标签和说明。\n\n模型许可条款：[知识共享署名-非商业性使用-相同方式共享4.0国际版 — CC BY-NC-SA 4.0](https:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002Flegalcode)。","2023-03-23T04:08:01"]