[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-Angzz--awesome-panoptic-segmentation":3,"similar-Angzz--awesome-panoptic-segmentation":60},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":19,"owner_email":20,"owner_twitter":21,"owner_website":21,"owner_url":22,"languages":21,"stars":23,"forks":24,"last_commit_at":25,"license":21,"difficulty_score":26,"env_os":27,"env_gpu":28,"env_ram":28,"env_deps":29,"category_tags":32,"github_topics":35,"view_count":39,"oss_zip_url":21,"oss_zip_packed_at":21,"status":40,"created_at":41,"updated_at":42,"faqs":43,"releases":59},3878,"Angzz\u002Fawesome-panoptic-segmentation","awesome-panoptic-segmentation","Panoptic Segmentation Resources List","awesome-panoptic-segmentation 是一个专注于全景分割（Panoptic Segmentation）领域的开源资源合集。它旨在解决计算机视觉中语义分割（处理背景等“物质”）与实例分割（处理车辆、行人等“物体”）长期分离的问题，通过统一框架让 AI 既能识别场景类别，又能区分独立个体，从而实现对图像更完整、通用的理解。\n\n该资源库系统性地整理了全球范围内的前沿论文、核心代码实现、主流数据集（如 COCO-Panoptic、Cityscapes）、评估指标详解以及权威的基准测试结果。其独特亮点在于提供了详尽的性能对比表格，涵盖 PQ、SQ、RQ 等多种关键指标，帮助使用者快速定位最优算法方案，并附带了标准评估代码链接及相关技术教程。\n\nawesome-panoptic-segmentation 特别适合计算机视觉研究人员、AI 算法工程师及深度学习开发者使用。无论是希望追踪最新学术进展的研究者，还是正在寻找可靠基线模型进行项目开发的工程师，都能从中获得极具价值的参考信息，是进入全景分割领域不可或缺的入门指南与案头工具。","# Awesome-Panoptic-Segmentation [![Awesome](https:\u002F\u002Fawesome.re\u002Fbadge.svg)](https:\u002F\u002Fawesome.re)\nThis repo is a collection of the challenging panoptic segmentation, including papers, codes, and benchmark results, etc.\n\n##  Outline\n* [Panoptic Segmentation](#panoptic-segmentation)\n* [Datasets](#datasets)\n* [Evaluation](#evaluation)\n* [Benchmark Results](#benchmark-results)\n* [Papers](#papers)\n* [Tutorials](#tutorials)\n* [Blogs](#blogs)\n\n\n## Panoptic Segmentation\n\u003Cdiv align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAngzz_awesome-panoptic-segmentation_readme_5f08d40a591c.png\" width=\"900\" height=\"180\">\u003C\u002Fdiv>\nSummarize in one sentence : Panoptic Segmentation proposes to solve the semantic segmentation(*Stuff*) and instance segmentation(*Thing*) in a unified and general manner.\n\n\n### Structure Overview\n\u003Cdiv align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAngzz_awesome-panoptic-segmentation_readme_08f500e7e9fa.png\" width=\"800\" height=\"240\">\u003C\u002Fdiv>\n\nfrom [UPSNet](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1901.03784.pdf).\n\n\n## Datasets\nGenerally, the datasets which contains both semantic and instance annotations can be used to solve the challenging *panoptic* task.\n\n* [COCO-Panoptic](http:\u002F\u002Fcocodataset.org\u002F)\n* [Cityscapes](https:\u002F\u002Fwww.cityscapes-dataset.com\u002F)\n* [Mapillary Vistas](https:\u002F\u002Fblog.mapillary.com\u002Fproduct\u002F2017\u002F05\u002F03\u002Fmapillary-vistas-dataset.html)\n* [ADE20K](http:\u002F\u002Fgroups.csail.mit.edu\u002Fvision\u002Fdatasets\u002FADE20K\u002F)\n* [IDD20K](http:\u002F\u002Fidd.insaan.iiit.ac.in\u002F)\n\n\n## Evaluation\n### Metrics\n* ``PQ`` are the standard metrics described in [Panoptic Segmentation](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1801.00868.pdf).\n\u003Cdiv align=\"center\" width=\"10\" height=\"5\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAngzz_awesome-panoptic-segmentation_readme_986cda193041.png\" width=\"600\" height=\"150\">\u003C\u002Fdiv>\n\n* ``PC`` are the standard metrics described in [DeeperLab](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1902.05093).\n\u003Cdiv align=\"center\" width=\"10\" height=\"5\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAngzz_awesome-panoptic-segmentation_readme_16e110d8da17.png\" width=\"600\" height=\"207\">\u003C\u002Fdiv>\n\n### Evaluation Code\n* [cocodataset\u002Fpanopticapi](https:\u002F\u002Fgithub.com\u002Fcocodataset\u002Fpanopticapi)\n* [mcordts\u002FcityscapesScripts](https:\u002F\u002Fgithub.com\u002Fmcordts\u002FcityscapesScripts)\n\n### Competition\n* [AutoNUE 2019 Panoptic Segmentation Challenge (ICCV 2019 Workshop, Closed)](https:\u002F\u002Fcvit.iiit.ac.in\u002Fautonue2019\u002Fchallenge\u002F)\n* [COCO 2019 Panoptic Segmentation Task (ICCV 2019 Workshop, Closed)](http:\u002F\u002Fcocodataset.org\u002F#panoptic-2019)\n* [Mapillary 2019 Panoptic Segmentation Task (ICCV 2019 Workshop, Closed)](https:\u002F\u002Fresearch.mapillary.com\u002Feccv18\u002F#panoptic)\n* [Cityscapes Panoptic Semantic Labeling Task (Open)](https:\u002F\u002Fwww.cityscapes-dataset.com\u002Fbenchmarks\u002F#panoptic-scene-labeling-task)\n* [COCO 2018 Panoptic Segmentation Task (ECCV 2018 Workshop, Closed)](http:\u002F\u002Fcocodataset.org\u002Findex.htm#panoptic-2018)\n* [Mapillary Vistas 2018 Panoptic Segmentation Task (ECCV 2018 Workshop, Closed)](https:\u002F\u002Fresearch.mapillary.com\u002Feccv18\u002F#panoptic)\n\n\n## Benchmark Results\n### COCO `val` Benchmark\n| Method | Backbone | PQ | PQ-Thing | PQ-Stuff | SQ | RQ | mIoU | AP-Mask | PC |  e2e | \n| :----------: | :-----------: | :-----------: | :-----------: |:-----------: |:-----------: |:-----------: |:-----------: |:-----------: | :-----------: | :-----------: |\n| SOGNet | ResNet-50 | 43.7 | 50.6 | 33.2 | 78.7 | 53.5 | 54.56 | 34.2 | - | :white_check_mark: |\n| UPSNet | ResNet-50 | 42.5 | 48.6 | 33.4 | - | - | 54.3 | 34.3 | - | :white_check_mark: |\n| OANet | ResNet-101 | 41.3 | 50.4 | 27.7 | - | - | - | - | - | :white_check_mark: |\n| OCFusion | ResNet-50 | 41.0 | 49.0 | 29.0 | 77.1 | 50.6 | - | - | - | :white_check_mark: |\n| Panoptic FPN | ResNet-101 | 40.9 | 48.3 | 29.7 | - | - | - | - | - | :white_check_mark: |\n| AUNet | ResNet-50 | 39.6 | 49.1 | 25.2 | - | - | 45.1 | 34.7 | - | :white_check_mark: |\n| AdaptIS | ResNet-101  | 37.0 | 41.8 | 29.9 | - | - | - | - | - | :white_check_mark: |\n| DeeperLab | Xception-71 | 34.3 | 37.5 | 29.6 | 77.1 | 43.1 | - | - | 56.8 | :white_check_mark: |\n\n### Cityscapes `val`Benchmark\n| Method | Backbone | PQ | PQ-Thing | PQ-Stuff | SQ | RQ | mIoU | AP-Mask | PC |  e2e | \n| :----------: | :-----------: | :-----------: | :-----------: |:-----------: |:-----------: |:-----------: |:-----------: |:-----------: | :-----------: | :-----------: |\n| Panoptic(Merge) | - | 61.2 | 66.4 | 54.0 | 80.9 | 74.4 | - | - | - | :negative_squared_cross_mark: |\n| AdaptIS | ResNet-101  | 60.6 | 58.7 | 64.4 | - | - | 79.2 | 36.3 | - | :white_check_mark: |\n| SOGNet | ResNet-50  | 60.0 | 56.7 | 62.5 | - | - | - | - | - | :white_check_mark: |\n| Seamless | ResNet-50  | 59.8 | 53.4 | 64.5 | - | - | 75.4 | 31.9 | - | :white_check_mark: |\n| UPSNet | ResNet-50 | 59.3 | 54.6 | 62.7 | 79.7 | 73.0 | 75.2 | 33.3 | - | :white_check_mark: |\n| TASCNet | ResNet-101 | 59.2 | 56 | 61.5 | - | - | 77.8 | 37.6 | - |  :white_check_mark: |\n| AUNet | ResNet-101 | 59.0 | 54.8 | 62.1 | - | - | 75.6 | 34.4 | - | :white_check_mark: |\n| Panoptic FPN | ResNet-101 | 58.1 | 52.0 | 62.5 | - | - | 75.7 |33.0 | - | :white_check_mark: |\n| DeeperLab | Xception-71 | 56.5 | - | - | - | - | - | - | 75.6 |  :white_check_mark: |\n\n### Mapillary `val` Benchmark\n| Method | Backbone | PQ | PQ-Thing | PQ-Stuff | SQ | RQ | mIoU | AP-Mask | PC |  e2e | \n| :----------: | :-----------: | :-----------: | :-----------: |:-----------: |:-----------: |:-----------: |:-----------: |:-----------: | :-----------: | :-----------: |\n| Panoptic(Merge) | -  | 38.3 | 41.8 | 35.7 | 73.6 | 47.7 | - | - | - | :negative_squared_cross_mark: |\n| Seamless | ResNet-50  | 37.2 | 33.2 | 42.5 | - | - | 50.2 | 16.3 | - | :white_check_mark: |\n| AdaptIS | ResNet-101  | 33.4 | 28.3 | 40.3 | - | - | - | - | - | :white_check_mark: |\n| TASCNet | ResNet-101 | 32.6 | 31.3 | 34.4 | - | - | 35.0 | 18.5 | - | :white_check_mark: |\n| DeeperLab | Xception-71 | 32.0 | - | - | - | - | - | - | 55.3 |  :white_check_mark: |\n\n\n## Papers \n### AAAI2020\n* **SOGNet:** Yibo Yang, Hongyang Li, Xia Li, Qijie Zhao, Jianlong Wu, Zhouchen Lin.\u003Cbr \u002F>\"SOGNet: Scene Overlap Graph Network for Panoptic Segmentation.\" AAAI (2020). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1911.07527.pdf)]\n\n### ICCV2019\n* **AdaptIS:** Konstantin Sofiiuk, Olga Barinova, Anton Konushin.\u003Cbr \u002F>\"AdaptIS: Adaptive Instance Selection Network.\" ICCV (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1909.07829.pdf)]\n\n* Cheng-Yang Fu, Tamara L. Berg, Alexander C. Berg.\u003Cbr \u002F>\"IMP: Instance Mask Projection for High Accuracy Semantic Segmentation of Things.\" ICCV (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1906.06597.pdf)]\n\n* Bowen Cheng, Maxwell D. Collins, Yukun Zhu, Ting Liu, Thomas S. Huang, Hartwig Adam, Liang-Chieh Chen.\u003Cbr \u002F>\"Panoptic-DeepLab: A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation Bowen.\" ICCVW (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1911.10194.pdf)]\n\n### CVPR2019\n* **Panoptic Segmentation:** Alexander Kirillov, Kaiming He, Ross Girshick, Carsten Rother, Piotr Dollár.\u003Cbr \u002F>\"Panoptic Segmentation.\" CVPR (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1801.00868.pdf)]\n\n* **Panoptic FPN:** Alexander Kirillov, Ross Girshick, Kaiming He, Piotr Dollár.\u003Cbr \u002F>\"Panoptic Feature Pyramid Networks.\" CVPR (2019 **oral**). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1901.02446.pdf)] [[unofficial code](https:\u002F\u002Fgithub.com\u002FAngzz\u002Fpanoptic-fpn-gluon)][[detectron2]](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdetectron2)\n\n* **AUNet:** Yanwei Li, Xinze Chen, Zheng Zhu, Lingxi Xie, Guan Huang, Dalong Du, Xingang Wang.\u003Cbr \u002F>\"Attention-guided Unified Network for Panoptic Segmentation.\" CVPR (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1812.03904.pdf)]\n\n* **UPSNet:** Yuwen Xiong, Renjie Liao, Hengshuang Zhao, Rui Hu, Min Bai, Ersin Yumer, Raquel Urtasun.\u003Cbr \u002F>\"UPSNet: A Unified Panoptic Segmentation Network.\" CVPR (2019 **oral**). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1901.03784.pdf)] [[code](https:\u002F\u002Fgithub.com\u002Fuber-research\u002FUPSNet)]\n\n* **DeeperLab:** Tien-Ju Yang, Maxwell D. Collins, Yukun Zhu, Jyh-Jing Hwang, Ting Liu, Xiao Zhang, Vivienne Sze, George Papandreou, Liang-Chieh Chen.\u003Cbr \u002F>\"DeeperLab: Single-Shot Image Parser.\" CVPR (2019 **oral**). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1902.05093)] [[project](http:\u002F\u002Fdeeperlab.mit.edu)] [[code](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels\u002Ftree\u002Fmaster\u002Fresearch\u002Fdeeplab\u002Fevaluation)]\n\n* **OANet:** Huanyu Liu, Chao Peng, Changqian Yu, Jingbo Wang, Xu Liu, Gang Yu, Wei Jiang.\u003Cbr \u002F>\"An End-to-End Network for Panoptic Segmentation.\" CVPR (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1903.05027.pdf)]\n\n* Eirikur Agustsson, Jasper R. R. Uijlings, Vittorio Ferrari\n.\u003Cbr \u002F>\"Interactive Full Image Segmentation by Considering All Regions Jointly.\" CVPR (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1812.01888.pdf)]\n\n* **Seamless:** Lorenzo Porzi, Samuel Rota Bulo, Aleksander Colovic, Peter Kontschieder.\u003Cbr \u002F>\"Seamless Scene Segmentation.\" CVPR (2019) (Extended Version). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1905.01220.pdf)][[code](https:\u002F\u002Fgithub.com\u002Fmapillary\u002Fseamseg)]\n\n### ECCV2018\n* Qizhu Li, Anurag Arnab, Philip H.S. Torr.\u003Cbr \u002F>\"Weakly- and Semi-Supervised Panoptic Segmentation.\" ECCV (2018). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1812.01192.pdf)] [[code](https:\u002F\u002Fgithub.com\u002Fqizhuli\u002FWeakly-Supervised-Panoptic-Segmentation)]\n\n### ArXiv\n* Rohit Mohan, Abhinav Valada.\u003Cbr \u002F>\n\"EfficientPS: Efficient Panoptic Segmentation.\" arXiv (2020). [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2004.02307)\n\n* Rui Hou, Jie Li, Arjun Bhargava, Allan Raventos, Vitor Guizilini, Chao Fang, Jerome Lynch, Adrien Gaidon.\u003Cbr \u002F>\n\"Real-Time Panoptic Segmentation from Dense Detections.\" arXiv (2019). [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1912.01202.pdf)\n\n* Mark Weber, Jonathon Luiten, Bastian Leibe.\u003Cbr \u002F>\"Single-Shot Panoptic Segmentation.\" arXiv (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1911.00764.pdf)]\n\n* Qiang Chen, Anda Cheng, Xiangyu He, Peisong Wang, Jian Cheng.\u003Cbr \u002F>\"SpatialFlow: Bridging All Tasks for Panoptic Segmentation.\" arXiv (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1910.08787.pdf)]\n\n* Sagi Eppel, Alan Aspuru-Guzik.\u003Cbr \u002F>\"Generator evaluator-selector net: a modular approach for panoptic segmentation.\" arXiv (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1908.09108.pdf)]\n\n* Jasper R. R. Uijlings, Mykhaylo Andriluka, Vittorio Ferrari.\u003Cbr \u002F>\"Panoptic Image Annotation with a Collaborative Assistant.\" arXiv (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1906.06798.pdf)]\n\n* **OCFusion:** Justin Lazarow, Kwonjoon Lee, Zhuowen Tu.\u003Cbr \u002F>\"Learning Instance Occlusion for Panoptic Segmentation.\" arXiv (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1906.05896.pdf)]\n\n* **PEN:** Yuan Hu, Yingtian Zou, Jiashi Feng.\u003Cbr \u002F>\"Panoptic Edge Detection.\" arXiv (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1906.00590.pdf)]\n\n* **TASCNet:** Jie Li, Allan Raventos, Arjun Bhargava, Takaaki Tagawa, Adrien Gaidon.\u003Cbr \u002F>\"Learning to Fuse Things and Stuff.\" arXiv (2018). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1812.01192.pdf)]\n\n* Daan de Geus, Panagiotis Meletis, Gijs Dubbelman.\u003Cbr \u002F>\"Panoptic Segmentation with a Joint Semantic and Instance Segmentation Network.\" arXiv (2018). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1809.02110.pdf)]\n\n* Daan de Geus, Panagiotis Meletis, Gijs Dubbelman.\u003Cbr \u002F>\"Single Network Panoptic Segmentation for Street Scene Understanding.\" arXiv (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1902.02678.pdf)]\n\n* David Owen, Ping-Lin Chang.\u003Cbr \u002F>\"Detecting Reflections by Combining Semantic and Instance Segmentation.\" arXiv (2019). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1904.13273.pdf)]\n\n* Gaku Narita, Takashi Seno, Tomoya Ishikawa, Yohsuke Kaji.\u003Cbr \u002F>\"PanopticFusion: Online Volumetric Semantic Mapping at the Level of Stuff and Things.\" arXiv (2019, IROS). [[paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1903.01177.pdf)]\n\n\n## Tutorials\n* CVPR 2019 Tutorial on Visual Recognition and Beyond. [[slides](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Ft6tg87t78pdq6v3\u002Fcvpr19_tutorial_alexander_kirillov.pdf?dl=0)] [[homepage](http:\u002F\u002Ffeichtenhofer.github.io\u002Fcvpr2019-recognition-tutorial\u002F?nsukey=sJf%2BXalFUZ1SdTHfNF9ApK0yHb3RiOUTjCdoDI0FTj2gtGZgjyITEf3MIwlgv1CWJywF4qeEOFiUd14dVkeQjn61Yh4mOoqDVb%2Ff4BDiWtBZCNZzozDG5ryVLAM4y8kHxz2NXKdlyjgF2BwgPUMBLs4RrvMNRpgQl8PZ9KPBmhwEXq71r6E4dCCvEFCdio1Lj3aQc%2FoyG%2FdLIN3tBmSjPQ%3D%3D)]\n* COCO 2017 Workshop. [[slides](http:\u002F\u002Fpresentations.cocodataset.org\u002FCOCO17-Stuff-FAIR.pdf)]\n\n\n## Blogs\n* Megvii(Face++) Detection Team. [[zhihu]](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F59141570)\n\n","# 令人惊叹的全景分割 [![Awesome](https:\u002F\u002Fawesome.re\u002Fbadge.svg)](https:\u002F\u002Fawesome.re)\n这个仓库收集了关于全景分割领域的前沿研究，包括论文、代码和基准测试结果等。\n\n## 大纲\n* [全景分割](#panoptic-segmentation)\n* [数据集](#datasets)\n* [评估](#evaluation)\n* [基准测试结果](#benchmark-results)\n* [论文](#papers)\n* [教程](#tutorials)\n* [博客](#blogs)\n\n\n## 普遍分割\n\u003Cdiv align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAngzz_awesome-panoptic-segmentation_readme_5f08d40a591c.png\" width=\"900\" height=\"180\">\u003C\u002Fdiv>\n用一句话概括：全景分割旨在以统一且通用的方式同时解决语义分割（“Stuff”）和实例分割（“Thing”）问题。\n\n### 结构概述\n\u003Cdiv align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAngzz_awesome-panoptic-segmentation_readme_08f500e7e9fa.png\" width=\"800\" height=\"240\">\u003C\u002Fdiv>\n\n摘自 [UPSNet](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1901.03784.pdf)。\n\n## 数据集\n通常，同时包含语义和实例标注的数据集都可以用于解决全景分割任务。\n\n* [COCO-Panoptic](http:\u002F\u002Fcocodataset.org\u002F)\n* [Cityscapes](https:\u002F\u002Fwww.cityscapes-dataset.com\u002F)\n* [Mapillary Vistas](https:\u002F\u002Fblog.mapillary.com\u002Fproduct\u002F2017\u002F05\u002F03\u002Fmapillary-vistas-dataset.html)\n* [ADE20K](http:\u002F\u002Fgroups.csail.mit.edu\u002Fvision\u002Fdatasets\u002FADE20K\u002F)\n* [IDD20K](http:\u002F\u002Fidd.insaan.iiit.ac.in\u002F)\n\n\n## 评估\n### 评价指标\n* ``PQ`` 是在 [Panoptic Segmentation](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1801.00868.pdf) 中描述的标准指标。\n\u003Cdiv align=\"center\" width=\"10\" height=\"5\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAngzz_awesome-panoptic-segmentation_readme_986cda193041.png\" width=\"600\" height=\"150\">\u003C\u002Fdiv>\n\n* ``PC`` 是在 [DeeperLab](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1902.05093) 中描述的标准指标。\n\u003Cdiv align=\"center\" width=\"10\" height=\"5\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAngzz_awesome-panoptic-segmentation_readme_16e110d8da17.png\" width=\"600\" height=\"207\">\u003C\u002Fdiv>\n\n### 评估代码\n* [cocodataset\u002Fpanopticapi](https:\u002F\u002Fgithub.com\u002Fcocodataset\u002Fpanopticapi)\n* [mcordts\u002FcityscapesScripts](https:\u002F\u002Fgithub.com\u002Fmcordts\u002FcityscapesScripts)\n\n### 竞赛\n* [AutoNUE 2019 全景分割挑战赛（ICCV 2019 研讨会，已结束）](https:\u002F\u002Fcvit.iiit.ac.in\u002Fautonue2019\u002Fchallenge\u002F)\n* [COCO 2019 全景分割任务（ICCV 2019 研讨会，已结束）](http:\u002F\u002Fcocodataset.org\u002F#panoptic-2019)\n* [Mapillary 2019 全景分割任务（ICCV 2019 研讨会，已结束）](https:\u002F\u002Fresearch.mapillary.com\u002Feccv18\u002F#panoptic)\n* [Cityscapes 全景语义标注任务（开放中）](https:\u002F\u002Fwww.cityscapes-dataset.com\u002Fbenchmarks\u002F#panoptic-scene-labeling-task)\n* [COCO 2018 全景分割任务（ECCV 2018 研讨会，已结束）](http:\u002F\u002Fcocodataset.org\u002Findex.htm#panoptic-2018)\n* [Mapillary Vistas 2018 全景分割任务（ECCV 2018 研讨会，已结束）](https:\u002F\u002Fresearch.mapillary.com\u002Feccv18\u002F#panoptic)\n\n\n## 基准测试结果\n### COCO `val` 基准\n| 方法 | 主干网络 | PQ | PQ-Thing | PQ-Stuff | SQ | RQ | mIoU | AP-Mask | PC |  e2e | \n| :----------: | :-----------: | :-----------: | :-----------: |:-----------: |:-----------: |:-----------: |:-----------: |:-----------: | :-----------: | :-----------: |\n| SOGNet | ResNet-50 | 43.7 | 50.6 | 33.2 | 78.7 | 53.5 | 54.56 | 34.2 | - | :white_check_mark: |\n| UPSNet | ResNet-50 | 42.5 | 48.6 | 33.4 | - | - | 54.3 | 34.3 | - | :white_check_mark: |\n| OANet | ResNet-101 | 41.3 | 50.4 | 27.7 | - | - | - | - | - | :white_check_mark: |\n| OCFusion | ResNet-50 | 41.0 | 49.0 | 29.0 | 77.1 | 50.6 | - | - | - | :white_check_mark: |\n| Panoptic FPN | ResNet-101 | 40.9 | 48.3 | 29.7 | - | - | - | - | - | :white_check_mark: |\n| AUNet | ResNet-50 | 39.6 | 49.1 | 25.2 | - | - | 45.1 | 34.7 | - | :white_check_mark: |\n| AdaptIS | ResNet-101  | 37.0 | 41.8 | 29.9 | - | - | - | - | - | :white_check_mark: |\n| DeeperLab | Xception-71 | 34.3 | 37.5 | 29.6 | 77.1 | 43.1 | - | - | 56.8 | :white_check_mark: |\n\n### Cityscapes `val` 基准\n| 方法 | 主干网络 | PQ | PQ-Thing | PQ-Stuff | SQ | RQ | mIoU | AP-Mask | PC |  e2e | \n| :----------: | :-----------: | :-----------: | :-----------: |:-----------: |:-----------: |:-----------: |:-----------: |:-----------: | :-----------: | :-----------: |\n| Panoptic(Merge) | - | 61.2 | 66.4 | 54.0 | 80.9 | 74.4 | - | - | - | :negative_squared_cross_mark: |\n| AdaptIS | ResNet-101  | 60.6 | 58.7 | 64.4 | - | - | 79.2 | 36.3 | - | :white_check_mark: |\n| SOGNet | ResNet-50  | 60.0 | 56.7 | 62.5 | - | - | - | - | - | :white_check_mark: |\n| Seamless | ResNet-50  | 59.8 | 53.4 | 64.5 | - | - | 75.4 | 31.9 | - | :white_check_mark: |\n| UPSNet | ResNet-50 | 59.3 | 54.6 | 62.7 | 79.7 | 73.0 | 75.2 | 33.3 | - | :white_check_mark: |\n| TASCNet | ResNet-101 | 59.2 | 56 | 61.5 | - | - | 77.8 | 37.6 | - |  :white_check_mark: |\n| AUNet | ResNet-101 | 59.0 | 54.8 | 62.1 | - | - | 75.6 | 34.4 | - | :white_check_mark: |\n| Panoptic FPN | ResNet-101 | 58.1 | 52.0 | 62.5 | - | - | 75.7 |33.0 | - | :white_check_mark: |\n| DeeperLab | Xception-71 | 56.5 | - | - | - | - | - | - | 75.6 |  :white_check_mark: |\n\n### Mapillary `val` 基准\n| 方法 | 主干网络 | PQ | PQ-Thing | PQ-Stuff | SQ | RQ | mIoU | AP-Mask | PC |  e2e | \n| :----------: | :-----------: | :-----------: | :-----------: |:-----------: |:-----------: |:-----------: |:-----------: |:-----------: | :-----------: | :-----------: |\n| Panoptic(Merge) | -  | 38.3 | 41.8 | 35.7 | 73.6 | 47.7 | - | - | - | :negative_squared_cross_mark: |\n| Seamless | ResNet-50  | 37.2 | 33.2 | 42.5 | - | - | 50.2 | 16.3 | - | :white_check_mark: |\n| AdaptIS | ResNet-101  | 33.4 | 28.3 | 40.3 | - | - | - | - | - | :white_check_mark: |\n| TASCNet | ResNet-101 | 32.6 | 31.3 | 34.4 | - | - | 35.0 | 18.5 | - | :white_check_mark: |\n| DeeperLab | Xception-71 | 32.0 | - | - | - | - | - | - | 55.3 |  :white_check_mark: |\n\n\n## 论文\n### AAAI2020\n* **SOGNet:** 杨一博、李洪洋、李霞、赵启杰、吴建龙、林周晨。\u003Cbr \u002F>“SOGNet：用于全景分割的场景重叠图网络。” AAAI（2020）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1911.07527.pdf)]\n\n### ICCV2019\n* **AdaptIS:** 康斯坦丁·索菲尤克、奥尔加·巴里诺娃、安东·科努申。\u003Cbr \u002F>“AdaptIS：自适应实例选择网络。” ICCV（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1909.07829.pdf)]\n\n* 程阳福、塔玛拉·L·伯格、亚历山大·C·伯格。\u003Cbr \u002F>“IMP：实例掩码投影技术，用于高精度的事物语义分割。” ICCV（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1906.06597.pdf)]\n\n* 邓博文、麦克斯韦尔·D·柯林斯、朱玉坤、刘婷、托马斯·S·黄、哈特维格·亚当、陈良哲。\u003Cbr \u002F>“Panoptic-DeepLab：一种简单、强大且快速的自下而上全景分割基线。” ICCVW（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1911.10194.pdf)]\n\n### CVPR2019\n* **全景分割:** Alexander Kirillov、Kaiming He、Ross Girshick、Carsten Rother、Piotr Dollár。\u003Cbr \u002F>“全景分割”。CVPR（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1801.00868.pdf)]\n\n* **全景FPN:** Alexander Kirillov、Ross Girshick、Kaiming He、Piotr Dollár。\u003Cbr \u002F>“全景特征金字塔网络”。CVPR（2019 **口头报告**）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1901.02446.pdf)] [[非官方代码](https:\u002F\u002Fgithub.com\u002FAngzz\u002Fpanoptic-fpn-gluon)][[detectron2]](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdetectron2)\n\n* **AUNet:** Yanwei Li、Xinze Chen、Zheng Zhu、Lingxi Xie、Guan Huang、Dalong Du、Xingang Wang。\u003Cbr \u002F>“用于全景分割的注意力引导统一网络”。CVPR（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1812.03904.pdf)]\n\n* **UPSNet:** Yuwen Xiong、Renjie Liao、Hengshuang Zhao、Rui Hu、Min Bai、Ersin Yumer、Raquel Urtasun。\u003Cbr \u002F>“UPSNet：统一的全景分割网络”。CVPR（2019 **口头报告**）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1901.03784.pdf)] [[代码](https:\u002F\u002Fgithub.com\u002Fuber-research\u002FUPSNet)]\n\n* **DeeperLab:** Tien-Ju Yang、Maxwell D. Collins、Yukun Zhu、Jyh-Jing Hwang、Ting Liu、Xiao Zhang、Vivienne Sze、George Papandreou、Liang-Chieh Chen。\u003Cbr \u002F>“DeeperLab：单次图像解析器”。CVPR（2019 **口头报告**）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1902.05093)] [[项目](http:\u002F\u002Fdeeperlab.mit.edu)] [[代码](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels\u002Ftree\u002Fmaster\u002Fresearch\u002Fdeeplab\u002Fevaluation)]\n\n* **OANet:** Huanyu Liu、Chao Peng、Changqian Yu、Jingbo Wang、Xu Liu、Gang Yu、Wei Jiang。\u003Cbr \u002F>“用于全景分割的端到端网络”。CVPR（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1903.05027.pdf)]\n\n* Eirikur Agustsson、Jasper R. R. Uijlings、Vittorio Ferrari。\u003Cbr \u002F>“通过联合考虑所有区域实现交互式全图像分割”。CVPR（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1812.01888.pdf)]\n\n* **Seamless:** Lorenzo Porzi、Samuel Rota Bulo、Aleksander Colovic、Peter Kontschieder。\u003Cbr \u002F>“无缝场景分割”。CVPR（2019）（扩展版）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1905.01220.pdf)][[代码](https:\u002F\u002Fgithub.com\u002Fmapillary\u002Fseamseg)]\n\n### ECCV2018\n* Qizhu Li、Anurag Arnab、Philip H.S. Torr。\u003Cbr \u002F>“弱监督与半监督下的全景分割”。ECCV（2018）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1812.01192.pdf)] [[代码](https:\u002F\u002Fgithub.com\u002Fqizhuli\u002FWeakly-Supervised-Panoptic-Segmentation)]\n\n### ArXiv\n* Rohit Mohan、Abhinav Valada。\u003Cbr \u002F>\n“EfficientPS：高效的全景分割”。arXiv（2020）。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2004.02307)\n\n* Rui Hou、Jie Li、Arjun Bhargava、Allan Raventos、Vitor Guizilini、Chao Fang、Jerome Lynch、Adrien Gaidon。\u003Cbr \u002F>\n“基于密集检测的实时全景分割”。arXiv（2019）。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1912.01202.pdf)\n\n* Mark Weber、Jonathon Luiten、Bastian Leibe。\u003Cbr \u002F>“单次全景分割”。arXiv（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1911.00764.pdf)]\n\n* Qiang Chen、Anda Cheng、Xiangyu He、Peisong Wang、Jian Cheng。\u003Cbr \u002F>“SpatialFlow：为全景分割打通所有任务”。arXiv（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1910.08787.pdf)]\n\n* Sagi Eppel、Alan Aspuru-Guzik。\u003Cbr \u002F>“生成器—评估器—选择器网络：一种用于全景分割的模块化方法”。arXiv（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1908.09108.pdf)]\n\n* Jasper R. R. Uijlings、Mykhaylo Andriluka、Vittorio Ferrari。\u003Cbr \u002F>“带有协作助手的全景图像标注”。arXiv（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1906.06798.pdf)]\n\n* **OCFusion:** Justin Lazarow、Kwonjoon Lee、Zhuowen Tu。\u003Cbr \u002F>“学习实例遮挡以进行全景分割”。arXiv（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1906.05896.pdf)]\n\n* **PEN:** Yuan Hu、Yingtian Zou、Jiashi Feng。\u003Cbr \u002F>“全景边缘检测”。arXiv（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1906.00590.pdf)]\n\n* **TASCNet:** Jie Li、Allan Raventos、Arjun Bhargava、Takaaki Tagawa、Adrien Gaidon。\u003Cbr \u002F>“学习融合事物与语义信息”。arXiv（2018）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1812.01192.pdf)]\n\n* Daan de Geus、Panagiotis Meletis、Gijs Dubbelman。\u003Cbr \u002F>“使用联合语义与实例分割网络进行全景分割”。arXiv（2018）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1809.02110.pdf)]\n\n* Daan de Geus、Panagiotis Meletis、Gijs Dubbelman。\u003Cbr \u002F>“用于街景理解的单网络全景分割”。arXiv（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1902.02678.pdf)]\n\n* David Owen、Ping-Lin Chang。\u003Cbr \u002F>“通过结合语义与实例分割检测反射”。arXiv（2019）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1904.13273.pdf)]\n\n* Gaku Narita、Takashi Seno、Tomoya Ishikawa、Yohsuke Kaji。\u003Cbr \u002F>“PanopticFusion：在事物与语义层面的在线体积语义建图”。arXiv（2019，IROS）。[[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1903.01177.pdf)]\n\n\n## 教程\n* CVPR 2019 视觉识别及更深层次主题教程。[[幻灯片](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Ft6tg87t78pdq6v3\u002Fcvpr19_tutorial_alexander_kirillov.pdf?dl=0)] [[主页](http:\u002F\u002Ffeichtenhofer.github.io\u002Fcvpr2019-recognition-tutorial\u002F?nsukey=sJf%2BXalFUZ1SdTHfNF9ApK0yHb3RiOUTjCdoDI0FTj2gtGZgjyITEf3MIwlgv1CWJywF4qeEOFiUd14dVkeQjn61Yh4mOoqDVb%2Ff4BDiWtBZCNZzozDG5ryVLAM4y8kHxz2NXKdlyjgF2BwgPUMBLs4RrvMNRpgQl8PZ9KPBmhwEXq71r6E4dCCvEFCdio1Lj3aQc%2FoyG%2FdLIN3tBmSjPQ%3D%3D)]\n* COCO 2017 研讨会。[[幻灯片](http:\u002F\u002Fpresentations.cocodataset.org\u002FCOCO17-Stuff-FAIR.pdf)]\n\n\n## 博客\n* Megvii（Face++）检测团队。[[知乎]](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F59141570)","# awesome-panoptic-segmentation 快速上手指南\n\n`awesome-panoptic-segmentation` 并非一个单一的算法库，而是一个汇集了全景分割（Panoptic Segmentation）领域论文、代码、数据集和基准测试结果的资源列表。本指南将帮助你利用该列表中的资源快速开始全景分割任务。\n\n## 环境准备\n\n在开始之前，请确保你的开发环境满足以下基本要求。由于列表中包含了多个不同的项目（如 Detectron2, UPSNet, DeeperLab 等），具体依赖可能略有不同，但通用环境如下：\n\n*   **操作系统**: Linux (推荐 Ubuntu 18.04+) 或 macOS\n*   **Python**: 3.6 或更高版本\n*   **深度学习框架**: PyTorch (主流) 或 TensorFlow (部分旧项目如 DeeperLab)\n*   **硬件**: 支持 CUDA 的 NVIDIA GPU (推荐显存 8GB 以上)\n*   **前置依赖**:\n    *   `git`: 用于克隆代码库\n    *   `pip` 或 `conda`: 包管理工具\n    *   `COCO API`: 大多数项目需要此库进行评估和数据加载\n\n> **国内加速建议**：\n> *   使用清华源或阿里源加速 Python 包安装。\n> *   使用 GitHub 镜像站克隆仓库以提高速度。\n\n## 安装步骤\n\n由于这是一个资源列表，你需要先选择一个具体的实现项目进行安装。以下以列表中主流的 **Detectron2 (包含 Panoptic FPN)** 为例进行安装演示。如果你选择其他项目（如 UPSNet），请参考该项目对应的 GitHub 链接。\n\n### 1. 创建虚拟环境 (推荐)\n\n```bash\nconda create -n panoptic python=3.8\nconda activate panoptic\n```\n\n### 2. 安装 PyTorch 和 torchvision\n\n访问 [PyTorch 官网](https:\u002F\u002Fpytorch.org\u002F) 获取适合你 CUDA 版本的命令。以下是通用示例：\n\n```bash\npip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftorch_stable.html\n# 国内用户推荐使用清华源\n# pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftorch_stable.html -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 3. 安装 Detectron2 (支持全景分割)\n\n```bash\npython -m pip install 'git+https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdetectron2.git'\n# 国内加速克隆与安装\n# git clone https:\u002F\u002Fgithub.com.cnpmjs.org\u002Ffacebookresearch\u002Fdetectron2.git\n# cd detectron2 && pip install -e . -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 4. 安装 COCO API (评估必需)\n\n```bash\npip install pycocotools\n# 或者从源码安装\n# pip install 'git+https:\u002F\u002Fgithub.com\u002Fcocodataset\u002Fcocoapi.git#subdirectory=PythonAPI'\n```\n\n## 基本使用\n\n以下示例展示如何使用 Detectron2 加载预训练的全景分割模型并对单张图片进行推理。这是最基础的入门用法。\n\n### 1. 准备测试图片\n确保你有一张测试图片，例如 `input.jpg`。\n\n### 2. 运行推理代码\n\n创建一个名为 `demo.py` 的文件，写入以下代码：\n\n```python\nimport cv2\nimport matplotlib.pyplot as plt\nfrom detectron2.config import get_cfg\nfrom detectron2.engine.defaults import DefaultPredictor\nfrom detectron2.data.datasets import register_coco_panoptic_separated\nfrom detectron2.data import MetadataCatalog\nfrom detectron2.utils.visualizer import ColorMode, Visualizer\n\n# 配置模型\ncfg = get_cfg()\ncfg.merge_from_file(\"detectron2\u002Fprojects\u002FPanopticFPN\u002Fconfigs\u002FBase-Panoptic-FPN.yaml\") # 路径需根据实际安装调整，通常直接使用预训练配置\ncfg.MODEL.WEIGHTS = \"detectron2:\u002F\u002FCOCO-PanopticSegmentation\u002Fpanoptic_fpn_R_50_3x\u002F139514569\u002Fmodel_final_c10459.pkl\"\ncfg.MODEL.PANOPTIC_FPN.COMBINE.ENABLED = True\ncfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5  # 设置置信度阈值\ncfg.MODEL.DEVICE = \"cuda\"  # 或 \"cpu\"\n\npredictor = DefaultPredictor(cfg)\n\n# 读取图片\nim = cv2.imread(\"input.jpg\")\n\n# 执行推理\noutputs = predictor(im)\n\n# 可视化结果\nv = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2, instance_mode=ColorMode.IMAGE_BW)\npanoptic_seg = v.draw_panoptic_seg(outputs[\"panoptic_seg\"][0].to(\"cpu\"), outputs[\"panoptic_seg\"][1]).get_image()\n\n# 显示结果\nplt.figure(figsize=(20, 10))\nplt.imshow(panoptic_seg)\nplt.axis('off')\nplt.show()\n```\n\n### 3. 查看结果\n运行脚本后，将弹出一个窗口显示融合了语义分割（Stuff）和实例分割（Thing）的全景分割结果图。\n\n> **提示**：若要尝试列表中其他模型（如 UPSNet 或 DeeperLab），请前往 `Papers` 章节找到对应项目的 GitHub 链接，按照其特定的 `README` 进行安装和运行。","某自动驾驶初创公司的算法团队正致力于提升车辆对复杂城市道路环境的感知能力，需要同时精准识别可行驶区域（如路面、天空）和独立物体（如行人、车辆）。\n\n### 没有 awesome-panoptic-segmentation 时\n- **技术选型迷茫**：团队需要在语义分割和实例分割之间做取舍，或花费数周时间自行摸索如何将两者统一，缺乏明确的技术路线图。\n- **数据准备低效**：难以快速找到同时包含“东西”（Thing）和“背景”（Stuff）标注的高质量数据集，导致模型训练数据匮乏或不一致。\n- **评估标准混乱**：缺乏统一的评估代码和指标（如 PQ、PC），团队成员使用不同的脚本验证模型，导致结果无法横向对比，难以判断算法优劣。\n- **复现成本高昂**：想要验证前沿论文效果时，往往找不到对应的开源代码或基准测试结果，只能从头复现，严重拖慢研发进度。\n\n### 使用 awesome-panoptic-segmentation 后\n- **路线清晰明确**：直接获取全景分割领域的权威综述，快速理解如何在一个框架下统一解决两类分割任务，确立了基于 UPSNet 或 Panoptic FPN 的技术路线。\n- **数据资源直达**：通过整理的列表迅速锁定 COCO-Panoptic 和 Cityscapes 等关键数据集，立即启动高质量数据的下载与预处理流程。\n- **评估规范统一**：直接调用集成的官方评估代码和标准指标（PQ），团队内部建立了统一的性能基线，模型迭代效率显著提升。\n- **站在巨人肩上**：参考详细的 Benchmark 结果和论文链接，直接复用表现最优的骨干网络配置，将新算法的研发周期从数月缩短至数周。\n\nawesome-panoptic-segmentation 通过一站式整合资源，将团队从繁琐的信息搜集与基建工作中解放出来，使其能专注于核心算法的创新与落地。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAngzz_awesome-panoptic-segmentation_5f08d40a.png","Angzz","Ang Li","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FAngzz_1333a45b.jpg","Get your hands dirty~","NJUST & SenseTime","Nanjing. China.","liang1995513@gmail.com",null,"https:\u002F\u002Fgithub.com\u002FAngzz",557,96,"2026-03-21T07:42:30",5,"","未说明",{"notes":30,"python":28,"dependencies":31},"该仓库（awesome-panoptic-segmentation）是一个全景分割领域的资源合集，主要收录了相关论文、代码库链接、数据集介绍及基准测试结果，本身不是一个可直接运行的单一软件工具。因此，README 中未包含具体的操作系统、GPU、内存、Python 版本或依赖库的安装要求。用户若需运行其中列出的具体算法（如 UPSNet, Panoptic FPN, DeeperLab 等），需前往各算法对应的独立代码仓库查看其特定的环境配置需求。",[],[33,34],"开发框架","图像",[36,37,38],"panoptic-segmentation","computer-vision","deep-learning",2,"ready","2026-03-27T02:49:30.150509","2026-04-06T08:40:46.769974",[44,49,54],{"id":45,"question_zh":46,"answer_zh":47,"source_url":48},17740,"SOGNet (R-50) 在 COCO-val 数据集上的 SQ、RQ、mIoU 和 AP 指标是多少？","根据论文表 2，SOGNet (R-50) 在 COCO-val 上的 SQ 为 78.7，RQ 为 53.5。根据论文最后一段描述，其 mIoU 为 54.56，AP 为 34.2。","https:\u002F\u002Fgithub.com\u002FAngzz\u002Fawesome-panoptic-segmentation\u002Fissues\u002F4",{"id":50,"question_zh":51,"answer_zh":52,"source_url":53},17741,"UPSNet 在 COCO 数据集上使用 R50 骨干网络时的 PQ 得分是多少？","UPSNet 在 COCO 数据集上使用 R50（而非 R101）骨干网络时，可以获得 42.5 的 PQ 得分。这一数据参考自该论文的第 4 章。","https:\u002F\u002Fgithub.com\u002FAngzz\u002Fawesome-panoptic-segmentation\u002Fissues\u002F3",{"id":55,"question_zh":56,"answer_zh":57,"source_url":58},17742,"论文《Learning to Fuse Things and Stuff》和《An End-to-End Network for Panoptic Segmentation》是否被 CVPR 2019 录用？","是的，这两篇论文均已被 CVPR 2019 正式录用。","https:\u002F\u002Fgithub.com\u002FAngzz\u002Fawesome-panoptic-segmentation\u002Fissues\u002F1",[],[61,71,80,88,96,109],{"id":62,"name":63,"github_repo":64,"description_zh":65,"stars":66,"difficulty_score":67,"last_commit_at":68,"category_tags":69,"status":40},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[33,34,70],"Agent",{"id":72,"name":73,"github_repo":74,"description_zh":75,"stars":76,"difficulty_score":39,"last_commit_at":77,"category_tags":78,"status":40},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,"2026-04-05T23:32:43",[33,70,79],"语言模型",{"id":81,"name":82,"github_repo":83,"description_zh":84,"stars":85,"difficulty_score":39,"last_commit_at":86,"category_tags":87,"status":40},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[33,34,70],{"id":89,"name":90,"github_repo":91,"description_zh":92,"stars":93,"difficulty_score":39,"last_commit_at":94,"category_tags":95,"status":40},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[33,79],{"id":97,"name":98,"github_repo":99,"description_zh":100,"stars":101,"difficulty_score":39,"last_commit_at":102,"category_tags":103,"status":40},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[34,104,105,106,70,107,79,33,108],"数据工具","视频","插件","其他","音频",{"id":110,"name":111,"github_repo":112,"description_zh":113,"stars":114,"difficulty_score":67,"last_commit_at":115,"category_tags":116,"status":40},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[70,34,33,79,107]]