[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-mhamilton723--STEGO":3,"tool-mhamilton723--STEGO":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150037,2,"2026-04-10T23:33:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":72,"owner_website":79,"owner_url":80,"languages":81,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":10,"env_os":94,"env_gpu":95,"env_ram":94,"env_deps":96,"category_tags":107,"github_topics":108,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":114,"updated_at":115,"faqs":116,"releases":152},6582,"mhamilton723\u002FSTEGO","STEGO","Unsupervised Semantic Segmentation by Distilling Feature Correspondences","STEGO 是一款专注于无监督语义分割的开源 AI 工具，旨在让计算机在没有人工标注数据的情况下，自动识别并区分图像中的不同物体区域。传统语义分割模型依赖大量昂贵且耗时的手工标注数据，而 STEGO 巧妙解决了这一痛点，通过蒸馏特征对应关系，直接从海量未标注图像中学习语义结构。\n\n该工具特别适合计算机视觉领域的研究人员、算法开发者以及希望探索无监督学习潜力的技术团队使用。其核心技术亮点在于利用深度特征在不同图像间建立连接，发现相似的物体部分，并通过知识蒸馏技术将这些对应关系转化为精确的分割掩码。这种方法不仅降低了对标注数据的依赖，还在多个基准数据集上取得了领先的性能表现。\n\nSTEGO 提供了完整的训练与评估代码，支持用户在自己的数据集上进行微调或从头训练，同时也预置了多种主流数据集的接口和预训练模型，方便快速上手验证效果。无论是用于学术研究的算法对比，还是作为实际项目中处理缺乏标注数据场景的解决方案，STEGO 都是一个值得尝试的强大工具。","# STEGO: Unsupervised Semantic Segmentation by Distilling Feature Correspondences\n### [Project Page](https:\u002F\u002Fmhamilton.net\u002Fstego.html) | [Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.08414) | [Video](https:\u002F\u002Faka.ms\u002Fstego-video) | [ICLR 2022](https:\u002F\u002Ficlr.cc\u002Fvirtual\u002F2022\u002Fposter\u002F6068) \n\n\t\n[Mark Hamilton](https:\u002F\u002Fmhamilton.net\u002F),\n[Zhoutong Zhang](https:\u002F\u002Fztzhang.info\u002F),\n[Bharath Hariharan](http:\u002F\u002Fhome.bharathh.info\u002F),\n[Noah Snavely](https:\u002F\u002Fwww.cs.cornell.edu\u002F~snavely\u002F),\n[William T. Freeman](https:\u002F\u002Fbillf.mit.edu\u002Fabout\u002Fbio)\n\nThis is the official implementation of the paper \"Unsupervised Semantic Segmentation by Distilling Feature Correspondences\".\n\n\n[![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fmhamilton723\u002FSTEGO\u002Fblob\u002Fmaster\u002Fsrc\u002FSTEGO_Colab_Demo.ipynb) \\\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Funsupervised-semantic-segmentation-by-2\u002Funsupervised-semantic-segmentation-on)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Funsupervised-semantic-segmentation-on?p=unsupervised-semantic-segmentation-by-2)\\\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Funsupervised-semantic-segmentation-by-2\u002Funsupervised-semantic-segmentation-on-coco-4)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Funsupervised-semantic-segmentation-on-coco-4?p=unsupervised-semantic-segmentation-by-2) \\\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Funsupervised-semantic-segmentation-by-2\u002Funsupervised-semantic-segmentation-on-potsdam-1)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Funsupervised-semantic-segmentation-on-potsdam-1?p=unsupervised-semantic-segmentation-by-2)\n\n\n[![Overview Video](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Fstego-public\u002Fgraphics\u002FSTEGO%20Header%20video%20(2).jpg)](https:\u002F\u002Fyoutu.be\u002FNPub4E4o8BA)\n\n## Contents\n\u003C!--ts-->\n   * [Install](#install)\n   * [Evaluation](#evaluation)\n   * [Training](#training)\n      * [Bringing your own data](#bringing-your-own-data)\n   * [Understanding STEGO](#understanding-stego)\n      * [Unsupervised Semantic Segmentation](#unsupervised-semantic-segmentation)\n      * [Deep features connect objects across images](#deep-features-connect-objects-across-images)\n      * [The STEGO architecture](#the-stego-architecture)\n      * [Results](#results)\n   * [Citation](#citation)\n   * [Contact](#contact)\n\u003C!--te-->\n\n## Install\n\n### Clone this repository:\n```shell script\ngit clone https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FSTEGO.git\ncd STEGO\n```\n\n### Install Conda Environment\nPlease visit the [Anaconda install page](https:\u002F\u002Fdocs.anaconda.com\u002Fanaconda\u002Finstall\u002Findex.html) if you do not already have conda installed\n\n```shell script\nconda env create -f environment.yml\nconda activate stego\n```\n\n### Download Pre-Trained Models\n\n```shell script\ncd src\npython download_models.py\n```\n\n### Download Datasets\n\nFirst, change the `pytorch_data_dir` variable to your \nsystems pytorch data directory where datasets are stored. \n\n```shell script\npython download_datasets.py\n```\n\nOnce downloaded please navigate to your pytorch data dir and unzip the resulting files:\n\n```shell script\ncd \u002FYOUR\u002FPYTORCH\u002FDATA\u002FDIR\nunzip cocostuff.zip\nunzip cityscapes.zip\nunzip potsdam.zip\nunzip potsdamraw.zip\n```\n\n\n## Evaluation\n\nTo evaluate our pretrained models please run the following in `STEGO\u002Fsrc`:\n```shell script\npython eval_segmentation.py\n```\nOne can change the evaluation parameters and model by editing [`STEGO\u002Fsrc\u002Fconfigs\u002Feval_config.yml`](src\u002Fconfigs\u002Feval_config.yml)\n\n## Training\n\nTo train STEGO from scratch, please first generate the KNN indices for the datasets of interest. Note that this requires generating a cropped dataset first, and you may need to modify `crop datasets.py` to specify the dataset that you are cropping:\n\n```shell script\npython crop_datasets.py\npython precompute_knns.py\n```\n\nThen you can run the following in `STEGO\u002Fsrc`:\n```shell script\npython train_segmentation.py\n```\nHyperparameters can be adjusted in [`STEGO\u002Fsrc\u002Fconfigs\u002Ftrain_config.yml`](src\u002Fconfigs\u002Ftrain_config.yml)\n\nTo monitor training with tensorboard run the following from `STEGO` directory:\n\n```shell script\ntensorboard --logdir logs\n```\n\n### Bringing your own data\n\nTo train STEGO on your own dataset please create a directory in your pytorch data root with the following structure. Note, if you do not have labels, omit the `labels` directory from the structure:\n\n```\ndataset_name\n|── imgs\n|   ├── train\n|   |   |── unique_img_name_1.jpg\n|   |   └── unique_img_name_2.jpg\n|   └── val\n|       |── unique_img_name_3.jpg\n|       └── unique_img_name_4.jpg\n└── labels\n    ├── train\n    |   |── unique_img_name_1.png\n    |   └── unique_img_name_2.png\n    └── val\n        |── unique_img_name_3.png\n        └── unique_img_name_4.png\n```\n\nNext in [`STEGO\u002Fsrc\u002Fconfigs\u002Ftrain_config.yml`](src\u002Fconfigs\u002Ftrain_config.yml) set the following parameters:\n\n```yaml\ndataset_name: \"directory\"\ndir_dataset_name: \"dataset_name\"\ndir_dataset_n_classes: 5 # This is the number of object types to find\n```\n\nIf you want to train with cropping to increase spatial resolution run our [cropping utility](src\u002Fcrop_datasets.py).\n\nFinally, uncomment the custom dataset code and run `python precompute_knns.py`\n from `STEGO\\src` to generate the prerequisite KNN information for the custom dataset.\n \nYou can now train on your custom dataset using:\n```shell script\npython train_segmentation.py\n```\n\n## Understanding STEGO\n\n### Unsupervised semantic segmentation\nReal-world images can be cluttered with multiple objects making classification feel arbitrary. Furthermore, objects in the real world don't always fit in bounding boxes. Semantic segmentation methods aim to avoid these challenges by assigning each pixel of an image its own class label. Conventional semantic segmentation methods are notoriously difficult to train due to their dependence on densely labeled images, which can take 100x longer to create than bounding boxes or class annotations. This makes it hard to gather sizable and diverse datasets impossible in domains where humans don't know the structure a-priori. We sidestep these challenges by learning an ontology of objects with pixel-level semantic segmentation through only self-supervision.\n\n### Deep features connect objects across images\nSelf-supervised contrastive learning enables algorithms to learn intelligent representations for images without supervision. STEGO builds on this work by showing that representations from self-supervised visual transformers like  Caron et. al.’s  DINO are already aware of the relationships between objects. By computing the cosine similarity between image features, we can see that similar semantic regions such as grass, motorcycles, and sky are “linked” together by feature similarity.\n\n![Feature connection GIF](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmhamilton723_STEGO_readme_f8ff7a1e73be.gif)\n\n\n### The STEGO architecture\nThe STEGO unsupervised segmentation system learns by distilling correspondences between images into a set of class labels using a contrastive loss. In particular we aim to learn a segmentation that respects the induced correspondences between objects. To achieve this we train a shallow segmentation network on top of the DINO ViT backbone with three contrastive terms that distill connections between an image and itself, similar images, and random other images respectively. If two regions are strongly coupled by deep features we encourage them to share the same class.\n\n![Architecture](results\u002Ffigures\u002Fstego.svg)\n\n### Results\n\nWe evaluate the STEGO algorithm on the CocoStuff, Cityscapes, and Potsdam semantic segmentation datasets. Because these methods see no labels, we use a Hungarian matching algorithm to find the best mapping between clusters and dataset classes. We find that STEGO is capable of segmenting complex and cluttered scenes with much higher spatial resolution and sensitivity than the prior art, [PiCIE](https:\u002F\u002Fsites.google.com\u002Fview\u002Fpicie-cvpr2021\u002Fhome). This not only yields a substantial qualitative improvement, but also more than doubles the mean intersection over union (mIoU). For results on Cityscapes, and Potsdam see [our paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.08414).\n\n![Cocostuff results](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmhamilton723_STEGO_readme_a613637c4744.jpg)\n\n\n## Citation\n\n```\n@inproceedings{hamilton2022unsupervised,\n\ttitle={Unsupervised Semantic Segmentation by Distilling Feature Correspondences},\n\tauthor={Mark Hamilton and Zhoutong Zhang and Bharath Hariharan and Noah Snavely and William T. Freeman},\n\tbooktitle={International Conference on Learning Representations},\n\tyear={2022},\n\turl={https:\u002F\u002Fopenreview.net\u002Fforum?id=SaKO6z6Hl0c}\n}\n```\n\n## Contact\n\nFor feedback, questions, or press inquiries please contact [Mark Hamilton](mailto:markth@mit.edu)\n","# STEGO：通过提炼特征对应关系实现无监督语义分割\n### [项目页面](https:\u002F\u002Fmhamilton.net\u002Fstego.html) | [论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.08414) | [视频](https:\u002F\u002Faka.ms\u002Fstego-video) | [ICLR 2022](https:\u002F\u002Ficlr.cc\u002Fvirtual\u002F2022\u002Fposter\u002F6068) \n\n\t\n[Mark Hamilton](https:\u002F\u002Fmhamilton.net\u002F),\n[Zhoutong Zhang](https:\u002F\u002Fztzhang.info\u002F),\n[Bharath Hariharan](http:\u002F\u002Fhome.bharathh.info\u002F),\n[Noah Snavely](https:\u002F\u002Fwww.cs.cornell.edu\u002F~snavely\u002F),\n[William T. Freeman](https:\u002F\u002Fbillf.mit.edu\u002Fabout\u002Fbio)\n\n这是论文“通过提炼特征对应关系实现无监督语义分割”的官方实现。\n\n\n[![在 Colab 中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fmhamilton723\u002FSTEGO\u002Fblob\u002Fmaster\u002Fsrc\u002FSTEGO_Colab_Demo.ipynb) \\\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Funsupervised-semantic-segmentation-by-2\u002Funsupervised-semantic-segmentation-on)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Funsupervised-semantic-segmentation-on?p=unsupervised-semantic-segmentation-by-2)\\\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Funsupervised-semantic-segmentation-by-2\u002Funsupervised-semantic-segmentation-on-coco-4)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Funsupervised-semantic-segmentation-on-coco-4?p=unsupervised-semantic-segmentation-by-2) \\\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Funsupervised-semantic-segmentation-by-2\u002Funsupervised-semantic-segmentation-on-potsdam-1)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Funsupervised-semantic-segmentation-on-potsdam-1?p=unsupervised-semantic-segmentation-by-2)\n\n\n[![概览视频](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Fstego-public\u002Fgraphics\u002FSTEGO%20Header%20video%20(2).jpg)](https:\u002F\u002Fyoutu.be\u002FNPub4E4o8BA)\n\n## 目录\n\u003C!--ts-->\n   * [安装](#install)\n   * [评估](#evaluation)\n   * [训练](#training)\n      * [使用自定义数据](#bringing-your-own-data)\n   * [理解 STEGO](#understanding-stego)\n      * [无监督语义分割](#unsupervised-semantic-segmentation)\n      * [深度特征连接跨图像的物体](#deep-features-connect-objects-across-images)\n      * [STEGO 架构](#the-stego-architecture)\n      * [结果](#results)\n   * [引用](#citation)\n   * [联系](#contact)\n\u003C!--te-->\n\n## 安装\n\n### 克隆本仓库：\n```shell script\ngit clone https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FSTEGO.git\ncd STEGO\n```\n\n### 安装 Conda 环境\n如果您尚未安装 conda，请访问 [Anaconda 安装页面](https:\u002F\u002Fdocs.anaconda.com\u002Fanaconda\u002Finstall\u002Findex.html)\n\n```shell script\nconda env create -f environment.yml\nconda activate stego\n```\n\n### 下载预训练模型\n\n```shell script\ncd src\npython download_models.py\n```\n\n### 下载数据集\n\n首先，将 `pytorch_data_dir` 变量更改为您的 PyTorch 数据目录，即存储数据集的地方。\n\n```shell script\npython download_datasets.py\n```\n\n下载完成后，请导航到您的 PyTorch 数据目录并解压文件：\n\n```shell script\ncd \u002FYOUR\u002FPYTORCH\u002FDATA\u002FDIR\nunzip cocostuff.zip\nunzip cityscapes.zip\nunzip potsdam.zip\nunzip potsdamraw.zip\n```\n\n\n## 评估\n\n要评估我们的预训练模型，请在 `STEGO\u002Fsrc` 中运行以下命令：\n```shell script\npython eval_segmentation.py\n```\n可以通过编辑 [`STEGO\u002Fsrc\u002Fconfigs\u002Feval_config.yml`](src\u002Fconfigs\u002Feval_config.yml) 来更改评估参数和模型。\n\n## 训练\n\n要从头开始训练 STEGO，请先为感兴趣的数据集生成 KNN 索引。请注意，这需要先生成裁剪后的数据集，并且您可能需要修改 `crop_datasets.py` 来指定要裁剪的数据集：\n\n```shell script\npython crop_datasets.py\npython precompute_knns.py\n```\n\n然后您可以在 `STEGO\u002Fsrc` 中运行以下命令：\n```shell script\npython train_segmentation.py\n```\n超参数可以在 [`STEGO\u002Fsrc\u002Fconfigs\u002Ftrain_config.yml`](src\u002Fconfigs\u002Ftrain_config.yml) 中调整。\n\n要使用 TensorBoard 监控训练过程，请从 `STEGO` 目录运行以下命令：\n\n```shell script\ntensorboard --logdir logs\n```\n\n### 使用自定义数据\n\n要使用您自己的数据集训练 STEGO，请在您的 PyTorch 数据根目录中创建一个具有以下结构的目录。请注意，如果您没有标签，请省略 `labels` 目录：\n\n```\ndataset_name\n|── imgs\n|   ├── train\n|   |   |── unique_img_name_1.jpg\n|   |   └── unique_img_name_2.jpg\n|   └── val\n|       |── unique_img_name_3.jpg\n|       └── unique_img_name_4.jpg\n└── labels\n    ├── train\n    |   |── unique_img_name_1.png\n    |   └── unique_img_name_2.png\n    └── val\n        |── unique_img_name_3.png\n        └── unique_img_name_4.png\n```\n\n接下来，在 [`STEGO\u002Fsrc\u002Fconfigs\u002Ftrain_config.yml`](src\u002Fconfigs\u002Ftrain_config.yml) 中设置以下参数：\n\n```yaml\ndataset_name: \"directory\"\ndir_dataset_name: \"dataset_name\"\ndir_dataset_n_classes: 5 # 这是需要识别的对象类型数量\n```\n\n如果您希望通过裁剪来提高空间分辨率，可以使用我们的 [裁剪工具](src\u002Fcrop_datasets.py)。\n\n最后，取消注释自定义数据集代码，并从 `STEGO\\src` 运行 `python precompute_knns.py`，以生成自定义数据集所需的 KNN 信息。\n \n现在您可以使用以下命令在自定义数据集上进行训练：\n```shell script\npython train_segmentation.py\n```\n\n## 理解 STEGO\n\n### 无监督语义分割\n现实世界的图像往往杂乱无章，包含多种物体，这使得分类显得随意。此外，现实中的物体并不总是能被边界框完全包围。语义分割方法旨在通过为图像中的每个像素分配独立的类别标签来避免这些挑战。然而，传统的语义分割方法由于依赖于密集标注的图像而难以训练，而密集标注所需的时间可能是边界框或类别标注的 100 倍。这使得在人类事先不了解数据结构的领域中，收集大规模且多样化的数据集变得极为困难。我们通过仅利用自监督学习，以像素级语义分割的方式学习对象的本体论，从而绕过这些挑战。\n\n### 深度特征连接跨图像的物体\n自监督对比学习使算法能够在无需人工标注的情况下学习图像的智能表示。STEGO 在此基础上进一步发现，像 Caron 等人的 DINO 这样的自监督视觉 Transformer 所提取的特征已经能够捕捉到物体之间的关系。通过计算图像特征之间的余弦相似度，我们可以看到，诸如草地、摩托车和天空等语义区域会因特征相似性而“连接”在一起。\n\n![特征连接 GIF](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmhamilton723_STEGO_readme_f8ff7a1e73be.gif)\n\n### STEGO 架构\nSTEGO 无监督分割系统通过对比损失，将图像之间的对应关系提炼为一组类别标签来学习。具体而言，我们的目标是学习一种能够尊重对象之间所诱导对应关系的分割结果。为此，我们在 DINO ViT 主干网络之上训练了一个浅层分割网络，并引入了三项对比损失项，分别用于提炼图像与其自身、相似图像以及随机其他图像之间的关联。如果两个区域在深度特征上存在强耦合关系，我们就鼓励它们共享同一类别。\n\n![架构](results\u002Ffigures\u002Fstego.svg)\n\n### 结果\n\n我们在 CocoStuff、Cityscapes 和 Potsdam 语义分割数据集上评估了 STEGO 算法。由于这些方法未使用任何标注信息，我们采用匈牙利匹配算法来寻找聚类与数据集类别之间的最佳映射。实验结果表明，STEGO 能够以远高于现有方法 [PiCIE](https:\u002F\u002Fsites.google.com\u002Fview\u002Fpicie-cvpr2021\u002Fhome) 的空间分辨率和灵敏度，对复杂且杂乱的场景进行分割。这不仅带来了显著的定性提升，还使平均交并比（mIoU）提高了两倍以上。有关 Cityscapes 和 Potsdam 数据集上的结果，请参阅我们的论文：[arXiv 链接](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.08414)。\n\n![Cocostuff 结果](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmhamilton723_STEGO_readme_a613637c4744.jpg)\n\n\n## 引用\n\n```\n@inproceedings{hamilton2022unsupervised,\n\ttitle={通过提炼特征对应关系实现无监督语义分割},\n\tauthor={Mark Hamilton、Zhoutong Zhang、Bharath Hariharan、Noah Snavely、William T. Freeman},\n\tbooktitle={国际表示学习大会},\n\tyear={2022},\n\turl={https:\u002F\u002Fopenreview.net\u002Fforum?id=SaKO6z6Hl0c}\n}\n```\n\n## 联系方式\n\n如需反馈、提问或媒体咨询，请联系 [Mark Hamilton](mailto:markth@mit.edu)。","# STEGO 快速上手指南\n\nSTEGO 是一个基于无监督学习的语义分割工具，通过蒸馏特征对应关系，无需人工标注即可将图像中的物体划分为不同的语义类别。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **依赖管理**: Conda (必须)\n*   **硬件要求**: 支持 CUDA 的 NVIDIA GPU (用于训练和推理)\n*   **前置知识**: 熟悉 Python 基础及 PyTorch 深度学习框架\n\n> **注意**: 请确保已安装 Anaconda 或 Miniconda。如未安装，请访问 [Anaconda 官网](https:\u002F\u002Fdocs.anaconda.com\u002Fanaconda\u002Finstall\u002Findex.html) 下载。国内用户可使用清华或中科大镜像源加速 conda 包下载。\n\n## 安装步骤\n\n### 1. 克隆代码仓库\n```shell script\ngit clone https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FSTEGO.git\ncd STEGO\n```\n\n### 2. 创建并激活 Conda 环境\n使用项目提供的配置文件创建环境：\n```shell script\nconda env create -f environment.yml\nconda activate stego\n```\n*(国内用户若下载慢，可在 `.condarc` 中配置清华源：`conda config --add channels https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fpkgs\u002Fmain\u002F`)*\n\n### 3. 下载预训练模型\n进入 `src` 目录并运行下载脚本：\n```shell script\ncd src\npython download_models.py\n```\n\n### 4. 下载数据集 (可选)\n如需复现论文结果或进行标准评估，需下载数据集。\n首先修改 `download_datasets.py` 中的 `pytorch_data_dir` 变量，指向你本地的 PyTorch 数据存放目录。\n\n```shell script\npython download_datasets.py\n```\n\n下载完成后，进入数据目录解压文件：\n```shell script\ncd \u002FYOUR\u002FPYTORCH\u002FDATA\u002FDIR\nunzip cocostuff.zip\nunzip cityscapes.zip\nunzip potsdam.zip\nunzip potsdamraw.zip\n```\n\n## 基本使用\n\n### 场景一：评估预训练模型\n最直接的使用方式是运行官方提供的预训练模型进行评估。\n\n在 `STEGO\u002Fsrc` 目录下执行：\n```shell script\npython eval_segmentation.py\n```\n*   **自定义配置**: 如需更改评估参数或切换模型，请编辑 `STEGO\u002Fsrc\u002Fconfigs\u002Feval_config.yml` 文件。\n\n### 场景二：在自己的数据上训练\n如果你希望用自己的图片集训练 STEGO（无标签数据），请按以下步骤操作：\n\n**1. 准备数据目录结构**\n在你的 PyTorch 数据根目录下创建文件夹，结构如下（若无标签可省略 `labels` 文件夹）：\n```text\ndataset_name\n|── imgs\n|   ├── train\n|   |   |── unique_img_name_1.jpg\n|   |   └── unique_img_name_2.jpg\n|   └── val\n|       |── unique_img_name_3.jpg\n|       └── unique_img_name_4.jpg\n└── labels (可选)\n    ├── train\n    |   |── unique_img_name_1.png\n    |   └── unique_img_name_2.png\n    └── val\n        |── unique_img_name_3.png\n        └── unique_img_name_4.png\n```\n\n**2. 修改配置文件**\n编辑 `STEGO\u002Fsrc\u002Fconfigs\u002Ftrain_config.yml`，设置以下参数：\n```yaml\ndataset_name: \"directory\"\ndir_dataset_name: \"dataset_name\"  # 替换为你实际的文件夹名称\ndir_dataset_n_classes: 5          # 设定你希望发现的物体类别数量\n```\n\n**3. 预处理数据**\n生成裁剪后的数据集及 KNN 索引（这是训练的前置步骤）：\n```shell script\n# 如需提高空间分辨率，可先运行裁剪工具\npython crop_datasets.py \n\n# 生成 KNN 信息\npython precompute_knns.py\n```\n*注意：运行 `precompute_knns.py` 前，请确保在配置文件中取消注释自定义数据集相关的代码部分。*\n\n**4. 开始训练**\n```shell script\npython train_segmentation.py\n```\n\n**5. 监控训练过程**\n在新终端窗口中运行 TensorBoard 查看日志：\n```shell script\ntensorboard --logdir logs\n```","一家农业科技公司正在利用无人机航拍图像监测大面积农田的作物生长状况，急需从海量未标注图片中自动识别出作物、杂草和裸露土壤区域。\n\n### 没有 STEGO 时\n- **标注成本极高**：团队需要雇佣专业人员对数万张航拍图进行像素级人工标注，耗时数周且费用昂贵。\n- **冷启动困难**：面对新引入的特殊作物品种或罕见杂草，由于缺乏现成的标注数据，传统监督学习模型完全无法训练。\n- **泛化能力受限**：在不同光照、季节或拍摄角度下，预先训练的模型效果急剧下降，需反复重新采集数据并标注。\n- **细粒度识别缺失**：简单的聚类算法只能区分大致色块，无法准确分离语义上不同但视觉上相似的对象（如不同种类的杂草）。\n\n### 使用 STEGO 后\n- **实现零标注训练**：STEGO 直接利用无标签图像，通过蒸馏特征对应关系自动挖掘语义结构，省去了所有人工标注环节。\n- **快速适应新场景**：只需输入新的田间航拍视频流，STEGO 即可在无先验知识的情况下，自动发现并分割出新出现的作物或病害区域。\n- **跨域鲁棒性强**：凭借深度特征的全局关联能力，STEGO 在清晨、黄昏或阴影遮挡等复杂环境下，仍能保持稳定的分割精度。\n- **语义理解更精准**：不仅能区分颜色差异，还能基于物体结构的相似性，将分散在同一图中的同类作物精准聚合，输出高质量的语义掩码。\n\nSTEGO 通过将无监督学习转化为高精度的语义分割能力，让计算机视觉项目摆脱了对昂贵标注数据的依赖，实现了真正的“数据即模型”。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmhamilton723_STEGO_f8ff7a1e.gif","mhamilton723","Mark Hamilton","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmhamilton723_95565b06.jpg","PhD Student at MIT, Senior Software Engineer at Microsoft","Microsoft",null,"marhamil@microsoft.com","https:\u002F\u002Fmhamilton.net","https:\u002F\u002Fgithub.com\u002Fmhamilton723",[82,86],{"name":83,"color":84,"percentage":85},"Jupyter Notebook","#DA5B0B",55.7,{"name":87,"color":88,"percentage":89},"Python","#3572A5",44.3,787,159,"2026-04-04T10:47:53","MIT","未说明","需要 NVIDIA GPU (隐含，因使用 PyTorch 和 DINO ViT 进行训练\u002F评估)，具体型号和显存大小未说明",{"notes":97,"python":98,"dependencies":99},"1. 必须使用 Conda 管理环境，通过提供的 environment.yml 文件创建。2. 首次运行前需手动执行脚本下载预训练模型和数据集（包括 COCOStuff, Cityscapes, Potsdam）。3. 训练自定义数据前需先运行 crop_datasets.py 和 precompute_knns.py 生成 KNN 索引。4. 项目基于 DINO ViT 骨干网络进行无监督语义分割。","未说明 (需通过 conda environment.yml 安装)",[100,101,102,103,104,105,106],"pytorch","torchvision","DINO (ViT backbone)","tensorboard","scikit-learn (隐含用于 KNN)","numpy","Pillow",[15,14],[109,110,111,100,112,113],"computer-vision","deep-learning","iclr2022","semantic-segmentation","unsupervised-learning","2026-03-27T02:49:30.150509","2026-04-11T17:39:39.194985",[117,122,127,132,137,142,147],{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},29718,"在 Ubuntu 22.04 上使用 YAML 文件创建环境失败，或者默认安装了 CPU 版本的 PyTorch 怎么办？","建议使用维护者提供的适用于 Python 3.7 的环境文件。如果 mamba 默认安装了 CPU 版本的 PyTorch，需要在命令行中强制指定 CUDA 版本进行安装。例如运行以下命令：\nmamba install \"pytorch=*=*cuda*\" pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=11.3 -c pytorch -c conda-forge","https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FSTEGO\u002Fissues\u002F83",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},29719,"运行 download_datasets.py 脚本下载数据集时总是失败或卡住，有什么替代方案吗？","如果官方脚本、curl 或 wget 下载失败（如卡在 2%、5% 等进度），建议尝试使用微软的 azcopy 工具，它更加可靠。\n使用方法参考：https:\u002F\u002Flearn.microsoft.com\u002Fen-us\u002Fazure\u002Fstorage\u002Fcommon\u002Fstorage-use-azcopy-v10","https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FSTEGO\u002Fissues\u002F55",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},29720,"如何使用预训练模型对新图像进行分割测试（demo_segmentation.py）？","需要修改 `demo_config.yml` 配置文件。主要步骤包括：\n1. 编辑 `demo_config.yml` 中的路径参数。\n2. 将 `model_path` 更改为训练时保存的检查点文件（checkpoint）路径。\n3. 在 STEGO\u002Fsrc 目录下运行 `python demo_segmentation.py`。\n注意：如果结果全黑，请确保模型路径正确且使用了训练收敛后的检查点。","https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FSTEGO\u002Fissues\u002F7",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},29721,"运行评估脚本（eval_segmentation.py）时出现内存溢出（OOM）错误怎么办？","默认代码会先将所有图像的 STEGO 输出计算并存储在内存中，然后再执行 CRF，这会导致内存溢出（即使 GPU 显存充足）。\n解决方案：切换到 `master` 分支。该分支包含一个优化版本的 `eval_segmentation.py`，其内存占用更少，可以避免此问题。","https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FSTEGO\u002Fissues\u002F1",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},29722,"使用自定义数据集训练时出现 \"RuntimeError: selected index k out of range\" 错误如何解决？","该错误通常发生在设置 `topk` 参数时。当 `topk` 的值大于数据集中实际可用的邻居数量或类别数时会出现此错误。\n解决方法：检查并减小配置文件中的 `topk` 值，确保它不超过数据集中图像对的数量或类别的限制（例如，如果只有 5 个类，topk 不应设置得过大）。","https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FSTEGO\u002Fissues\u002F64",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},29723,"为什么模型训练时会结合线性探测损失（linear probe loss）和聚类损失（cluster loss），而论文中似乎说不应使用线性探测损失？","虽然论文强调无监督特性，但在代码实现中，线性探测损失和聚类损失共同构成了反向传播的总损失。这是一种工程上的优化策略：线性探测损失提供了额外的监督信号（即使是在探针层面），有助于稳定训练过程并提升特征表示的质量，而聚类损失则负责主要的无监督结构学习。两者结合能取得更好的实际效果。","https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FSTEGO\u002Fissues\u002F57",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},29724,"STEGO 架构中的“随机图像对应（random images correspondence）”具体指什么？既然数据集中图像都有相似特征，为何称为随机？","“随机图像对”指的是在训练批次中随机抽取的两张不相关的图像。尽管数据集中的图像可能包含相似的物体或纹理，但从统计分布上看，随机配对的两张图像在像素级和语义级上通常是不匹配的。\n在损失函数设计中：\n1. 自身对应（Self）和 K 近邻（KNN）对应主要提供“正样本”信号（吸引相似特征）。\n2. 随机图像对主要提供“负样本”信号（排斥不相关特征），帮助模型区分不同实例的特征，从而学习到更鲁棒的分割边界。","https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FSTEGO\u002Fissues\u002F48",[]]