[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-hustvl--ViTMatte":3,"tool-hustvl--ViTMatte":64},[4,17,26,40,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[13,14,15],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":23,"last_commit_at":32,"category_tags":33,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,34,35,36,15,37,38,13,39],"数据工具","视频","插件","其他","语言模型","音频",{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":10,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,38,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":10,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[38,14,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[13,14],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":79,"owner_url":80,"languages":81,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":10,"env_os":90,"env_gpu":90,"env_ram":90,"env_deps":91,"category_tags":95,"github_topics":79,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":96,"updated_at":97,"faqs":98,"releases":128},1130,"hustvl\u002FViTMatte","ViTMatte","[Information Fusion (Vol.103, Mar. '24)] Boosting Image Matting with Pretrained Plain Vision Transformers","ViTMatte 是一款基于预训练纯视觉 Transformer（Plain ViT）的高效图像抠图开源项目。尽管 ViT 模型在各类视觉任务中表现优异，但此前并未在图像精细抠图领域取得突破，ViTMatte 成功解决了这一难题。\n\n其核心技术亮点在于利用混合注意力机制配合卷积颈部结构，实现了性能与计算效率的完美平衡，同时引入细节捕捉模块以增强边缘处理精度。这使得 ViTMatte 在面对复杂背景时，仍能输出高质量的透明通道。\n\n目前，ViTMatte 已被顶级期刊《Information Fusion》收录，并接入 HuggingFace 库，提供 Colab 在线演示及 Nuke 插件支持。无论是致力于前沿算法研究的研究人员、需要集成模型的开发团队，还是追求高效工作流的设计师，都能从 ViTMatte 中获益。凭借极高的社区活跃度和下载量，ViTMatte 已成为图像分割领域值得尝试的先进方案。","\u003Cdiv align=\"center\">\n\u003Ch1> ViTMatte🐒\u003C\u002Fh1>\n\u003Ch3> Boosting Image Matting with Pretrained Plain Vision Transformers\u003C\u002Fh3>\n\n[Jingfeng Yao](https:\u002F\u002Fgithub.com\u002FJingfengYao)\u003Csup>1\u003C\u002Fsup>, [Xinggang Wang](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=qNCTLV0AAAAJ&hl=zh-CN)\u003Csup>1 📧\u003C\u002Fsup>, [Shusheng Yang](https:\u002F\u002Fgithub.com\u002Fvealocia)\u003Csup>1\u003C\u002Fsup>, [Baoyuan Wang](https:\u002F\u002Fsites.google.com\u002Fsite\u002Fzjuwby\u002F)\u003Csup>2\u003C\u002Fsup>\n\n\u003Csup>1\u003C\u002Fsup> School of EIC, HUST, \u003Csup>2\u003C\u002Fsup> Xiaobing.AI\n\n(\u003Csup>📧\u003C\u002Fsup>) corresponding author.\n\n[![arxiv paper](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-paper-orange)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.15272)\n[![Colab Demo](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1Dc2qoJueNZQyrTU19sIcrPyRDmvuMTF3?usp=sharing)\n[![Static Badge](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fbilibili-tutorial-pink)](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV191421q7PX\u002F?spm_id_from=333.337.search-card.all.click&vd_source=d77720fde1697e9f7510096fea727a91)\n[![license](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-MIT-blue)](LICENSE)\n[![authors](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fby-hustvl-green)](https:\u002F\u002Fgithub.com\u002Fhustvl)\n\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvitmatte-boosting-image-matting-with\u002Fimage-matting-on-composition-1k-1)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fimage-matting-on-composition-1k-1?p=vitmatte-boosting-image-matting-with)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvitmatte-boosting-image-matting-with\u002Fimage-matting-on-distinctions-646)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fimage-matting-on-distinctions-646?p=vitmatte-boosting-image-matting-with)\n\n\u003C\u002Fdiv>\n\n#\n\n## News\n* **`Aug 13th, 2025`:** ViTMatte's **monthly downloading** is over **4,000,000** times. That's incredible! Thanks a lot for your like!\n* **`May 24th, 2024`:** ViTMatte has been brought to [**The Foundry's Nuke**](https:\u002F\u002Fgithub.com\u002Frafaelperez\u002FViTMatte-for-Nuke). Here is a [bilibili tutorial](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV191421q7PX\u002F?spm_id_from=333.337.search-card.all.click&vd_source=d77720fde1697e9f7510096fea727a91). Thanks a lot!\n* **`Oct 19th, 2023`:** **ViTMatte has been accepted by [Information Fusion](https:\u002F\u002Fwww.sciencedirect.com\u002Fscience\u002Farticle\u002Fpii\u002FS1566253523004074) (IF=18.6)!**\n* **`Sep 21th, 2023`:** **ViTMatte is now available in 🤗[HuggingFace Transformers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmain\u002Fmodel_doc\u002Fvitmatte#vitmatte)!** Many thanks to [Niels](https:\u002F\u002Fnielsrogge.github.io\u002F)!\n* **`June 12th, 2023`:** We released google colab demo.  Try ViTMatte online!\n* **`June 9th, 2023`:**  Many thanks to [Lucas](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=zh-CN&user=p2gwhK4AAAAJ) for creating ViT and [twitting](https:\u002F\u002Ftwitter.com\u002Fgiffmana\u002Fstatus\u002F1667091401463537665) our ViTMatte paper!\n* **`June 8th, 2023`:**  [Matte Anything](https:\u002F\u002Fgithub.com\u002Fhustvl\u002FMatte-Anything) is released! If you like ViTMatte, you may also like Matte Anything.\n\n* **`May 27th, 2023`:**  We released pretrained weights of ViTMatte!\n\n* **`May 25th, 2023`:**  We released codes of ViTMatte. The pretrained models will be coming soon!\n* **`May 24th, 2023`:**  We released our paper on [arxiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.15272). \n\n## Introduction\n\u003Cdiv align=\"center\">\u003Ch4>Plain Vision Transformer could also do image matting with simple ViTMatte framework!\u003C\u002Fh4>\u003C\u002Fdiv>\n\n![avatar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhustvl_ViTMatte_readme_9e8b94a4a5c5.png)\n\nRecently, plain vision Transformers (ViTs) have shown impressive performance on various computer vision tasks, thanks to their strong modeling capacity and large-scale pretraining. However, they have not yet conquered the problem of image matting. We hypothesize that image matting could also be boosted by ViTs and present a new efficient and robust ViT-based matting system, named ViTMatte. Our method utilizes (i) a hybrid attention mechanism combined with a convolution neck to help ViTs achieve an excellent performance-computation trade-off in matting tasks. (ii) Additionally, we introduce the detail capture module, which just consists of simple lightweight convolutions to complement the detailed information required by matting. To the best of our knowledge, ViTMatte is the first work to unleash the potential of ViT on image matting with concise adaptation. It inherits many superior properties from ViT to matting, including various pretraining strategies, concise architecture design, and flexible inference strategies. We evaluate ViTMatte on Composition-1k and Distinctions-646, the most commonly used benchmark for image matting, our method achieves state-of-the-art performance and outperforms prior matting works by a large margin.\n\n## Get Started\n\n* [Installation](docs\u002Finstallation.md)\n* [Train](docs\u002Ftrain.md)\n* [Test](docs\u002Ftest.md)\n\n## Demo\n\nYou could try to matting the demo image with its corresponding trimap by run:\n```\npython run_one_image.py \\\n    --model vitmatte-s \\\n    --checkpoint-dir path\u002Fto\u002Fcheckpoint\n```\nThe demo images will be saved in ``.\u002Fdemo``.\nYou could also try with your own image and trimap with the same file.\n\nBesides, you can also try ViTMatte in [![Colab Demo](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1Dc2qoJueNZQyrTU19sIcrPyRDmvuMTF3?usp=sharing). It is a simple demo to show the ability of ViTMatte.\n\n## Results\n\nQuantitative Results on [Composition-1k](https:\u002F\u002Fpaperswithcode.com\u002Fdataset\u002Fcomposition-1k)\n| Model      | SAD   | MSE | Grad | Conn  | checkpoints |\n| ---------- | ----- | --- | ---- | ----- | ----------- |\n| ViTMatte-S | 21.46 | 3.3 | 7.24 | 16.21 | [GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F12VKhSwE_miF9lWQQCgK7mv83rJIls3Xe\u002Fview?usp=sharing) |\n| ViTMatte-B | 20.33 | 3.0 | 6.74 | 14.78 | [GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1mOO5MMU4kwhNX96AlfpwjAoMM4V5w3k-\u002Fview?usp=sharing) |\n\nQuantitative Results on [Distinctions-646](https:\u002F\u002Fpaperswithcode.com\u002Fdataset\u002Fdistinctions-646)\n| Model      | SAD   | MSE | Grad | Conn  | checkpoints |\n| ---------- | ----- | --- | ---- | ----- | ----------- |\n| ViTMatte-S | 21.22 | 2.1 | 8.78 | 17.55 | [GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F18wIFlhFY9MPqyH0FGiB0PFk3Xp2xTHzx\u002Fview?usp=sharing) |\n| ViTMatte-B | 17.05 | 1.5 | 7.03 | 12.95 | [GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1d97oKuITCeWgai2Tf3iNilt6rMSSYzkW\u002Fview?usp=sharing) |\n\n## Citation\n```\n@article{yao2024vitmatte,\n  title={ViTMatte: Boosting image matting with pre-trained plain vision transformers},\n  author={Yao, Jingfeng and Wang, Xinggang and Yang, Shusheng and Wang, Baoyuan},\n  journal={Information Fusion},\n  volume={103},\n  pages={102091},\n  year={2024},\n  publisher={Elsevier}\n}\n```\n","\u003Cdiv align=\"center\">\n\u003Ch1> ViTMatte🐒\u003C\u002Fh1>\n\u003Ch3> 利用预训练的普通视觉Transformer提升图像抠图效果\u003C\u002Fh3>\n\n[Jingfeng Yao](https:\u002F\u002Fgithub.com\u002FJingfengYao)\u003Csup>1\u003C\u002Fsup>, [Xinggang Wang](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=qNCTLV0AAAAJ&hl=zh-CN)\u003Csup>1 📧\u003C\u002Fsup>, [Shusheng Yang](https:\u002F\u002Fgithub.com\u002Fvealocia)\u003Csup>1\u003C\u002Fsup>, [Baoyuan Wang](https:\u002F\u002Fsites.google.com\u002Fsite\u002Fzjuwby\u002F)\u003Csup>2\u003C\u002Fsup>\n\n\u003Csup>1\u003C\u002Fsup> 华中科技大学电子信息学院，\u003Csup>2\u003C\u002Fsup> 小冰公司\n\n(\u003Csup>📧\u003C\u002Fsup>) 通讯作者。\n\n[![arxiv论文](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-paper-orange)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.15272)\n[![Colab演示](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1Dc2qoJueNZQyrTU19sIcrPyRDmvuMTF3?usp=sharing)\n[![静态徽章](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fbilibili-tutorial-pink)](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV191421q7PX\u002F?spm_id_from=333.337.search-card.all.click&vd_source=d77720fde1697e9f7510096fea727a91)\n[![许可证](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-MIT-blue)](LICENSE)\n[![作者](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fby-hustvl-green)](https:\u002F\u002Fgithub.com\u002Fhustvl)\n\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvitmatte-boosting-image-matting-with\u002Fimage-matting-on-composition-1k-1)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fimage-matting-on-composition-1k-1?p=vitmatte-boosting-image-matting-with)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvitmatte-boosting-image-matting-with\u002Fimage-matting-on-distinctions-646)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fimage-matting-on-distinctions-646?p=vitmatte-boosting-image-matting-with)\n\n\u003C\u002Fdiv>\n\n#\n\n## 新闻\n* **`2025年8月13日`:** ViTMatte的**月下载量**已超过**400万次**。真是太棒了！非常感谢大家的喜爱！\n* **`2024年5月24日`:** ViTMatte已被集成到[**The Foundry's Nuke**](https:\u002F\u002Fgithub.com\u002Frafaelperez\u002FViTMatte-for-Nuke)中。这里有一份[bilibili教程](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV191421q7PX\u002F?spm_id_from=333.337.search-card.all.click&vd_source=d77720fde1697e9f7510096fea727a91)。非常感谢！\n* **`2023年10月19日`:** **ViTMatte已被[Information Fusion](https:\u002F\u002Fwww.sciencedirect.com\u002Fscience\u002Farticle\u002Fpii\u002FS1566253523004074)（IF=18.6）接收！**\n* **`2023年9月21日`:** **ViTMatte现已在🤗[HuggingFace Transformers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmain\u002Fmodel_doc\u002Fvitmatte#vitmatte)中上线！** 非常感谢[Niels](https:\u002F\u002Fnielsrogge.github.io\u002F)！\n* **`2023年6月12日`:** 我们发布了Google Colab演示。快来在线体验ViTMatte吧！\n* **`2023年6月9日`:** 非常感谢[Lucas](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=zh-CN&user=p2gwhK4AAAAJ)发明了ViT，并在[推特](https:\u002F\u002Ftwitter.com\u002Fgiffmana\u002Fstatus\u002F1667091401463537665)上分享了我们的ViTMatte论文！\n* **`2023年6月8日`:**  [Matte Anything](https:\u002F\u002Fgithub.com\u002Fhustvl\u002FMatte-Anything)正式发布！如果你喜欢ViTMatte，那么你也很可能会喜欢Matte Anything。\n\n* **`2023年5月27日`:** 我们发布了ViTMatte的预训练权重！\n\n* **`2023年5月25日`:** 我们公开了ViTMatte的代码。预训练模型也将很快推出！\n* **`2023年5月24日`:** 我们在[arxiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.15272)上发表了论文。\n\n## 简介\n\u003Cdiv align=\"center\">\u003Ch4>普通的视觉Transformer结合简单的ViTMatte框架，同样可以实现图像抠图！\u003C\u002Fh4>\u003C\u002Fdiv>\n\n![avatar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhustvl_ViTMatte_readme_9e8b94a4a5c5.png)\n\n近年来，由于其强大的建模能力和大规模预训练的优势，普通的视觉Transformer（ViT）在各类计算机视觉任务中表现出色。然而，它们尚未完全解决图像抠图问题。我们假设ViT同样可以提升图像抠图的效果，并提出了一种高效且鲁本的基于ViT的抠图系统，命名为ViTMatte。我们的方法利用了(i)一种混合注意力机制与卷积颈部相结合的方式，帮助ViT在抠图任务中实现性能与计算开销之间的良好平衡。(ii)此外，我们还引入了一个细节捕捉模块，该模块仅由简单的轻量级卷积组成，用于补充抠图所需的细节信息。据我们所知，ViTMatte是首个通过简洁的适配方式，将ViT在图像抠图领域的潜力充分发挥出来的工作。它继承了ViT在抠图方面的诸多优势，包括多种预训练策略、简洁的架构设计以及灵活的推理策略。我们在图像抠图领域最常用的基准数据集Composition-1k和Distinctions-646上对ViTMatte进行了评估，结果表明，我们的方法达到了当前最先进的水平，并大幅超越了以往的抠图方法。\n\n## 开始使用\n\n* [安装](docs\u002Finstallation.md)\n* [训练](docs\u002Ftrain.md)\n* [测试](docs\u002Ftest.md)\n\n## 演示\n\n你可以尝试使用以下命令对演示图像及其对应的trimap进行抠图：\n```\npython run_one_image.py \\\n    --model vitmatte-s \\\n    --checkpoint-dir path\u002Fto\u002Fcheckpoint\n```\n演示图像将会保存在``.\u002Fdemo``目录下。\n你也可以使用自己的图像和trimap来尝试同样的操作。\n\n此外，你还可以在[![Colab演示](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1Dc2qoJueNZQyrTU19sIcrPyRDmvuMTF3?usp=sharing)中试用ViTMatte。这是一个简单的演示，用来展示ViTMatte的能力。\n\n## 结果\n\n在[Composition-1k](https:\u002F\u002Fpaperswithcode.com\u002Fdataset\u002Fcomposition-1k)上的定量结果\n| 模型      | SAD   | MSE | Grad | Conn  | 检查点 |\n| ---------- | ----- | --- | ---- | ----- | ----------- |\n| ViTMatte-S | 21.46 | 3.3 | 7.24 | 16.21 | [GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F12VKhSwE_miF9lWQQCgK7mv83rJIls3Xe\u002Fview?usp=sharing) |\n| ViTMatte-B | 20.33 | 3.0 | 6.74 | 14.78 | [GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1mOO5MMU4kwhNX96AlfpwjAoMM4V5w3k-\u002Fview?usp=sharing) |\n\n在[Distinctions-646](https:\u002F\u002Fpaperswithcode.com\u002Fdataset\u002Fdistinctions-646)上的定量结果\n| 模型      | SAD   | MSE | Grad | Conn  | 检查点 |\n| ---------- | ----- | --- | ---- | ----- | ----------- |\n| ViTMatte-S | 21.22 | 2.1 | 8.78 | 17.55 | [GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F18wIFlhFY9MPqyH0FGiB0PFk3Xp2xTHzx\u002Fview?usp=sharing) |\n| ViTMatte-B | 17.05 | 1.5 | 7.03 | 12.95 | [GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1d97oKuITCeWgai2Tf3iNilt6rMSSYzkW\u002Fview?usp=sharing) |\n\n## 引用\n```\n@article{yao2024vitmatte,\n  title={ViTMatte: 利用预训练的普通视觉Transformer提升图像抠图效果},\n  author={Yao, Jingfeng and Wang, Xinggang and Yang, Shusheng and Wang, Baoyuan},\n  journal={Information Fusion},\n  volume={103},\n  pages={102091},\n  year={2024},\n  publisher={Elsevier}\n}\n```","# ViTMatte 快速上手指南\n\nViTMatte 是一个基于预训练纯视觉 Transformer (ViT) 的高效图像抠图工具。它通过混合注意力机制和细节捕获模块，在 Composition-1k 和 Distinctions-646 等基准测试中实现了 SOTA 性能。\n\n## 环境准备\n\n在使用 ViTMatte 之前，请确保您的开发环境满足以下要求：\n\n- **操作系统**：Linux \u002F Windows \u002F macOS\n- **编程语言**：Python 3.x\n- **深度学习框架**：PyTorch (推荐版本与项目依赖一致)\n- **硬件建议**：建议使用 NVIDIA GPU 以加速推理（CUDA 支持）\n\n## 安装步骤\n\n1. **克隆仓库**\n\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Fhustvl\u002FViTMatte.git\n   cd ViTMatte\n   ```\n\n2. **安装依赖**\n\n   根据项目文档安装必要的 Python 包：\n\n   ```bash\n   pip install -r requirements.txt\n   ```\n\n   *(注：具体依赖版本请参考 `docs\u002Finstallation.md`)*\n\n3. **下载预训练权重**\n\n   您需要下载对应的模型检查点文件。目前提供 ViTMatte-S 和 ViTMatte-B 两个版本：\n\n   - **Composition-1k**:\n     - ViTMatte-S: [GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F12VKhSwE_miF9lWQQCgK7mv83rJIls3Xe\u002Fview?usp=sharing)\n     - ViTMatte-B: [GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1mOO5MMU4kwhNX96AlfpwjAoMM4V5w3k-\u002Fview?usp=sharing)\n   - **Distinctions-646**:\n     - ViTMatte-S: [GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F18wIFlhFY9MPqyH0FGiB0PFk3Xp2xTHzx\u002Fview?usp=sharing)\n     - ViTMatte-B: [GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1d97oKuITCeWgai2Tf3iNilt6rMSSYzkW\u002Fview?usp=sharing)\n\n   将下载好的权重文件放置在本地目录，例如 `.\u002Fcheckpoints\u002F`。\n\n## 基本使用\n\n### 本地推理示例\n\n准备好图片、三值掩码（trimap）以及下载的模型权重后，运行以下命令进行单张图像抠图：\n\n```bash\npython run_one_image.py \\\n    --model vitmatte-s \\\n    --checkpoint-dir path\u002Fto\u002Fcheckpoint\n```\n\n处理后的结果将保存在 ``.\u002Fdemo`` 目录下。您也可以修改脚本参数使用自己的图片和 trimap。\n\n### 在线体验 (无需配置环境)\n\n如果您希望快速验证效果或无法配置本地环境，可以使用 Google Colab 演示版：\n\n[![Colab Demo](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1Dc2qoJueNZQyrTU19sIcrPyRDmvuMTF3?usp=sharing)\n\n此外，ViTMatte 现已集成至 🤗 [HuggingFace Transformers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmain\u002Fmodel_doc\u002Fvitmatte#vitmatte)，也可通过该库调用。","某电商设计团队正赶制夏季新品推广物料，急需将多位模特的复杂发型从杂乱背景中精准分离，以便合成到统一风格的海报中。\n\n### 没有 ViTMatte 时\n- 传统抠图算法无法识别半透明发丝，边缘常残留难看的白色光晕。\n- 设计师需耗费大量时间手动在 Photoshop 中逐帧修补 Alpha 通道。\n- 面对不同光线条件，旧模型泛化能力弱，每张图片都要重新调整参数。\n- 批量处理速度慢，严重拖慢项目交付进度，增加人力成本。\n\n### 使用 ViTMatte 后\n- ViTMatte 基于预训练视觉 Transformer，能精准还原发梢等细微纹理。\n- 自动化流程一键输出高质量蒙版，后期修图时间从小时级降至分钟级。\n- 模型对复杂背景鲁棒性强，无需针对不同场景单独配置即可稳定运行。\n- 生成的素材直接满足商业印刷标准，显著提升了最终画面的视觉质感。\n\nViTMatte 通过强大的语义理解能力，彻底解决了复杂边缘抠图的难题，让创意落地更高效。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhustvl_ViTMatte_d89710b1.png","hustvl","HUST Vision Lab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fhustvl_3e2bf80d.png","HUST Vision Lab of the School of EIC in HUST. Lab Lead @xinggangw",null,"https:\u002F\u002Fgithub.com\u002Fhustvl",[82],{"name":83,"color":84,"percentage":85},"Python","#3572A5",100,522,47,"2026-04-03T01:40:26","MIT","未说明",{"notes":92,"python":90,"dependencies":93},"README 中未明确列出具体的操作系统、硬件配置及 Python 版本要求，详细环境配置请参考链接中的 docs\u002Finstallation.md。该项目基于深度学习框架（通常为 PyTorch），但文中未显式声明。用户可通过提供的 Google Colab 链接或 HuggingFace 集成进行在线体验，无需配置本地复杂环境。",[94],"transformers",[14],"2026-03-27T02:49:30.150509","2026-04-06T06:45:59.463932",[99,104,108,113,118,123],{"id":100,"question_zh":101,"answer_zh":102,"source_url":103},5095,"跑 Distinctions-646 测试集需要重新训练吗？","是的，Distinctions-646 和 Composition-1K 是两个不同的基准测试（benchmark），inference 文件也是专门针对 Composition-1K 数据集的。","https:\u002F\u002Fgithub.com\u002Fhustvl\u002FViTMatte\u002Fissues\u002F34",{"id":105,"question_zh":106,"answer_zh":107,"source_url":103},5096,"如何在训练过程中监控日志？","可以直接使用 TensorBoard，在训练的过程中将 Log 记录进 TensorBoard 即可。",{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},5097,"如何保存并绘制训练损失曲线？","使用 `tee` 命令将输出重定向到文件，然后解析日志。运行命令：`CUDA_VISIBLE_DEVICES=0,1 python3 -u main.py --config-file configs\u002FViTMatte_S_100ep.py --num-gpus 2 2>&1 | tee log.txt`。之后可用正则提取数字并用 matplotlib 绘图。","https:\u002F\u002Fgithub.com\u002Fhustvl\u002FViTMatte\u002Fissues\u002F32",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},5098,"遇到 detectron2 v0.6 缺少 'LN' 方法报错怎么办？","请从 detectron2 的最新源代码构建（build from latest source codes），不要使用预发布的 v0.6 版本。Windows 用户尤其需要注意源码编译。","https:\u002F\u002Fgithub.com\u002Fhustvl\u002FViTMatte\u002Fissues\u002F6",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},5099,"ViTMatte 模型是否允许商用？","代码仓库遵循 MIT 协议，但预训练权重可能受限。例如 DINO 基于 ImageNet（非商业），MAE 项目是 CC-BY-NC 4.0，COCO 数据集中部分照片也是非商业许可。商用前需确认底层模型许可。","https:\u002F\u002Fgithub.com\u002Fhustvl\u002FViTMatte\u002Fissues\u002F9",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},5100,"训练权重大小与官方不一致，如何选择最佳模型？","作者没有特殊转换，只是简单地选择训练最后一个 epoch 的权重作为最终权重。直接使用训练结束时的权重即可。","https:\u002F\u002Fgithub.com\u002Fhustvl\u002FViTMatte\u002Fissues\u002F8",[]]