[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Alpha-VL--ConvMAE":3,"tool-Alpha-VL--ConvMAE":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,2,"2026-04-10T11:39:34",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":32,"last_commit_at":41,"category_tags":42,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[43,13,15,14],"插件",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[52,15,13,14],"语言模型",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,61],"视频",{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":68,"readme_en":69,"readme_zh":70,"quickstart_zh":71,"use_case_zh":72,"hero_image_url":73,"owner_login":74,"owner_name":75,"owner_avatar_url":76,"owner_bio":77,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":92,"env_os":93,"env_gpu":94,"env_ram":95,"env_deps":96,"category_tags":103,"github_topics":104,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":111,"updated_at":112,"faqs":113,"releases":148},8740,"Alpha-VL\u002FConvMAE","ConvMAE","ConvMAE: Masked Convolution Meets Masked Autoencoders","ConvMAE（现更名为 MCMAE）是一款由上海人工智能实验室等机构联合推出的先进自监督学习框架，旨在通过“掩码卷积”与“掩码自编码器”的创新结合，提升视觉模型的表征能力。它主要解决了传统纯 Transformer 架构在预训练时计算成本高、且难以天然生成多尺度层级特征的问题，从而在目标检测和语义分割等下游任务中表现更佳。\n\n该工具特别适合从事计算机视觉研究的科研人员及算法开发者使用。其核心技术亮点在于构建了一个多尺度的混合卷积 -Transformer 架构，既能利用卷积的归纳偏置高效提取局部特征，又能借助 Transformer 捕捉全局依赖。实验数据显示，ConvMAE-Base 模型在 ImageNet 微调精度上比经典 MAE 提升了 1.4%；更令人印象深刻的是，在目标检测任务中，它仅用 25 个训练轮次即可超越 MAE 训练 100 轮次的效果，大幅降低了算力门槛。此外，项目还衍生出了加速版本 FastConvMAE 和增强版 MR-MCMAE，为高效训练提供了更多选择。无论是希望复现前沿论文成果，还是寻求高性能预训练模型以优化实际业务场景，ConvMAE 都是一个值得","ConvMAE（现更名为 MCMAE）是一款由上海人工智能实验室等机构联合推出的先进自监督学习框架，旨在通过“掩码卷积”与“掩码自编码器”的创新结合，提升视觉模型的表征能力。它主要解决了传统纯 Transformer 架构在预训练时计算成本高、且难以天然生成多尺度层级特征的问题，从而在目标检测和语义分割等下游任务中表现更佳。\n\n该工具特别适合从事计算机视觉研究的科研人员及算法开发者使用。其核心技术亮点在于构建了一个多尺度的混合卷积 -Transformer 架构，既能利用卷积的归纳偏置高效提取局部特征，又能借助 Transformer 捕捉全局依赖。实验数据显示，ConvMAE-Base 模型在 ImageNet 微调精度上比经典 MAE 提升了 1.4%；更令人印象深刻的是，在目标检测任务中，它仅用 25 个训练轮次即可超越 MAE 训练 100 轮次的效果，大幅降低了算力门槛。此外，项目还衍生出了加速版本 FastConvMAE 和增强版 MR-MCMAE，为高效训练提供了更多选择。无论是希望复现前沿论文成果，还是寻求高性能预训练模型以优化实际业务场景，ConvMAE 都是一个值得尝试的强大开源基座。","\u003Cdiv align=\"center\">\n\u003Ch3>[NeurIPS 2022] MCMAE: Masked Convolution Meets Masked Autoencoders\u003C\u002Fh3>\n\n[Peng Gao](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=miFIAFMAAAAJ&hl=en&oi=ao)\u003Csup>1\u003C\u002Fsup>, [Teli Ma](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=arny77IAAAAJ&hl=en&oi=ao)\u003Csup>1\u003C\u002Fsup>, [Hongsheng Li](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=BN2Ze-QAAAAJ&hl=en&oi=ao)\u003Csup>2\u003C\u002Fsup>, [Ziyi Lin](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=-VOnnzUAAAAJ&hl=en)\u003Csup>2\u003C\u002Fsup>, [Jifeng Dai](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=SH_-B_AAAAAJ&hl=en&oi=ao)\u003Csup>3\u003C\u002Fsup>, [Yu Qiao](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=gFtI-8QAAAAJ&hl=en&oi=ao)\u003Csup>1\u003C\u002Fsup>,\n\n\u003Csup>1\u003C\u002Fsup> [Shanghai AI Laboratory](https:\u002F\u002Fwww.shlab.org.cn\u002F), \u003Csup>2\u003C\u002Fsup> [MMLab, CUHK](https:\u002F\u002Fmmlab.ie.cuhk.edu.hk\u002F), \u003Csup>3\u003C\u002Fsup> [Sensetime Research](https:\u002F\u002Fwww.sensetime.com\u002Fcn).\n\n\u003C\u002Fdiv>\n\n\\* We change the project name from **ConvMAE** to **MCMAE**.\n\nThis repo is the official implementation of [MCMAE: Masked Convolution Meets Masked Autoencoders](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.03892). It currently concludes codes and models for the following tasks:\n> **ImageNet Pretrain**: See [PRETRAIN.md](PRETRAIN.md).\\\n> **ImageNet Finetune**: See [FINETUNE.md](FINETUNE.md).\\\n> **Object Detection**: See [DETECTION.md](DET\u002FDETECTION.md).\\\n> **Semantic Segmentation**: See [SEGMENTATION.md](SEG\u002FSEGMENTATION.md). \\\n> **Video Classification**: See [VideoConvMAE](https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FVideoConvMAE).\n\n## Updates\n\n***14\u002FMar\u002F2023***\n\nMR-MCMAE (a.k.a. ConvMAE-v2) paper released: [Mimic before Reconstruct: Enhancing Masked Autoencoders with Feature Mimicking](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.05475).\n\n***15\u002FSep\u002F2022***\n\nPaper accepted at NeurIPS 2022.\n\n***9\u002FSep\u002F2022***\n\nConvMAE-v2 pretrained checkpoints are released.\n\n***21\u002FAug\u002F2022***\n\n[Official-ConvMAE-Det](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FOfficial-ConvMAE-Det) which follows official ViTDet codebase is released. \n\n***08\u002FJun\u002F2022***\n\n🚀FastConvMAE🚀: significantly accelerates the pretraining hours (4000 single GPU hours => 200 single GPU hours). The code is going to be released at [FastConvMAE](https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FFastConvMAE).\n\n***27\u002FMay\u002F2022***\n\n1. The supported codes for ImageNet-1K pretraining.\n2. The supported codes and models for semantic segmentation are provided.\n\n***20\u002FMay\u002F2022***\n\nUpdate results on video classification.\n\n***16\u002FMay\u002F2022***\n\nThe supported codes and models for COCO object detection and instance segmentation are available.\n\n***11\u002FMay\u002F2022***\n\n1. Pretrained models on ImageNet-1K for ConvMAE.\n2. The supported codes and models for ImageNet-1K finetuning and linear probing are provided.\n\n***08\u002FMay\u002F2022***\n\nThe preprint version is public at [arxiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.03892).\n\n## Introduction\nConvMAE framework demonstrates that multi-scale hybrid convolution-transformer can learn more discriminative representations via the mask auto-encoding scheme. \n* We present the strong and efficient self-supervised framework ConvMAE, which is easy to implement but show outstanding performances on downstream tasks.\n* ConvMAE naturally generates hierarchical representations and exhibit promising performances on object detection and segmentation.\n* ConvMAE-Base improves the ImageNet finetuning accuracy by 1.4% compared with MAE-Base.\nOn object detection with Mask-RCNN, ConvMAE-Base achieves 53.2 box AP and 47.1 mask AP with a 25-epoch training schedule while MAE-Base attains 50.3 box AP and 44.9 mask AP with 100 training epochs. On ADE20K with UperNet, ConvMAE-Base surpasses MAE-Base by 3.6 mIoU (48.1 vs. 51.7).\n\n\n![tenser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VL_ConvMAE_readme_5ea1283353ce.png)\n\n## Pretrain on ImageNet-1K\nThe following table provides pretrained checkpoints and logs used in the paper.\n| | ConvMAE-Base|\n| :---: | :---: |\n| pretrained checkpoints| [download](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1AEPivXw0A0b_m5EwEi6fg2pOAoDr8C31\u002Fview?usp=sharing) |\n| logs | [download](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1Je9ClIGCQP43xC3YURVFPnaMRC0-ax1h\u002Fview?usp=sharing) |\n\nThe following results are for ConvMAE-v2 (pretrained for 200 epochs on ImageNet-1k).\n| model | pretrained checkpoints | ft. acc. on ImageNet-1k |\n| :---: | :---: | :---: |\n| ConvMAE-v2-Small | [download](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1LqU-0tajhxYMSTN6WVFwiIveFjETVvKb\u002Fview?usp=sharing) | 83.6 |\n| ConvMAE-v2-Base  | [download](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1gykVKNDlRn8eiuXk5bUj1PbSnHXFzLnI\u002Fview?usp=sharing) | 85.7 |\n| ConvMAE-v2-Large | [download](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1RN3ZseDseWGwuUwrVTkel17_iYFvZL6m\u002Fview?usp=sharing) | 86.8 |\n| ConvMAE-v2-Huge  | [download](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1k1OBhNTLzRI9c6ReSgK7_7vqGZr-2Cpd\u002Fview?usp=sharing) | 88.0 |\n\n## Main Results on ImageNet-1K\n| Models | #Params(M) | Supervision | Encoder Ratio | Pretrain Epochs | FT acc@1(%) | LIN acc@1(%) | FT logs\u002Fweights | LIN logs\u002Fweights |\n| :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |\n| BEiT | 88 | DALLE | 100% | 300 | 83.0 | 37.6 | - | - |\n| MAE | 88 | RGB | 25% | 1600 | 83.6 | 67.8 | - | - |\n| SimMIM | 88 | RGB | 100% | 800 | 84.0 | 56.7 | - | - |\n| MaskFeat | 88 | HOG | 100% | 300 | 83.6 | N\u002FA | - | - |\n| data2vec | 88 | RGB | 100% | 800 | 84.2 | N\u002FA | - | - |\n| ConvMAE-B | 88 | RGB | 25% | 1600 | 85.0 | 70.9 | [log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1nzAOD5UR3b9QqwD2vMMz0Bx3170sypuy\u002Fview?usp=sharing)\u002F[weight](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F19F6vQUlITpzNLvXLKi5NRxRLOmKRxqFi\u002Fview?usp=sharing) |\n\n\n\n## Main Results on COCO\n### Mask R-CNN\n| Models | Pretrain | Pretrain Epochs | Finetune Epochs | #Params(M)| FLOPs(T) | box AP | mask AP | logs\u002Fweights |\n| :---: | :---: | :---: |:---: | :---: | :---: | :---: | :---: | :---: |\n| Swin-B | IN21K w\u002F labels | 90 | 36 | 109 | 0.7 | 51.4 | 45.4 | - | \n| Swin-L | IN21K w\u002F labels | 90 | 36 | 218 | 1.1 | 52.4 | 46.2 | - | \n| MViTv2-B | IN21K w\u002F labels | 90 | 36 | 73 | 0.6 | 53.1 | 47.4 | - | \n| MViTv2-L | IN21K w\u002F labels | 90 | 36 | 239 | 1.3 | 53.6 | 47.5 | - | \n| Benchmarking-ViT-B | IN1K w\u002Fo labels | 1600 | 100 | 118 | 0.9 | 50.4 | 44.9 | - |\n| Benchmarking-ViT-L | IN1K w\u002Fo labels | 1600 | 100 | 340 | 1.9 | 53.3 | 47.2 | - |\n| ViTDet | IN1K w\u002Fo labels | 1600 | 100 | 111 | 0.8 | 51.2 | 45.5 | - |\n| MIMDet-ViT-B | IN1K w\u002Fo labels | 1600 | 36 | 127 | 1.1 | 51.5 | 46.0 | - |\n| MIMDet-ViT-L | IN1K w\u002Fo labels | 1600 | 36 | 345 | 2.6 | 53.3 | 47.5 | - |\n| ConvMAE-B | IN1K w\u002Fo lables | 1600 | 25 | 104 | 0.9 | 53.2 | 47.1 | [log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1vQ9ps-TxeS_8BRfSWZh-X-5Kki7mgIgR\u002Fview?usp=sharing)\u002F[weight](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F17gy2mlrRVpIlQN9ERSHh98VkHhWINn-m\u002Fview?usp=sharing) |\n\n\n\n## Main Results on ADE20K\n### UperNet\n| Models | Pretrain | Pretrain Epochs| Finetune Iters | #Params(M)| FLOPs(T) | mIoU | logs\u002Fweights |\n| :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |\n| DeiT-B | IN1K w\u002F labels | 300 | 16K | 163 | 0.6 | 45.6 | - |\n| Swin-B | IN1K w\u002F labels | 300 | 16K | 121 | 0.3 | 48.1 | - |\n| MoCo V3 | IN1K | 300 | 16K | 163 | 0.6 | 47.3 | -  |\n| DINO | IN1K | 400 | 16K | 163 | 0.6 | 47.2 | -  |\n| BEiT | IN1K+DALLE | 1600 | 16K | 163 | 0.6 | 47.1 | -  |\n| PeCo | IN1K | 300 | 16K | 163 | 0.6 | 46.7 | -  |\n| CAE | IN1K+DALLE | 800 | 16K | 163 | 0.6 | 48.8 | -  |\n| MAE | IN1K | 1600 | 16K | 163 | 0.6 | 48.1 | -  |\n| ConvMAE-B | IN1K | 1600 | 16K | 153 | 0.6 | 51.7 | [log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1N3LEhEd2FLx8777Kn5tVn5gxYiBTz00A\u002Fview?usp=sharing)\u002F[weight](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1aQR_CmZBzN2eHWYgzPUDm4ulme-g9cIR\u002Fview?usp=sharing)  |\n\n## Main Results on Kinetics-400\n\n|         Models          | Pretrain Epochs |    Finetune Epochs    | #Params(M) | Top1 | Top5 | logs\u002Fweights |\n| :---------------------: | :-------------: | :-------------------: | :--------: | :--: | :--: | :----------: |\n|       VideoMAE-B        |       200       |          100          |     87     | 77.8 |      |              |\n|       VideoMAE-B        |       800       |          100          |     87     | 79.4 |      |              |\n|       VideoMAE-B        |      1600       |          100          |     87     | 79.8 |      |              |\n|       VideoMAE-B        |      1600       | 100 (w\u002F Repeated Aug) |     87     | 80.7 | 94.7 |              |\n| SpatioTemporalLearner-B |       800       | 150 (w\u002F Repeated Aug) |     87     | 81.3 | 94.9 |              |\n|     VideoConvMAE-B      |       200       |          100          |     86     | 80.1 | 94.3 |     Soon     |\n|     VideoConvMAE-B      |       800       |          100          |     86     | 81.7 | 95.1 |     Soon     |\n|   VideoConvMAE-B-MSD    |       800       |          100          |     86     | 82.7 | 95.5 |     Soon     |\n\n## Main Results on Something-Something V2\n\n|       Models       | Pretrain Epochs | Finetune Epochs | #Params(M) | Top1 | Top5 | logs\u002Fweights |\n| :----------------: | :-------------: | :-------------: | :--------: | :--: | :--: | :----------: |\n|     VideoMAE-B     |       200       |       40        |     87     | 66.1 |      |              |\n|     VideoMAE-B     |       800       |       40        |     87     | 69.3 |      |              |\n|     VideoMAE-B     |       2400      |       40        |     87     | 70.3 |      |              |\n|   VideoConvMAE-B   |       200       |       40        |     86     | 67.7 | 91.2 |     Soon     |\n|   VideoConvMAE-B   |       800       |       40        |     86     | 69.9 | 92.4 |     Soon     |\n| VideoConvMAE-B-MSD |       800       |       40        |     86     | 70.7 | 93.0 |     Soon     |\n\n\n## Getting Started\n### Prerequisites\n* Linux\n* Python 3.7+\n* CUDA 10.2+\n* GCC 5+\n\n### Training and evaluation\n* See [PRETRAIN.md](PRETRAIN.md) for pretraining.\n* See [FINETUNE.md](FINETUNE.md) for pretrained model finetuning and linear probing. \n* See [DETECTION.md](DET\u002FDETECTION.md) for using pretrained backbone on [Mask RCNN](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_iccv_2017\u002Fhtml\u002FHe_Mask_R-CNN_ICCV_2017_paper.html).\n* See [SEGMENTATION.md](SEG\u002FSEGMENTATION.md) for using pretrained backbone on [UperNet](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ECCV_2018\u002Fhtml\u002FTete_Xiao_Unified_Perceptual_Parsing_ECCV_2018_paper.html).\n* See [VideoConvMAE](https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FVideoConvMAE) for video classification.\n\n## Visualization\n![tenser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VL_ConvMAE_readme_002863436919.jpg)\n\n## Acknowledgement\nThe pretraining and finetuning of our project are based on [DeiT](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdeit) and [MAE](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmae). The object detection and semantic segmentation parts are based on [MIMDet](https:\u002F\u002Fgithub.com\u002Fhustvl\u002FMIMDet) and [MMSegmentation](https:\u002F\u002Fgithub.com\u002Fopen-mmlab\u002Fmmsegmentation) respectively. Thanks for their wonderful work.\n\n## License\nConvMAE is released under the [MIT License](https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FConvMAE\u002Fblob\u002Fmain\u002FLICENSE).\n\n## Citation\n\n```bash\n@article{gao2022convmae,\n  title={ConvMAE: Masked Convolution Meets Masked Autoencoders},\n  author={Gao, Peng and Ma, Teli and Li, Hongsheng and Dai, Jifeng and Qiao, Yu},\n  journal={arXiv preprint arXiv:2205.03892},\n  year={2022}\n}\n```\n\n\n","\u003Cdiv align=\"center\">\n\u003Ch3>[NeurIPS 2022] MCMAE：掩码卷积遇见掩码自编码器\u003C\u002Fh3>\n\n[Peng Gao](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=miFIAFMAAAAJ&hl=en&oi=ao)\u003Csup>1\u003C\u002Fsup>, [Teli Ma](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=arny77IAAAAJ&hl=en&oi=ao)\u003Csup>1\u003C\u002Fsup>, [Hongsheng Li](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=BN2Ze-QAAAAJ&hl=en&oi=ao)\u003Csup>2\u003C\u002Fsup>, [Ziyi Lin](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=-VOnnzUAAAAJ&hl=en)\u003Csup>2\u003C\u002Fsup>, [Jifeng Dai](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=SH_-B_AAAAAJ&hl=en&oi=ao)\u003Csup>3\u003C\u002Fsup>, [Yu Qiao](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=gFtI-8QAAAAJ&hl=en&oi=ao)\u003Csup>1\u003C\u002Fsup>,\n\n\u003Csup>1\u003C\u002Fsup> [上海人工智能实验室](https:\u002F\u002Fwww.shlab.org.cn\u002F), \u003Csup>2\u003C\u002Fsup> [香港中文大学多媒体实验室](https:\u002F\u002Fmmlab.ie.cuhk.edu.hk\u002F), \u003Csup>3\u003C\u002Fsup> [商汤科技研究院](https:\u002F\u002Fwww.sensetime.com\u002Fcn).\n\n\u003C\u002Fdiv>\n\n\\* 我们将项目名称由 **ConvMAE** 改为 **MCMAE**。\n\n本仓库是 [MCMAE：掩码卷积遇见掩码自编码器](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.03892) 的官方实现。目前包含以下任务的代码和模型：\n> **ImageNet 预训练**：参见 [PRETRAIN.md](PRETRAIN.md)。\\\n> **ImageNet 微调**：参见 [FINETUNE.md](FINETUNE.md)。\\\n> **目标检测**：参见 [DETECTION.md](DET\u002FDETECTION.md)。\\\n> **语义分割**：参见 [SEGMENTATION.md](SEG\u002FSEGMENTATION.md)。 \\\n> **视频分类**：参见 [VideoConvMAE](https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FVideoConvMAE)。\n\n## 更新\n\n***2023年3月14日***\n\nMR-MCMAE（即 ConvMAE-v2）论文发布：[先模仿再重建：通过特征模仿增强掩码自编码器](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.05475)。\n\n***2022年9月15日***\n\n论文被 NeurIPS 2022 接受。\n\n***2022年9月9日***\n\nConvMAE-v2 的预训练检查点发布。\n\n***2022年8月21日***\n\n遵循官方 ViTDet 代码库的 [Official-ConvMAE-Det](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FOfficial-ConvMAE-Det) 发布。\n\n***2022年6月8日***\n\n🚀FastConvMAE🚀：显著加速了预训练时间（从单卡 4000 小时缩短至 200 小时）。相关代码即将在 [FastConvMAE](https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FFastConvMAE) 中发布。\n\n***2022年5月27日***\n\n1. 提供了支持 ImageNet-1K 预训练的代码。\n2. 提供了支持语义分割的代码和模型。\n\n***2022年5月20日***\n\n更新了视频分类的结果。\n\n***2022年5月16日***\n\n提供了支持 COCO 目标检测和实例分割的代码和模型。\n\n***2022年5月11日***\n\n1. 提供了 ConvMAE 在 ImageNet-1K 上的预训练模型。\n2. 提供了支持 ImageNet-1K 微调和线性探测的代码和模型。\n\n***2022年5月8日***\n\n预印本已在 [arxiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.03892) 上公开。\n\n## 简介\nConvMAE 框架表明，多尺度混合卷积-Transformer 架构可以通过掩码自编码方案学习更具判别性的表征。\n* 我们提出了强大而高效的自监督框架 ConvMAE，其实现简单，但在下游任务中表现出色。\n* ConvMAE 自然生成层次化表征，在目标检测和分割任务上表现优异。\n* ConvMAE-Base 在 ImageNet 微调精度上比 MAE-Base 提高了 1.4%。\n在使用 Mask-RCNN 进行目标检测时，ConvMAE-Base 采用 25 个 epoch 的训练计划，达到了 53.2 的 box AP 和 47.1 的 mask AP；而 MAE-Base 则需要 100 个 epoch 才能达到 50.3 的 box AP 和 44.9 的 mask AP。在 ADE20K 数据集上使用 UperNet 时，ConvMAE-Base 的 mIoU 比 MAE-Base 高出 3.6（48.1 对 51.7）。\n\n\n\n![tenser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VL_ConvMAE_readme_5ea1283353ce.png)\n\n## ImageNet-1K 预训练\n下表提供了论文中使用的预训练检查点和日志。\n| | ConvMAE-Base|\n| :---: | :---: |\n| 预训练检查点| [下载](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1AEPivXw0A0b_m5EwEi6fg2pOAoDr8C31\u002Fview?usp=sharing) |\n| 日志 | [下载](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1Je9ClIGCQP43xC3YURVFPnaMRC0-ax1h\u002Fview?usp=sharing) |\n\n以下结果适用于 ConvMAE-v2（在 ImageNet-1k 上预训练了 200 个 epoch）。\n| 模型 | 预训练检查点 | 在 ImageNet-1k 上的微调准确率 |\n| :---: | :---: | :---: |\n| ConvMAE-v2-Small | [下载](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1LqU-0tajhxYMSTN6WVFwiIveFjETVvKb\u002Fview?usp=sharing) | 83.6 |\n| ConvMAE-v2-Base  | [下载](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1gykVKNDlRn8eiuXk5bUj1PbSnHXFzLnI\u002Fview?usp=sharing) | 85.7 |\n| ConvMAE-v2-Large | [下载](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1RN3ZseDseWGwuUwrVTkel17_iYFvZL6m\u002Fview?usp=sharing) | 86.8 |\n| ConvMAE-v2-Huge  | [下载](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1k1OBhNTLzRI9c6ReSgK7_7vqGZr-2Cpd\u002Fview?usp=sharing) | 88.0 |\n\n## ImageNet-1K 主要结果\n| 模型 | 参数量(M) | 监督方式 | 编码器比例 | 预训练 epoch 数 | 微调 top-1 准确率(%) | 线性探测 top-1 准确率(%) | 微调日志\u002F权重 | 线性探测日志\u002F权重 |\n| :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |\n| BEiT | 88 | DALLE | 100% | 300 | 83.0 | 37.6 | - | - |\n| MAE | 88 | RGB | 25% | 1600 | 83.6 | 67.8 | - | - |\n| SimMIM | 88 | RGB | 100% | 800 | 84.0 | 56.7 | - | - |\n| MaskFeat | 88 | HOG | 100% | 300 | 83.6 | N\u002FA | - | - |\n| data2vec | 88 | RGB | 100% | 800 | 84.2 | N\u002FA | - | - |\n| ConvMAE-B | 88 | RGB | 25% | 1600 | 85.0 | 70.9 | [日志](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1nzAOD5UR3b9QqwD2vMMz0Bx3170sypuy\u002Fview?usp=sharing)\u002F[权重](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F19F6vQUlITpzNLvXLKi5NRxRLOmKRxqFi\u002Fview?usp=sharing) |\n\n\n\n## COCO 主要结果\n### Mask R-CNN\n| 模型 | 预训练 | 预训练 epoch 数 | 微调 epoch 数 | 参数量(M)| FLOPs(T) | box AP | mask AP | 日志\u002F权重 |\n| :---: | :---: | :---: |:---: | :---: | :---: | :---: | :---: | :---: |\n| Swin-B | IN21K 带标签 | 90 | 36 | 109 | 0.7 | 51.4 | 45.4 | - | \n| Swin-L | IN21K 带标签 | 90 | 36 | 218 | 1.1 | 52.4 | 46.2 | - | \n| MViTv2-B | IN21K 带标签 | 90 | 36 | 73 | 0.6 | 53.1 | 47.4 | - | \n| MViTv2-L | IN21K 带标签 | 90 | 36 | 239 | 1.3 | 53.6 | 47.5 | - | \n| Benchmarking-ViT-B | IN1K 无标签 | 1600 | 100 | 118 | 0.9 | 50.4 | 44.9 | - |\n| Benchmarking-ViT-L | IN1K 无标签 | 1600 | 100 | 340 | 1.9 | 53.3 | 47.2 | - |\n| ViTDet | IN1K 无标签 | 1600 | 100 | 111 | 0.8 | 51.2 | 45.5 | - |\n| MIMDet-ViT-B | IN1K 无标签 | 1600 | 36 | 127 | 1.1 | 51.5 | 46.0 | - |\n| MIMDet-ViT-L | IN1K 无标签 | 1600 | 36 | 345 | 2.6 | 53.3 | 47.5 | - |\n| ConvMAE-B | IN1K 无标签 | 1600 | 25 | 104 | 0.9 | 53.2 | 47.1 | [日志](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1vQ9ps-TxeS_8BRfSWZh-X-5Kki7mgIgR\u002Fview?usp=sharing)\u002F[权重](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F17gy2mlrRVpIlQN9ERSHh98VkHhWINn-m\u002Fview?usp=sharing) |\n\n\n\n## ADE20K 主要结果\n\n### UperNet\n| 模型 | 预训练数据 | 预训练轮数 | 微调迭代次数 | 参数量(M) | FLOPs(T) | mIoU | 日志\u002F权重 |\n| :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |\n| DeiT-B | IN1K 有标签数据 | 300 | 16K | 163 | 0.6 | 45.6 | - |\n| Swin-B | IN1K 有标签数据 | 300 | 16K | 121 | 0.3 | 48.1 | - |\n| MoCo V3 | IN1K 数据集 | 300 | 16K | 163 | 0.6 | 47.3 | -  |\n| DINO | IN1K 数据集 | 400 | 16K | 163 | 0.6 | 47.2 | -  |\n| BEiT | IN1K+DALLE 数据集 | 1600 | 16K | 163 | 0.6 | 47.1 | -  |\n| PeCo | IN1K 数据集 | 300 | 16K | 163 | 0.6 | 46.7 | -  |\n| CAE | IN1K+DALLE 数据集 | 800 | 16K | 163 | 0.6 | 48.8 | -  |\n| MAE | IN1K 数据集 | 1600 | 16K | 163 | 0.6 | 48.1 | -  |\n| ConvMAE-B | IN1K 数据集 | 1600 | 16K | 153 | 0.6 | 51.7 | [日志](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1N3LEhEd2FLx8777Kn5tVn5gxYiBTz00A\u002Fview?usp=sharing)\u002F[权重](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1aQR_CmZBzN2eHWYgzPUDm4ulme-g9cIR\u002Fview?usp=sharing)  |\n\n## Kinetics-400 上的主要结果\n\n|         模型          | 预训练轮数 |    微调轮数    | 参数量(M) | Top1 | Top5 | 日志\u002F权重 |\n| :---------------------: | :-------------: | :-------------------: | :--------: | :--: | :--: | :----------: |\n|       VideoMAE-B        |       200       |          100          |     87     | 77.8 |      |              |\n|       VideoMAE-B        |       800       |          100          |     87     | 79.4 |      |              |\n|       VideoMAE-B        |      1600       |          100          |     87     | 79.8 |      |              |\n|       VideoMAE-B        |      1600       | 100 (带重复增强) |     87     | 80.7 | 94.7 |              |\n| SpatioTemporalLearner-B |       800       | 150 (带重复增强) |     87     | 81.3 | 94.9 |              |\n|     VideoConvMAE-B      |       200       |          100          |     86     | 80.1 | 94.3 |     即将发布     |\n|     VideoConvMAE-B      |       800       |          100          |     86     | 81.7 | 95.1 |     即将发布     |\n|   VideoConvMAE-B-MSD    |       800       |          100          |     86     | 82.7 | 95.5 |     即将发布     |\n\n## Something-Something V2 上的主要结果\n\n|       模型       | 预训练轮数 | 微调轮数 | 参数量(M) | Top1 | Top5 | 日志\u002F权重 |\n| :----------------: | :-------------: | :-------------: | :--------: | :--: | :--: | :----------: |\n|     VideoMAE-B     |       200       |       40        |     87     | 66.1 |      |              |\n|     VideoMAE-B     |       800       |       40        |     87     | 69.3 |      |              |\n|     VideoMAE-B     |       2400      |       40        |     87     | 70.3 |      |              |\n|   VideoConvMAE-B   |       200       |       40        |     86     | 67.7 | 91.2 |     即将发布     |\n|   VideoConvMAE-B   |       800       |       40        |     86     | 69.9 | 92.4 |     即将发布     |\n| VideoConvMAE-B-MSD |       800       |       40        |     86     | 70.7 | 93.0 |     即将发布     |\n\n\n## 快速入门\n### 前提条件\n* Linux 系统\n* Python 3.7+\n* CUDA 10.2+\n* GCC 5+\n\n### 训练与评估\n* 预训练请参阅 [PRETRAIN.md](PRETRAIN.md)。\n* 预训练模型的微调及线性探测请参阅 [FINETUNE.md](FINETUNE.md)。\n* 使用预训练主干网络进行目标检测，请参阅 [DETECTION.md](DET\u002FDETECTION.md)，以在 [Mask RCNN](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_iccv_2017\u002Fhtml\u002FHe_Mask_R-CNN_ICCV_2017_paper.html) 上应用。\n* 使用预训练主干网络进行语义分割，请参阅 [SEGMENTATION.md](SEG\u002FSEGMENTATION.md)，以在 [UperNet](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ECCV_2018\u002Fhtml\u002FTete_Xiao_Unified_Perceptual_Parsing_ECCV_2018_paper.html) 上应用。\n* 视频分类请参阅 [VideoConvMAE](https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FVideoConvMAE)。\n\n## 可视化\n![张量](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VL_ConvMAE_readme_002863436919.jpg)\n\n## 致谢\n本项目中的预训练和微调工作基于 [DeiT](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdeit) 和 [MAE](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmae)。目标检测和语义分割部分分别基于 [MIMDet](https:\u002F\u002Fgithub.com\u002Fhustvl\u002FMIMDet) 和 [MMSegmentation](https:\u002F\u002Fgithub.com\u002Fopen-mmlab\u002Fmmsegmentation)。感谢他们的杰出贡献。\n\n## 许可证\nConvMAE 采用 [MIT 许可证](https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FConvMAE\u002Fblob\u002Fmain\u002FLICENSE) 发布。\n\n## 引用\n\n```bash\n@article{gao2022convmae,\n  title={ConvMAE: Masked Convolution Meets Masked Autoencoders},\n  author={Gao, Peng and Ma, Teli and Li, Hongsheng and Dai, Jifeng and Qiao, Yu},\n  journal={arXiv preprint arXiv:2205.03892},\n  year={2022}\n}\n```","# ConvMAE (MCMAE) 快速上手指南\n\nConvMAE（现更名为 **MCMAE**）是一个强大的自监督学习框架，结合了掩码卷积与掩码自动编码器。它能生成层次化特征表示，在图像分类、目标检测、语义分割及视频分类等下游任务中表现优异。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux\n*   **Python**: 3.7 或更高版本\n*   **CUDA**: 10.2 或更高版本\n*   **编译器**: GCC 5 或更高版本\n*   **深度学习框架**: PyTorch (建议版本需与 CUDA 匹配，参考原项目依赖)\n\n## 安装步骤\n\n虽然 README 未提供单一的 `pip install` 命令，但基于其依赖库（DeiT, MAE, MMDetection, MMSegmentation），推荐按以下步骤构建环境：\n\n1.  **克隆代码仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FConvMAE.git\n    cd ConvMAE\n    ```\n\n2.  **创建虚拟环境并安装基础依赖**\n    ```bash\n    conda create -n convmae python=3.8 -y\n    conda activate convmae\n    \n    # 安装 PyTorch 和 torchvision (请根据您的 CUDA 版本调整，此处以 10.2 为例)\n    pip install torch==1.9.0+cu102 torchvision==0.10.0+cu102 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftorch_stable.html\n    \n    # 安装其他核心依赖\n    pip install timm==0.4.12 einops chardet\n    ```\n\n3.  **安装下游任务依赖（可选）**\n    *   **目标检测**: 需安装 [MMDetection](https:\u002F\u002Fgithub.com\u002Fopen-mmlab\u002Fmmdetection) (参考 `DET\u002F` 目录要求)。\n    *   **语义分割**: 需安装 [MMSegmentation](https:\u002F\u002Fgithub.com\u002Fopen-mmlab\u002Fmmsegmentation) (参考 `SEG\u002F` 目录要求)。\n    \n    > **提示**: 国内用户可使用清华源加速安装：\n    > `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n## 基本使用\n\nConvMAE 的核心流程分为 **预训练 (Pretrain)** 和 **微调 (Finetune)**。以下是基于 ImageNet-1K 的最简使用示例。\n\n### 1. 下载预训练模型\n您可以直接下载官方提供的预训练权重（ConvMAE-Base）：\n*   **下载地址**: [Google Drive Link](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1AEPivXw0A0b_m5EwEi6fg2pOAoDr8C31\u002Fview?usp=sharing)\n*   将下载的文件重命名为 `pretrain_convmae_base.pth` 并放入项目根目录或指定文件夹。\n\n### 2. 图像分类微调 (Finetuning)\n使用预训练权重在 ImageNet 上进行微调。具体配置请参考 `FINETUNE.md`，典型命令如下：\n\n```bash\npython main_finetune.py \\\n    --model convmae_base_patch16 \\\n    --finetune .\u002Fpretrain_convmae_base.pth \\\n    --batch_size 64 \\\n    --data_path \u002Fpath\u002Fto\u002Fimagenet \\\n    --output_dir .\u002Foutput_finetune \\\n    --epochs 100\n```\n\n### 3. 目标检测 (Object Detection)\n若需进行目标检测（如 Mask R-CNN），需进入 `DET` 目录并使用 MMDetection 配置运行：\n\n```bash\ncd DET\n# 示例：使用 ConvMAE Backbone 训练 Mask R-CNN\npython tools\u002Ftrain.py configs\u002Fconvmae\u002Fmask_rcnn_convmae_base_fpn_1x_coco.py\n```\n\n### 4. 语义分割 (Semantic Segmentation)\n若需进行语义分割（如 UperNet），需进入 `SEG` 目录：\n\n```bash\ncd SEG\n# 示例：在 ADE20K 数据集上训练\npython train.py --config configs\u002Fupernet_convmae_base_ade20k.py\n```\n\n> **注意**: 详细的数据集准备、超参数设置及分布式训练命令，请务必查阅项目中的 `PRETRAIN.md`, `FINETUNE.md`, `DETECTION.md` 和 `SEGMENTATION.md` 文档。","某自动驾驶初创公司的算法团队正致力于提升车载摄像头对行人和车辆的检测精度，但受限于标注数据稀缺且训练成本高昂。\n\n### 没有 ConvMAE 时\n- **预训练效率低下**：团队依赖传统的 MAE（Masked Autoencoders）进行自监督预训练，在单 GPU 上需耗时约 4000 小时才能收敛，严重拖慢模型迭代周期。\n- **多尺度特征缺失**：纯 Transformer 架构难以天然生成层级化特征表示，导致在后续接入 Mask R-CNN 进行目标检测时，对小尺寸物体的定位能力不足。\n- **下游任务性能瓶颈**：即使耗费百个 epoch 微调，模型在 COCO 数据集上的检测精度（Box AP）仍停留在 50.3%，无法满足 L4 级自动驾驶的安全冗余要求。\n- **资源消耗巨大**：为了弥补精度差距，不得不增加训练轮次和数据增强策略，进一步推高了算力成本和碳排放。\n\n### 使用 ConvMAE 后\n- **训练速度飞跃**：利用 ConvMAE 结合卷积与掩码自编码的优势，配合 FastConvMAE 加速方案，将预训练时间从 4000 小时骤降至 200 小时，迭代效率提升 20 倍。\n- **原生层级表征**：ConvMAE 通过混合卷积结构自然生成多尺度特征，无需额外设计复杂的特征金字塔，显著增强了对远近不同大小目标的感知能力。\n- **检测精度突破**：仅用 25 个 epoch 微调，ConvMAE-Base 在 Mask R-CNN 上的 Box AP 即提升至 53.2%，超越此前百倍训练的效果，大幅降低漏检率。\n- **泛化能力增强**：在语义分割任务（ADE20K）上 mIoU 提升 3.6 点，证明模型学到了更判别性的特征，能更好地适应复杂路况场景。\n\nConvMAE 通过“卷积遇掩码”的创新机制，以极低的数据和算力成本，实现了自动驾驶感知模型在速度与精度上的双重突破。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VL_ConvMAE_00286343.jpg","Alpha-VL","Alpha VL Team of Shanghai AI Lab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FAlpha-VL_3121ca45.png",null,"https:\u002F\u002Fgithub.com\u002FAlpha-VL",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",99.8,{"name":85,"color":86,"percentage":87},"Shell","#89e051",0.2,523,44,"2026-03-05T07:29:02","MIT",4,"Linux","需要 NVIDIA GPU，CUDA 10.2+","未说明",{"notes":97,"python":98,"dependencies":99},"项目原名 ConvMAE 已更名为 MCMAE。代码基于 DeiT 和 MAE 框架，目标检测和语义分割部分分别依赖 MIMDet 和 MMSegmentation。视频分类任务需参考独立的 VideoConvMAE 仓库。编译器要求 GCC 5+。","3.7+",[100,101,102],"PyTorch (基于 DeiT\u002FMAE)","MMSegmentation (用于分割任务)","Detectron2\u002FMIMDet (用于检测任务)",[15],[105,106,107,108,109,110],"backbone","computer-vision","masked-image-modeling","object-detection","semantic-segmentation","mae","2026-03-27T02:49:30.150509","2026-04-18T09:19:14.773582",[114,119,123,128,133,138,143],{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},39187,"如何关闭 FP16 混合精度训练以排查稳定性问题？","如果需要关闭 FP16 优化（例如为了解决 NaN Loss 问题），请在代码中找到并删除 `with torch.cuda.amp.autocast():` 这一行上下文管理器代码。这将在解码器或编码器中禁用自动混合精度。","https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FConvMAE\u002Fissues\u002F6",{"id":120,"question_zh":121,"answer_zh":122,"source_url":118},39181,"预训练过程中遇到 NaN Loss 该如何解决？","ConvMAE 在长周期训练（如 1600 epochs，通常发生在 1000-1300 epochs）或扩展到超大模型时可能会遇到 NaN Loss。解决方案有三种：\n1. 从最近的检查点重启训练，不做其他操作。\n2. 从最近的检查点重启，并在解码器中关闭 fp16 优化（删除代码中的 `with torch.cuda.amp.autocast()`）。\n3. 从最近的检查点重启，并在编码器和解码器中都关闭 fp16 优化。\n此外，建议尝试 FastConvMAE 仓库以获得更稳定的实现。",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},39182,"ImageNet 评估结果准确率极低（如 1.1%）是什么原因？","这通常是由于数据集准备格式不正确导致的。请确保 ImageNet 数据集的格式与 DeiT 和 MAE 项目使用的格式完全一致。如果结果异常，建议重新下载或按照标准流程（如 Jasonlee1995 的方法）重新准备数据集。","https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FConvMAE\u002Fissues\u002F9",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},39183,"ConvMAE 的预训练速度如何？是否有加速版本？","官方已发布 FastConvMAE 版本，该版本将预训练时间缩短了一半，显著加速了 ConvMAE 的预训练过程。建议直接使用 FastConvMAE 仓库进行训练和基准测试。","https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FConvMAE\u002Fissues\u002F5",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},39184,"加载 ConvMAE-v2 预训练权重时报错缺少参数或有多余参数怎么办？","ConvMAE-v2 模型不需要 `mask_token`、`stage1_output` 和 `stage2_output` 这些参数。如果在加载 ConvMAE Base 的检查点时遇到此类问题，是因为原始检查点包含这些用于 v1 架构的参数。加载时需过滤掉这些键值，或者确认你使用的是专为 v2 清理过的权重文件。","https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FConvMAE\u002Fissues\u002F19",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},39185,"代码中的掩码卷积（Mask Convolution）是否会导致信息泄露？","不会导致信息泄露。验证方法如下：\n1. 检查重建损失（reconstruction loss），实验数据证明 ConvMAE 内部没有发生信息泄露。\n2. 在第 1 阶段和第 2 阶段，空间信息聚合发生在深度卷积（depthwise convolution）操作中。只要对深度卷积进行掩码处理即可防止信息泄露，对其他操作符添加掩码是多余的。跳过连接（skip connection）未加掩码是设计使然，不会造成泄露。","https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FConvMAE\u002Fissues\u002F7",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},39186,"项目是否支持纯卷积网络（Pure Convolution Network）？","本文的研究范围主要集中在混合架构（卷积+Transformer）。评估纯卷积网络（如 ResNet50, ConvNeXt）在不同预训练范式（如 MAE, DINO, BYOL）下的表现超出了本论文的范围，因此官方代码主要关注 ConvMAE 提出的架构。","https:\u002F\u002Fgithub.com\u002FAlpha-VL\u002FConvMAE\u002Fissues\u002F3",[]]