[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-MCG-NJU--VideoMAE":3,"tool-MCG-NJU--VideoMAE":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",158594,2,"2026-04-16T23:34:05",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":92,"env_os":93,"env_gpu":94,"env_ram":93,"env_deps":95,"category_tags":101,"github_topics":103,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":116,"updated_at":117,"faqs":118,"releases":154},8320,"MCG-NJU\u002FVideoMAE","VideoMAE","[NeurIPS 2022 Spotlight] VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training","VideoMAE 是一款专为视频理解设计的自监督预训练框架，曾荣获 NeurIPS 2022 Spotlight 殊荣。它主要解决了视频分析领域长期面临的“数据饥渴”难题：传统方法依赖海量人工标注数据才能取得良好效果，成本高昂且效率低下。VideoMAE 创新地将图像领域的掩码自编码器（Masked Autoencoders）理念延伸至视频处理，通过随机遮蔽视频中的大部分时空片段，迫使模型学习重建被遮挡的内容。这种机制让 AI 能够从未标注的视频中高效提取深层特征，显著降低了对标注数据的依赖。\n\n该工具的核心亮点在于其极高的数据效率和强大的泛化能力，在动作识别、视频分类等任务上刷新了多项业界基准。它基于 PyTorch 构建，不仅开源了完整的训练代码和预训练模型，还友好地集成了 Hugging Face 和 Google Colab，方便快速上手。VideoMAE 非常适合人工智能研究人员探索自监督学习前沿，也适用于开发者构建高性能视频分析应用。无论是需要处理大规模视频库的企业团队，还是希望深入理解视频表征学习的学术探索者，都能从中获得强有力的技术支持。","# Official PyTorch Implementation of VideoMAE (NeurIPS 2022 Spotlight).\n\n![VideoMAE Framework](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMCG-NJU_VideoMAE_readme_12534799ddc4.jpg)\n\n[![License: CC BY-NC 4.0](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-CC_BY--NC_4.0-lightgrey.svg)](https:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc\u002F4.0\u002F)\u003Cbr>\n[![Hugging Face Models](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Models-blue)](https:\u002F\u002Fhuggingface.co\u002Fmodels?other=videomae)[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fsayakpaul\u002Fvideo-classification-ucf101-subset)[![Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fhuggingface\u002Fnotebooks\u002Fblob\u002Fmain\u002Fexamples\u002Fvideo_classification.ipynb)\u003Cbr>\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideomae-masked-autoencoders-are-data-1\u002Faction-recognition-in-videos-on-something)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Faction-recognition-in-videos-on-something?p=videomae-masked-autoencoders-are-data-1)\u003Cbr>\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideomae-masked-autoencoders-are-data-1\u002Faction-classification-on-kinetics-400)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Faction-classification-on-kinetics-400?p=videomae-masked-autoencoders-are-data-1)\u003Cbr>[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideomae-masked-autoencoders-are-data-1\u002Faction-recognition-on-ava-v2-2)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Faction-recognition-on-ava-v2-2?p=videomae-masked-autoencoders-are-data-1)\u003Cbr>\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideomae-masked-autoencoders-are-data-1\u002Fself-supervised-action-recognition-on-ucf101)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fself-supervised-action-recognition-on-ucf101?p=videomae-masked-autoencoders-are-data-1)\u003Cbr>\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideomae-masked-autoencoders-are-data-1\u002Fself-supervised-action-recognition-on-hmdb51)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fself-supervised-action-recognition-on-hmdb51?p=videomae-masked-autoencoders-are-data-1)\n\n> [**VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.12602)\u003Cbr>\n> [Zhan Tong](https:\u002F\u002Fgithub.com\u002Fyztongzhan), [Yibing Song](https:\u002F\u002Fybsong00.github.io\u002F), [Jue Wang](https:\u002F\u002Fjuewang725.github.io\u002F), [Limin Wang](http:\u002F\u002Fwanglimin.github.io\u002F)\u003Cbr>Nanjing University, Tencent AI Lab\n\n## 📰 News\n**[2023.4.18]** 🎈Everyone can download **Kinetics-400**, which is used in VideoMAE, from [this link](https:\u002F\u002Fopendatalab.com\u002FKinetics-400).\u003Cbr>\n**[2023.4.18]** Code and pre-trained models of [VideoMAE V2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.16727) have been released! Check and enjoy this [repo](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FVideoMAEv2)!\u003Cbr>\n**[2023.4.17]** We propose **[EVAD](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08451)**, an **end-to-end Video Action Detection** framework.\u003Cbr>\n**[2023.2.28]** Our [VideoMAE V2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.16727) is accepted by **CVPR 2023**! 🎉\u003Cbr>\n**[2023.1.16]** Code and pre-trained models for **Action Detection** in VideoMAE are [available](https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE-Action-Detection)! \u003Cbr>\n**[2022.12.27]** 🎈Everyone can download extracted **VideoMAE** features of **THUMOS**, **ActivityNet**, **HACS** and **FineAction** from [InternVideo](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FInternVideo\u002Ftree\u002Fmain\u002FDownstream\u002FTemporal-Action-Localization#to-reproduce-our-results-of-internvideo).\u003Cbr>\n**[2022.11.20]** 👀 VideoMAE is integrated into [![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fsayakpaul\u002Fvideo-classification-ucf101-subset) and [![Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fhuggingface\u002Fnotebooks\u002Fblob\u002Fmain\u002Fexamples\u002Fvideo_classification.ipynb), supported by [@Sayak Paul](https:\u002F\u002Fgithub.com\u002Fsayakpaul).\u003Cbr>\n**[2022.10.25]** 👀 VideoMAE is integrated into [MMAction2](https:\u002F\u002Fgithub.com\u002Fopen-mmlab\u002Fmmaction2\u002Ftree\u002Fdev-1.x\u002Fconfigs\u002Frecognition\u002Fvideomae), the results  on Kinetics-400 can be reproduced successfully. \u003Cbr>\n**[2022.10.20]** The pre-trained models and scripts of **ViT-S** and **ViT-H** are available! \u003Cbr>\n**[2022.10.19]** The pre-trained models and scripts on **UCF101** are [available](MODEL_ZOO.md#UCF101)! \u003Cbr>\n**[2022.9.15]** VideoMAE is accepted by **NeurIPS 2022** as a **spotlight** presentation! 🎉 \u003Cbr>\n**[2022.8.8]** 👀 VideoMAE is integrated into **official** [🤗HuggingFace Transformers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmain\u002Fen\u002Fmodel_doc\u002Fvideomae) now! [![Hugging Face Models](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Models-blue)](https:\u002F\u002Fhuggingface.co\u002Fmodels?other=videomae)\u003Cbr>\n**[2022.7.7]**  We have updated new results on downstream AVA 2.2 benchmark. Please refer to our [paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.12602) for details. \u003Cbr>\n**[2022.4.24]**  Code and pre-trained models are available now! \u003Cbr>\n**[2022.3.24]** ~~Code and pre-trained models will be released here.~~ Welcome to **watch** this repository for the latest updates.\n\n## ✨ Highlights\n\n### 🔥 Masked Video Modeling for Video Pre-Training\n\nVideoMAE performs the task of masked video modeling for video pre-training. We propose the **extremely high** masking ratio (90%-95%) and **tube masking** strategy to create a challenging task for self-supervised video pre-training.\n\n### ⚡️ A Simple, Efficient and Strong Baseline in SSVP\n\nVideoMAE uses the simple masked autoencoder and **plain ViT** backbone to perform video self-supervised learning. Due to the extremely high masking ratio, the pre-training time of VideoMAE is **much shorter** than contrastive learning methods (**3.2x** speedup). VideoMAE can serve as **a simple but strong baseline** for future research in self-supervised video pre-training.\n\n### 😮 High performance, but NO extra data required\n\nVideoMAE works well for video datasets of different scales and can achieve **87.4%** on Kinects-400, **75.4%** on Something-Something V2, **91.3%** on UCF101, and **62.6%** on HMDB51. To our best knowledge, VideoMAE is the **first** to achieve the state-of-the-art performance on these four popular benchmarks with the **vanilla ViT** backbones while **doesn't need** any extra data or pre-trained models.\n\n## 🚀 Main Results\n\n### ✨ Something-Something V2\n\n|  Method  | Extra Data | Backbone | Resolution | #Frames x Clips x Crops | Top-1 | Top-5 |\n| :------: | :--------: | :------: | :--------: | :---------------------: | :---: | :---: |\n| VideoMAE |  ***no***  |  ViT-S   |  224x224   |         16x2x3          | 66.8  | 90.3  |\n| VideoMAE |  ***no***  |  ViT-B   |  224x224   |         16x2x3          | 70.8  | 92.4  |\n| VideoMAE |  ***no***  |  ViT-L   |  224x224   |         16x2x3          | 74.3  | 94.6  |\n| VideoMAE |  ***no***  |  ViT-L   |  224x224   |         32x1x3          | 75.4  | 95.2  |\n\n### ✨ Kinetics-400\n\n|  Method  | Extra Data | Backbone | Resolution | #Frames x Clips x Crops | Top-1 | Top-5 |\n| :------: | :--------: | :------: | :--------: | :---------------------: | :---: | :---: |\n| VideoMAE |  ***no***  |  ViT-S   |  224x224   |         16x5x3          | 79.0  | 93.8  |\n| VideoMAE |  ***no***  |  ViT-B   |  224x224   |         16x5x3          | 81.5  | 95.1  |\n| VideoMAE |  ***no***  |  ViT-L   |  224x224   |         16x5x3          | 85.2  | 96.8  |\n| VideoMAE |  ***no***  |  ViT-H   |  224x224   |         16x5x3          | 86.6  | 97.1  |\n| VideoMAE |  ***no***  |  ViT-L   |  320x320   |         32x4x3          | 86.1  | 97.3  |\n| VideoMAE |  ***no***  |  ViT-H   |  320x320   |         32x4x3          | 87.4  | 97.6  |\n\n### ✨ AVA 2.2\n\nPlease check the code and checkpoints in [VideoMAE-Action-Detection](https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE-Action-Detection).\n|  Method  |  Extra Data  | Extra Label | Backbone | #Frame x Sample Rate | mAP  |\n| :------: | :----------: | :---------: | :------: | :------------------: | :--: |\n| VideoMAE | Kinetics-400 |   ✗   |  ViT-S   |         16x4         | 22.5 |\n| VideoMAE | Kinetics-400 |   ✓   |  ViT-S   |         16x4         | 28.4 |\n| VideoMAE | Kinetics-400 |   ✗   |  ViT-B   |         16x4         | 26.7 |\n| VideoMAE | Kinetics-400 |   ✓   |  ViT-B   |         16x4         | 31.8 |\n| VideoMAE | Kinetics-400 |   ✗   |  ViT-L   |         16x4         | 34.3 |\n| VideoMAE | Kinetics-400 |   ✓   |  ViT-L   |         16x4         | 37.0 |\n| VideoMAE | Kinetics-400 |   ✗   |  ViT-H   |         16x4         | 36.5 |\n| VideoMAE | Kinetics-400 |   ✓   |  ViT-H   |         16x4         | 39.5 |\n| VideoMAE | Kinetics-700 |   ✗   |  ViT-L   |         16x4         | 36.1 |\n| VideoMAE | Kinetics-700 |   ✓   |  ViT-L   |         16x4         | 39.3 |\n\n### ✨ UCF101 & HMDB51\n\n|  Method  |  Extra Data  | Backbone | UCF101 | HMDB51 |\n| :------: | :----------: | :------: | :----: | :----: |\n| VideoMAE |   ***no***   |  ViT-B   |  91.3  |  62.6  |\n| VideoMAE | Kinetics-400 |  ViT-B   |  96.1  |  73.3  |\n\n## 🔨 Installation\n\nPlease follow the instructions in [INSTALL.md](INSTALL.md).\n\n## ➡️ Data Preparation\n\nPlease follow the instructions in [DATASET.md](DATASET.md) for data preparation.\n\n## 🔄 Pre-training\n\nThe pre-training instruction is in [PRETRAIN.md](PRETRAIN.md).\n\n## ⤴️ Fine-tuning with pre-trained models\n\nThe fine-tuning instruction is in [FINETUNE.md](FINETUNE.md).\n\n## 📍Model Zoo\n\nWe provide pre-trained and fine-tuned models in [MODEL_ZOO.md](MODEL_ZOO.md).\n\n## 👀 Visualization\n\nWe provide the script for visualization in [`vis.sh`](vis.sh).  Colab notebook for better visualization is coming soon.\n\n## ☎️ Contact \n\nZhan Tong: tongzhan@smail.nju.edu.cn\n\n## 👍 Acknowledgements\n\nThanks to [Ziteng Gao](https:\u002F\u002Fsebgao.github.io\u002F), Lei Chen, [Chongjian Ge](https:\u002F\u002Fchongjiange.github.io\u002F), and [Zhiyu Zhao](https:\u002F\u002Fgithub.com\u002FJerryFlymi) for their kind support.\u003Cbr>\nThis project is built upon [MAE-pytorch](https:\u002F\u002Fgithub.com\u002Fpengzhiliang\u002FMAE-pytorch) and [BEiT](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Funilm\u002Ftree\u002Fmaster\u002Fbeit). Thanks to the contributors of these great codebases.\n\n## 🔒 License\n\nThe majority of this project is released under the CC-BY-NC 4.0 license as found in the [LICENSE](https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE\u002Fblob\u002Fmain\u002FLICENSE) file. Portions of the project are available under separate license terms: [SlowFast](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FSlowFast) and [pytorch-image-models](https:\u002F\u002Fgithub.com\u002Frwightman\u002Fpytorch-image-models) are licensed under the Apache 2.0 license. [BEiT](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Funilm\u002Ftree\u002Fmaster\u002Fbeit) is licensed under the MIT license.\n\n## ✏️ Citation\n\nIf you think this project is helpful, please feel free to leave a star⭐️ and cite our paper:\n\n```\n@inproceedings{tong2022videomae,\n  title={Video{MAE}: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training},\n  author={Zhan Tong and Yibing Song and Jue Wang and Limin Wang},\n  booktitle={Advances in Neural Information Processing Systems},\n  year={2022}\n}\n\n@article{videomae,\n  title={VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training},\n  author={Tong, Zhan and Song, Yibing and Wang, Jue and Wang, Limin},\n  journal={arXiv preprint arXiv:2203.12602},\n  year={2022}\n}\n```\n","# VideoMAE 的官方 PyTorch 实现（NeurIPS 2022 Spotlight）。\n\n![VideoMAE 框架](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMCG-NJU_VideoMAE_readme_12534799ddc4.jpg)\n\n[![许可证：CC BY-NC 4.0](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-CC_BY--NC_4.0-lightgrey.svg)](https:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc\u002F4.0\u002F)\u003Cbr>\n[![Hugging Face 模型](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Models-blue)](https:\u002F\u002Fhuggingface.co\u002Fmodels?other=videomae)[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fsayakpaul\u002Fvideo-classification-ucf101-subset)[![Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fhuggingface\u002Fnotebooks\u002Fblob\u002Fmain\u002Fexamples\u002Fvideo_classification.ipynb)\u003Cbr>\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideomae-masked-autoencoders-are-data-1\u002Faction-recognition-in-videos-on-something)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Faction-recognition-in-videos-on-something?p=videomae-masked-autoencoders-are-data-1)\u003Cbr>\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideomae-masked-autoencoders-are-data-1\u002Faction-classification-on-kinetics-400)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Faction-classification-on-kinetics-400?p=videomae-masked-autoencoders-are-data-1)\u003Cbr>[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideomae-masked-autoencoders-are-data-1\u002Faction-recognition-on-ava-v2-2)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Faction-recognition-on-ava-v2-2?p=videomae-masked-autoencoders-are-data-1)\u003Cbr>\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideomae-masked-autoencoders-are-data-1\u002Fself-supervised-action-recognition-on-ucf101)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fself-supervised-action-recognition-on-ucf101?p=videomae-masked-autoencoders-are-data-1)\u003Cbr>\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fvideomae-masked-autoencoders-are-data-1\u002Fself-supervised-action-recognition-on-hmdb51)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fself-supervised-action-recognition-on-hmdb51?p=videomae-masked-autoencoders-are-data-1)\n\n> [**VideoMAE：掩码自编码器是自监督视频预训练中数据高效的学习者**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.12602)\u003Cbr>\n> Zhan Tong (https:\u002F\u002Fgithub.com\u002Fyztongzhan), Yibing Song (https:\u002F\u002Fybsong00.github.io\u002F), Jue Wang (https:\u002F\u002Fjuewang725.github.io\u002F), Limin Wang (http:\u002F\u002Fwanglimin.github.io\u002F) \u003Cbr>南京大学，腾讯 AI 实验室\n\n## 📰 新闻\n**[2023.4.18]** 🎈大家可以从[这个链接](https:\u002F\u002Fopendatalab.com\u002FKinetics-400)下载 VideoMAE 中使用的 **Kinetics-400** 数据集。\u003Cbr>\n**[2023.4.18]** [VideoMAE V2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.16727) 的代码和预训练模型已经发布！请查看并体验这个[仓库](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FVideoMAEv2)！\u003Cbr>\n**[2023.4.17]** 我们提出了一个**端到端的视频动作检测**框架 **[EVAD](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08451)**。\u003Cbr>\n**[2023.2.28]** 我们的 [VideoMAE V2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.16727) 被 **CVPR 2023** 接收！🎉\u003Cbr>\n**[2023.1.16]** VideoMAE 中用于**动作检测**的代码和预训练模型已经[可用](https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE-Action-Detection)！\u003Cbr>\n**[2022.12.27]** 🎈大家可以从 [InternVideo](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FInternVideo\u002Ftree\u002Fmain\u002FDownstream\u002FTemporal-Action-Localization#to-reproduce-our-results-of-internvideo) 下载提取出的 **THUMOS**、**ActivityNet**、**HACS** 和 **FineAction** 的 **VideoMAE** 特征。\u003Cbr>\n**[2022.11.20]** 👀 VideoMAE 已集成到 [![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fsayakpaul\u002Fvideo-classification-ucf101-subset) 和 [![Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fhuggingface\u002Fnotebooks\u002Fblob\u002Fmain\u002Fexamples\u002Fvideo_classification.ipynb)，由 [@Sayak Paul](https:\u002F\u002Fgithub.com\u002Fsayakpaul) 提供支持。\u003Cbr>\n**[2022.10.25]** 👀 VideoMAE 已集成到 [MMAction2](https:\u002F\u002Fgithub.com\u002Fopen-mmlab\u002Fmmaction2\u002Ftree\u002Fdev-1.x\u002Fconfigs\u002Frecognition\u002Fvideomae)，在 Kinetics-400 上的结果可以成功复现。\u003Cbr>\n**[2022.10.20]** **ViT-S** 和 **ViT-H** 的预训练模型和脚本已经可用！\u003Cbr>\n**[2022.10.19]** **UCF101** 上的预训练模型和脚本已经[可用](MODEL_ZOO.md#UCF101)！\u003Cbr>\n**[2022.9.15]** VideoMAE 被 **NeurIPS 2022** 接受为 **spotlight** 报告！🎉\u003Cbr>\n**[2022.8.8]** 👀 VideoMAE 现已集成到 **官方** [🤗HuggingFace Transformers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmain\u002Fen\u002Fmodel_doc\u002Fvideomae) 中！[![Hugging Face 模型](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Models-blue)](https:\u002F\u002Fhuggingface.co\u002Fmodels?other=videomae)\u003Cbr>\n**[2022.7.7]** 我们更新了下游 AVA 2.2 基准上的新结果。详情请参阅我们的[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.12602)。\u003Cbr>\n**[2022.4.24]** 代码和预训练模型现已可用！\u003Cbr>\n**[2022.3.24]** ~~代码和预训练模型将在此发布。~~ 欢迎关注此仓库以获取最新动态。\n\n## ✨ 亮点\n\n### 🔥 视频预训练中的掩码视频建模\n\nVideoMAE 执行视频预训练中的掩码视频建模任务。我们提出了**极高**的掩码比例（90%-95%）和**体素掩码**策略，为自监督视频预训练创造了一个极具挑战性的任务。\n\n### ⚡️ 一种简单、高效且强大的自监督视频预训练基线\n\nVideoMAE 使用简单的掩码自编码器和**纯 ViT** 主干网络来进行视频自监督学习。由于掩码比例极高，VideoMAE 的预训练时间比对比学习方法**短得多**（速度提升 **3.2 倍**）。VideoMAE 可以作为未来自监督视频预训练研究中**简单但强大的基线**。\n\n### 😮 高性能，无需额外数据\n\nVideoMAE 在不同规模的视频数据集上表现良好，在 Kinetics-400 上达到 **87.4%**，在 Something-Something V2 上达到 **75.4%**，在 UCF101 上达到 **91.3%**，在 HMDB51 上达到 **62.6%**。据我们所知，VideoMAE 是**首个**使用**原生 ViT** 主干网络，在**不需任何额外数据或预训练模型**的情况下，在这四个热门基准上取得最先进性能的方法。\n\n## 🚀 主要结果\n\n### ✨ Something-Something V2\n\n| 方法 | 需要额外数据 | 主干网络 | 分辨率 | 帧数 × 片段 × 裁剪 | Top-1 | Top-5 |\n| :------: | :--------: | :------: | :--------: | :---------------------: | :---: | :---: |\n| VideoMAE |  ***否***  |  ViT-S   |  224x224   |         16x2x3          | 66.8  | 90.3  |\n| VideoMAE |  ***否***  |  ViT-B   |  224x224   |         16x2x3          | 70.8  | 92.4  |\n| VideoMAE |  ***否***  |  ViT-L   |  224x224   |         16x2x3          | 74.3  | 94.6  |\n| VideoMAE |  ***否***  |  ViT-L   |  224x224   |         32x1x3          | 75.4  | 95.2  |\n\n### ✨ Kinetics-400\n\n| 方法 | 额外数据 | 主干网络 | 分辨率 | 帧数×片段数×裁剪次数 | Top-1 | Top-5 |\n| :------: | :--------: | :------: | :--------: | :---------------------: | :---: | :---: |\n| VideoMAE |  ***无***  |  ViT-S   |  224x224   |         16x5x3          | 79.0  | 93.8  |\n| VideoMAE |  ***无***  |  ViT-B   |  224x224   |         16x5x3          | 81.5  | 95.1  |\n| VideoMAE |  ***无***  |  ViT-L   |  224x224   |         16x5x3          | 85.2  | 96.8  |\n| VideoMAE |  ***无***  |  ViT-H   |  224x224   |         16x5x3          | 86.6  | 97.1  |\n| VideoMAE |  ***无***  |  ViT-L   |  320x320   |         32x4x3          | 86.1  | 97.3  |\n| VideoMAE |  ***无***  |  ViT-H   |  320x320   |         32x4x3          | 87.4  | 97.6  |\n\n### ✨ AVA 2.2\n\n请查看 [VideoMAE-Action-Detection](https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE-Action-Detection) 中的代码和检查点。\n| 方法 | 额外数据 | 额外标签 | 主干网络 | 帧数×采样率 | mAP  |\n| :------: | :----------: | :---------: | :------: | :------------------: | :--: |\n| VideoMAE | Kinetics-400 |   ✗   |  ViT-S   |         16x4         | 22.5 |\n| VideoMAE | Kinetics-400 |   ✓   |  ViT-S   |         16x4         | 28.4 |\n| VideoMAE | Kinetics-400 |   ✗   |  ViT-B   |         16x4         | 26.7 |\n| VideoMAE | Kinetics-400 |   ✓   |  ViT-B   |         16x4         | 31.8 |\n| VideoMAE | Kinetics-400 |   ✗   |  ViT-L   |         16x4         | 34.3 |\n| VideoMAE | Kinetics-400 |   ✓   |  ViT-L   |         16x4         | 37.0 |\n| VideoMAE | Kinetics-400 |   ✗   |  ViT-H   |         16x4         | 36.5 |\n| VideoMAE | Kinetics-400 |   ✓   |  ViT-H   |         16x4         | 39.5 |\n| VideoMAE | Kinetics-700 |   ✗   |  ViT-L   |         16x4         | 36.1 |\n| VideoMAE | Kinetics-700 |   ✓   |  ViT-L   |         16x4         | 39.3 |\n\n### ✨ UCF101 & HMDB51\n\n| 方法 | 额外数据 | 主干网络 | UCF101 | HMDB51 |\n| :------: | :----------: | :------: | :----: | :----: |\n| VideoMAE |   ***无***   |  ViT-B   |  91.3  |  62.6  |\n| VideoMAE | Kinetics-400 |  ViT-B   |  96.1  |  73.3  |\n\n## 🔨 安装\n\n请按照 [INSTALL.md](INSTALL.md) 中的说明进行操作。\n\n## ➡️ 数据准备\n\n请按照 [DATASET.md](DATASET.md) 中的说明进行数据准备。\n\n## 🔄 预训练\n\n预训练说明见 [PRETRAIN.md](PRETRAIN.md)。\n\n## ⤴️ 使用预训练模型进行微调\n\n微调说明见 [FINETUNE.md](FINETUNE.md)。\n\n## 📍 模型库\n\n我们在 [MODEL_ZOO.md](MODEL_ZOO.md) 中提供了预训练和微调后的模型。\n\n## 👀 可视化\n\n我们提供了用于可视化的脚本 [`vis.sh`](vis.sh)。用于更好可视化的 Colab 笔记本即将推出。\n\n## ☎️ 联系方式\n\nZhan Tong：tongzhan@smail.nju.edu.cn\n\n## 👍 致谢\n\n感谢 [Ziteng Gao](https:\u002F\u002Fsebgao.github.io\u002F)、Lei Chen、[Chongjian Ge](https:\u002F\u002Fchongjiange.github.io\u002F) 和 [Zhiyu Zhao](https:\u002F\u002Fgithub.com\u002FJerryFlymi) 的鼎力支持。\u003Cbr>\n本项目基于 [MAE-pytorch](https:\u002F\u002Fgithub.com\u002Fpengzhiliang\u002FMAE-pytorch) 和 [BEiT](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Funilm\u002Ftree\u002Fmaster\u002Fbeit) 构建。感谢这些优秀代码库的贡献者们。\n\n## 🔒 许可证\n\n本项目的大部分内容采用 CC-BY-NC 4.0 许可证，详见 [LICENSE](https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE\u002Fblob\u002Fmain\u002FLICENSE) 文件。项目中的部分内容则采用单独的许可条款：[SlowFast](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FSlowFast) 和 [pytorch-image-models](https:\u002F\u002Fgithub.com\u002Frwightman\u002Fpytorch-image-models) 采用 Apache 2.0 许可证。[BEiT](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Funilm\u002Ftree\u002Fmaster\u002Fbeit) 则采用 MIT 许可证。\n\n## ✏️ 引用\n\n如果您认为本项目有所帮助，请随时点赞⭐️ 并引用我们的论文：\n\n```\n@inproceedings{tong2022videomae,\n  title={Video{MAE}: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training},\n  author={Zhan Tong and Yibing Song and Jue Wang and Limin Wang},\n  booktitle={Advances in Neural Information Processing Systems},\n  year={2022}\n}\n\n@article{videomae,\n  title={VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training},\n  author={Tong, Zhan and Song, Yibing and Wang, Jue and Wang, Limin},\n  journal={arXiv preprint arXiv:2203.12602},\n  year={2022}\n}\n```","# VideoMAE 快速上手指南\n\nVideoMAE 是一种基于掩码自编码器（Masked Autoencoders）的视频自监督预训练框架，在 NeurIPS 2022 上获得 Spotlight 展示。它通过极高的掩码比例（90%-95%）和管状掩码策略，实现了高效且强大的视频表征学习，无需额外数据即可在多个基准数据集上达到 SOTA 性能。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu 18.04+)\n- **Python**: 3.7+\n- **GPU**: 支持 CUDA 的 NVIDIA GPU (建议显存 >= 16GB 用于训练)\n- **CUDA**: 10.2 或更高版本\n\n### 前置依赖\n确保已安装以下基础库：\n- PyTorch >= 1.8.1\n- torchvision\n- timm\n- einops\n- decord (用于视频读取)\n\n> **国内加速建议**：推荐使用清华源或阿里源安装 Python 依赖，以加快下载速度。\n> ```bash\n> pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple \u003Cpackage_name>\n> ```\n\n## 安装步骤\n\n1. **克隆仓库**\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE.git\n   cd VideoMAE\n   ```\n\n2. **创建虚拟环境并安装依赖**\n   ```bash\n   conda create -n videomae python=3.8 -y\n   conda activate videomae\n   \n   # 安装 PyTorch (根据实际 CUDA 版本选择，此处以 CUDA 11.3 为例)\n   pip install torch==1.10.1+cu113 torchvision==0.11.2+cu113 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu113\u002Ftorch_stable.html\n   \n   # 安装其他依赖 (使用国内镜像加速)\n   pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n   ```\n\n3. **编译自定义算子 (可选)**\n   如果需要加速数据处理，可编译 `decord` 等库：\n   ```bash\n   pip install decord -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n   ```\n\n## 基本使用\n\n以下是使用预训练模型进行视频分类的最简单示例（基于 Hugging Face Transformers 集成版，无需从头训练）：\n\n### 方式一：使用 Hugging Face Transformers (推荐快速测试)\n\n```python\nfrom transformers import VideoMAEFeatureExtractor, VideoMAEForVideoClassification\nfrom PIL import Image\nimport torch\nimport av\n\n# 加载特征提取器和模型\nfeature_extractor = VideoMAEFeatureExtractor.from_pretrained(\"MCG-NJU\u002Fvideomae-base-finetuned-kinetics\")\nmodel = VideoMAEForVideoClassification.from_pretrained(\"MCG-NJU\u002Fvideomae-base-finetuned-kinetics\")\n\n# 读取视频 (使用 av 库)\ndef read_video_pyav(container, indices):\n    frames = []\n    container.seek(0)\n    start_index = indices[0]\n    end_index = indices[-1]\n    for i, frame in enumerate(container.decode(video=0)):\n        if i > end_index:\n            break\n        if i >= start_index and i in indices:\n            frames.append(frame)\n    return [frame.to_rgb().to_ndarray() for frame in frames]\n\n# 示例：加载视频并预处理\ncontainer = av.open(\"test_video.mp4\")\nindices = range(0, 16) # 采样 16 帧\nframes = read_video_pyav(container, indices)\ninputs = feature_extractor(frames, return_tensors=\"pt\")\n\n# 推理\nwith torch.no_grad():\n    outputs = model(**inputs)\n    logits = outputs.logits\n\n# 获取预测结果\npredicted_class_idx = logits.argmax(-1).item()\nprint(\"Predicted class:\", model.config.id2label[predicted_class_idx])\n```\n\n### 方式二：运行官方微调脚本 (需自备数据集)\n\n假设已按照 `DATASET.md` 准备好 Kinetics-400 数据集，使用预训练权重进行微调的命令如下：\n\n```bash\npython run_class_finetuning.py \\\n    --model vit_base_patch16_224 \\\n    --finetune .\u002Fpretrain_videomae_base_1600e_kinetics400_rgb.pth \\\n    --data_path .\u002Fdata\u002Fkinetics400\u002Ftrain_list.json \\\n    --eval_data_path .\u002Fdata\u002Fkinetics400\u002Fval_list.json \\\n    --num_classes 400 \\\n    --batch_size 8 \\\n    --num_workers 8 \\\n    --opt adamw \\\n    --lr 5e-4 \\\n    --update_freq 2 \\\n    --epochs 30 \\\n    --dist_eval \\\n    --save_ckpt_freq 5 \\\n    --output_dir .\u002Foutput_dir\n```\n\n> **注意**：完整的数据准备、预训练及详细参数配置请参考项目根目录下的 `DATASET.md`, `PRETRAIN.md` 和 `FINETUNE.md` 文档。预训练模型可在 `MODEL_ZOO.md` 中下载。","某智慧安防团队正在构建一套基于监控视频的行为识别系统，旨在自动检测工厂区域内的违规操作（如未戴安全帽、闯入危险区等），但面临标注数据稀缺且视频背景复杂的挑战。\n\n### 没有 VideoMAE 时\n- **数据依赖极高**：传统监督学习需要数万段人工精细标注的视频片段，标注成本高昂且周期长达数月。\n- **小样本效果差**：在仅有少量标注样本的情况下，模型难以捕捉动作的时空特征，导致对罕见违规行为的识别准确率不足 40%。\n- **冗余计算严重**：视频中大量静态背景（如墙壁、地面）占据了主要计算资源，模型容易过拟合于背景噪声而非关键动作。\n- **泛化能力弱**：一旦监控摄像头角度或光照条件发生微小变化，模型性能便急剧下降，需重新收集数据训练。\n\n### 使用 VideoMAE 后\n- **大幅降低标注需求**：利用 VideoMAE 的自监督掩码预训练机制，团队仅用少量无标签原始视频即可让模型学会通用的视频表示，标注数据需求减少 80%。\n- **小样本性能跃升**：在同等少量标注数据下，微调后的模型对违规动作的识别准确率提升至 85% 以上，有效解决了冷启动问题。\n- **聚焦关键动态信息**：通过随机掩码大部分视频块并强制模型重建，VideoMAE 迫使网络忽略静态背景，专注于学习人物动作的时空演变规律。\n- **强鲁棒性与泛化性**：预训练学到的通用特征使模型能轻松适应不同摄像头视角和光照环境，无需针对每个新场景重新训练。\n\nVideoMAE 通过“掩码重建”的自监督学习范式，将视频理解从“数据饥渴”转变为“数据高效”，让有限算力下的复杂行为识别成为可能。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMCG-NJU_VideoMAE_79a7df05.png","MCG-NJU","Multimedia Computing Group, Nanjing University","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FMCG-NJU_c347ee15.png","",null,"mcg.nju.edu.cn","https:\u002F\u002Fgithub.com\u002FMCG-NJU",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",92.4,{"name":85,"color":86,"percentage":87},"Shell","#89e051",7.6,1716,167,"2026-04-16T15:41:01","NOASSERTION",4,"未说明","需要 NVIDIA GPU（基于 PyTorch 实现及 ViT 架构特性推断），具体型号和显存大小未说明，CUDA 版本未说明",{"notes":96,"python":93,"dependencies":97},"详细的环境安装步骤请参考项目中的 INSTALL.md 文件。该项目基于 MAE-pytorch 和 BEiT 构建。支持通过 Hugging Face Transformers 直接调用模型。训练和推理涉及视频数据处理，具体数据准备请参考 DATASET.md。",[98,99,100],"PyTorch","timm (pytorch-image-models)","transformers (可选，已集成 Hugging Face)",[102,35,14],"视频",[104,105,106,107,108,109,110,111,112,113,114,115],"self-supervised-learning","action-recognition","video-understanding","masked-autoencoder","transformer","vision-transformer","video-transformer","mae","pytorch","video-representation-learning","video-analysis","neurips-2022","2026-03-27T02:49:30.150509","2026-04-17T09:54:09.311478",[119,124,129,134,139,144,149],{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},37229,"如何获取 SSV2、K400 等数据集的标注文件（train.csv, val.csv, test.csv）？","官方已分享标注文件，可以通过以下 Google Drive 链接下载：https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1cfA-SrPhDB9B8ZckPvnh8D5ysCjD-S_I?usp=share_link。如果自行生成文件导致评估准确率异常低，建议直接使用官方提供的文件。","https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE\u002Fissues\u002F27",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},37230,"为什么在 UCF-101 数据集上测试的准确率远低于论文报告的数值（如 91.3%）？","这通常是因为测试参数设置不正确。为了复现报告的高准确率，必须使用多裁剪（multi-crop）和多段采样（multi-segment）进行测试。请确保在运行脚本时添加参数 `--test_num_segment 5 --test_num_crop 3`。如果未使用这些参数，迭代次数和评估结果都会偏低。","https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE\u002Fissues\u002F69",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},37231,"VideoMAE 是否已经集成到 HuggingFace Transformers 库中？如何使用？","是的，VideoMAE 已被正式添加到 HuggingFace Transformers 库中。您可以直接通过 `transformers` 库加载模型。预训练权重和微调模型托管在 HuggingFace Hub 上（例如：https:\u002F\u002Fhuggingface.co\u002Fnielsr\u002Fvideomae-base），详细文档请参阅：https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmain\u002Fen\u002Fmodel_doc\u002Fvideomae。","https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE\u002Fissues\u002F23",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},37232,"在哪里可以找到 UCF101 和 HMDB51 数据集的预训练模型和复现脚本？","UCF101 的预训练模型和脚本已在 MODEL_ZOO.md 中提供（https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE\u002Fblob\u002Fmain\u002FMODEL_ZOO.md#UCF101）。HMDB51 的相关脚本也在陆续发布中。如果无法复现准确率，请检查是否使用了正确的预热轮数（warmup epochs）和其他超参数配置。","https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE\u002Fissues\u002F38",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},37233,"在 SSV2 数据集上复现结果时，学习率（Learning Rate）应该如何设置？","根据社区复现经验，基于更新后的代码库，学习率和总批次大小对最终结果的影响不如预期大。有用户在使用 800 个预训练 epoch 后成功复现了 69.88% 的准确率。如果您遇到预处理问题（如 ffmpeg 报错 width not divisible by 2），可能需要调整视频分辨率以确保宽高能被 2 整除。","https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE\u002Fissues\u002F6",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},37234,"代码中的预训练批次大小（2048）与论文中描述的（1024）不一致，以哪个为准？","请以代码配置为准。官方设定基础学习率（base learning rate）为 1.5e-4。官方回复指出他们并没有严格定义“有效批次大小（effective batch size）”这一概念，实际训练中使用的配置是 32 (per GPU) x 8 (nodes) x 8 (GPUs) = 2048。","https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE\u002Fissues\u002F64",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},37235,"微调（Finetuning）时遇到 'missing keys' 错误如何解决？","该错误通常是因为加载预训练权重时的参数配置不当。如果您没有使用官方提供的微调脚本，请检查 `resume` 参数是否被错误地设置为非空值，或者检查代码中是否遗漏了跳过某些层（如分类头）加载的逻辑。确保正确区分预训练权重加载和断点续训（resume）的模式。","https:\u002F\u002Fgithub.com\u002FMCG-NJU\u002FVideoMAE\u002Fissues\u002F30",[]]