[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-facebookresearch--jepa":3,"tool-facebookresearch--jepa":64},[4,17,26,40,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[13,14,15],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":23,"last_commit_at":32,"category_tags":33,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,34,35,36,15,37,38,13,39],"数据工具","视频","插件","其他","语言模型","音频",{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":10,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,38,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":10,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[38,14,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[13,14],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":87,"forks":88,"last_commit_at":89,"license":90,"difficulty_score":10,"env_os":91,"env_gpu":91,"env_ram":91,"env_deps":92,"category_tags":97,"github_topics":79,"view_count":98,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":99,"updated_at":100,"faqs":101,"releases":130},520,"facebookresearch\u002Fjepa","jepa","PyTorch code and models for V-JEPA self-supervised learning from video.","jepa 是由 Meta AI 研究团队推出的开源项目，核心是 V-JEPA 架构，旨在通过自监督学习从视频中提取高效的视觉表示。它主要解决了传统视频理解任务依赖大量人工标注、负样本或像素级重建的高成本问题。\n\njepa 的独特之处在于其训练过程完全基于无监督的特征预测目标。模型仅需被动观看视频像素，无需文本信息、预训练图像编码器或人类标注即可学习。在潜在空间中进行预测而非直接还原像素，使得学到的特征具有优秀的时空一致性。\n\njepa 非常适合计算机视觉领域的研究人员和开发者。利用 jepa 预训练的模型，用户在进行下游视频或图像任务时，只需冻结主干网络并搭配轻量级探针，无需微调参数即可获得优异表现。目前官方已提供 ViT-L 和 ViT-H 等多种规格的预训练权重及配置，为探索视频表征学习提供了强有力的基础。","# V-JEPA: Video Joint Embedding Predictive Architecture\n\nOfficial PyTorch codebase for the _video joint-embedding predictive architecture_, V-JEPA, a method for self-supervised learning of visual representations from video.\n\n**[Meta AI Research, FAIR](https:\u002F\u002Fai.facebook.com\u002Fresearch\u002F)**\n\nAdrien Bardes, Quentin Garrido, Jean Ponce, Xinlei Chen, Michael Rabbat, Yann LeCun, Mahmoud Assran*, Nicolas Ballas*\n\n[\\[Blog\\]](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fv-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture\u002F)\n[\\[Paper\\]](https:\u002F\u002Fai.meta.com\u002Fresearch\u002Fpublications\u002Frevisiting-feature-prediction-for-learning-visual-representations-from-video\u002F)\n[\\[Yannic Kilcher's Video\\]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=7UkJPwz_N_0)\n\nV-JEPA models are trained by passively watching video pixels from the VideoMix2M dataset, and produce versatile visual representations that perform well on downstream video and image tasks, without adaption of the model’s parameters; e.g., using a frozen backbone and only a light-weight task-specific attentive probe.\n\n## Method\nV-JEPA pretraining is based solely on an unsupervised feature prediction objective, and does not utilize pretrained image encoders, text, negative examples, human annotations, or pixel-level reconstruction.\n\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_a56d93f5f692.png\" width=40%>\n     \n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_1249e6c8fa6b.png\" width=40%>\n\n\n\n## Visualizations\nAs opposed to generative methods that have a pixel decoder, V-JEPA has a predictor that makes predictions in latent space.\nWe train a conditional diffusion model to decode the V-JEPA feature-space predictions to interpretable pixels; the pretrained V-JEPA encoder and predictor networks are kept frozen in this process.\nThe decoder is only fed the representations predicted for the missing regions of the video, and does not have access to the unmasked regions of the video.\n\nThe V-JEPA feature predictions are indeed grounded, and exhibit spatio-temporal consistency with the unmasked regions of the video.\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_865fd5a5a6c0.png\" width=90%>\n\u003Cbr\u002F>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_9016bb359fa4.png\" width=22%>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_c2dc723053a9.png\" width=22%>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_7941bf694dba.png\" width=22%>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_16ae8f3673a5.png\" width=22%>\n\u003Cbr\u002F>\n\n## MODEL ZOO\n\n#### Pretrained models\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Cth colspan=\"1\">model\u003C\u002Fth>\n    \u003Cth colspan=\"1\">patch size\u003C\u002Fth>\n    \u003Cth colspan=\"1\">resolution\u003C\u002Fth>\n    \u003Cth colspan=\"1\">iterations\u003C\u002Fth>\n    \u003Cth colspan=\"1\">batch size\u003C\u002Fth>\n    \u003Cth colspan=\"1\">data\u003C\u002Fth>\n    \u003Cth colspan=\"2\">download\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-L\u003C\u002Ftd>\n    \u003Ctd>2x16x16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>90K\u003C\u002Ftd>\n    \u003Ctd>3072\u003C\u002Ftd>\n    \u003Ctd>VideoMix2M\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Fvitl16.pth.tar\">checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fpretrain\u002Fvitl16.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u003C\u002Ftd>\n    \u003Ctd>2x16x16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>90K\u003C\u002Ftd>\n    \u003Ctd>3072\u003C\u002Ftd>\n    \u003Ctd>VideoMix2M\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Fvith16.pth.tar\">checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fpretrain\u002Fvith16.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u003C\u002Ftd>\n    \u003Ctd>2x16x16\u003C\u002Ftd>\n    \u003Ctd>384x384\u003C\u002Ftd>\n    \u003Ctd>90K\u003C\u002Ftd>\n    \u003Ctd>2400\u003C\u002Ftd>\n    \u003Ctd>VideoMix2M\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Fvith16-384.pth.tar\">checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fpretrain\u002Fvith16_384.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n#### K400 Attentive probes\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Cth colspan=\"1\">model\u003C\u002Fth>\n    \u003Cth colspan=\"1\">resolution\u003C\u002Fth>\n    \u003Cth colspan=\"1\">accuracy (16x8x3)\u003C\u002Fth>\n    \u003Cth colspan=\"2\">download\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-L\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>80.8\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Fk400-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvitl16_k400_16x8x3.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>82.0\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Fk400-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_k400_16x8x3.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>384x384\u003C\u002Ftd>\n    \u003Ctd>81.9\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Fk400-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_384_k400_16x8x3.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n#### SSv2 Attentive probes\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Cth colspan=\"1\">model\u003C\u002Fth>\n    \u003Cth colspan=\"1\">resolution\u003C\u002Fth>\n    \u003Cth colspan=\"1\">accuracy (16x2x3)\u003C\u002Fth>\n    \u003Cth colspan=\"2\">download\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-L\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>69.5\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Fssv2-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvitl16_ssv2_16x2x3.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>71.4\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Fssv2-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_ssv2_16x2x3.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>384x384\u003C\u002Ftd>\n    \u003Ctd>72.2\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Fssv2-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_384_ssv2_16x2x3.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n#### ImageNet1K Attentive probes\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Cth colspan=\"1\">model\u003C\u002Fth>\n    \u003Cth colspan=\"1\">resolution\u003C\u002Fth>\n    \u003Cth colspan=\"1\">accuracy\u003C\u002Fth>\n    \u003Cth colspan=\"2\">download\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-L\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>74.8\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Fin1k-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvitl16_in1k.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>75.9\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Fin1k-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_in1k.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>384x384\u003C\u002Ftd>\n    \u003Ctd>77.4\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Fin1k-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_384_in1k.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n#### Places205 Attentive probes\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Cth colspan=\"1\">model\u003C\u002Fth>\n    \u003Cth colspan=\"1\">resolution\u003C\u002Fth>\n    \u003Cth colspan=\"1\">accuracy\u003C\u002Fth>\n    \u003Cth colspan=\"2\">download\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-L\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>60.3\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Fplaces-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvitl16_places.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>61.7\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Fplaces-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_places.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>384x384\u003C\u002Ftd>\n    \u003Ctd>62.8\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Fplaces-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_384_places.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n#### iNat21 Attentive probes\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Cth colspan=\"1\">model\u003C\u002Fth>\n    \u003Cth colspan=\"1\">resolution\u003C\u002Fth>\n    \u003Cth colspan=\"1\">accuracy\u003C\u002Fth>\n    \u003Cth colspan=\"2\">download\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-L\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>67.8\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Finat-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvitl16_inat.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>67.9\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Finat-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_inat.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>384x384\u003C\u002Ftd>\n    \u003Ctd>72.6\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Finat-probe.pth.tar\">attentive probe checkpoint\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_384_inat.yaml\">configs\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## Code Structure\n\n**Config files:**\nAll experiment parameters are specified in config files (as opposed to command-line arguments). See the [configs\u002F](configs\u002F) directory for example config files. Note, before launching an experiment, you must update the paths in the config file to point to your own directories, indicating where to save the logs and checkpoints and where to find the training data.\n\n\n```\n.\n├── app                       # the only place where training loops are allowed\n│   ├── vjepa                 #   Video JEPA pre-training\n│   ├── main_distributed.py   #   entrypoint for launching app on slurm cluster\n│   └── main.py               #   entrypoint for launching app locally on your machine for debugging\n├── evals                     # the only place where evaluation of 'apps' are allowed\n│   ├── image_classification  #   training an attentive probe for image classification with frozen backbone\n│   ├── video_classification  #   training an attentive probe for video classification with frozen backbone\n│   ├── main_distributed.py   #   entrypoint for launching distributed evaluations on slurm cluster\n│   └── main.py               #   entrypoint for launching evaluations locally on your machine for debugging\n├── src                       # the package\n│   ├── datasets              #   datasets, data loaders, ...\n│   ├── models                #   model definitions\n│   ├── masks                 #   mask collators, masking utilities, ...\n│   └── utils                 #   shared utilities\n└── configs                   # the only place where config files are allowed (specify experiment params for app\u002Feval runs)\n    ├── evals                 #   configs for launching vjepa frozen evaluations\n    └── pretrain              #   configs for launching vjepa pretraining\n\n```\n\n## Data preparation\n\n### Video Datasets\nV-JEPA pretraining and evaluations work with many standard video formats.\nTo make a video dataset compatible with the V-JEPA codebase, you simply need to create a `.csv` file with the following format and then specify the path to this CSV file in your config.\n```\n\u002Fabsolute_file_path.[mp4, webvid, etc.] $integer_class_label\n\u002Fabsolute_file_path.[mp4, webvid, etc.] $integer_class_label\n\u002Fabsolute_file_path.[mp4, webvid, etc.] $integer_class_label\n...\n```\nSince V-JEPA is entirely unsupervised, the pretraining code will disregard the `$integer_class_label` in the CSV file.\nThus, feel free to put a random value in this column.\nHowever, if you wish to run a supervised video classification evaluation on your video dataset, you must replace ```$integer_class_label``` with the ground truth label for each video.\n\n### Image Datasets\nWe use the standard PyTorch ```ImageFolder``` class in our image classification evals.\nThus, to set up an image dataset for the image classification evaluation, first create a directory to store your image datasets ```$your_directory_containing_image_datasets```.\nNext, download your image datasets into this directory in a format compatible with [PyTorch ImageFolder](https:\u002F\u002Fpytorch.org\u002Fvision\u002Fmain\u002Fgenerated\u002Ftorchvision.datasets.ImageFolder.html).\n\nFor example, suppose we have a directory called ``my_image_datasets``. We would then download our image datasets into this directory so that we end up with the following file tree\n```\n.\n└── \u002Fmy_image_datasets\u002F                # where we store image datasets\n    ├── places205\u002F121517\u002Fpytorch\u002F      #   Places205\n    │   └── [...]\n    ├── iNaturalist-2021\u002F110421\u002F       #   iNaturalist21\n    │   └── [...]\n    ├── [...]                          #   Other Image Datasets\n    │   └── [...]\n    └── imagenet_full_size\u002F061417\u002F     #   ImageNet1k\n        └── train\n        │   ├── $class_1\n        │   │    ├── xxx.[png, jpeg, etc.]\n        │   │    ├── [...]\n        │   │    └── xxz.[png, jpeg, etc.]\n        │   ├── [...]\n        │   └── $class_n\n        │       ├── abc.[png, jpeg, etc.]\n        │       ├── [...]\n        │       └── abz.[png, jpeg, etc.]\n        └── val\n            ├── $class_1\n            │    ├── xxx.[png, jpeg, etc.]\n            │    ├── [...]\n            │    └── xxz.[png, jpeg, etc.]\n            ├── [...]\n            └── $class_n\n                ├── abc.[png, jpeg, etc.]\n                ├── [...]\n                └── abz.[png, jpeg, etc.]\n```\n\n\n## Launching V-JEPA pretraining\n\n### Local training\nIf you wish to debug your code or setup before launching a distributed training run, we provide the functionality to do so by running the pretraining script locally on a multi-GPU (or single-GPU) machine, however, reproducing our results requires launching distributed training.\n\nThe single-machine implementation starts from the [app\u002Fmain.py](appmain.py), which parses the experiment config file and runs the pretraining locally on a multi-GPU (or single-GPU) machine.\nFor example, to run V-JEPA pretraining on GPUs \"0\", \"1\", and \"2\" on a local machine using the config [configs\u002Fpretrain\u002Fvitl16.yaml](configs\u002Fpretrain\u002Fvitl16.yaml), type the command:\n```bash\npython -m app.main \\\n  --fname configs\u002Fpretrain\u002Fvitl16.yaml \\\n  --devices cuda:0 cuda:1 cuda:2\n```\n\n### Distributed training\nTo launch a distributed training run, the implementation starts from [app\u002Fmain_distributed.py](app\u002Fmain_distributed.py), which, in addition to parsing the config file, also allows for specifying details about distributed training. For distributed training, we use the popular open-source [submitit](https:\u002F\u002Fgithub.com\u002Ffacebookincubator\u002Fsubmitit) tool and provide examples for a SLURM cluster.\n\nFor example, to launch a distributed pre-training experiment using the config [configs\u002Fpretrain\u002Fvitl16.yaml](configs\u002Fpretrain\u002Fvitl16.yaml), type the command:\n```bash\npython -m app.main_distributed \\\n  --fname configs\u002Fpretrain\u002Fvitl16.yaml \\\n  --folder $path_to_save_stderr_and_stdout \\\n  --partition $slurm_partition\n```\n\n## Launching Evaluations\n\n### Local training\nIf you wish to debug your eval code or setup before launching a distributed training run, we provide the functionality to do so by running the evaluation script locally on a multi-GPU (or single-GPU) machine, however, reproducing the full eval would require launching distributed training.\nThe single-machine implementation starts from the [eval\u002Fmain.py](eval\u002Fmain.py), which parses the experiment config file and runs the eval locally on a multi-GPU (or single-GPU) machine.\n\nFor example, to run ImageNet image classification on GPUs \"0\", \"1\", and \"2\" on a local machine using the config [configs\u002Feval\u002Fvitl16_in1k.yaml](configs\u002Feval\u002Fvitl16_in1k.yaml), type the command:\n```bash\npython -m evals.main \\\n  --fname configs\u002Feval\u002Fvitl16_in1k.yaml \\\n  --devices cuda:0 cuda:1 cuda:2\n```\n\n\n### Distributed training\nTo launch a distributed evaluation run, the implementation starts from [eval\u002Fmain_distributed.py](eval\u002Fmain_distributed.py), which, in addition to parsing the config file, also allows for specifying details about distributed training. For distributed training, we use the popular open-source [submitit](https:\u002F\u002Fgithub.com\u002Ffacebookincubator\u002Fsubmitit) tool and provide examples for a SLURM cluster.\n\nFor example, to launch a distributed ImageNet image classification experiment using the config [configs\u002Feval\u002Fvitl16_in1k.yaml](configs\u002Feval\u002Fvitl16_in1k.yaml), type the command:\n```bash\npython -m evals.main_distributed \\\n  --fname configs\u002Feval\u002Fvitl16_in1k.yaml \\\n  --folder $path_to_save_stderr_and_stdout \\\n  --partition $slurm_partition\n```\n\nSimilarly, to launch a distributed K400 video classification experiment using the config [configs\u002Feval\u002Fvitl16_k400.yaml](configs\u002Feval\u002Fvitl16_k400.yaml), type the command:\n```bash\npython -m evals.main_distributed \\\n  --fname configs\u002Feval\u002Fvitl16_k400.yaml \\\n  --folder $path_to_save_stderr_and_stdout \\\n  --partition $slurm_partition\n```\n\n---\n\n### Setup\n\nRun:\n```bash\nconda create -n jepa python=3.9 pip\nconda activate jepa\npython setup.py install\n```\n\n## License\nSee the [LICENSE](.\u002FLICENSE) file for details about the license under which this code is made available.\n\n## Citation\nIf you find this repository useful in your research, please consider giving a star :star: and a citation\n```bibtex\n@article{bardes2024revisiting,\n  title={Revisiting Feature Prediction for Learning Visual Representations from Video},\n  author={Bardes, Adrien and Garrido, Quentin and Ponce, Jean and Rabbat, Michael, and LeCun, Yann and Assran, Mahmoud and Ballas, Nicolas},\n  journal={arXiv:2404.08471},\n  year={2024}\n}\n","# V-JEPA：视频联合嵌入预测架构\n\n这是 *_视频联合嵌入预测架构_*（V-JEPA）的官方 PyTorch 代码库，一种用于从视频中学习视觉表示（visual representations）的自监督学习（self-supervised learning）方法。\n\n**[Meta AI 研究团队，FAIR](https:\u002F\u002Fai.facebook.com\u002Fresearch\u002F)**\n\nAdrien Bardes, Quentin Garrido, Jean Ponce, Xinlei Chen, Michael Rabbat, Yann LeCun, Mahmoud Assran*, Nicolas Ballas*\n\n[\\[*博客*\\]](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fv-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture\u002F)\n[\\[*论文*\\]](https:\u002F\u002Fai.meta.com\u002Fresearch\u002Fpublications\u002Frevisiting-feature-prediction-for-learning-visual-representations-from-video\u002F)\n[\\[*Yannic Kilcher 的视频*\\]](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=7UkJPwz_N_0)\n\nV-JEPA 模型通过被动观看来自 VideoMix2M 数据集的视频像素进行训练，并产生通用的视觉表示，这些表示在下游视频和图像任务（downstream tasks）中表现良好，而无需调整模型的参数；例如，使用冻结的主干网络（backbone）和一个轻量级的特定任务注意力探针（attentive probe）。\n\n## 方法\nV-JEPA 预训练仅基于无监督特征预测目标（unsupervised feature prediction objective），不利用预训练的图像编码器（pretrained image encoders）、文本、负样本（negative examples）、人工标注或像素级重建（pixel-level reconstruction）。\n\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_a56d93f5f692.png\" width=40%>\n     \n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_1249e6c8fa6b.png\" width=40%>\n\n\n\n## 可视化\n与具有像素解码器（pixel decoder）的生成式方法（generative methods）不同，V-JEPA 拥有一个在潜在空间（latent space）中进行预测的预测器（predictor）。\n我们训练一个条件扩散模型（conditional diffusion model）将 V-JEPA 特征空间（feature-space）的预测解码为可解释的像素；在此过程中，预训练的 V-JEPA 编码器和预测器网络保持冻结。\n该解码器仅接收针对视频中缺失区域预测的表示，无法访问未掩码（unmasked）的视频区域。\n\nV-JEPA 的特征预测确实具有依据，并与视频的未掩码区域表现出时空一致性（spatio-temporal consistency）。\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_865fd5a5a6c0.png\" width=90%>\n\u003Cbr\u002F>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_9016bb359fa4.png\" width=22%>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_c2dc723053a9.png\" width=22%>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_7941bf694dba.png\" width=22%>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_readme_16ae8f3673a5.png\" width=22%>\n\u003Cbr\u002F>\n\n## 模型库\n\n#### 预训练模型\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Cth colspan=\"1\">模型\u003C\u002Fth>\n    \u003Cth colspan=\"1\">补丁大小\u003C\u002Fth>\n    \u003Cth colspan=\"1\">分辨率\u003C\u002Fth>\n    \u003Cth colspan=\"1\">迭代次数\u003C\u002Fth>\n    \u003Cth colspan=\"1\">批次大小\u003C\u002Fth>\n    \u003Cth colspan=\"1\">数据\u003C\u002Fth>\n    \u003Cth colspan=\"2\">下载\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-L\u003C\u002Ftd>\n    \u003Ctd>2x16x16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>90K\u003C\u002Ftd>\n    \u003Ctd>3072\u003C\u002Ftd>\n    \u003Ctd>VideoMix2M\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Fvitl16.pth.tar\">检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fpretrain\u002Fvitl16.yaml\">配置\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u003C\u002Ftd>\n    \u003Ctd>2x16x16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>90K\u003C\u002Ftd>\n    \u003Ctd>3072\u003C\u002Ftd>\n    \u003Ctd>VideoMix2M\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Fvith16.pth.tar\">检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fpretrain\u002Fvith16.yaml\">配置\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u003C\u002Ftd>\n    \u003Ctd>2x16x16\u003C\u002Ftd>\n    \u003Ctd>384x384\u003C\u002Ftd>\n    \u003Ctd>90K\u003C\u002Ftd>\n    \u003Ctd>2400\u003C\u002Ftd>\n    \u003Ctd>VideoMix2M\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Fvith16-384.pth.tar\">检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fpretrain\u002Fvith16_384.yaml\">配置\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n#### K400 注意力探针\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Cth colspan=\"1\">模型\u003C\u002Fth>\n    \u003Cth colspan=\"1\">分辨率\u003C\u002Fth>\n    \u003Cth colspan=\"1\">准确率 (16x8x3)\u003C\u002Fth>\n    \u003Cth colspan=\"2\">下载\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-L\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>80.8\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Fk400-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvitl16_k400_16x8x3.yaml\">配置\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>82.0\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Fk400-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_k400_16x8x3.yaml\">配置\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>384x384\u003C\u002Ftd>\n    \u003Ctd>81.9\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Fk400-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_384_k400_16x8x3.yaml\">配置\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n#### SSv2 注意力探针\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Cth colspan=\"1\">模型\u003C\u002Fth>\n    \u003Cth colspan=\"1\">分辨率\u003C\u002Fth>\n    \u003Cth colspan=\"1\">准确率 (16x2x3)\u003C\u002Fth>\n    \u003Cth colspan=\"2\">下载\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-L\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>69.5\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Fssv2-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvitl16_ssv2_16x2x3.yaml\">配置\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>71.4\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Fssv2-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_ssv2_16x2x3.yaml\">配置\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>384x384\u003C\u002Ftd>\n    \u003Ctd>72.2\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Fssv2-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_384_ssv2_16x2x3.yaml\">配置\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n#### ImageNet1K 注意力探针\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Cth colspan=\"1\">模型\u003C\u002Fth>\n    \u003Cth colspan=\"1\">分辨率\u003C\u002Fth>\n    \u003Cth colspan=\"1\">准确率\u003C\u002Fth>\n    \u003Cth colspan=\"2\">下载\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-L\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>74.8\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Fin1k-probe.pth.tar\">注意力探针检查点 (attentive probe checkpoint)\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvitl16_in1k.yaml\">配置文件\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>75.9\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Fin1k-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_in1k.yaml\">配置文件\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>384x384\u003C\u002Ftd>\n    \u003Ctd>77.4\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Fin1k-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_384_in1k.yaml\">配置文件\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n#### Places205 注意力探针 (attentive probes)\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Cth colspan=\"1\">模型\u003C\u002Fth>\n    \u003Cth colspan=\"1\">分辨率\u003C\u002Fth>\n    \u003Cth colspan=\"1\">准确率\u003C\u002Fth>\n    \u003Cth colspan=\"2\">下载\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-L\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>60.3\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Fplaces-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvitl16_places.yaml\">配置文件\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>61.7\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Fplaces-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_places.yaml\">配置文件\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>384x384\u003C\u002Ftd>\n    \u003Ctd>62.8\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Fplaces-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_384_places.yaml\">配置文件\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n#### iNat21 注意力探针\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Cth colspan=\"1\">模型\u003C\u002Fth>\n    \u003Cth colspan=\"1\">分辨率\u003C\u002Fth>\n    \u003Cth colspan=\"1\">准确率\u003C\u002Fth>\n    \u003Cth colspan=\"2\">下载\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-L\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>67.8\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Finat-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvitl16_inat.yaml\">配置文件\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>224x224\u003C\u002Ftd>\n    \u003Ctd>67.9\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Finat-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_inat.yaml\">配置文件\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>ViT-H\u002F16\u003C\u002Ftd>\n    \u003Ctd>384x384\u003C\u002Ftd>\n    \u003Ctd>72.6\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Finat-probe.pth.tar\">注意力探针检查点\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fblob\u002Fmaster\u002Fconfigs\u002Fevals\u002Fvith16_384_inat.yaml\">配置文件\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\n\n## 代码结构\n\n**配置文件：**\n所有实验参数均在配置文件中指定（而非命令行参数）。请参阅 [configs\u002F](configs\u002F) 目录中的示例配置文件。注意，在启动实验之前，您必须更新配置文件中的路径以指向您自己的目录，指示保存日志和检查点的位置以及查找训练数据的位置。\n\n\n```\n.\n├── app                       # the only place where training loops are allowed\n│   ├── vjepa                 #   Video JEPA pre-training\n│   ├── main_distributed.py   #   entrypoint for launching app on slurm cluster\n│   └── main.py               #   entrypoint for launching app locally on your machine for debugging\n├── evals                     # the only place where evaluation of 'apps' are allowed\n│   ├── image_classification  #   training an attentive probe for image classification with frozen backbone\n│   ├── video_classification  #   training an attentive probe for video classification with frozen backbone\n│   ├── main_distributed.py   #   entrypoint for launching distributed evaluations on slurm cluster\n│   └── main.py               #   entrypoint for launching evaluations locally on your machine for debugging\n├── src                       # the package\n│   ├── datasets              #   datasets, data loaders, ...\n│   ├── models                #   model definitions\n│   ├── masks                 #   mask collators, masking utilities, ...\n│   └── utils                 #   shared utilities\n└── configs                   # the only place where config files are allowed (specify experiment params for app\u002Feval runs)\n    ├── evals                 #   configs for launching vjepa frozen evaluations\n    └── pretrain              #   configs for launching vjepa pretraining\n\n```\n\n## 数据准备\n\n### 视频数据集\nV-JEPA 预训练和评估支持多种标准视频格式。\n要使视频数据集与 V-JEPA 代码库兼容，您只需创建一个具有以下格式的 `.csv` 文件，然后在配置中指定该 CSV 文件的路径。\n```\n\u002Fabsolute_file_path.[mp4, webvid, etc.] $integer_class_label\n\u002Fabsolute_file_path.[mp4, webvid, etc.] $integer_class_label\n\u002Fabsolute_file_path.[mp4, webvid, etc.] $integer_class_label\n...\n```\n由于 V-JEPA 完全是无监督的，预训练代码将忽略 CSV 文件中的 `$integer_class_label`。\n因此，您可以随意在此列中填入随机值。\n但是，如果您希望在视频数据集上运行有监督的视频分类评估，则必须将 ```$integer_class_label``` 替换为每个视频的真实标签。\n\n### 图像数据集\n在我们的图像分类评估中，我们使用了标准的 PyTorch ```ImageFolder``` 类。\n因此，要为图像分类评估设置图像数据集，首先创建一个目录来存储您的图像数据集 ```$your_directory_containing_image_datasets```。\n接下来，将您的图像数据集以兼容 [PyTorch ImageFolder](https:\u002F\u002Fpytorch.org\u002Fvision\u002Fmain\u002Fgenerated\u002Ftorchvision.datasets.ImageFolder.html) 的格式下载到该目录中。\n\n例如，假设我们有一个名为 ``my_image_datasets`` 的目录。然后我们将图像数据集下载到此目录中，最终得到以下文件树结构：\n```\n.\n└── \u002Fmy_image_datasets\u002F                # where we store image datasets\n    ├── places205\u002F121517\u002Fpytorch\u002F      #   Places205\n    │   └── [...]\n    ├── iNaturalist-2021\u002F110421\u002F       #   iNaturalist21\n    │   └── [...]\n    ├── [...]                          #   Other Image Datasets\n    │   └── [...]\n    └── imagenet_full_size\u002F061417\u002F     #   ImageNet1k\n        └── train\n        │   ├── $class_1\n        │   │    ├── xxx.[png, jpeg, etc.]\n        │   │    ├── [...]\n        │   │    └── xxz.[png, jpeg, etc.]\n        │   ├── [...]\n        │   └── $class_n\n        │       ├── abc.[png, jpeg, etc.]\n        │       ├── [...]\n        │       └── abz.[png, jpeg, etc.]\n        └── val\n            ├── $class_1\n            │    ├── xxx.[png, jpeg, etc.]\n            │    ├── [...]\n            │    └── xxz.[png, jpeg, etc.]\n            ├── [...]\n            └── $class_n\n                ├── abc.[png, jpeg, etc.]\n                ├── [...]\n                └── abz.[png, jpeg, etc.]\n```\n\n## 启动 V-JEPA 预训练\n\n### 本地训练\n如果您希望在启动分布式训练运行之前调试代码或环境，我们可以通过在多台 GPU（或单台 GPU）机器上本地运行预训练脚本来提供此功能，但是，复现我们的结果需要启动分布式训练。\n\n单机实现从 [app\u002Fmain.py](appmain.py) 开始，它解析实验配置文件并在多 GPU（或单 GPU）机器上本地运行预训练。\n例如，要在本地机器上使用配置 [configs\u002Fpretrain\u002Fvitl16.yaml](configs\u002Fpretrain\u002Fvitl16.yaml) 在 GPU \"0\"、\"1\"和\"2\"上运行 V-JEPA 预训练，请输入命令：\n```bash\npython -m app.main \\\n  --fname configs\u002Fpretrain\u002Fvitl16.yaml \\\n  --devices cuda:0 cuda:1 cuda:2\n```\n\n### 分布式训练\n要启动分布式训练运行，实现从 [app\u002Fmain_distributed.py](app\u002Fmain_distributed.py) 开始，除了解析配置文件外，还允许指定有关分布式训练的详细信息。对于分布式训练，我们使用流行的开源 [submitit](https:\u002F\u002Fgithub.com\u002Ffacebookincubator\u002Fsubmitit) 工具，并为 SLURM 集群提供了示例。\n\n例如，要使用配置 [configs\u002Fpretrain\u002Fvitl16.yaml](configs\u002Fpretrain\u002Fvitl16.yaml) 启动分布式预训练实验，请输入命令：\n```bash\npython -m app.main_distributed \\\n  --fname configs\u002Fpretrain\u002Fvitl16.yaml \\\n  --folder $path_to_save_stderr_and_stdout \\\n  --partition $slurm_partition\n```\n\n## 启动评估\n\n### 本地训练\n如果您希望在启动分布式训练运行之前调试评估代码或环境，我们可以通过在多台 GPU（或单台 GPU）机器上本地运行评估脚本来提供此功能，但是，复现完整的评估需要启动分布式训练。\n单机实现从 [eval\u002Fmain.py](eval\u002Fmain.py) 开始，它解析实验配置文件并在多 GPU（或单 GPU）机器上本地运行评估。\n\n例如，要在本地机器上使用配置 [configs\u002Feval\u002Fvitl16_in1k.yaml](configs\u002Feval\u002Fvitl16_in1k.yaml) 在 GPU \"0\"、\"1\"和\"2\"上运行 ImageNet 图像分类，请输入命令：\n```bash\npython -m evals.main \\\n  --fname configs\u002Feval\u002Fvitl16_in1k.yaml \\\n  --devices cuda:0 cuda:1 cuda:2\n```\n\n\n### 分布式训练\n要启动分布式评估运行，实现从 [eval\u002Fmain_distributed.py](eval\u002Fmain_distributed.py) 开始，除了解析配置文件外，还允许指定有关分布式训练的详细信息。对于分布式训练，我们使用流行的开源 [submitit](https:\u002F\u002Fgithub.com\u002Ffacebookincubator\u002Fsubmitit) 工具，并为 SLURM 集群提供了示例。\n\n例如，要使用配置 [configs\u002Feval\u002Fvitl16_in1k.yaml](configs\u002Feval\u002Fvitl16_in1k.yaml) 启动分布式 ImageNet 图像分类实验，请输入命令：\n```bash\npython -m evals.main_distributed \\\n  --fname configs\u002Feval\u002Fvitl16_in1k.yaml \\\n  --folder $path_to_save_stderr_and_stdout \\\n  --partition $slurm_partition\n```\n\n同样，要使用配置 [configs\u002Feval\u002Fvitl16_k400.yaml](configs\u002Feval\u002Fvitl16_k400.yaml) 启动分布式 K400 视频分类实验，请输入命令：\n```bash\npython -m evals.main_distributed \\\n  --fname configs\u002Feval\u002Fvitl16_k400.yaml \\\n  --folder $path_to_save_stderr_and_stdout \\\n  --partition $slurm_partition\n```\n\n---\n\n### 设置\n\n运行：\n```bash\nconda create -n jepa python=3.9 pip\nconda activate jepa\npython setup.py install\n```\n\n## 许可证\n有关本代码可用许可的详细信息，请参阅 [LICENSE](.\u002FLICENSE) 文件。\n\n## 引用\n如果您在本研究中发现此仓库有用，请考虑给予一个星标 :star: 并进行引用\n```bibtex\n@article{bardes2024revisiting,\n  title={Revisiting Feature Prediction for Learning Visual Representations from Video},\n  author={Bardes, Adrien and Garrido, Quentin and Ponce, Jean and Rabbat, Michael, and LeCun, Yann and Assran, Mahmoud and Ballas, Nicolas},\n  journal={arXiv:2404.08471},\n  year={2024}\n}\n```","# V-JEPA 快速上手指南\n\n**V-JEPA (Video Joint Embedding Predictive Architecture)** 是由 Meta AI Research (FAIR) 推出的视频自监督学习框架。它通过被动观看视频像素进行无监督特征预测，无需图像编码器、文本或负样本即可生成通用的视觉表示。\n\n## 1. 环境准备\n\n本项目基于 PyTorch 开发，建议配置如下：\n\n- **操作系统**: Linux \u002F macOS \u002F Windows (推荐 Linux)\n- **Python**: 3.8+\n- **深度学习框架**: PyTorch (请根据官方文档选择对应 CUDA 版本)\n- **硬件**: 支持 CUDA 的 GPU (多卡训练需配置分布式环境)\n\n## 2. 安装步骤\n\n### 克隆代码库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa.git\ncd jepa\n```\n\n### 安装依赖\n确保已安装 PyTorch，并安装项目所需的其他依赖（通常位于根目录）：\n```bash\npip install -r requirements.txt\n```\n*(注：若未找到 requirements.txt，请参考官方文档安装基础依赖)*\n\n### 数据准备\nV-JEPA 支持多种标准视频格式。将视频数据集转换为兼容格式，创建一个 `.csv` 文件，并在配置文件中指定路径：\n```\n\u002Fabsolute\u002Fpath\u002Fto\u002Fvideo.mp4,label\n```\n*(具体字段格式请参考原始 README 中的完整说明)*\n\n## 3. 基本使用\n\n所有实验参数均通过配置文件管理，而非命令行参数。\n\n### 修改配置\n在启动前，必须更新配置文件中的路径，指向您的日志保存目录、检查点目录及训练数据位置。\n- 预训练配置：`configs\u002Fpretrain\u002F`\n- 评估配置：`configs\u002Fevals\u002F`\n\n### 本地调试运行\n使用 `main.py` 在本地机器上启动应用：\n```bash\n# 预训练入口\npython app\u002Fmain.py\n\n# 评估入口\npython evals\u002Fmain.py\n```\n\n### 分布式集群运行\n在 Slurm 集群上使用分布式脚本启动：\n```bash\n# 预训练分布式启动\npython app\u002Fmain_distributed.py\n\n# 评估分布式启动\npython evals\u002Fmain_distributed.py\n```\n\n## 4. 预训练模型与探针\n\n项目提供了多个预训练的 ViT 模型及下游任务探针（Attentive Probes），可直接下载用于推理或微调。\n\n| 模型 | 分辨率 | 任务 | 下载链接 |\n| :--- | :--- | :--- | :--- |\n| ViT-L\u002F16 | 224x224 | K400 Probe | [checkpoint](https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Fk400-probe.pth.tar) |\n| ViT-H\u002F16 | 224x224 | K400 Probe | [checkpoint](https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16\u002Fk400-probe.pth.tar) |\n| ViT-L\u002F16 | 224x224 | ImageNet Probe | [checkpoint](https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvitl16\u002Fin1k-probe.pth.tar) |\n| ViT-H\u002F16 | 384x384 | SSv2 Probe | [checkpoint](https:\u002F\u002Fdl.fbaipublicfiles.com\u002Fjepa\u002Fvith16-384\u002Fssv2-probe.pth.tar) |\n\n更多模型及详细配置请查看 [MODEL ZOO](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa#model-zoo) 表格。","某工业安全团队正在开发工厂监控视频分析系统，核心需求是实时识别工人是否佩戴安全帽或进行违规操作。\n\n### 没有 jepa 时\n- 依赖大量人工标注的违规视频数据，收集成本高且周期长，难以覆盖所有异常场景。\n- 传统自监督方法需像素级重建，导致特征模糊，难以捕捉细微的动作差异。\n- 模型缺乏深层时空一致性理解，对连续动作序列的推理能力弱，误报率较高。\n- 下游任务微调需全量更新参数，显存占用大且训练慢，模型迭代效率极低。\n\n### 使用 jepa 后\n- jepa 直接利用海量无标签视频预训练，彻底摆脱了对昂贵标注数据的依赖，加速数据准备。\n- 在潜在空间进行预测而非像素重建，提取的特征更具语义和判别力，关键细节保留更完整。\n- 模型内建时空一致性，能精准理解视频中物体与动作的动态变化逻辑，提升检测精度。\n- 冻结主干网络仅训练轻量探针，大幅降低计算资源消耗并加快模型部署速度，便于边缘设备运行。\n\njepa 让视频理解模型在无标注数据下也能高效学习时空特征，显著降低了工业场景落地的门槛。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_jepa_52083d8d.png","facebookresearch","Meta Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ffacebookresearch_449342bd.png","",null,"https:\u002F\u002Fopensource.fb.com","https:\u002F\u002Fgithub.com\u002Ffacebookresearch",[83],{"name":84,"color":85,"percentage":86},"Python","#3572A5",100,3683,373,"2026-04-05T09:02:51","NOASSERTION","未说明",{"notes":93,"python":91,"dependencies":94},"代码基于 PyTorch 构建，所有实验参数通过 YAML 配置文件指定（需手动更新路径）；支持在 Slurm 集群上进行分布式训练，本地调试有独立入口；数据准备需将视频数据集整理为特定格式的 CSV 文件；预训练批次规模较大（最高 3072），对显存和计算资源有较高要求。",[95,96],"torch","pyyaml",[14,35],16,"2026-03-27T02:49:30.150509","2026-04-06T06:45:58.874309",[102,107,111,116,120,125],{"id":103,"question_zh":104,"answer_zh":105,"source_url":106},2088,"如何正确复现论文表格中的视频识别准确率？","复现时若遇到准确率过低的情况，请检查预训练模型是否正确加载。有用户反馈在 `main` 分支上会出现随机预测，通过回退 commit `787b04ae6c573be587d6afccea5eca6b9fde9039` 可以解决此问题。确保使用了正确的配置，例如 Encoder 为 `vith16.pth.tar`，Classifier 为 `vith16-k400-probe.pth.tar`。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fissues\u002F18",{"id":108,"question_zh":109,"answer_zh":110,"source_url":106},2089,"评估时模型输出随机预测（Predict 均为相同数字）如何解决？","这通常是因为线性层（linear layer）未被正确训练或加载。有用户指出 `src\u002Fmodels\u002Futils\u002Fmodules.py` 第 137 行的线性层在探针训练时可能从未被使用。建议尝试回退到 commit `787b04ae6c573be587d6afccea5eca6b9fde9039`，或者确认预训练模型和注意力探针的加载方式是否符合预期。",{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},2090,"为什么训练在第一个 Epoch 完成后就会崩溃或结束？","这是因为你正在运行评估代码（在冻结编码器上训练注意力探针），这是一个监督学习问题。验证部分需要数据集索引文件中包含 `class_id`。请确保你的 CSV 索引文件包含了类别 ID，否则会导致错误。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fissues\u002F26",{"id":117,"question_zh":118,"answer_zh":119,"source_url":115},2091,"如何提高评估或探针训练过程的效率？","由于评估代码在每个 Epoch 都会重新加载数据，速度可能较慢。为了加速，建议先计算数据集中所有视频的嵌入（embeddings），然后直接在这些预先提取的特征上训练探针，避免重复加载视频数据。",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},2092,"自定义数据集训练时，损失函数在初始下降后反而显著增加怎么办？","这是 JEPA 在小数据集上训练时的常见现象，损失可能会先增加然后下降。建议尝试使用更高的学习率来克服局部最小值（例如小数据集使用 1e-3，大数据集使用 6e-4）。同时注意区分 JEPA 损失和正则化损失，后者应随时间持续优化。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fissues\u002F68",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},2093,"注意力机制实现中未使用的 `mask` 输入参数是否是 Bug？","这不是 Bug。该参数保留是为了与旧的实现保持向后兼容性。目标编码器（target_encoder）实际上并不使用掩码。如果你希望清理代码，可以提交 PR 移除该参数，但当前行为不影响训练结果。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fjepa\u002Fissues\u002F32",[]]