[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-facebookresearch--eb_jepa":3,"tool-facebookresearch--eb_jepa":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":91,"forks":92,"last_commit_at":93,"license":94,"difficulty_score":10,"env_os":95,"env_gpu":96,"env_ram":97,"env_deps":98,"category_tags":108,"github_topics":79,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":109,"updated_at":110,"faqs":111,"releases":117},2677,"facebookresearch\u002Feb_jepa","eb_jepa","An open source library designed to provide community examples of Joint Embedding Predictive Architectures (JEPAs). It contains code and examples for learning representations from images, video, and action-conditioned video, as well as planning using JEPA-based models.","eb_jepa 是由 Meta AI Research（FAIR）开源的一个代码库，旨在为联合嵌入预测架构（JEPA）提供易于上手的社区示例。它主要解决了传统自监督学习模型在处理图像、视频及动作条件视频时，难以高效学习通用表征并直接用于规划任务的痛点。通过引入基于能量的 JEPA 方法，该工具让开发者能够在单张 GPU 上仅需数小时即可完成从表征学习到世界建模乃至智能体规划的全流程实验。\n\neb_jepa 特别适合人工智能研究人员、算法工程师以及对自监督学习感兴趣的学生使用。其核心亮点在于提供了高度模块化且近乎独立的示例代码，涵盖图像分类、视频帧预测以及在虚拟环境中的路径规划等场景。不同于需要海量算力的大型模型训练，eb_jepa 针对教育和小规模实验进行了优化，默认配置虽面向高性能显卡，但也兼容旧款硬件。此外，项目集成了现代化的包管理工具 uv，并设计了统一的实验文件夹结构，极大降低了复现前沿论文和探索新想法的技术门槛，是理解 Yann LeCun 团队提出的 JEPA 理念的理想入门工具。","\u003Ch1 align=\"center\">\n    \u003Cp>⚡ \u003Cb>EB-JEPA\u003C\u002Fb>\u003C\u002Fp>\n\u003C\u002Fh1>\n\n\u003Ch2 align=\"center\">\n    \u003Cp>\u003Ci>Energy-Based Joint-Embedding Predictive Architectures\u003C\u002Fi>\u003C\u002Fp>\n\u003C\u002Fh2>\n\n\u003Cdiv align=\"center\" style=\"line-height: 1;\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Feb_jepa\" target=\"_blank\" style=\"margin: 2px;\">\u003Cimg alt=\"Github\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-facebookresearch\u002Feb__jepa-black?logo=github\" style=\"display: inline-block; vertical-align: middle;\"\u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.03604\" target=\"_blank\" style=\"margin: 2px;\">\u003Cimg alt=\"ArXiv\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2602.03604-b5212f?logo=arxiv\" style=\"display: inline-block; vertical-align: middle;\"\u002F>\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cbr>\n\n\u003Cp align=\"center\">\n  \u003Cb>\u003Ca href=\"https:\u002F\u002Fai.facebook.com\u002Fresearch\u002F\">Meta AI Research, FAIR\u003C\u002Fa>\u003C\u002Fb>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fx.com\u002FBasileTerv987\">Basile Terver\u003C\u002Fa>,\n  Randall Balestriero,\n  Megi Dervishi,\n  David Fan,\n  Quentin Garrido,\n  Tushar Nagarajan,\n  \u003Cbr>\n  Koustuv Sinha,\n  Wancong Zhang,\n  Mike Rabbat,\n  Yann LeCun,\n  Amir Bar\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  An open source library and tutorial for learning representations for\u003Cbr>\n  prediction and planning using joint embedding predictive architectures.\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_eb_jepa_readme_a41ce02371d1.png\" alt=\"EB-JEPA Architecture\" width=\"800\">\n\u003C\u002Fp>\n\n> Each example is (almost) self-contained and training takes up to a few hours on a single GPU card.\n\n---\n\n## 📚 Examples\n\n### [Image JEPA](examples\u002Fimage_jepa\u002FREADME.md)\n\nSelf-supervised representations from unlabeled images on CIFAR-10, evaluated on classification.\n\n![Image JEPA Architecture](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_eb_jepa_readme_ca8bcbb05dcc.png)\n\n### [Video JEPA](examples\u002Fvideo_jepa\u002FREADME.md)\n\nPredict next image representation in a sequence.\n\n![Moving MNIST](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_eb_jepa_readme_9c93dd8b6a38.png)\n\n### [AC Video JEPA](examples\u002Fac_video_jepa\u002FREADME.md)\n\nJEPA for world modeling + planning in Two Rooms environment.\n\n| Planning Episode | Task Definition |\n|------------------|-----------------|\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_eb_jepa_readme_0691d7b02707.gif\" alt=\"Successful planning episode\" width=\"155\" \u002F> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_eb_jepa_readme_0ce7a3ae9671.png\" alt=\"Episode task definition\" width=\"300\" \u002F> |\n| *Successful planning episode* | *From init to goal state* |\n\n---\n\n## 🚀 Installation\n\nWe use [uv](https:\u002F\u002Fdocs.astral.sh\u002Fuv\u002Fguides\u002Fprojects\u002F) for package management.\n\n```bash\n# Install dependencies\nuv sync\n# Option 1: Activate virtual environment\nsource .venv\u002Fbin\u002Factivate\npython main.py\n# Option 2: Run directly with uv\nuv run python main.py\n```\nIf you need conda-specific packages, you can use **Conda + uv**\n\n```bash\n# Create conda environment with Python 3.12\nconda create -n eb_jepa python=3.12 -y\nconda activate eb_jepa\n# Install package in editable mode with dev dependencies (pytest, black, isort)\nuv pip install -e . --group dev\n```\n\nAdd these to your `~\u002F.bashrc` for persistent configuration.\n\n```bash\n# Required for SLURM jobs to find datasets\nexport EBJEPA_DSETS=\u002Fpath\u002Fto\u002Feb_jepa\u002Fdatasets\n# Optional: Directory for checkpoints and logs\nexport EBJEPA_CKPTS=\u002Fpath\u002Fto\u002Fcheckpoints\n```\n\n\n\n---\n\n## 🏋️ Training\n\n### Quick Start\n\n```bash\n# Local training\npython -m examples.{image_jepa,video_jepa,ac_video_jepa}.main\n```\n> Our default configs are tuned for H100 GPUs. With older GPUs (e.g., A100, V100), you may need to reduce batch size to fit in memory.\n\n### 📂 Folder Structure\n\nAll experiments use a unified folder structure:\n\n```\ncheckpoints\u002F\n└── {example_name}\u002F\n    ├── dev_2026-01-16_00-10\u002F                 # Single\u002Flocal runs (dev_ prefix)\n    │   └── {exp_name}_seed1\u002F\n    │\n    ├── sweep_2026-01-16_00-10\u002F         # Auto-named 3-seed sweep\n    │   ├── {exp_name}_seed1\u002F\n    │   ├── {exp_name}_seed1000\u002F\n    │   └── {exp_name}_seed10000\u002F\n    │\n    └── sweep_my_experiment\u002F            # Custom-named sweep\n        └── ...\n```\n\n`{exp_name}` encodes key hyperparameters to avoid folder collisions, e.g.:\n- **image_jepa**: `resnet_vicreg_proj_bs256_ep300_ph2048_po2048_std1.0_cov80.0`\n- **video_jepa**: `resnet_bs64_lr0.001_std10.0_cov100.0`\n- **ac_video_jepa**: `impala_cov8_std16_simt12_idm1`\n\n\u003Cdetails>\n\u003Csummary>\u003Cspan style=\"font-size: 1.17em; font-weight: bold;\">🖥️ SLURM Launcher (optional)\u003C\u002Fspan>\u003C\u002Fsummary>\n\n| Command | Description |\n|---------|-------------|\n| `--example {name}` | Choose: `image_jepa`, `video_jepa`, `ac_video_jepa` |\n| `--fname {path}` | Run the sweep specified in the config at `{path}` |\n| `--single` | Launch single job (dev mode) |\n| `--sweep {name}` | Custom sweep name |\n| `--array-parallelism {N}` | Limits the maximum number of concurrent jobs to `N` |\n| `--full-sweep` | Full hyperparameter sweep from config |\n| `--use-wandb-sweep` | Enable wandb sweep UI |\n\n```bash\n# 3 seeds with wandb averaging (recommended)\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml\n\n# Custom sweep name\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml --sweep my_experiment\n\n# Single job\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml --single\n\n# Full hyperparameter sweep\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml --full-sweep\n\n# With wandb sweep UI for hyperparameter analysis\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml --use-wandb-sweep\n```\n\nReplace `image_jepa` with `ac_video_jepa` or `video_jepa` for other examples.\n\n**Full Sweep Configuration:** The `--full-sweep` flag reads the `sweep.param_grid` section from the example's YAML config file (e.g., `examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml`). Without this flag, only a 3-seed sweep is launched. To customize sweep parameters, edit the `sweep` section in the config:\n\n```yaml\n# Example: examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml\nsweep:\n  param_grid:\n    loss.cov_coeff: [0.1, 1.0, 10.0, 100.0]\n    loss.std_coeff: [1.0, 10.0]\n    meta.seed: [1, 1000, 10000]\n```\n\n### Wandb Seed Averaging\n\nRuns with the same hyperparameters but different seeds share the same wandb run name, enabling automatic averaging:\n\n1. Go to wandb web UI → Runs table\n2. Click **\"Group by\"** → select **\"Name\"**\n   → Groups runs with identical hyperparameters (different seeds) together\n\nTo filter runs from a specific sweep:\n3. Click **\"Filter\"** → **\"Group\"** → select your sweep name\n\nFor detailed wandb sweep analysis (parallel coordinates, hyperparameter importance):\n1. Use `--use-wandb-sweep` flag when launching\n2. Go to wandb web UI → left pane → **\"Sweeps\"** → click your sweep name\n\n**SLURM Configuration:** To customize SLURM parameters (partition, account, memory, etc.), edit the `SLURM_DEFAULTS` dictionary at the top of `examples\u002Flaunch_sbatch.py`.\n\n\u003C\u002Fdetails>\n\n## 🧪 Running test cases\n\nLibraries added to eb_jepa [must have their own test cases](\u002Ftests\u002F). To run the tests:\n\n```bash\n# With uv sync installation\nuv run pytest tests\u002F\n# With conda + uv installation (no .venv created)\npytest tests\u002F\n```\n\n## 👩‍💻 Development\n\nBefore contributing, please format your code with the following tools:\n\n```bash\n# Remove unused imports\nautoflake --remove-all-unused-imports -r --in-place .\n# Sort imports\npython -m isort eb_jepa examples tests\n# Format code\npython -m black eb_jepa examples tests\n```\n\n## 📚 Citing EB-JEPA\n\nIf you find this repository useful, please consider giving a ⭐ and citing:\n\n```bibtex\n@misc{terver2026lightweightlibraryenergybasedjointembedding,\n      title={A Lightweight Library for Energy-Based Joint-Embedding Predictive Architectures},\n      author={Basile Terver and Randall Balestriero and Megi Dervishi and David Fan and Quentin Garrido and Tushar Nagarajan and Koustuv Sinha and Wancong Zhang and Mike Rabbat and Yann LeCun and Amir Bar},\n      year={2026},\n      eprint={2602.03604},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.03604},\n}\n```\n\n## 📄 License\n\nEB-JEPA is Apache licensed. See [LICENSE](LICENSE.md).\n","\u003Ch1 align=\"center\">\n    \u003Cp>⚡ \u003Cb>EB-JEPA\u003C\u002Fb>\u003C\u002Fp>\n\u003C\u002Fh1>\n\n\u003Ch2 align=\"center\">\n    \u003Cp>\u003Ci>基于能量的联合嵌入预测架构\u003C\u002Fi>\u003C\u002Fp>\n\u003C\u002Fh2>\n\n\u003Cdiv align=\"center\" style=\"line-height: 1;\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Feb_jepa\" target=\"_blank\" style=\"margin: 2px;\">\u003Cimg alt=\"Github\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-facebookresearch\u002Feb__jepa-black?logo=github\" style=\"display: inline-block; vertical-align: middle;\"\u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.03604\" target=\"_blank\" style=\"margin: 2px;\">\u003Cimg alt=\"ArXiv\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2602.03604-b5212f?logo=arxiv\" style=\"display: inline-block; vertical-align: middle;\"\u002F>\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cbr>\n\n\u003Cp align=\"center\">\n  \u003Cb>\u003Ca href=\"https:\u002F\u002Fai.facebook.com\u002Fresearch\u002F\">Meta AI Research, FAIR\u003C\u002Fa>\u003C\u002Fb>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fx.com\u002FBasileTerv987\">Basile Terver\u003C\u002Fa>,\n  Randall Balestriero,\n  Megi Dervishi,\n  David Fan,\n  Quentin Garrido,\n  Tushar Nagarajan,\n  \u003Cbr>\n  Koustuv Sinha,\n  Wancong Zhang,\n  Mike Rabbat,\n  Yann LeCun,\n  Amir Bar\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  一个开源库及教程，用于通过联合嵌入预测架构学习表示，以支持预测和规划。\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_eb_jepa_readme_a41ce02371d1.png\" alt=\"EB-JEPA 架构\" width=\"800\">\n\u003C\u002Fp>\n\n> 每个示例（几乎）都是自包含的，在单张 GPU 卡上训练最多只需几小时。\n\n---\n\n## 📚 示例\n\n### [图像 JEPA](examples\u002Fimage_jepa\u002FREADME.md)\n\n基于 CIFAR-10 数据集中的无标签图像进行自监督表示学习，并在分类任务上进行评估。\n\n![图像 JEPA 架构](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_eb_jepa_readme_ca8bcbb05dcc.png)\n\n### [视频 JEPA](examples\u002Fvideo_jepa\u002FREADME.md)\n\n预测序列中下一帧的表示。\n\n![移动 MNIST](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_eb_jepa_readme_9c93dd8b6a38.png)\n\n### [AC 视频 JEPA](examples\u002Fac_video_jepa\u002FREADME.md)\n\n用于 Two Rooms 环境中的世界建模与规划的 JEPA。\n\n| 规划示例 | 任务描述 |\n|------------------|-----------------|\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_eb_jepa_readme_0691d7b02707.gif\" alt=\"成功规划示例\" width=\"155\" \u002F> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_eb_jepa_readme_0ce7a3ae9671.png\" alt=\"示例任务定义\" width=\"300\" \u002F> |\n| *成功规划示例* | *从初始状态到达目标状态* |\n\n---\n\n## 🚀 安装\n\n我们使用 [uv](https:\u002F\u002Fdocs.astral.sh\u002Fuv\u002Fguides\u002Fprojects\u002F) 进行包管理。\n\n```bash\n# 安装依赖\nuv sync\n# 选项 1：激活虚拟环境\nsource .venv\u002Fbin\u002Factivate\npython main.py\n# 选项 2：直接使用 uv 运行\nuv run python main.py\n```\n如果您需要特定于 conda 的包，可以使用 **Conda + uv**。\n\n```bash\n# 创建 Python 3.12 的 conda 环境\nconda create -n eb_jepa python=3.12 -y\nconda activate eb_jepa\n# 以可编辑模式安装包，并包含开发依赖（pytest、black、isort）\nuv pip install -e . --group dev\n```\n\n将以下内容添加到您的 `~\u002F.bashrc` 文件中，以实现持久化配置。\n\n```bash\n# 对于 SLURM 作业查找数据集是必需的\nexport EBJEPA_DSETS=\u002Fpath\u002Fto\u002Feb_jepa\u002Fdatasets\n# 可选：检查点和日志目录\nexport EBJEPA_CKPTS=\u002Fpath\u002Fto\u002Fcheckpoints\n```\n\n\n\n---\n\n## 🏋️ 训练\n\n### 快速入门\n\n```bash\n# 本地训练\npython -m examples.{image_jepa,video_jepa,ac_video_jepa}.main\n```\n> 我们的默认配置针对 H100 GPU 进行了优化。对于较旧的 GPU（如 A100 或 V100），您可能需要减小批量大小以适应显存。\n\n### 📂 文件夹结构\n\n所有实验都采用统一的文件夹结构：\n\n```\ncheckpoints\u002F\n└── {example_name}\u002F\n    ├── dev_2026-01-16_00-10\u002F                 # 单次\u002F本地运行（dev_ 前缀）\n    │   └── {exp_name}_seed1\u002F\n    │\n    ├── sweep_2026-01-16_00-10\u002F         # 自动命名的三种子试验\n    │   ├── {exp_name}_seed1\u002F\n    │   ├── {exp_name}_seed1000\u002F\n    │   └── {exp_name}_seed10000\u002F\n    │\n    └── sweep_my_experiment\u002F            # 自定义名称的试验\n        └── ...\n```\n\n`{exp_name}` 编码了关键超参数，以避免文件夹冲突，例如：\n- **image_jepa**: `resnet_vicreg_proj_bs256_ep300_ph2048_po2048_std1.0_cov80.0`\n- **video_jepa**: `resnet_bs64_lr0.001_std10.0_cov100.0`\n- **ac_video_jepa**: `impala_cov8_std16_simt12_idm1`\n\n\u003Cdetails>\n\u003Csummary>\u003Cspan style=\"font-size: 1.17em; font-weight: bold;\">🖥️ SLURM 启动脚本（可选）\u003C\u002Fspan>\u003C\u002Fsummary>\n\n| 命令 | 描述 |\n|---------|-------------|\n| `--example {name}` | 选择：`image_jepa`、`video_jepa`、`ac_video_jepa` |\n| `--fname {path}` | 运行指定配置文件中的试验 |\n| `--single` | 启动单个作业（开发模式） |\n| `--sweep {name}` | 自定义试验名称 |\n| `--array-parallelism {N}` | 将并发作业的最大数量限制为 `N` |\n| `--full-sweep` | 从配置文件中执行完整的超参数扫描 |\n| `--use-wandb-sweep` | 启用 wandb 试验界面 |\n\n```bash\n# 推荐使用 3 种子并结合 wandb 平均（建议）\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml\n\n# 自定义试验名称\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml --sweep my_experiment\n\n# 单个作业\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml --single\n\n# 完整超参数扫描\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml --full-sweep\n\n# 使用 wandb 试验界面进行超参数分析\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml --use-wandb-sweep\n```\n\n将 `image_jepa` 替换为 `ac_video_jepa` 或 `video_jepa` 以运行其他示例。\n\n**完整扫描配置：** `--full-sweep` 标志会读取示例 YAML 配置文件中的 `sweep.param_grid` 部分（例如 `examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml`）。如果没有此标志，则只会启动三种子试验。要自定义扫描参数，请编辑配置中的 `sweep` 部分：\n\n```yaml\n# 示例：examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml\nsweep:\n  param_grid:\n    loss.cov_coeff: [0.1, 1.0, 10.0, 100.0]\n    loss.std_coeff: [1.0, 10.0]\n    meta.seed: [1, 1000, 10000]\n```\n\n### Wandb 种子平均\n\n具有相同超参数但不同种子的运行会共享同一个 wandb 作业名称，从而实现自动平均：\n\n1. 打开 wandb Web 界面 → 作业表格\n2. 点击 **“分组方式”** → 选择 **“名称”**\n   → 将具有相同超参数（不同种子）的作业分组在一起\n\n要筛选特定试验的作业：\n3. 点击 **“筛选器”** → **“分组”** → 选择您的试验名称\n\n要进行详细的 wandb 试验分析（平行坐标图、超参数重要性等）：\n1. 在启动时使用 `--use-wandb-sweep` 标志\n2. 打开 wandb Web 界面 → 左侧栏 → **“试验”** → 点击您的试验名称\n\n**SLURM 配置：** 若要自定义 SLURM 参数（分区、账户、内存等），请编辑 `examples\u002Flaunch_sbatch.py` 文件顶部的 `SLURM_DEFAULTS` 字典。\n\n\u003C\u002Fdetails>\n\n## 🧪 运行测试用例\n\n添加到 eb_jepa 的库必须拥有自己的测试用例（位于 `\u002Ftests\u002F`）。运行测试的方法如下：\n\n# 使用 uv 同步安装\nuv run pytest tests\u002F\n# 使用 conda + uv 安装（不会创建 .venv）\npytest tests\u002F\n```\n\n## 👩‍💻 开发\n\n在贡献代码之前，请使用以下工具格式化您的代码：\n\n```bash\n# 移除未使用的导入\nautoflake --remove-all-unused-imports -r --in-place .\n# 排序导入\npython -m isort eb_jepa examples tests\n# 格式化代码\npython -m black eb_jepa examples tests\n```\n\n## 📚 引用 EB-JEPA\n\n如果您觉得本仓库有用，请考虑给个 ⭐ 并引用如下文献：\n\n```bibtex\n@misc{terver2026lightweightlibraryenergybasedjointembedding,\n      title={一种用于基于能量的联合嵌入预测架构的轻量级库},\n      author={Basile Terver 和 Randall Balestriero、Megi Dervishi、David Fan、Quentin Garrido、Tushar Nagarajan、Koustuv Sinha、Wancong Zhang、Mike Rabbat、Yann LeCun 和 Amir Bar},\n      year={2026},\n      eprint={2602.03604},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.03604},\n}\n```\n\n## 📄 许可证\n\nEB-JEPA 采用 Apache 许可证。详情请参阅 [LICENSE](LICENSE.md)。","# EB-JEPA 快速上手指南\n\nEB-JEPA 是由 Meta AI Research (FAIR) 开源的库，用于通过基于能量的联合嵌入预测架构（Energy-Based Joint-Embedding Predictive Architectures）学习表示，适用于预测与规划任务。本指南帮助中国开发者快速搭建环境并运行示例。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **Python 版本**: 3.12\n*   **硬件要求**: \n    *   单张 GPU 即可运行示例（默认配置针对 H100 优化）。\n    *   若使用较旧显卡（如 A100, V100），可能需要减小 batch size 以适应显存。\n*   **前置工具**: \n    *   推荐使用 [`uv`](https:\u002F\u002Fdocs.astral.sh\u002Fuv\u002F) 进行包管理（比 pip\u002Fconda 更快）。\n    *   可选：Conda（用于管理 Python 环境）。\n\n## 安装步骤\n\n### 方案一：使用 uv（推荐）\n\n这是最简洁的安装方式，自动处理虚拟环境和依赖。\n\n```bash\n# 克隆仓库\ngit clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Feb_jepa.git\ncd eb_jepa\n\n# 同步安装依赖（自动创建 .venv）\nuv sync\n\n# 激活虚拟环境\nsource .venv\u002Fbin\u002Factivate\n\n# 验证安装（可选）\npython main.py --help\n```\n\n### 方案二：Conda + uv\n\n如果你习惯使用 Conda 管理基础环境：\n\n```bash\n# 创建并激活 Conda 环境 (Python 3.12)\nconda create -n eb_jepa python=3.12 -y\nconda activate eb_jepa\n\n# 使用 uv 以可编辑模式安装包及开发依赖\nuv pip install -e . --group dev\n```\n\n### 配置环境变量（可选）\n\n为了在 SLURM 集群或特定路径下运行，建议将以下配置添加到 `~\u002F.bashrc`：\n\n```bash\n# 数据集路径（必填，如需加载本地数据）\nexport EBJEPA_DSETS=\u002Fpath\u002Fto\u002Feb_jepa\u002Fdatasets\n# 检查点和日志保存路径（可选）\nexport EBJEPA_CKPTS=\u002Fpath\u002Fto\u002Fcheckpoints\n```\n\n## 基本使用\n\nEB-JEPA 提供了三个主要示例：**图像 JEPA**、**视频 JEPA** 和 **智能体规划 (AC Video JEPA)**。每个示例几乎是独立的，单卡训练仅需数小时。\n\n### 1. 快速开始训练\n\n使用以下命令在本地启动训练（默认使用配置文件中的超参数）：\n\n```bash\n# 运行图像 JEPA 示例 (CIFAR-10 自监督学习)\npython -m examples.image_jepa.main\n\n# 运行视频 JEPA 示例 (预测序列中的下一帧表示)\npython -m examples.video_jepa.main\n\n# 运行智能体规划示例 (Two Rooms 环境建模与规划)\npython -m examples.ac_video_jepa.main\n```\n\n> **注意**: 如果显存不足，请修改对应的 `.yaml` 配置文件，减小 `batch_size`。\n\n### 2. 查看实验结果\n\n训练完成后，检查点和日志将按以下结构保存：\n\n```text\ncheckpoints\u002F\n└── {example_name}\u002F\n    └── dev_YYYY-MM-DD_HH-MM\u002F      # 单次运行\n        └── {exp_name}_seed1\u002F      # 包含模型权重和日志\n```\n\n实验文件夹名称 `{exp_name}` 自动编码了关键超参数（如模型类型、batch size、损失系数等），以避免冲突。\n\n### 3. 高级用法：超参数扫描 (Sweep)\n\n若需进行多种子实验或超参数搜索，可使用内置的启动器（支持 SLURM 或本地多进程）：\n\n```bash\n# 启动 3 个不同种子的实验（推荐用于复现性验证）\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml\n\n# 启动完整的超参数网格搜索 (需在 yaml 中配置 sweep.param_grid)\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml --full-sweep\n\n# 结合 Wandb 进行可视化分析\npython -m examples.launch_sbatch --example image_jepa --fname examples\u002Fimage_jepa\u002Fcfgs\u002Fdefault.yaml --use-wandb-sweep\n```\n\n### 4. 运行测试\n\n确保环境配置正确，可运行单元测试：\n\n```bash\n# 如果使用 uv sync 安装\nuv run pytest tests\u002F\n\n# 如果使用 conda + uv 安装\npytest tests\u002F\n```","某机器人研发团队正致力于让机械臂在未知环境中通过观察视频自主学习导航策略，而无需依赖昂贵的人工标注数据。\n\n### 没有 eb_jepa 时\n- **数据标注成本高昂**：团队必须手动标注数万张图像的动作与状态对应关系，耗时数月且极易出错。\n- **模型难以理解动态变化**：传统监督学习模型只能识别静态物体，无法预测“执行动作后画面会如何变化”，导致规划经常失败。\n- **训练资源门槛极高**：复现前沿的联合嵌入预测架构（JEPA）需要从头编写复杂的底层代码，且在单卡 GPU 上几乎无法跑通实验。\n- **缺乏统一实验框架**：图像、视频和动作规划分散在不同代码库中，难以进行统一的对比测试和迭代优化。\n\n### 使用 eb_jepa 后\n- **实现无监督自学习**：利用 eb_jepa 的自监督特性，直接从未标注的监控视频中学习世界模型，彻底省去了人工标注环节。\n- **精准预测未来状态**：通过其核心的能量基联合嵌入机制，模型能准确推断“执行某动作后的下一帧特征”，显著提升了路径规划的成功率。\n- **快速验证原型**：借助官方提供的开箱即用示例（如 AC Video JEPA），研究人员在单张 GPU 上仅需数小时即可完成从训练到规划的全流程验证。\n- **统一多模态实验流**：在一个框架内无缝切换图像、视频及动作条件视频任务，大幅加速了算法从理论到落地的迭代周期。\n\neb_jepa 将原本需要数月构建的世界模型研发流程压缩至数天，让中小团队也能低成本掌握顶尖的自监督规划能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_eb_jepa_942145e1.png","facebookresearch","Meta Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ffacebookresearch_449342bd.png","",null,"https:\u002F\u002Fopensource.fb.com","https:\u002F\u002Fgithub.com\u002Ffacebookresearch",[83,87],{"name":84,"color":85,"percentage":86},"Python","#3572A5",99.8,{"name":88,"color":89,"percentage":90},"Makefile","#427819",0.2,543,51,"2026-04-02T20:05:18","Apache-2.0","Linux","需要 NVIDIA GPU。默认配置针对 H100 优化；在旧款 GPU（如 A100, V100）上运行可能需要减小 batch size 以适应显存。","未说明",{"notes":99,"python":100,"dependencies":101},"推荐使用 uv 进行包管理，也支持 Conda + uv 组合。默认配置针对 H100 GPU 调优，若使用较旧显卡需手动调整批次大小以防显存溢出。支持 SLURM 集群任务调度。训练单个示例在单张 GPU 上最多需要几小时。需设置环境变量以指定数据集和检查点路径。","3.12",[102,103,104,105,106,107],"uv","pytest","black","isort","autoflake","wandb",[14,52,13,54],"2026-03-27T02:49:30.150509","2026-04-06T05:32:14.994209",[112],{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},12402,"在 Moving MNIST 训练循环中，由于总损失包含了使用真实标签的检测损失（det_loss），JEPA 编码器是否正在接受监督信号进行训练？","不会，JEPA 编码器不会从 det_loss 接收到监督梯度信号。原因如下：\n\n1. JEPAProbe 包装器阻断了梯度：pixel_decoder 和 detection_head 都是 JEPAProbe 的实例。\n2. 该包装器对编码器进行了双重分离（double detachment）操作：\n   - 首先，在 `with torch.no_grad():` 块中调用 `self.jepa.encode(observations)`，确保编码器部分不进行梯度计算。\n   - 其次，在将状态传递给 head 之前再次执行 `.detach()` 以确保安全：`output = self.head(state.detach())`。\n\n因此，尽管训练代码中写了 `total_loss = jepa_loss + recon_loss + det_loss` 并执行了 `backward()`，recon_loss 和 det_loss 的梯度会在 probe head 边界处被完全阻断，永远不会传播回编码器。这保持了编码器的自监督学习性质。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Feb_jepa\u002Fissues\u002F14",[]]