[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-hustvl--Vim":3,"tool-hustvl--Vim":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":80,"owner_twitter":80,"owner_website":80,"owner_url":81,"languages":82,"stars":117,"forks":118,"last_commit_at":119,"license":120,"difficulty_score":121,"env_os":122,"env_gpu":123,"env_ram":124,"env_deps":125,"category_tags":134,"github_topics":80,"view_count":23,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":135,"updated_at":136,"faqs":137,"releases":138},3658,"hustvl\u002FVim","Vim","[ICML 2024] Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model","Vim（Vision Mamba）是一款专为高效视觉表征学习设计的开源深度学习模型，由华中科技大学等机构联合研发，并入选 ICML 2024。它旨在解决传统视觉 Transformer 在处理高分辨率图像时面临的计算量大、显存占用高的问题。\n\n长期以来，视觉任务依赖自注意力机制来捕捉全局上下文，但这在高分辨率场景下效率较低。Vim 创新性地证明了无需自注意力也能实现优秀的视觉效果。它引入了双向状态空间模型（Bidirectional SSM），结合位置编码，能够以极低的资源消耗压缩并理解视觉数据。实验显示，在 ImageNet 分类、COCO 目标检测等任务中，Vim 的性能优于主流的 DeiT 模型，同时在推理速度上提升 2.8 倍，显存节省高达 86.8%。\n\n这款工具特别适合从事计算机视觉研究的科研人员、需要部署高效模型的算法工程师，以及关注下一代视觉基础架构的开发者。如果你正在寻求突破高分辨率图像处理的算力瓶颈，或希望探索除 Transformer 之外的新架构范式，Vim 提供了一个极具潜力的解决方案。其核心亮点在于将原本擅长长序列建模的 Mamba 架构成功迁移至视觉领域，","Vim（Vision Mamba）是一款专为高效视觉表征学习设计的开源深度学习模型，由华中科技大学等机构联合研发，并入选 ICML 2024。它旨在解决传统视觉 Transformer 在处理高分辨率图像时面临的计算量大、显存占用高的问题。\n\n长期以来，视觉任务依赖自注意力机制来捕捉全局上下文，但这在高分辨率场景下效率较低。Vim 创新性地证明了无需自注意力也能实现优秀的视觉效果。它引入了双向状态空间模型（Bidirectional SSM），结合位置编码，能够以极低的资源消耗压缩并理解视觉数据。实验显示，在 ImageNet 分类、COCO 目标检测等任务中，Vim 的性能优于主流的 DeiT 模型，同时在推理速度上提升 2.8 倍，显存节省高达 86.8%。\n\n这款工具特别适合从事计算机视觉研究的科研人员、需要部署高效模型的算法工程师，以及关注下一代视觉基础架构的开发者。如果你正在寻求突破高分辨率图像处理的算力瓶颈，或希望探索除 Transformer 之外的新架构范式，Vim 提供了一个极具潜力的解决方案。其核心亮点在于将原本擅长长序列建模的 Mamba 架构成功迁移至视觉领域，实现了速度与精度的双重飞跃。","\u003Cdiv align=\"center\">\n\u003Ch1>Vision Mamba \u003C\u002Fh1>\n\u003Ch3>Efficient Visual Representation Learning with Bidirectional State Space Model\u003C\u002Fh3>\n\n[Lianghui Zhu](https:\u002F\u002Fgithub.com\u002FUnrealluver)\u003Csup>1\u003C\u002Fsup> \\*,[Bencheng Liao](https:\u002F\u002Fgithub.com\u002FLegendBC)\u003Csup>1\u003C\u002Fsup> \\*,[Qian Zhang](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=pCY-bikAAAAJ&hl=zh-CN)\u003Csup>2\u003C\u002Fsup>, [Xinlong Wang](https:\u002F\u002Fwww.xloong.wang\u002F)\u003Csup>3\u003C\u002Fsup>, [Wenyu Liu](http:\u002F\u002Feic.hust.edu.cn\u002Fprofessor\u002Fliuwenyu\u002F)\u003Csup>1\u003C\u002Fsup>, [Xinggang Wang](https:\u002F\u002Fxwcv.github.io\u002F)\u003Csup>1 :email:\u003C\u002Fsup>\n\n\u003Csup>1\u003C\u002Fsup>  Huazhong University of Science and Technology, \u003Csup>2\u003C\u002Fsup>  Horizon Robotics,  \u003Csup>3\u003C\u002Fsup> Beijing Academy of Artificial Intelligence\n\n(\\*) equal contribution, (\u003Csup>:email:\u003C\u002Fsup>) corresponding author.\n\nICML 2024 ([conference paper](https:\u002F\u002Ficml.cc\u002Fvirtual\u002F2024\u002Fposter\u002F33768)), ArXiv Preprint ([arXiv 2401.09417](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.09417)), HuggingFace Page ([🤗 2401.09417](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2401.09417))\n\n\n\u003C\u002Fdiv>\n\n\n#\n\n\n\n### News\n* **` May. 2nd, 2024`:** Vision Mamba (Vim) is accepted by ICML2024. 🎉 Conference page can be found [here](https:\u002F\u002Ficml.cc\u002Fvirtual\u002F2024\u002Fpaper_metadata_from_author\u002F33768).\n\n* **` Feb. 10th, 2024`:** We update Vim-tiny\u002Fsmall weights and training scripts. By placing the class token at middle, Vim achieves improved results. Further details can be found in code and our updated [arXiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.09417).\n\n* **` Jan. 18th, 2024`:** We released our paper on Arxiv. Code\u002FModels are coming soon. Please stay tuned! ☕️\n\n\n## Abstract\nRecently the state space models (SSMs) with efficient hardware-aware designs, i.e., the Mamba deep learning model, have shown great potential for long sequence modeling. Meanwhile building efficient and generic vision backbones purely upon SSMs is an appealing direction. However, representing visual data is challenging for SSMs due to the position-sensitivity of visual data and the requirement of global context for visual understanding. In this paper, we show that the reliance on self-attention for visual representation learning is not necessary and propose a new generic vision backbone with bidirectional Mamba blocks (Vim), which marks the image sequences with position embeddings and compresses the visual representation with bidirectional state space models. On ImageNet classification, COCO object detection, and ADE20k semantic segmentation tasks, Vim achieves higher performance compared to well-established vision transformers like DeiT, while also demonstrating significantly improved computation & memory efficiency. For example, Vim is 2.8x faster than DeiT and saves 86.8% GPU memory when performing batch inference to extract features on images with a resolution of 1248x1248. The results demonstrate that Vim is capable of overcoming the computation & memory constraints on performing Transformer-style understanding for high-resolution images and it has great potential to be the next-generation backbone for vision foundation models.\n\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhustvl_Vim_readme_087dd327bf6a.png\" \u002F>\n\u003C\u002Fdiv>\n\n## Overview\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhustvl_Vim_readme_2ae61783df30.png\" \u002F>\n\u003C\u002Fdiv>\n\n## Envs. for Pretraining\n\n- NVIDIA GPUs:\n  - Python 3.10.13\n\n    - `conda create -n your_env_name python=3.10.13`\n\n  - torch 2.1.1 + cu118\n    - `pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118`\n\n- AMD GPUs:\n  - A [Docker image](https:\u002F\u002Fhub.docker.com\u002Fr\u002Frocm\u002Fpytorch\u002Ftags) is recommended, such as `rocm\u002Fpytorch:rocm6.2_ubuntu20.04_py3.9_pytorch_release_2.1.2`. For step-by-step instructions, please refer to [Vision Mamba on AMD GPU with ROCm](https:\u002F\u002Frocm.blogs.amd.com\u002Fartificial-intelligence\u002Fvision-mamba\u002FREADME.html#vision-mamba).\n\n\n- Requirements: vim_requirements.txt\n  - `pip install -r vim\u002Fvim_requirements.txt`\n\n- Install ``causal_conv1d`` and ``mamba``\n  - `pip install -e causal_conv1d>=1.1.0`\n  - `pip install -e mamba-1p1p1`\n  \n  \n\n\n## Train Your Vim\n\n`bash vim\u002Fscripts\u002Fpt-vim-t.sh`\n\n## Train Your Vim at Finer Granularity\n`bash vim\u002Fscripts\u002Fft-vim-t.sh`\n\n## Model Weights\n\n| Model | #param. | Top-1 Acc. | Top-5 Acc. | Hugginface Repo |\n|:------------------------------------------------------------------:|:-------------:|:----------:|:----------:|:----------:|\n| [Vim-tiny](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-tiny-midclstok)    |       7M       |   76.1   | 93.0 | https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-tiny-midclstok |\n| [Vim-tiny\u003Csup>+\u003C\u002Fsup>](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-tiny-midclstok)    |       7M       |   78.3   | 94.2 | https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-tiny-midclstok |\n| [Vim-small](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-small-midclstok)    |       26M       |   80.5   | 95.1 | https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-small-midclstok |\n| [Vim-small\u003Csup>+\u003C\u002Fsup>](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-small-midclstok)    |       26M       |   81.6   | 95.4 | https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-small-midclstok |\n| [Vim-base](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-base-midclstok)    |       98M       |   81.9   | 95.8 | https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-base-midclstok |\n\n**Notes:**\n- \u003Csup>+\u003C\u002Fsup> means that we finetune at finer granularity with short schedule.\n## Evaluation on Provided Weights\nTo evaluate `Vim-Ti` on ImageNet-1K, run:\n```bash\npython main.py --eval --resume \u002Fpath\u002Fto\u002Fckpt --model vim_tiny_patch16_224_bimambav2_final_pool_mean_abs_pos_embed_with_midclstok_div2 --data-path \u002Fpath\u002Fto\u002Fimagenet\n```\n## Acknowledgement :heart:\nThis project is based on Mamba ([paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.00752), [code](https:\u002F\u002Fgithub.com\u002Fstate-spaces\u002Fmamba)), Causal-Conv1d ([code](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fcausal-conv1d)), DeiT ([paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2012.12877), [code](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdeit)). Thanks for their wonderful works.\n\n## Citation\nIf you find Vim is useful in your research or applications, please consider giving us a star 🌟 and citing it by the following BibTeX entry.\n\n```bibtex\n @inproceedings{vim,\n  title={Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model},\n  author={Zhu, Lianghui and Liao, Bencheng and Zhang, Qian and Wang, Xinlong and Liu, Wenyu and Wang, Xinggang},\n  booktitle={Forty-first International Conference on Machine Learning}\n}\n```\n","\u003Cdiv align=\"center\">\n\u003Ch1>Vision Mamba\u003C\u002Fh1>\n\u003Ch3>基于双向状态空间模型的高效视觉表征学习\u003C\u002Fh3>\n\n[朱良辉](https:\u002F\u002Fgithub.com\u002FUnrealluver)\u003Csup>1\u003C\u002Fsup> \\*,[廖本成](https:\u002F\u002Fgithub.com\u002FLegendBC)\u003Csup>1\u003C\u002Fsup> \\*,[张倩](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=pCY-bikAAAAJ&hl=zh-CN)\u003Csup>2\u003C\u002Fsup>, [王欣龙](https:\u002F\u002Fwww.xloong.wang\u002F)\u003Csup>3\u003C\u002Fsup>, [刘文宇](http:\u002F\u002Feic.hust.edu.cn\u002Fprofessor\u002Fliuwenyu\u002F)\u003Csup>1\u003C\u002Fsup>, [王兴刚](https:\u002F\u002Fxwcv.github.io\u002F)\u003Csup>1 :email:\u003C\u002Fsup>\n\n\u003Csup>1\u003C\u002Fsup> 华中科技大学, \u003Csup>2\u003C\u002Fsup> 地平线机器人,  \u003Csup>3\u003C\u002Fsup> 北京智源人工智能研究院\n\n(\\*) 共同第一作者, (\u003Csup>:email:\u003C\u002Fsup>) 通讯作者。\n\nICML 2024 ([会议论文](https:\u002F\u002Ficml.cc\u002Fvirtual\u002F2024\u002Fposter\u002F33768)), ArXiv 预印本 ([arXiv 2401.09417](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.09417)), HuggingFace 页面 ([🤗 2401.09417](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2401.09417))\n\n\n\u003C\u002Fdiv>\n\n\n#\n\n\n\n### 新闻\n* **`2024年5月2日`:** Vision Mamba (Vim) 被 ICML2024 接收。🎉 会议页面可在此查看 [这里](https:\u002F\u002Ficml.cc\u002Fvirtual\u002F2024\u002Fpaper_metadata_from_author\u002F33768)。\n\n* **`2024年2月10日`:** 我们更新了 Vim-tiny\u002Fsmall 的权重和训练脚本。通过将类别标记放置在中间位置，Vim 取得了更好的效果。更多细节请参阅代码及我们更新后的 [arXiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.09417)。\n\n* **`2024年1月18日`:** 我们已在 ArXiv 上发布了论文。代码\u002F模型即将发布，请持续关注！☕️\n\n\n## 摘要\n最近，具有高效硬件感知设计的状态空间模型（SSMs），即 Mamba 深度学习模型，已在长序列建模方面展现出巨大潜力。与此同时，完全基于 SSMs 构建高效且通用的视觉骨干网络是一个极具吸引力的方向。然而，由于视觉数据对位置敏感以及视觉理解需要全局上下文，SSMs 在表示视觉数据方面仍面临挑战。在本文中，我们证明了视觉表征学习并不依赖于自注意力机制，并提出了一种新的通用视觉骨干网络——双向 Mamba 块（Vim）。该网络通过位置嵌入标记图像序列，并利用双向状态空间模型压缩视觉表征。在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割任务上，Vim 的性能优于 DeiT 等成熟的视觉 Transformer 模型，同时计算和内存效率也显著提升。例如，在分辨率为 1248×1248 的图像上进行批量推理提取特征时，Vim 的速度比 DeiT 快 2.8 倍，且 GPU 内存占用减少了 86.8%。这些结果表明，Vim 能够克服高分辨率图像上执行 Transformer 式理解时的计算和内存限制，并有望成为下一代视觉基础模型的骨干网络。\n\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhustvl_Vim_readme_087dd327bf6a.png\" \u002F>\n\u003C\u002Fdiv>\n\n## 概述\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhustvl_Vim_readme_2ae61783df30.png\" \u002F>\n\u003C\u002Fdiv>\n\n## 预训练环境\n\n- NVIDIA GPU：\n  - Python 3.10.13\n\n    - `conda create -n your_env_name python=3.10.13`\n\n  - torch 2.1.1 + cu118\n    - `pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118`\n\n- AMD GPU：\n  - 建议使用 [Docker 镜像](https:\u002F\u002Fhub.docker.com\u002Fr\u002Frocm\u002Fpytorch\u002Ftags)，例如 `rocm\u002Fpytorch:rocm6.2_ubuntu20.04_py3.9_pytorch_release_2.1.2`。有关分步说明，请参阅 [Vision Mamba 在 AMD GPU 上使用 ROCm 的指南](https:\u002F\u002Frocm.blogs.amd.com\u002Fartificial-intelligence\u002Fvision-mamba\u002FREADME.html#vision-mamba)。\n\n\n- 依赖项：vim_requirements.txt\n  - `pip install -r vim\u002Fvim_requirements.txt`\n\n- 安装 ``causal_conv1d`` 和 ``mamba``\n  - `pip install -e causal_conv1d>=1.1.0`\n  - `pip install -e mamba-1p1p1`\n  \n  \n\n\n## 训练你的 Vim\n\n`bash vim\u002Fscripts\u002Fpt-vim-t.sh`\n\n## 以更细粒度训练你的 Vim\n`bash vim\u002Fscripts\u002Fft-vim-t.sh`\n\n## 模型权重\n\n| 模型 | 参数量 | Top-1 准确率 | Top-5 准确率 | HuggingFace 仓库 |\n|:------------------------------------------------------------------:|:-------------:|:----------:|:----------:|:----------:|\n| [Vim-tiny](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-tiny-midclstok)    |       7M       |   76.1   | 93.0 | https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-tiny-midclstok |\n| [Vim-tiny\u003Csup>+\u003C\u002Fsup>](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-tiny-midclstok)    |       7M       |   78.3   | 94.2 | https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-tiny-midclstok |\n| [Vim-small](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-small-midclstok)    |       26M       |   80.5   | 95.1 | https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-small-midclstok |\n| [Vim-small\u003Csup>+\u003C\u002Fsup>](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-small-midclstok)    |       26M       |   81.6   | 95.4 | https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-small-midclstok |\n| [Vim-base](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-base-midclstok)    |       98M       |   81.9   | 95.8 | https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-base-midclstok |\n\n**注释：**\n- \u003Csup>+\u003C\u002Fsup> 表示我们在较短的时间内以更细粒度进行微调。\n## 使用提供的权重进行评估\n要在 ImageNet-1K 数据集上评估 `Vim-Ti`，请运行：\n```bash\npython main.py --eval --resume \u002Fpath\u002Fto\u002Fckpt --model vim_tiny_patch16_224_bimambav2_final_pool_mean_abs_pos_embed_with_midclstok_div2 --data-path \u002Fpath\u002Fto\u002Fimagenet\n```\n## 致谢 :heart:\n本项目基于 Mamba ([论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.00752), [代码](https:\u002F\u002Fgithub.com\u002Fstate-spaces\u002Fmamba))、Causal-Conv1d ([代码](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fcausal-conv1d))、DeiT ([论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2012.12877), [代码](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdeit))。感谢他们的杰出工作。\n\n## 引用\n如果您在研究或应用中发现 Vim 有用，请考虑给我们一颗星 🌟，并使用以下 BibTeX 条目引用：\n\n```bibtex\n @inproceedings{vim,\n  title={Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model},\n  author={Zhu, Lianghui and Liao, Bencheng and Zhang, Qian and Wang, Xinlong and Liu, Wenyu and Wang, Xinggang},\n  booktitle={Forty-first International Conference on Machine Learning}\n}\n```","# Vision Mamba (Vim) 快速上手指南\n\nVision Mamba (Vim) 是一种基于双向状态空间模型（Bidirectional SSM）的高效视觉骨干网络。它在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割等任务上，相比 DeiT 等主流 Vision Transformer 模型，在保持更高性能的同时，显著提升了计算速度和内存效率。\n\n## 环境准备\n\n### 系统要求\n- **GPU**: NVIDIA GPU (推荐) 或 AMD GPU\n- **Python**: 3.10.13\n- **CUDA**: 11.8 (针对 NVIDIA 用户)\n\n### 前置依赖\n本项目依赖 `torch`, `causal_conv1d`, 和 `mamba` 等核心库。\n\n## 安装步骤\n\n### 1. 创建 Conda 环境\n首先创建一个名为 `vim_env` 的虚拟环境（名称可自定义），并指定 Python 版本：\n\n```bash\nconda create -n vim_env python=3.10.13\nconda activate vim_env\n```\n\n### 2. 安装 PyTorch\n**NVIDIA GPU 用户**：\n安装与 CUDA 11.8 兼容的 PyTorch 2.1.1 版本：\n\n```bash\npip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n```\n\n**AMD GPU 用户**：\n建议使用官方提供的 Docker 镜像（如 `rocm\u002Fpytorch:rocm6.2_ubuntu20.04_py3.9_pytorch_release_2.1.2`）。详细步骤请参考 [Vision Mamba on AMD GPU with ROCm](https:\u002F\u002Frocm.blogs.amd.com\u002Fartificial-intelligence\u002Fvision-mamba\u002FREADME.html#vision-mamba)。\n\n### 3. 安装项目依赖\n克隆项目代码后，进入目录安装基础依赖：\n\n```bash\npip install -r vim\u002Fvim_requirements.txt\n```\n\n### 4. 安装核心算子\n依次安装 `causal_conv1d` 和 `mamba` 扩展库：\n\n```bash\npip install -e causal_conv1d>=1.1.0\npip install -e mamba-1p1p1\n```\n\n## 基本使用\n\n### 模型权重下载\n你可以从 HuggingFace 下载预训练权重。以下是部分可用模型：\n\n| 模型 | 参数量 | Top-1 准确率 | HuggingFace 地址 |\n| :--- | :---: | :---: | :--- |\n| Vim-tiny | 7M | 76.1% | [hustvl\u002FVim-tiny-midclstok](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-tiny-midclstok) |\n| Vim-small | 26M | 80.5% | [hustvl\u002FVim-small-midclstok](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-small-midclstok) |\n| Vim-base | 98M | 81.9% | [hustvl\u002FVim-base-midclstok](https:\u002F\u002Fhuggingface.co\u002Fhustvl\u002FVim-base-midclstok) |\n\n*> 注：带 `+` 号的模型表示经过更细粒度的微调，性能更优。*\n\n### 推理评估示例\n以下命令演示如何在 ImageNet-1K 数据集上评估 `Vim-Tiny` 模型。请替换 `\u003Cpath\u002Fto\u002Fckpt>` 为你的权重文件路径，`\u003Cpath\u002Fto\u002Fimagenet>` 为数据集路径。\n\n```bash\npython main.py --eval --resume \u002Fpath\u002Fto\u002Fckpt --model vim_tiny_patch16_224_bimambav2_final_pool_mean_abs_pos_embed_with_midclstok_div2 --data-path \u002Fpath\u002Fto\u002Fimagenet\n```\n\n### 训练示例\n如果你希望从头开始训练或使用提供的脚本进行微调，可以运行以下命令：\n\n**预训练 (Pretraining):**\n```bash\nbash vim\u002Fscripts\u002Fpt-vim-t.sh\n```\n\n**细粒度微调 (Finer Granularity Finetuning):**\n```bash\nbash vim\u002Fscripts\u002Fft-vim-t.sh\n```","某自动驾驶团队正在开发高分辨率路况感知系统，需要处理大量 4K 级街景图像以进行实时物体检测与语义分割。\n\n### 没有 Vim 时\n- **显存爆炸**：使用传统 Transformer 架构（如 DeiT）处理 1248x1248 高分辨率图像时，自注意力机制导致显存占用极高，单卡往往无法承载大批次推理，频繁遭遇 OOM（显存溢出）错误。\n- **推理延迟高**：随着图像分辨率提升，计算量呈平方级增长，导致单帧处理耗时过长，难以满足自动驾驶对低延迟的严苛要求。\n- **训练成本高昂**：为了适配显存限制，不得不大幅缩小输入图像分辨率或削减 Batch Size，这直接牺牲了模型对小目标（如远处行人、交通标志）的识别精度。\n- **硬件资源浪费**：为了维持服务运行，被迫堆叠多张高端 GPU 进行并行计算，大幅推高了云端部署的运营成本。\n\n### 使用 Vim 后\n- **显存大幅节约**：Vim 利用双向状态空间模型替代自注意力机制，在同等 1248x1248 分辨率下进行批量推理时，相比 DeiT 节省了 86.8% 的 GPU 显存，轻松实现单卡大批次处理。\n- **速度显著提升**：得益于高效的硬件感知设计，Vim 的推理速度达到 DeiT 的 2.8 倍，显著降低了端到端的系统延迟，让实时路况分析成为可能。\n- **精度与效率兼得**：无需再为妥协显存而降低输入分辨率，模型能够保留更多图像细节，在 COCO 物体检测和 ADE20k 语义分割任务上取得了超越主流 Transformer 的精度。\n- **部署门槛降低**：极高的计算效率使得该模型可部署在算力受限的边缘设备或更少数量的服务器上，大幅降低了落地成本。\n\nVim 通过突破传统 Transformer 的计算与显存瓶颈，让高分辨率视觉理解在保持高精度的同时实现了工业级的实时高效运行。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhustvl_Vim_087dd327.png","hustvl","HUST Vision Lab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fhustvl_3e2bf80d.png","HUST Vision Lab of the School of EIC in HUST. Lab Lead @xinggangw",null,"https:\u002F\u002Fgithub.com\u002Fhustvl",[83,87,91,95,99,103,107,110,114],{"name":84,"color":85,"percentage":86},"Python","#3572A5",88.7,{"name":88,"color":89,"percentage":90},"Cuda","#3A4E3A",6.1,{"name":92,"color":93,"percentage":94},"C++","#f34b7d",3.2,{"name":96,"color":97,"percentage":98},"Jupyter Notebook","#DA5B0B",1,{"name":100,"color":101,"percentage":102},"Shell","#89e051",0.7,{"name":104,"color":105,"percentage":106},"C","#555555",0.1,{"name":108,"color":109,"percentage":106},"Dockerfile","#384d54",{"name":111,"color":112,"percentage":113},"Makefile","#427819",0,{"name":115,"color":116,"percentage":113},"CMake","#DA3434",3837,281,"2026-04-04T19:27:29","Apache-2.0",4,"Linux","必需。支持 NVIDIA GPU (需 CUDA 11.8) 或 AMD GPU (需 ROCm 6.2，推荐通过 Docker 运行)。显存需求取决于模型大小和图像分辨率，文中提到在 1248x1248 分辨率下比 DeiT 节省 86.8% 显存，但未给出具体最低显存数值。","未说明",{"notes":126,"python":127,"dependencies":128},"1. NVIDIA 用户需安装 torch 2.1.1 + cu118 版本。2. AMD 用户强烈建议使用官方提供的 Docker 镜像 (如 rocm\u002Fpytorch:rocm6.2_ubuntu20.04_py3.9_pytorch_release_2.1.2) 并参考专门教程。3. 必须手动安装 'causal_conv1d' 和 'mamba' 这两个核心依赖库。4. 项目基于 Mamba 架构，专为高效视觉表示学习设计，适合高分辨率图像处理。","3.10.13",[129,130,131,132,133],"torch==2.1.1","torchvision==0.16.1","torchaudio==2.1.1","causal_conv1d>=1.1.0","mamba-1p1p1",[14,13],"2026-03-27T02:49:30.150509","2026-04-06T11:31:08.287865",[],[]]