[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-TIGER-AI-Lab--VLM2Vec":3,"tool-TIGER-AI-Lab--VLM2Vec":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",142651,2,"2026-04-06T23:34:12",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":77,"owner_twitter":76,"owner_website":76,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":10,"env_os":92,"env_gpu":93,"env_ram":92,"env_deps":94,"category_tags":100,"github_topics":103,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":115,"updated_at":116,"faqs":117,"releases":146},4811,"TIGER-AI-Lab\u002FVLM2Vec","VLM2Vec","This repo contains the code for \"VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks\" [ICLR 2025]","VLM2Vec 是一个强大的开源框架，旨在为视频、图像和视觉文档生成统一的多模态嵌入表示。它核心解决了当前 AI 领域难以用单一模型高效处理多种视觉格式数据的难题，打破了不同模态间的壁垒，让机器能像人类一样综合理解复杂的视觉信息。\n\n该工具特别适合人工智能研究人员、算法工程师以及需要构建多模态检索或分析系统的开发者使用。通过引入全新的 MMEB-V2 基准测试（涵盖 78 项多样化任务），VLM2Vec 不仅提供了系统化的评估标准，更在各项指标上超越了现有的专用基线模型，树立了新的技术标杆。其独特亮点在于“统一性”——无需针对不同数据类型训练独立模型，即可在大规模多模态嵌入任务中实现卓越性能。项目代码、数据集及预训练模型均已开放，社区友好，是探索下一代多模态理解技术的理想起点。","# VLM2Vec-V2: Unified Multimodal Embedding for Videos, Images, and Documents\n\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2507.04590\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-V2 Paper%20-black?style=flat&logo=arxiv\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.05160\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-V1 Paper-black?style=flat&logo=arxiv\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Fgithub.com\u002FTIGER-AI-Lab\u002FVLM2Vec\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Code-green?style=flat&logo=github\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Ftiger-ai-lab.github.io\u002FVLM2Vec\u002F\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-🌐%20Website-red?style=flat\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTIGER-Lab\u002FMMEB-V2\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-🤗%20Dataset(V2)-red?style=flat\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTIGER-Lab\u002FMMEB-eval\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-🤗%20Dataset(V1)-red?style=flat\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Fhuggingface.co\u002FVLM2Vec\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-🤗%20Models-red?style=flat\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FTIGER-Lab\u002FMMEB-Leaderboard\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-🤗%20Leaderboard-red?style=flat\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Fx.com\u002FWenhuChen\u002Fstatus\u002F1844577017930694984\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Tweet-blue?style=flat&logo=twitter\">\u003C\u002Fa>\n\u003Cbr>\n\n\nThis repository contains the official code and data for **VLM2Vec-V2**, a unified framework for learning powerful multimodal embeddings across diverse visual formats including images, videos, and visual documents.\n\nOur work introduces **MMEB-V2**, a comprehensive benchmark with 78 tasks designed to systematically evaluate embedding models across these modalities. VLM2Vec-V2 sets a new state-of-the-art, outperforming strong baselines across all categories.\n\nThis is an open-source project, and we welcome contributions from the community. We are particularly interested in additions of new functionalities, support for new datasets, bug fixes, and improvements to documentation. Please feel free to open an issue to discuss your ideas or submit a pull request!\n\n📌 Please see our CHANGELOG for the latest features and bug fixes! [![CHANGELOG](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FView-CHANGELOG-blue)](.\u002FCHANGELOG.md)\n\n\n> ## 🚨 Major V2 Update Alert (June 2025) 🚨\n>\n> This repository has been updated to **V2**, which is a complete overhaul of the codebase. The previous VLM2Vec code has been archived and can be found in the `v1` branch.\n>\n> **Warning:** **Please back up any local work before proceeding**. If you have a local clone from before this update, you must reset your main branch to sync with the new code. \n>\n> For detailed instructions, please see the \"**How to Upgrade to V2**\" section below.\n> \n> Your feedback on this transition process is highly appreciated. If you run into any problems, please let us know by opening an issue.\n\n\n\n---\n\n## 🔥 News\n- **[2026-01] 🎉 VLM2Vec-V2 is accepted to TMLR 2026.**\n- **[2025-05]** VLM2Vec-v2 is released! We introduce a unified embedding framework for images, videos, and visual documents. Our new MMEB-V2 benchmark, featuring 78 diverse tasks, is also available. The VLM2Vec-V2 model outperforms previous versions and strong specialized baselines.\n- **[2025-01] 🎉 VLM2Vec is accepted to ICLR 2025.**\n- **[2024-10]** The technical report, code, data, and model for VLM2Vec are all available online.\n\n\u003Cdetails>\n  \u003Csummary>📜 View Older Updates\u003C\u002Fsummary>\n\n- [2025-02] 🔥 Two new VLM2Vec models are released, based on Qwen2VL 2B and 7B, achieving 60.1 and 65.8 (new SOTA!) on the MMEB benchmark. Check them out ([2B]([url](https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-Qwen2VL-2B)), [7B]([url](https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-Qwen2VL-7B)))!\n- [2025-02] We are starting to work on more advanced features and extensions for VLM2Vec, and will document all changes in the ```CHANGELOG.md```. If any changes conflict with previously supported features, please feel free to raise an issue here. Thank you in advance!\n- [2025-01] We have updated our [training data](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTIGER-Lab\u002FMMEB-train). Each subset now contains two splits: ```original``` and ```diverse_instruction```. The ```original``` split is provided to support the reproduction of our paper results. The ```diverse_instruction``` split includes paraphrased instructions for each task, designed to enhance instruction diversity and improve the model's robustness to unseen instructions and tasks. Moving forward, our future releases will primarily use the ```diverse_instruction``` split.\n- [2024-12] We have released the [MMEB leaderboard](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FTIGER-Lab\u002FMMEB). Feel free to contact us if you want to include your model.\n- [2024-12] We have released a new variant of VLM2Vec built on the LLaVa-Next backbone, which is currently our best-performing version: https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-LLaVa-Next.\n- [2024-10] VLM2Vec has been integrated into [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm\u002Fblob\u002Fmain\u002Fexamples\u002Foffline_inference_vision_language_embedding.py).\n\n\u003C\u002Fdetails>\n\n## Key Updates\n- Unified framework for training and evaluating embedding models for three modalities of data: images, videos, and visual documents.\n- MMEB v2 Benchmark: Extend v1 benchmark with videos and visdoc tasks, including 78 tasks in total.\n- VLM2Vec-v2.0: brand-new embedding model based on Qwen2-VL-2B.\n- Easy configuration of training and evaluation using yaml files (see examples in `experiments\u002Frelease`).\n- Easy extension of new datasets by creating and registering customized data loader (see examples in `src\u002Fdataset\u002F`).\n\n\n## How to Upgrade to V2\n\n1. **Back Up Your Local Changes (Critical!)** The update process will discard any uncommitted changes on your local main branch. If you have work you want to save, commit it to a new branch or use `git stash`.\n2. **Reset Your Local Repository to V2.** Run the following commands to fetch the new `main` branch and reset your local copy to match it.\n\n```bash\n# Make sure you are on your main branch first\ngit checkout main\n# Fetch all recent updates from the remote and remove stale branch references\ngit fetch --all --prune\n# Force your local main branch to match the new remote main branch\ngit reset --hard origin\u002Fmain\n```\n\n\n## Model\nVLM2Vec-V2 fine-tunes a state-of-the-art Vision-Language Model (VLM) using instruction-guided contrastive training. The model learns to produce a single, powerful fixed-dimensional embedding for any combination of text, image, video, and document inputs.\n\nFor current V2 models, we use **Qwen2-VL** as the model backbone, which capably handles interleaved sequences of text and visuals, variable resolutions, and long-form inputs like videos and visual documents.\n\n[\u002F\u002F]: # (\u003Cimg width=\"768\" alt=\"abs\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTIGER-AI-Lab_VLM2Vec_readme_5ec7fff1a372.png\">)\n\n### Released checkpoints\n- **[VLM2Vec-v2.0 (Qwen2VL-2B)](https:\u002F\u002Fhuggingface.co\u002FVLM2Vec\u002FVLM2Vec-V2.0)**: Our primary model, demonstrating strong, balanced performance across all modalities.\n\n\u003Cdetails>\n\u003Csummary> V1 checkpoints \u003C\u002Fsummary>\n\n- [VLM2Vec-Qwen2VL (7B)](https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-Qwen2VL-7B)\n- [VLM2Vec-Qwen2VL (2B)](https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-Qwen2VL-2B)\n- [VLM2Vec-LLaVa-Next](https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-LLaVa-Next)\n- [VLM2Vec-Phi3.5V](https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-Full)\n\u003C\u002Fdetails>\n\n \n## MMEB-v2 Benchmark\nWe introduce **MMEB-V2**, an expanded benchmark that includes **78 total datasets** covering images, videos, and visual documents.\n- **New Video Tasks**: video retrieval, moment retrieval, video classification, and video QA.\n- **New visual document task**: visual document retrieval.\n- **Check out [MMEB-v2 datasets](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTIGER-Lab\u002FMMEB-V2)** at Huggingface.\n\n\u003Cimg width=\"768\" alt=\"MMEB-V2 Overview\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTIGER-AI-Lab_VLM2Vec_readme_7b2aad8c8744.png\">\n\n## Data Download\nPlease refer to `experiments\u002Fpublic\u002Fdata\u002Fdownload_data.sh`.\n\n## Training\nOur training process uses a curated dataset from three main sources: video-language data (LLaVA-Hound), visual document data (Vidore, VisRAG), and image-text data (MMEB-train). We use an interleaved sub-batching strategy for stable and effective contrastive learning.\n\n**How to run**: please see examples in `experiments\u002Fpublic\u002Ftrain`.\n\n## Evaluation\nDDP inference on multiple GPUs is supported. The whole evaluation process is streamlined and can be finished within hours. \n\n**How to run**: please see examples in `experiments\u002Fpublic\u002Feval`. \n\n## Heads-up for Reproducing Baseline Models\n- GME: requires an older version of the transformers library \u003C=4.51.3.\n- MomentSeeker: we recommend using a single GPU with a batch size of 10. This is due to a limitation in baseline processors that cannot handle mixed batches of image and text-only data.\n\n## Citation\n```bibtex\n@article{jiang2024vlm2vec,\n  title={VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks},\n  author={Jiang, Ziyan and Meng, Rui and Yang, Xinyi and Yavuz, Semih and Zhou, Yingbo and Chen, Wenhu},\n  journal={arXiv preprint arXiv:2410.05160},\n  year={2024}\n}\n\n@article{meng2025vlm2vecv2,\n  title={VLM2Vec-V2: Advancing Multimodal Embedding for Videos, Images, and Visual Documents},\n  author={Rui Meng and Ziyan Jiang and Ye Liu and Mingyi Su and Xinyi Yang and Yuepeng Fu and Can Qin and Zeyuan Chen and Ran Xu and Caiming Xiong and Yingbo Zhou and Wenhu Chen and Semih Yavuz},\n  journal={arXiv preprint arXiv:2507.04590},\n  year={2025}\n}\n```\n\n\n## Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTIGER-AI-Lab_VLM2Vec_readme_80959db5a189.png)](https:\u002F\u002Fstar-history.com\u002F#TIGER-AI-Lab\u002FVLM2Vec&Date)\n","# VLM2Vec-V2：面向视频、图像和文档的统一多模态嵌入\n\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2507.04590\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-V2 Paper%20-black?style=flat&logo=arxiv\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.05160\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-V1 Paper-black?style=flat&logo=arxiv\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Fgithub.com\u002FTIGER-AI-Lab\u002FVLM2Vec\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Code-green?style=flat&logo=github\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Ftiger-ai-lab.github.io\u002FVLM2Vec\u002F\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-🌐%20Website-red?style=flat\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTIGER-Lab\u002FMMEB-V2\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-🤗%20Dataset(V2)-red?style=flat\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTIGER-Lab\u002FMMEB-eval\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-🤗%20Dataset(V1)-red?style=flat\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Fhuggingface.co\u002FVLM2Vec\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-🤗%20Models-red?style=flat\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FTIGER-Lab\u002FMMEB-Leaderboard\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-🤗%20Leaderboard-red?style=flat\">\u003C\u002Fa>\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Fx.com\u002FWenhuChen\u002Fstatus\u002F1844577017930694984\">\n\u003Cimg style=\"height:22pt\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Tweet-blue?style=flat&logo=twitter\">\u003C\u002Fa>\n\u003Cbr>\n\n\n本仓库包含 **VLM2Vec-V2** 的官方代码与数据，这是一个用于学习跨多种视觉格式（包括图像、视频和视觉文档）的强大多模态嵌入的统一框架。\n\n我们的工作提出了 **MMEB-V2**，一个包含 78 个任务的综合性基准，旨在系统性地评估这些模态下的嵌入模型。VLM2Vec-V2 创下了新的最先进水平，在所有类别中均超越了强大的基线模型。\n\n这是一个开源项目，我们欢迎社区的贡献。我们尤其期待新增功能、支持新数据集、修复 bug 以及改进文档等工作。请随时提交 issue 讨论您的想法或发起 pull request！\n\n📌 请查看我们的 CHANGELOG 以了解最新功能和 bug 修复！ [![CHANGELOG](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FView-CHANGELOG-blue)](.\u002FCHANGELOG.md)\n\n\n> ## 🚨 V2 重大更新通知（2025 年 6 月） 🚨\n>\n> 本仓库已升级至 **V2** 版本，这是对代码库的一次彻底重构。之前的 VLM2Vec 代码已被归档，可在 `v1` 分支中找到。\n>\n> **警告：** **请在继续操作前备份任何本地工作**。如果您在此更新之前克隆了本地副本，必须重置主分支以同步新代码。\n>\n> 有关详细说明，请参阅下方的“如何升级到 V2”部分。\n>\n> 我们非常感谢您对此次过渡过程的反馈。如果您遇到任何问题，请通过提交 issue 告知我们。\n\n\n\n---\n\n## 🔥 最新消息\n- **[2026-01] 🎉 VLM2Vec-V2 被 TMLR 2026 接收。**\n- **[2025-05]** VLM2Vec-v2 发布！我们推出了一套适用于图像、视频和视觉文档的统一嵌入框架。同时发布的还有全新的 MMEB-V2 基准，包含 78 个多样化任务。VLM2Vec-V2 模型的表现优于先前版本及强大的专用基线。\n- **[2025-01] 🎉 VLM2Vec 被 ICLR 2025 接收。**\n- **[2024-10]** VLM2Vec 的技术报告、代码、数据和模型均已在线发布。\n\n\u003Cdetails>\n  \u003Csummary>📜 查看旧版更新\u003C\u002Fsummary>\n\n- [2025-02] 🔥 新发布了两款基于 Qwen2VL 2B 和 7B 的 VLM2Vec 模型，在 MMEB 基准上分别取得了 60.1 和 65.8 的成绩（新的 SOTA！）。快来看看它们吧（[2B]([url](https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-Qwen2VL-2B)), [7B]([url](https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-Qwen2VL-7B)))！\n- [2025-02] 我们正着手开发 VLM2Vec 的更高级功能和扩展，并将所有更改记录在 ```CHANGELOG.md``` 中。如果任何更改与先前支持的功能冲突，请随时在此处提出 issue。提前感谢！\n- [2025-01] 我们更新了训练数据集 ([https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTIGER-Lab\u002FMMEB-train](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTIGER-Lab\u002FMMEB-train))。每个子集现在包含两个划分：```original``` 和 ```diverse_instruction```。```original``` 划分用于支持论文结果的复现。而```diverse_instruction``` 划分则包含了针对每个任务的改写指令，旨在增强指令多样性，提升模型对未见指令和任务的鲁棒性。今后，我们的后续发布将主要使用```diverse_instruction``` 划分。\n- [2024-12] 我们发布了 [MMEB 排行榜](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FTIGER-Lab\u002FMMEB)。如果您希望将自己的模型纳入其中，请随时联系我们。\n- [2024-12] 我们发布了一个基于 LLaVa-Next 主干的新版本 VLM2Vec，目前是我们表现最好的版本：https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-LLaVa-Next。\n- [2024-10] VLM2Vec 已集成到 [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm\u002Fblob\u002Fmain\u002Fexamples\u002Foffline_inference_vision_language_embedding.py) 中。\n\n\u003C\u002Fdetails>\n\n## 核心更新\n- 面向三种数据模态（图像、视频和视觉文档）的统一嵌入模型训练与评估框架。\n- MMEB v2 基准：在 v1 基准基础上扩展了视频和视觉文档任务，共计 78 个任务。\n- VLM2Vec-v2.0：基于 Qwen2-VL-2B 的全新嵌入模型。\n- 使用 yaml 文件轻松配置训练与评估（示例见 `experiments\u002Frelease`）。\n- 通过创建并注册自定义数据加载器，可轻松扩展新数据集（示例见 `src\u002Fdataset\u002F`）。\n\n\n## 如何升级到 V2\n\n1. **备份本地更改（至关重要！）** 更新过程会丢弃您本地主分支上任何未提交的更改。如果您有需要保存的工作，请将其提交到新分支，或使用 `git stash`。\n2. **将本地仓库重置为 V2 版本。** 运行以下命令以获取新的 `main` 分支，并将您的本地副本重置为与之匹配。\n\n```bash\n# 首先确保您位于主分支上\ngit checkout main\n# 获取远程的所有最新更新并移除过时的分支引用\ngit fetch --all --prune\n# 强制您的本地主分支与新的远程主分支保持一致\ngit reset --hard origin\u002Fmain\n```\n\n## 模型\nVLM2Vec-V2 通过指令引导的对比学习微调了一种最先进的视觉-语言模型（VLM）。该模型能够为文本、图像、视频和文档输入的任意组合生成单一、强大的固定维度嵌入。\n\n对于当前的 V2 版本，我们使用 **Qwen2-VL** 作为模型主干，它能够高效处理文本与视觉内容的交错序列、不同分辨率以及视频和视觉文档等长序列输入。\n\n[\u002F\u002F]: # (\u003Cimg width=\"768\" alt=\"abs\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTIGER-AI-Lab_VLM2Vec_readme_5ec7fff1a372.png\">)\n\n### 已发布的检查点\n- **[VLM2Vec-v2.0 (Qwen2VL-2B)](https:\u002F\u002Fhuggingface.co\u002FVLM2Vec\u002FVLM2Vec-V2.0)**：我们的主要模型，在所有模态上均表现出强大且均衡的性能。\n\n\u003Cdetails>\n\u003Csummary> V1 检查点 \u003C\u002Fsummary>\n\n- [VLM2Vec-Qwen2VL (7B)](https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-Qwen2VL-7B)\n- [VLM2Vec-Qwen2VL (2B)](https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-Qwen2VL-2B)\n- [VLM2Vec-LLaVa-Next](https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-LLaVa-Next)\n- [VLM2Vec-Phi3.5V](https:\u002F\u002Fhuggingface.co\u002FTIGER-Lab\u002FVLM2Vec-Full)\n\u003C\u002Fdetails>\n\n \n## MMEB-v2 基准测试\n我们推出了 **MMEB-V2**，这是一项扩展后的基准测试，包含 **78 个数据集**，覆盖图像、视频和视觉文档。\n- **新增视频任务**：视频检索、时刻检索、视频分类和视频问答。\n- **新增视觉文档任务**：视觉文档检索。\n- 请在 Huggingface 上查看 [MMEB-v2 数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTIGER-Lab\u002FMMEB-V2)。\n\n\u003Cimg width=\"768\" alt=\"MMEB-V2 概览\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTIGER-AI-Lab_VLM2Vec_readme_7b2aad8c8744.png\">\n\n## 数据下载\n请参考 `experiments\u002Fpublic\u002Fdata\u002Fdownload_data.sh`。\n\n## 训练\n我们的训练过程使用来自三个主要来源的精选数据集：视频-语言数据（LLaVA-Hound）、视觉文档数据（Vidore、VisRAG）以及图像-文本数据（MMEB-train）。我们采用交错子批处理策略，以实现稳定高效的对比学习。\n\n**运行方法**：请参阅 `experiments\u002Fpublic\u002Ftrain` 中的示例。\n\n## 评估\n支持在多 GPU 上进行 DDP 推理。整个评估流程非常流畅，可在数小时内完成。\n\n**运行方法**：请参阅 `experiments\u002Fpublic\u002Feval` 中的示例。\n\n## 复现基线模型的注意事项\n- GME：需要较旧版本的 transformers 库，版本号不超过 4.51.3。\n- MomentSeeker：我们建议使用单 GPU，批量大小设为 10。这是由于基线处理器存在限制，无法处理图像和纯文本数据混合的批次。\n\n## 引用\n```bibtex\n@article{jiang2024vlm2vec,\n  title={VLM2Vec：面向大规模多模态嵌入任务的视觉-语言模型训练},\n  author={Jiang, Ziyan and Meng, Rui and Yang, Xinyi and Yavuz, Semih and Zhou, Yingbo and Chen, Wenhu},\n  journal={arXiv 预印本 arXiv:2410.05160},\n  year={2024}\n}\n\n@article{meng2025vlm2vecv2,\n  title={VLM2Vec-V2：推进视频、图像和视觉文档的多模态嵌入技术},\n  author={Rui Meng and Ziyan Jiang and Ye Liu and Mingyi Su and Xinyi Yang and Yuepeng Fu and Can Qin and Zeyuan Chen and Ran Xu and Caiming Xiong and Yingbo Zhou and Wenhu Chen and Semih Yavuz},\n  journal={arXiv 预印本 arXiv:2507.04590},\n  year={2025}\n}\n```\n\n\n## 点赞历史\n\n[![点赞历史图表](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTIGER-AI-Lab_VLM2Vec_readme_80959db5a189.png)](https:\u002F\u002Fstar-history.com\u002F#TIGER-AI-Lab\u002FVLM2Vec&Date)","# VLM2Vec-V2 快速上手指南\n\nVLM2Vec-V2 是一个统一的多模态嵌入框架，支持视频、图像和视觉文档的嵌入学习。本指南帮助开发者快速完成环境配置、安装及基础使用。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+)\n*   **Python**: 3.9 或更高版本\n*   **GPU**: 支持 CUDA 的 NVIDIA GPU (推荐显存 ≥ 16GB，用于训练或大模型推理)\n*   **依赖管理**: 建议使用 `conda` 或 `venv` 创建独立虚拟环境\n*   **Git**: 用于克隆代码库\n\n> **注意**：V2 版本是对代码库的彻底重构。如果您之前克隆过旧版 (V1)，请务必先备份本地修改，并按照官方说明重置分支至 `main`。\n\n## 安装步骤\n\n### 1. 克隆仓库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FTIGER-AI-Lab\u002FVLM2Vec.git\ncd VLM2Vec\n```\n\n### 2. 创建并激活虚拟环境\n```bash\nconda create -n vlm2vec python=3.10 -y\nconda activate vlm2vec\n```\n\n### 3. 安装依赖\n项目依赖通常包含在 `requirements.txt` 中。为确保兼容性，建议优先安装核心深度学习库，再安装项目依赖。\n\n```bash\n# 安装 PyTorch (根据您的 CUDA 版本调整，此处以 cu118 为例)\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n\n# 安装项目其他依赖\npip install -r requirements.txt\n```\n\n*(注：如果国内下载缓慢，可添加 `-i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple` 使用清华镜像源)*\n\n### 4. 验证安装\n确保能够导入核心库且无报错：\n```bash\npython -c \"import vlm2vec; print('Installation successful')\"\n```\n\n## 基本使用\n\nVLM2Vec-V2 基于 Qwen2-VL 架构，通过指令引导的对比学习生成固定维度的多模态嵌入。以下是加载模型并生成嵌入的最简示例。\n\n### 加载模型与生成嵌入\n\n```python\nimport torch\nfrom transformers import AutoModel, AutoTokenizer\nfrom PIL import Image\n\n# 1. 加载预训练模型 (VLM2Vec-v2.0 based on Qwen2VL-2B)\nmodel_name = \"VLM2Vec\u002FVLM2Vec-V2.0\"\ntokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)\nmodel = AutoModel.from_pretrained(\n    model_name, \n    trust_remote_code=True, \n    device_map=\"auto\", \n    torch_dtype=torch.bfloat16 # 推荐使用 bfloat16 以节省显存\n).eval()\n\n# 2. 准备输入数据 (文本 + 图像)\n# 假设您有一张名为 'example.jpg' 的图片\nimage = Image.open(\"example.jpg\").convert(\"RGB\")\nquery_text = \"这张图片里有什么？\"\n\n# 构建输入 (具体 prompt 格式需参考模型卡片，此处为通用示例)\ninputs = tokenizer(\n    text=[query_text], \n    images=[image], \n    return_tensors=\"pt\", \n    padding=True\n).to(model.device)\n\n# 3. 生成嵌入向量\nwith torch.no_grad():\n    embeddings = model.get_embedding(**inputs)\n\n# embeddings 形状通常为 [batch_size, hidden_dim]\nprint(f\"Embedding shape: {embeddings.shape}\")\n```\n\n### 处理视频或长文档\nVLM2Vec-V2 原生支持视频和长视觉文档。只需将 `images` 参数替换为视频帧列表或文档页面图像列表即可，模型会自动处理交错序列。\n\n```python\n# 伪代码示例：处理视频帧\nvideo_frames = [...] # 提取的视频帧列表 (PIL Image 对象)\ninputs = tokenizer(\n    text=[\"描述这个视频的内容\"], \n    images=[video_frames], # 支持传入图像列表\n    return_tensors=\"pt\"\n).to(model.device)\n\nembeddings = model.get_embedding(**inputs)\n```\n\n### 运行评估 (可选)\n项目提供了基于 YAML 配置的评估脚本。您可以参考 `experiments\u002Fpublic\u002Feval` 目录下的示例运行基准测试：\n\n```bash\n# 示例：运行 MMEB-V2 基准测试 (需先下载数据集)\npython experiments\u002Fpublic\u002Feval\u002Frun_eval.py --config experiments\u002Fpublic\u002Feval\u002Fconfigs\u002Fmmeb_v2.yaml\n```","某大型电商平台的智能搜索团队正致力于升级其多模态检索系统，以支持用户通过上传商品短视频、细节图片或扫描版说明书来精准查找同类商品。\n\n### 没有 VLM2Vec 时\n- **模型割裂维护难**：团队需分别部署针对图片、视频和文档的三套独立嵌入模型，导致推理服务架构臃肿，运维成本极高。\n- **跨模态检索效果差**：由于缺乏统一的语义空间，用户上传一段“开箱视频”很难准确匹配到静态的商品详情图文，召回率低下。\n- **长内容理解受限**：传统模型难以有效提取长视频中的关键帧语义或解析复杂排版的教学文档，导致大量高价值非结构化数据无法被索引。\n- **迭代周期漫长**：每当引入新的媒体格式（如新增直播切片），都需要重新训练专用模型并进行繁琐的对齐工作。\n\n### 使用 VLM2Vec 后\n- **统一框架降本增效**：VLM2Vec 将图像、视频和视觉文档的编码整合进单一模型，大幅简化了服务架构，显存占用降低且推理速度提升。\n- **无缝跨模态匹配**：得益于强大的多模态对齐能力，用户输入的任意格式内容（如视频片段）都能精准映射到库中的图文商品，显著提升了搜索相关性。\n- **深度语义解析**：VLM2Vec 能深入理解视频的时间序列信息和文档的版面结构，成功激活了原本沉睡的海量多媒体数据资产。\n- **敏捷扩展新场景**：面对新的业务需求，团队只需微调或直接复用 VLM2Vec 的通用能力，即可快速支持新格式，开发效率成倍增长。\n\nVLM2Vec 通过构建统一的万亿级多模态语义空间，彻底打破了不同媒体格式间的壁垒，让海量异构数据真正转化为可被精准检索的核心资产。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTIGER-AI-Lab_VLM2Vec_7b2aad8c.png","TIGER-AI-Lab","TIGER Lab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FTIGER-AI-Lab_41df1eb9.jpg","Our lab is currently based in UWaterloo, focusing on Text and Image Generative Research",null,"wenhuchen@uwaterloo.ca","https:\u002F\u002Fgithub.com\u002FTIGER-AI-Lab",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",99.3,{"name":85,"color":86,"percentage":87},"Shell","#89e051",0.7,619,59,"2026-04-03T19:43:29","Apache-2.0","未说明","训练和评估支持多 GPU (DDP)。基线模型 MomentSeeker 建议使用单 GPU。具体显存和 CUDA 版本未在文中明确，但鉴于基于 Qwen2-VL 等大模型，通常建议高性能 NVIDIA GPU。",{"notes":95,"python":92,"dependencies":96},"1. V2 版本是对代码库的彻底重构，升级前务必备份本地更改并重置主分支。2. 模型基于 Qwen2-VL 骨干网络，支持图像、视频和视觉文档的统一嵌入。3. 部分基线模型（如 GME）对 transformers 库版本有特定限制（\u003C=4.51.3）。4. MomentSeeker 基线因处理器限制，建议使用单 GPU 且 batch size 设为 10。5. 训练数据包含 original 和 diverse_instruction 两个拆分，未来版本将主要使用后者。",[97,98,99],"transformers (GME 基线要求 \u003C=4.51.3)","vLLM (已集成)","PyTorch (隐含，用于 DDP 和多 GPU 支持)",[101,14,15,102],"视频","其他",[104,105,106,107,108,109,110,111,112,113,114],"rag","vlm","benchmark","contrastive-learning","embedding","image-retrieval","multimodal","representation-learning","video-retrieval","mmeb","visual-document-retrieval","2026-03-27T02:49:30.150509","2026-04-07T11:42:35.661196",[118,123,128,133,138,142],{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},21862,"复现 VLM2Vec-v2 (Qwen2-VL-2B) 时，为什么图像检索和分类性能与官方报告结果存在巨大差距？","性能差异通常由数据加载配置引起。请尝试在训练脚本或参数中设置 `drop_last_batch=False`。许多用户反馈，默认情况下丢弃最后一个批次会导致特定任务（如 VOC2007, CIRR, WebQA）的性能大幅下降，修改此参数后复现结果可与官方对齐。","https:\u002F\u002Fgithub.com\u002FTIGER-AI-Lab\u002FVLM2Vec\u002Fissues\u002F130",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},21863,"训练过程中 Loss 变为 0 或产生 NaN 嵌入向量，且显存有限只能使用小 Batch Size，该如何解决？","这通常不是由 Batch Size 过小引起的，而是 Python 环境依赖冲突导致的。解决方案是切换到一个干净的 Python 环境，重新安装所有依赖包（包括 torch, transformers, flash-attn 等），并确保版本与项目要求一致。有用户通过更换环境并重新打包代码解决了该问题。","https:\u002F\u002Fgithub.com\u002FTIGER-AI-Lab\u002FVLM2Vec\u002Fissues\u002F112",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},21864,"评估结果显示每个测试集的所有 @1 指标数值完全相同，这是正常的吗？","是的，这是正常现象。如果数据集中每个测试用例只有一个相关项（single label\u002Frelevant item），那么所有的 @1 指标（如 Recall@1, Precision@1 等）在数学上必然具有完全相同的值。您可以参考官方发布的完整评估结果进行核对：https:\u002F\u002Fgithub.com\u002FTIGER-AI-Lab\u002FVLM2Vec\u002Ftree\u002Fmain\u002Fexperiments\u002Fpublic\u002Fall_scores","https:\u002F\u002Fgithub.com\u002FTIGER-AI-Lab\u002FVLM2Vec\u002Fissues\u002F132",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},21865,"VLM2Vec v2 代码中的 `diverse_instruction` 训练策略是否能提升模型整体性能？","根据维护者的经验，使用 `diverse_instruction`（多样化指令）训练通常不会显著提升整体性能，结果与不使用该策略时相似（可能略好或略差）。目前官方发布的工作主要基于 `original` split。引入多样化指令的主要目的是提高模型在推理阶段对不同指令表述的鲁棒性，相关的详细分析和基准测试仍在进行中。","https:\u002F\u002Fgithub.com\u002FTIGER-AI-Lab\u002FVLM2Vec\u002Fissues\u002F109",{"id":139,"question_zh":140,"answer_zh":141,"source_url":132},21866,"加载 VisRAG 训练集时报错，提示数据集格式不正确，需要如何处理？","下载的原始数据集（如 VisRAG-Ret-Train-In-domain-data）可能需要特定的预处理步骤才能被训练脚本正确读取。请检查是否遗漏了数据预处理脚本，或者确认下载的数据文件完整性。如果错误堆栈指向 `dataloader` 迭代失败，通常意味着数据文件格式与代码预期的结构不匹配，需参照项目文档进行格式转换或重新生成索引。",{"id":143,"question_zh":144,"answer_zh":145,"source_url":137},21867,"如何使用 v2 版本的代码复现 v1 数据集上的结果？两者的训练命令有何关键区别？","v2 代码重构了训练流程，关键区别在于：1. **Pooling 策略**：v1 常用 `last`，v2 推荐 `eos`；2. **Batch Size**：v2 通常使用更大的 `per_device_train_batch_size` (如 256) 配合 `grad_cache`；3. **配置方式**：v2 推荐使用 yaml 配置文件 (`--dataset_config`) 而非命令行罗列子集。若要复现 v1 结果，建议仔细对比 v1 和 v2 脚本中的超参数（如 learning_rate, warmup_steps, pooling 类型），并注意 v2 可能默认启用了新的数据增强或采样策略。",[147,152],{"id":148,"version":149,"summary_zh":150,"released_at":151},127864,"v2.0.1","## 变更内容\n* 更新了 momentseeker 数据、处理流程和评分。\n* 更新了报告生成器（vidore-v2、momentseeker）。","2025-06-30T21:55:43",{"id":153,"version":154,"summary_zh":155,"released_at":156},127865,"v1.0","## 描述\r\n* 版本 1.0","2025-06-10T08:04:02"]