[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-mbzuai-oryx--LLaVA-pp":3,"tool-mbzuai-oryx--LLaVA-pp":61},[4,18,26,36,44,52],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,2,"2026-04-06T11:32:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":53,"name":54,"github_repo":55,"description_zh":56,"stars":57,"difficulty_score":10,"last_commit_at":58,"category_tags":59,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,60],"视频",{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":76,"difficulty_score":91,"env_os":92,"env_gpu":93,"env_ram":92,"env_deps":94,"category_tags":100,"github_topics":101,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":119,"updated_at":120,"faqs":121,"releases":149},4390,"mbzuai-oryx\u002FLLaVA-pp","LLaVA-pp","🔥🔥 LLaVA++: Extending LLaVA with Phi-3 and LLaMA-3 (LLaVA LLaMA-3, LLaVA Phi-3)","LLaVA-pp 是一个旨在增强多模态大模型视觉理解能力的开源项目。它通过将经典的 LLaVA 1.5 架构与微软最新发布的 Phi-3 Mini（3.8B）以及 Meta 推出的 LLaMA-3（8B）大语言模型相结合，显著提升了模型在图像描述、视觉问答及复杂指令跟随方面的表现。\n\n该项目主要解决了现有轻量级或早期多模态模型在处理高难度学术任务及精细指令时能力不足的问题。通过引入更强大的基座语言模型，LLaVA-pp 在多个权威基准测试中取得了优异成果，实现了在小参数量下的高性能推理。其技术亮点在于提供了灵活的微调方案，不仅发布了完全微调的版本，还包含了高效的 LoRA 适配器和独特的 S² 微调模型，方便用户根据算力资源进行选择。\n\nLLaVA-pp 非常适合 AI 研究人员探索多模态前沿技术，也适合开发者快速构建基于最新大模型的视觉应用。项目团队贴心地提供了 Google Colab 在线体验环境和 Hugging Face 演示空间，即使是没有深厚算法背景的普通用户或设计师，也能轻松上手体验 Phi-3-V 和 LLaMA-3-V 的强大视觉交互能力。","# LLaVA++: Extending Visual Capabilities with LLaMA-3 and Phi-3\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Fi.imgur.com\u002FwaxVImv.png\" alt=\"Oryx Models\">\n\u003C\u002Fp>\n\n#### [Hanoona Rasheed](https:\u002F\u002Fwww.hanoonarasheed.com\u002F)\\*, [Muhammad Maaz](https:\u002F\u002Fwww.mmaaz60.com)\\*, [Salman Khan](https:\u002F\u002Fsalman-h-khan.github.io\u002F), and [Fahad Khan](https:\u002F\u002Fsites.google.com\u002Fview\u002Ffahadkhans\u002Fhome)\n\\* Equal contributions\n\n#### **Mohamed bin Zayed University of AI (MBZUAI)**\n\n[![Google](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGoogle-Colab-red)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F10Z2HaY5zvy2GZZ4v245PtiDPukm0NbF6?usp=sharing)\n[![Demo](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FOnline-Demo-F9D371)](https:\u002F\u002Fbengal-eminent-wasp.ngrok-free.app)\n[![Demo](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHF_Demo-LLaMA_3-0FFFFF.svg)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FMBZUAI\u002FLLaMA-3-V)\n[![Demo](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHF_Demo-Phi_3-0FFFFF.svg)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FMBZUAI\u002FPhi-3-V)\n\n---\n\n## 📢 Latest Updates\n- **Apr-30-24**- LLaMA-3-V and Phi-3-V demos are now available via Hugging Face Spaces. Check them out at [LLaMA-3-V](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FMBZUAI\u002FLLaMA-3-V) &  [Phi-3-V](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FMBZUAI\u002FPhi-3-V) 🔥🔥🔥\n- **Apr-28-24**- Online demo of Phi-3-V and LLaMA-3-V are released, check them out at [Online Demo](https:\u002F\u002Fbengal-eminent-wasp.ngrok-free.app) 🔥🔥🔥\n- **Apr-28-24**- LoRA, fully fine-tuned and [S\u003Csup>2\u003C\u002Fsup>](https:\u002F\u002Fgithub.com\u002Fbfshi\u002Fscaling_on_scales.git) fine-tuned models and results are added! 🔥🔥🔥\n- **Apr-27-24**- Google Colab is released to chat with Phi-3-V-3.8B model, check it out at [Google Colab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F10Z2HaY5zvy2GZZ4v245PtiDPukm0NbF6?usp=sharing) 🔥🔥🔥\n- **Apr-26-24**- Phi-3-V and LLaVA-3-V released: Excited to release the new integration of LLaVA with Phi-3 Mini Instruct and LLaMA-3 Instruct models! [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FMBZUAI\u002Fllava-662b38b972e3e3e4d8f821bb) 🔥🔥🔥\n\n---\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_readme_487cf2cde876.png\" width=\"300\">\n\u003C\u002Fp>\n\n## 💬 Introduction\nThis repository enhances the capabilities of the LLaVA 1.5 model, incorporating latest LLMs released this weak🔥, [Phi-3 Mini Instruct 3.8B](https:\u002F\u002Fhuggingface.co\u002Fmicrosoft\u002FPhi-3-mini-4k-instruct), and [LLaMA-3 Instruct 8B](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FMeta-Llama-3-8B).\n\n\n## 🏆 Results: Phi-3-V and LLaVA-3-V\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_readme_5504de1ca1d6.png\" width=\"500\">\n\u003C\u002Fp>\n\n### Comparison on Benchmarks for Instruction-following LMMS & academic-task-oriented datasets:\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_readme_07cc270394d4.png\">\n\u003C\u002Fp>\n\n- Average computed excluding MME, and second-best are underlined.\n\n\n\n## 🤖 Model-Zoo\n\nThe following table provides an overview of the available models in our zoo. For each model, you can find links to its Hugging Face page. \n\n| Model Name                            |                             Hugging Face Link                              | Summary                                                                                                           |\n|---------------------------------------|:--------------------------------------------------------------------------:|-------------------------------------------------------------------------------------------------------------------|\n| LLaVA-Phi-3-mini-4k-instruct-pretrain | [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Phi-3-mini-4k-instruct-pretrain)  | Pretrained on [LCS-558K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fliuhaotian\u002FLLaVA-Pretrain).                              |\n| LLaVA-Phi-3-mini-4k-instruct-lora     |   [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Phi-3-mini-4k-instruct-lora)    | LoRA weights fine-tuned on [LLaVA-Instruct-665K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fliuhaotian\u002FLLaVA-Instruct-150K). |\n| LLaVA-Phi-3-mini-4k-instruct          |      [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Phi-3-mini-4k-instruct)      | Merged LoRA weights in HuggingFace format.                                                                        |\n| LLaVA-Phi-3-mini-4k-instruct-FT       |      [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Phi-3-mini-4k-instruct-FT)      | Fully fine-tuned model weights in HuggingFace format.                                                             |\n\n| Model Name                              |                                   Hugging Face Link                                   | Summary                                                                                                           |\n|-----------------------------------------|:-------------------------------------------------------------------------------------:|-------------------------------------------------------------------------------------------------------------------|\n| LLaVA-Meta-Llama-3-8B-Instruct-pretrain | [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Meta-Llama-3-8B-Instruct-pretrain) | Pretrained on [LCS-558K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fliuhaotian\u002FLLaVA-Pretrain).                              |\n| LLaVA-Meta-Llama-3-8B-Instruct-lora     |        [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Meta-Llama-3-8B-Instruct-lora)        | LoRA weights fine-tuned on [LLaVA-Instruct-665K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fliuhaotian\u002FLLaVA-Instruct-150K). |\n| LLaVA-Meta-Llama-3-8B-Instruct          |          [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Meta-Llama-3-8B-Instruct)           | Merged weights in HuggingFace format.                                                                             |\n| LLaVA-Meta-Llama-3-8B-Instruct-FT       |          [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Meta-Llama-3-8B-Instruct-FT)           | Fully fine-tuned model weights in HuggingFace format.                                                             |\n| LLaVA-Meta-Llama-3-8B-Instruct-FT-S2    |          [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Meta-Llama-3-8B-Instruct-FT-S2)           | Fully fine-tuned S2 model weights in HuggingFace format.                                                          |\n\n\n# Installation\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FLLaVA-pp.git\ncd LLaVA-pp\ngit submodule update --init --recursive\n```\nPackages you need to update from LLAVA:\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers@a98c41798cf6ed99e1ff17e3792d6e06a2ff2ff3\n```\n\n## 🚀 Phi-3-V\nTo integrate Phi-3-V with LLaVA, follow these steps to update the codebase:\n\n```bash\n# Copy necessary files\ncp Phi-3-V\u002Ftrain.py LLaVA\u002Fllava\u002Ftrain\u002Ftrain.py\ncp Phi-3-V\u002Fllava_phi3.py LLaVA\u002Fllava\u002Fmodel\u002Flanguage_model\u002Fllava_phi3.py\ncp Phi-3-V\u002Fbuilder.py LLaVA\u002Fllava\u002Fmodel\u002Fbuilder.py\ncp Phi-3-V\u002Fmodel__init__.py LLaVA\u002Fllava\u002Fmodel\u002F__init__.py\ncp Phi-3-V\u002Fmain__init__.py LLaVA\u002Fllava\u002F__init__.py\ncp Phi-3-V\u002Fconversation.py LLaVA\u002Fllava\u002Fconversation.py\n\n# Training commands\ncp scripts\u002FPhi3-V_pretrain.sh LLaVA\u002FVi-phi3_pretrain.sh\ncp scripts\u002FPhi3-V_finetune_lora.sh LLaVA\u002FVi-phi3_finetune_lora.sh\n```\n\n### Train Phi-3-V\n1. Pre-train\n```bash\ncd LLaVA\nbash Phi3-V_pretrain.sh\n```\n2. Finetune\n```bash\ncd LLaVA\nbash Phi3-V_finetune_lora.sh\n```\n\n## 🚀 LLaMA-3-V\nTo integrate LLaMA-3-V with LLaVA, follow these steps to update the codebase:\n\n```bash\n# Copy necessary files\ncp LLaMA-3-V\u002Ftrain.py LLaVA\u002Fllava\u002Ftrain\u002Ftrain.py\ncp LLaMA-3-V\u002Fconversation.py LLaVA\u002Fllava\u002Fconversation.py\ncp LLaMA-3-V\u002Fbuilder.py LLaVA\u002Fllava\u002Fmodel\u002Fbuilder.py\ncp LLaMA-3-V\u002Fllava_llama.py LLaVA\u002Fllava\u002Fmodel\u002Flanguage_model\u002Fllava_llama.py\n\n# Training commands\ncp scripts\u002FLLaMA3-V_pretrain.sh LLaVA\u002FLLaMA3-V_pretrain.sh\ncp scripts\u002FLLaMA3-V_finetune_lora.sh LLaVA\u002FLLaMA3-V_finetune_lora.sh\n```\n\n### Train LLaMA-3-V\n1. Pre-train\n```bash\ncd LLaVA\nbash LLaMA3-V_pretrain.sh\n```\n2. Finetune\n```bash\ncd LLaVA\nbash LLaMA3-V_finetune_lora.sh\n```\n\n---\n## 🙏 Acknowledgement\nWe are thankful to [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA.git), [lmms-eval](https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002Flmms-eval.git) and [S\u003Csup>2\u003C\u002Fsup>-Wrapper](https:\u002F\u002Fgithub.com\u002Fbfshi\u002Fscaling_on_scales.git) for releasing their models and code as open-source contributions.\n\nIn case if you face any issues or have any questions, please feel free to create an issue or reach out at [hanoona.bangalath@mbzuai.ac.ae](hanoona.bangalath@mbzuai.ac.ae) & [muhammad.maaz@mbzuai.ac.ae](muhammad.maaz@mbzuai.ac.ae).\n\n## 📜 Citation\n```bibtex\n  @misc{hanoona2024LLaVA++,\n          title={LLaVA++: Extending Visual Capabilities with LLaMA-3 and Phi-3},\n          author={Rasheed, Hanoona and Maaz, Muhammad and Khan, Salman and Khan, Fahad S.},\n          url={https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FLLaVA-pp},\n          year={2024}\n  }\n```\n\n---\n[\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_readme_45d2297f2f63.png\" width=\"200\" height=\"100\">](https:\u002F\u002Fwww.ival-mbzuai.com)\n[\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_readme_f7ee9d1ef19f.png\" width=\"100\" height=\"100\">](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx)\n[\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_readme_5538daa7b5d2.png\" width=\"360\" height=\"85\">](https:\u002F\u002Fmbzuai.ac.ae)\n","# LLaVA++：借助 LLaMA-3 和 Phi-3 扩展视觉能力\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Fi.imgur.com\u002FwaxVImv.png\" alt=\"Oryx Models\">\n\u003C\u002Fp>\n\n#### [Hanoona Rasheed](https:\u002F\u002Fwww.hanoonarasheed.com\u002F)\\*, [Muhammad Maaz](https:\u002F\u002Fwww.mmaaz60.com)\\*, [Salman Khan](https:\u002F\u002Fsalman-h-khan.github.io\u002F) 和 [Fahad Khan](https:\u002F\u002Fsites.google.com\u002Fview\u002Ffahadkhans\u002Fhome)\n\\* 共同贡献\n\n#### **穆罕默德·本·扎耶德人工智能大学（MBZUAI）**\n\n[![Google](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGoogle-Colab-red)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F10Z2HaY5zvy2GZZ4v245PtiDPukm0NbF6?usp=sharing)\n[![Demo](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FOnline-Demo-F9D371)](https:\u002F\u002Fbengal-eminent-wasp.ngrok-free.app)\n[![Demo](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHF_Demo-LLaMA_3-0FFFFF.svg)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FMBZUAI\u002FLLaMA-3-V)\n[![Demo](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHF_Demo-Phi_3-0FFFFF.svg)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FMBZUAI\u002FPhi-3-V)\n\n---\n\n## 📢 最新动态\n- **2024年4月30日** - LLaMA-3-V 和 Phi-3-V 的演示现已通过 Hugging Face Spaces 提供。请访问 [LLaMA-3-V](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FMBZUAI\u002FLLaMA-3-V) 和 [Phi-3-V](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FMBZUAI\u002FPhi-3-V) 查看！🔥🔥🔥\n- **2024年4月28日** - Phi-3-V 和 LLaMA-3-V 的在线演示已发布，请访问 [在线演示](https:\u002F\u002Fbengal-eminent-wasp.ngrok-free.app) 查看！🔥🔥🔥\n- **2024年4月28日** - 添加了 LoRA、全量微调以及 [S\u003Csup>2\u003C\u002Fsup>](https:\u002F\u002Fgithub.com\u002Fbfshi\u002Fscaling_on_scales.git) 微调模型和相关结果！🔥🔥🔥\n- **2024年4月27日** - 发布了用于与 Phi-3-V-3.8B 模型对话的 Google Colab，请访问 [Google Colab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F10Z2HaY5zvy2GZZ4v245PtiDPukm0NbF6?usp=sharing) 查看！🔥🔥🔥\n- **2024年4月26日** - Phi-3-V 和 LLaVA-3-V 正式发布：我们非常高兴地推出 LLaVA 与 Phi-3 Mini Instruct 及 LLaMA-3 Instruct 模型的全新集成！[Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FMBZUAI\u002Fllava-662b38b972e3e3e4d8f821bb) 🔥🔥🔥\n\n---\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_readme_487cf2cde876.png\" width=\"300\">\n\u003C\u002Fp>\n\n## 💬 引言\n本仓库增强了 LLaVA 1.5 模型的能力，整合了本周发布的最新大型语言模型🔥，包括 [Phi-3 Mini Instruct 3.8B](https:\u002F\u002Fhuggingface.co\u002Fmicrosoft\u002FPhi-3-mini-4k-instruct) 和 [LLaMA-3 Instruct 8B](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FMeta-Llama-3-8B)。\n\n## 🏆 结果：Phi-3-V 和 LLaVA-3-V\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_readme_5504de1ca1d6.png\" width=\"500\">\n\u003C\u002Fp>\n\n### 遵循指令的多模态大模型及学术任务导向数据集上的基准对比：\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_readme_07cc270394d4.png\">\n\u003C\u002Fp>\n\n- 均值计算时未包含 MME 数据集，次优结果已加下划线标注。\n\n\n\n## 🤖 模型库\n\n下表概述了我们模型库中可用的模型。对于每个模型，您都可以找到其 Hugging Face 页面链接。\n\n| 模型名称                            |                             Hugging Face 链接                              | 简介                                                                                                           |\n|---------------------------------------|:--------------------------------------------------------------------------:|-------------------------------------------------------------------------------------------------------------------|\n| LLaVA-Phi-3-mini-4k-instruct-pretrain | [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Phi-3-mini-4k-instruct-pretrain)  | 在 [LCS-558K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fliuhaotian\u002FLLaVA-Pretrain) 上预训练。                              |\n| LLaVA-Phi-3-mini-4k-instruct-lora     |   [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Phi-3-mini-4k-instruct-lora)    | LoRA 权重在 [LLaVA-Instruct-665K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fliuhaotian\u002FLLaVA-Instruct-150K) 上微调。 |\n| LLaVA-Phi-3-mini-4k-instruct          |      [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Phi-3-mini-4k-instruct)      | 已将 LoRA 权重合并为 Hugging Face 格式。                                                                        |\n| LLaVA-Phi-3-mini-4k-instruct-FT       |      [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Phi-3-mini-4k-instruct-FT)      | 全量微调后的模型权重以 Hugging Face 格式提供。                                                             |\n\n| 模型名称                              |                                   Hugging Face 链接                                   | 简介                                                                                                           |\n|-----------------------------------------|:-------------------------------------------------------------------------------------:|-------------------------------------------------------------------------------------------------------------------|\n| LLaVA-Meta-Llama-3-8B-Instruct-pretrain | [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Meta-Llama-3-8B-Instruct-pretrain) | 在 [LCS-558K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fliuhaotian\u002FLLaVA-Pretrain) 上预训练。                              |\n| LLaVA-Meta-Llama-3-8B-Instruct-lora     |        [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Meta-Llama-3-8B-Instruct-lora)        | LoRA 权重在 [LLaVA-Instruct-665K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fliuhaotian\u002FLLaVA-Instruct-150K) 上微调。 |\n| LLaVA-Meta-Llama-3-8B-Instruct          |          [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Meta-Llama-3-8B-Instruct)           | 已将权重合并为 Hugging Face 格式。                                                                             |\n| LLaVA-Meta-Llama-3-8B-Instruct-FT       |          [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Meta-Llama-3-8B-Instruct-FT)           | 全量微调后的模型权重以 Hugging Face 格式提供。                                                             |\n| LLaVA-Meta-Llama-3-8B-Instruct-FT-S2    |          [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Meta-Llama-3-8B-Instruct-FT-S2)           | S2 微调后的模型权重以 Hugging Face 格式提供。                                                          |\n\n\n# 安装\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FLLaVA-pp.git\ncd LLaVA-pp\ngit submodule update --init --recursive\n```\n您需要从 LLAVA 更新的包：\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers@a98c41798cf6ed99e1ff17e3792d6e06a2ff2ff3\n```\n\n## 🚀 Phi-3-V\n要将 Phi-3-V 与 LLaVA 集成，请按照以下步骤更新代码库：\n\n```bash\n# 复制必要文件\ncp Phi-3-V\u002Ftrain.py LLaVA\u002Fllava\u002Ftrain\u002Ftrain.py\ncp Phi-3-V\u002Fllava_phi3.py LLaVA\u002Fllava\u002Fmodel\u002Flanguage_model\u002Fllava_phi3.py\ncp Phi-3-V\u002Fbuilder.py LLaVA\u002Fllava\u002Fmodel\u002Fbuilder.py\ncp Phi-3-V\u002Fmodel__init__.py LLaVA\u002Fllava\u002Fmodel\u002F__init__.py\ncp Phi-3-V\u002Fmain__init__.py LLaVA\u002Fllava\u002F__init__.py\ncp Phi-3-V\u002Fconversation.py LLaVA\u002Fllava\u002Fconversation.py\n\n# 训练命令\ncp scripts\u002FPhi3-V_pretrain.sh LLaVA\u002FVi-phi3_pretrain.sh\ncp scripts\u002FPhi3-V_finetune_lora.sh LLaVA\u002FVi-phi3_finetune_lora.sh\n```\n\n### 训练 Phi-3-V\n1. 预训练\n```bash\ncd LLaVA\nbash Phi3-V_pretrain.sh\n```\n2. 微调\n```bash\ncd LLaVA\nbash Phi3-V_finetune_lora.sh\n```\n\n## 🚀 LLaMA-3-V\n要将 LLaMA-3-V 与 LLaVA 集成，请按照以下步骤更新代码库：\n\n```bash\n# 复制必要文件\ncp LLaMA-3-V\u002Ftrain.py LLaVA\u002Fllava\u002Ftrain\u002Ftrain.py\ncp LLaMA-3-V\u002Fconversation.py LLaVA\u002Fllava\u002Fconversation.py\ncp LLaMA-3-V\u002Fbuilder.py LLaVA\u002Fllava\u002Fmodel\u002Fbuilder.py\ncp LLaMA-3-V\u002Fllava_llama.py LLaVA\u002Fllava\u002Fmodel\u002Flanguage_model\u002Fllava_llama.py\n\n# 训练命令\ncp scripts\u002FLLaMA3-V_pretrain.sh LLaVA\u002FLLaMA3-V_pretrain.sh\ncp scripts\u002FLLaMA3-V_finetune_lora.sh LLaVA\u002FLLaMA3-V_finetune_lora.sh\n```\n\n### 训练 LLaMA-3-V\n1. 预训练\n```bash\ncd LLaVA\nbash LLaMA3-V_pretrain.sh\n```\n2. 微调\n```bash\ncd LLaVA\nbash LLaMA3-V_finetune_lora.sh\n```\n\n---\n## 🙏 致谢\n我们感谢 [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA.git)、[lmms-eval](https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002Flmms-eval.git) 和 [S\u003Csup>2\u003C\u002Fsup>-Wrapper](https:\u002F\u002Fgithub.com\u002Fbfshi\u002Fscaling_on_scales.git) 将其模型和代码以开源形式发布。\n\n如果您遇到任何问题或有任何疑问，请随时创建 issue 或联系 hanoona.bangalath@mbzuai.ac.ae 和 muhammad.maaz@mbzuai.ac.ae。\n\n## 📜 引用\n```bibtex\n  @misc{hanoona2024LLaVA++,\n          title={LLaVA++: 使用 LLaMA-3 和 Phi-3 扩展视觉能力},\n          author={Rasheed, Hanoona 和 Maaz, Muhammad 和 Khan, Salman 和 Khan, Fahad S.},\n          url={https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FLLaVA-pp},\n          year={2024}\n  }\n```\n\n---\n[\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_readme_45d2297f2f63.png\" width=\"200\" height=\"100\">](https:\u002F\u002Fwww.ival-mbzuai.com)\n[\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_readme_f7ee9d1ef19f.png\" width=\"100\" height=\"100\">](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx)\n[\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_readme_5538daa7b5d2.png\" width=\"360\" height=\"85\">](https:\u002F\u002Fmbzuai.ac.ae)","# LLaVA++ 快速上手指南\n\nLLaVA++ 是一个增强版的多模态大语言模型项目，它将最新的 **LLaMA-3 (8B)** 和 **Phi-3 Mini (3.8B)** 大语言模型与 LLaVA 1.5 的视觉能力相结合，显著提升了视觉指令跟随和学术任务处理能力。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+)\n*   **Python**: 3.10 或更高版本\n*   **GPU**: 支持 CUDA 的 NVIDIA 显卡（训练建议显存 24GB+，推理可根据模型大小调整）\n*   **依赖管理**: 推荐使用 `conda` 创建独立环境\n\n**前置依赖安装：**\n```bash\n# 创建并激活 conda 环境\nconda create -n llava-pp python=3.10 -y\nconda activate llava-pp\n\n# 安装 PyTorch (请根据实际 CUDA 版本选择，此处以 CUDA 11.8 为例)\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n```\n\n> **提示**：国内用户可使用清华或阿里镜像源加速 pip 安装：\n> `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple \u003Cpackage_name>`\n\n## 2. 安装步骤\n\n### 2.1 克隆代码库\n首先克隆 LLaVA++ 仓库并初始化子模块（依赖原始 LLaVA 代码）：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FLLaVA-pp.git\ncd LLaVA-pp\ngit submodule update --init --recursive\n```\n\n### 2.2 安装核心依赖\n该项目需要特定版本的 `transformers` 库，请严格执行以下命令：\n\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers@a98c41798cf6ed99e1ff17e3792d6e06a2ff2ff3\n```\n\n其他通用依赖通常包含在原始 LLaVA 子模块中，如有缺失可参考原始 LLaVA 的 `requirements.txt` 进行补充。\n\n## 3. 基本使用\n\nLLaVA++ 提供了预训练好的模型权重，您可以直接下载并使用，无需从头训练。以下是基于 **Phi-3-V** 模型的快速体验流程（LLaMA-3-V 流程类似）。\n\n### 3.1 获取模型权重\n从 Hugging Face 下载合并后的完整模型权重（推荐直接使用 `LLaVA-Phi-3-mini-4k-instruct`）：\n\n*   **Phi-3-V 模型地址**: [MBZUAI\u002FLLaVA-Phi-3-mini-4k-instruct](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Phi-3-mini-4k-instruct)\n*   **LLaMA-3-V 模型地址**: [MBZUAI\u002FLLaVA-Meta-Llama-3-8B-Instruct](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FLLaVA-Meta-Llama-3-8B-Instruct)\n\n*(注：国内网络访问 HF 较慢，建议使用镜像站如 `hf-mirror.com` 或手动下载后上传至服务器)*\n\n### 3.2 代码集成与推理\n由于本项目是对 LLaVA 代码库的扩展，使用前需将特定的适配文件复制到主目录。\n\n**步骤 A: 集成 Phi-3-V 代码**\n在项目根目录执行以下命令，将 Phi-3 的适配层注入到 LLaVA 结构中：\n\n```bash\n# 复制核心逻辑文件\ncp Phi-3-V\u002Ftrain.py LLaVA\u002Fllava\u002Ftrain\u002Ftrain.py\ncp Phi-3-V\u002Fllava_phi3.py LLaVA\u002Fllava\u002Fmodel\u002Flanguage_model\u002Fllava_phi3.py\ncp Phi-3-V\u002Fbuilder.py LLaVA\u002Fllava\u002Fmodel\u002Fbuilder.py\ncp Phi-3-V\u002Fmodel__init__.py LLaVA\u002Fllava\u002Fmodel\u002F__init__.py\ncp Phi-3-V\u002Fmain__init__.py LLaVA\u002Fllava\u002F__init__.py\ncp Phi-3-V\u002Fconversation.py LLaVA\u002Fllava\u002Fconversation.py\n```\n\n**步骤 B: 运行推理脚本**\n集成完成后，您可以使用标准的 LLaVA 推理脚本加载下载好的模型。创建一个简单的 Python 脚本 `demo.py`：\n\n```python\nimport torch\nfrom llava.model.builder import load_pretrained_model\nfrom llava.mm_utils import get_model_name_from_path, process_images, tokenizer_image_token\nfrom llava.conversation import conv_templates, SeparatorStyle\nfrom PIL import Image\n\n# 配置路径\nmodel_path = \"path\u002Fto\u002FLLaVA-Phi-3-mini-4k-instruct\" # 替换为您的本地模型路径\nimage_file = \"example.jpg\" # 替换为您的图片路径\n\n# 加载模型\ntokenizer, model, image_processor, context_len = load_pretrained_model(\n    model_path=model_path,\n    model_base=None,\n    model_name=get_model_name_from_path(model_path),\n    device=\"cuda\",\n    device_map={\"\": \"cuda\"},\n    torch_dtype=torch.float16\n)\n\n# 准备输入\nconv = conv_templates[\"phi3_chat\"].copy() # 注意：根据具体模型选择正确的 template，phi3 或 llama3\nqs = \"Describe this image in detail.\"\nconv.append_message(conv.roles[0], qs)\nconv.append_message(conv.roles[1], None)\nprompt = conv.get_prompt()\n\nimage = Image.open(image_file).convert('RGB')\nimage_tensor = process_images([image], image_processor, model.config)[0]\ninput_ids = tokenizer_image_token(prompt, tokenizer, return_tensors='pt').unsqueeze(0).cuda()\n\n# 生成回答\nwith torch.inference_mode():\n    output_ids = model.generate(\n        input_ids,\n        images=image_tensor.unsqueeze(0).half().cuda(),\n        do_sample=True,\n        temperature=0.2,\n        top_p=None,\n        num_beams=1,\n        max_new_tokens=512,\n        use_cache=True\n    )\n\noutputs = tokenizer.batch_decode(output_ids, skip_special_tokens=True)[0]\nprint(outputs)\n```\n\n> **注意**：对于 **LLaMA-3-V** 模型，请重复上述“代码集成”步骤，但使用 `LLaMA-3-V\u002F` 目录下的文件进行复制，并在推理时选择对应的 `conv_templates`（通常为 `llama_3` 相关模板）。\n\n### 3.3 在线体验\n如果您暂时不想配置本地环境，可以直接访问官方提供的演示页面：\n*   **Phi-3-V Demo**: [Hugging Face Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FMBZUAI\u002FPhi-3-V)\n*   **LLaMA-3-V Demo**: [Hugging Face Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FMBZUAI\u002FLLaMA-3-V)\n*   **Google Colab**: [Phi-3-V Colab Notebook](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F10Z2HaY5zvy2GZZ4v245PtiDPukm0NbF6?usp=sharing)","一家电商初创公司的技术团队正致力于构建一个能自动解析用户上传商品图并生成详细营销文案的智能客服系统。\n\n### 没有 LLaVA-pp 时\n- **推理成本高昂**：部署基于大型多模态模型（如原版 LLaVA）需要昂贵的 GPU 资源，初创公司难以承担高并发下的服务器开销。\n- **细节识别不足**：面对复杂的商品纹理或微小标签，旧模型常出现“幻觉”，错误描述颜色或材质，导致生成的文案与实际不符。\n- **指令遵循能力弱**：模型难以严格遵循“用幽默风格写一段小红书风格的种草文案”这类复杂指令，输出内容往往刻板生硬。\n- **响应速度慢**：在边缘设备或低配服务器上运行大模型延迟极高，用户上传图片后需等待数秒才能收到回复，体验流畅度差。\n\n### 使用 LLaVA-pp 后\n- **轻量化高效部署**：借助集成的 Phi-3 (3.8B) 和 LLaMA-3 (8B) 模型，LLaVA-pp 在保持高性能的同时大幅降低显存占用，使低成本显卡甚至云端实例也能流畅运行。\n- **视觉理解更精准**：增强的视觉编码器能准确捕捉商品细微特征（如面料光泽、Logo 细节），彻底消除了描述性错误，确保文案真实性。\n- **复杂指令完美执行**：依托最新的 LLaMA-3 和 Phi-3 强大的语言基座，模型能精准拿捏“幽默”、“种草”等风格要求，生成极具吸引力且符合语境的营销文本。\n- **实时交互体验**：优化的架构显著提升了推理速度，实现了近乎实时的图文对话，让用户感觉像是在与真人导购交流。\n\nLLaVA-pp 通过将最前沿的轻量级大语言模型与视觉能力深度融合，让中小企业也能以极低门槛拥有精准、快速且懂指令的多模态 AI 应用。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_LLaVA-pp_487cf2cd.png","mbzuai-oryx","ORYX","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmbzuai-oryx_e1ef1b3c.jpg","A Library for Large Vision-Language Models",null,"https:\u002F\u002Fival-mbzuai.com","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",95.1,{"name":85,"color":86,"percentage":87},"Shell","#89e051",4.9,846,61,"2026-04-04T19:39:13",4,"未说明","必需（基于 LLaVA 架构及大模型训练\u002F推理需求），具体型号和显存大小未说明，通常建议 8GB+ 显存以运行 3.8B 或 8B 参数模型",{"notes":95,"python":92,"dependencies":96},"该项目是基于 LLaVA 1.5 的扩展，需先克隆 LLaVA 仓库并更新子模块。安装时需强制安装特定版本的 transformers 库。项目提供 Phi-3-V (3.8B) 和 LLaMA-3-V (8B) 两种模型变体，支持预训练、LoRA 微调及全量微调。运行前需根据所选模型手动替换相应的源代码文件（如 train.py, builder.py 等）。",[97,98,99],"transformers==4.40.0 (特定 commit a98c417)","torch (版本未说明，需兼容 transformers)","LLaVA (作为基础代码库)",[35,14],[102,103,104,105,106,107,108,109,110,111,112,113,114,115,116,117,118],"conversation","llama3","llava","llm","lmms","phi3","vision-language","llama-3-llava","llama-3-vision","llama3-llava","llama3-vision","llava-llama3","llava-phi3","phi-3-llava","phi-3-vision","phi3-llava","phi3-vision","2026-03-27T02:49:30.150509","2026-04-06T21:12:52.789379",[122,127,131,136,141,145],{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},19960,"使用 LLaMA-3 模型训练时出现 'TypeError: pad_sequence(): argument padding_value must be float, not NoneType' 错误怎么办？","该错误是因为 LLaMA-3 默认不使用 pad token，但 LLaVA 训练需要。解决方法是添加一个特殊 token 并调整 embeddings 大小。请确保已将所有 LLaMA-3 相关文件（如 train.py, conversation.py）复制到 LLaVA 目录中，并在运行训练脚本时传递参数 '--version llama3'。具体代码修改参考：https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FLLaVA-pp\u002Fblob\u002Fb93d9c8d8539e794fc79a867aae08c4d7b3b6de7\u002FLLaMA-3-V\u002Ftrain.py#L1015","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FLLaVA-pp\u002Fissues\u002F8",{"id":128,"question_zh":129,"answer_zh":130,"source_url":126},19961,"如何正确安装 LLaVA-pp 及其依赖项以避免训练报错？","请严格按照以下步骤安装：\n1. 克隆仓库并初始化子模块：\ngit clone https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FLLaVA-pp.git\ncd LLaVA-pp\ngit submodule update --init --recursive\n\n2. 升级 pip 并安装项目：\npip install --upgrade pip\npip install -e .\n\n3. 安装特定版本的 transformers（非常重要）：\npip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers@a98c41798cf6ed99e1ff17e3792d6e06a2ff2ff3\n\n4. 安装其他依赖：\npip install ninja\npip install flash-attn --no-build-isolation --no-cache-dir",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},19962,"微调（Finetune）时遇到 'size mismatch for ... weight\u002Fbias' 形状不匹配错误如何解决？","这通常与 DeepSpeed Zero3 或 mm_projector 初始化位置有关。尝试以下两种方法：\n1. 将 mm_projector 的初始化代码移到 for 循环之外（参考 llava_arch.py 中的相关逻辑）。\n2. 检查 DeepSpeed 版本，建议尝试使用版本 0.13.1。\n如果使用的是 LoRA 微调，确保参数配置正确，并且预训练的 mm_projector 权重路径无误。","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FLLaVA-pp\u002Fissues\u002F24",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},19963,"使用 Phi-3 模型训练时报错，提示某些网络字段不支持，该如何解决？","此问题通常由配置或文件缺失引起。请确保：\n1. 已将最新的 Python 文件（特别是针对 Phi-3 或 LLaMA-3 的修改文件）正确复制到 LLaVA 文件夹中。\n2. 检查是否使用了正确的对话模板和模型版本。\n3. 参考 Issue #8 中的解决方案，确保 transformers 库版本正确，并重新安装依赖。如果问题依旧，请确认脚本中的 '--version' 参数是否与模型匹配。","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FLLaVA-pp\u002Fissues\u002F7",{"id":142,"question_zh":143,"answer_zh":144,"source_url":140},19964,"训练 LLaMA-3 模型时，必须设置哪些关键参数以避免 Tokenizer 错误？","必须设置 '--version llama3' 以使用正确的对话模板（conv_llama3）。同时确认使用的模型路径是 'meta-llama\u002FMeta-Llama-3-8B-Instruct'。此外，建议将库版本锁定为：tokenizers==0.19.1 和 transformers==4.41.0.dev0，因为微小的版本差异可能导致分词不匹配。",{"id":146,"question_zh":147,"answer_zh":148,"source_url":126},19965,"遇到 'pip's dependency' 相关的报错是否需要处理？","如果报错仅涉及 'pip's dependency' 警告，通常可以忽略。重点应关注随后的具体错误信息（如 TypeError 等）。只要核心训练流程能启动且无致命错误，此类依赖警告不影响运行。",[]]