[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Vision-CAIR--MiniGPT-4":3,"tool-Vision-CAIR--MiniGPT-4":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150720,2,"2026-04-11T11:33:10",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":92,"env_os":93,"env_gpu":94,"env_ram":95,"env_deps":96,"category_tags":108,"github_topics":76,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":110,"updated_at":111,"faqs":112,"releases":142},6678,"Vision-CAIR\u002FMiniGPT-4","MiniGPT-4","Open-sourced codes for MiniGPT-4 and MiniGPT-v2 (https:\u002F\u002Fminigpt-4.github.io, https:\u002F\u002Fminigpt-v2.github.io\u002F)","MiniGPT-4 是一款开源的视觉 - 语言多任务学习框架，旨在让大型语言模型（LLM）具备“看懂”图片并与之对话的能力。它巧妙地将冻结的视觉编码器与先进的大型语言模型相连，通过仅训练一个线性投影层，便实现了高效的图文理解。\n\n该工具主要解决了传统多模态模型训练成本高、数据需求大以及难以灵活适配复杂指令的问题。借助 MiniGPT-4，用户不仅能获取简单的图片描述，还能进行深层推理，例如根据图表撰写故事、分析网页布局生成代码，甚至识别并解释复杂的科学图示。其升级版 MiniGPT-v2 进一步强化了统一接口能力，支持更广泛的多任务场景。\n\nMiniGPT-4 非常适合研究人员探索多模态前沿技术，也适合开发者快速构建基于图文交互的应用原型。对于普通用户而言，通过在线演示即可体验与图片“聊天”的乐趣。其独特的技术亮点在于极简的微调策略：无需海量算力，仅用少量高质量对齐数据即可激活大模型的视觉潜能。此外，社区已基于此衍生出医疗诊断（SkinGPT-4）、艺术鉴赏（ArtGPT-4）等垂直领域应用，展现了强大的扩展性。","# MiniGPT-V\n\n\u003Cfont size='5'>**MiniGPT-v2: Large Language Model as a Unified Interface for Vision-Language Multi-task Learning**\u003C\u002Ffont>\n\nJun Chen, Deyao Zhu, Xiaoqian Shen, Xiang Li, Zechun Liu, Pengchuan Zhang, Raghuraman Krishnamoorthi, Vikas Chandra, Yunyang Xiong☨, Mohamed Elhoseiny☨\n\n☨equal last author\n\n\u003Ca href='https:\u002F\u002Fminigpt-v2.github.io'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa> \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.09478.pdf'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-Arxiv-red'>\u003C\u002Fa>  \u003Ca href='https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FVision-CAIR\u002FMiniGPT-v2'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue'> \u003Ca href='https:\u002F\u002Fminigpt-v2.github.io'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGradio-Demo-blue'>\u003C\u002Fa> [![YouTube](https:\u002F\u002Fbadges.aleen42.com\u002Fsrc\u002Fyoutube.svg)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=atFCwV2hSY4)\n\n\n\u003Cfont size='5'> **MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models**\u003C\u002Ffont>\n\nDeyao Zhu*, Jun Chen*, Xiaoqian Shen, Xiang Li, Mohamed Elhoseiny\n\n*equal contribution\n\n\u003Ca href='https:\u002F\u002Fminigpt-4.github.io'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa>  \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.10592'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-Arxiv-red'>\u003C\u002Fa> \u003Ca href='https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FVision-CAIR\u002Fminigpt4'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue'>\u003C\u002Fa> \u003Ca href='https:\u002F\u002Fhuggingface.co\u002FVision-CAIR\u002FMiniGPT-4'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Model-blue'>\u003C\u002Fa> [![Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OK4kYsZphwt5DXchKkzMBjYF6jnkqh4R?usp=sharing) [![YouTube](https:\u002F\u002Fbadges.aleen42.com\u002Fsrc\u002Fyoutube.svg)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=__tftoxpBAw&feature=youtu.be)\n\n*King Abdullah University of Science and Technology*\n\n## 💡 Get help - [Q&A](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4\u002Fdiscussions\u002Fcategories\u002Fq-a) or [Discord 💬](https:\u002F\u002Fdiscord.gg\u002F5WdJkjbAeE)\n\n\u003Cfont size='4'> **Example Community Efforts Built on Top of MiniGPT-4 ** \u003C\u002Ffont> \n  \n* \u003Ca href='https:\u002F\u002Fgithub.com\u002Fwaltonfuture\u002FInstructionGPT-4?tab=readme-ov-file'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa> **InstructionGPT-4**: A 200-Instruction Paradigm for Fine-Tuning MiniGPT-4 Lai Wei, Zihao Jiang, Weiran Huang, Lichao Sun, Arxiv, 2023\n\n* \u003Ca href='https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FICCV2023W\u002FCLVL\u002Fpapers\u002FAubakirova_PatFig_Generating_Short_and_Long_Captions_for_Patent_Figures_ICCVW_2023_paper.pdf'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa> **PatFig**: Generating Short and Long Captions for Patent Figures.\", Aubakirova, Dana, Kim Gerdes, and Lufei Liu, ICCVW, 2023 \n\n\n* \u003Ca href='https:\u002F\u002Fgithub.com\u002FJoshuaChou2018\u002FSkinGPT-4'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa> **SkinGPT-4**: An Interactive Dermatology Diagnostic System with Visual Large Language Model, Juexiao Zhou and Xiaonan He and Liyuan Sun and Jiannan Xu and Xiuying Chen and Yuetan Chu and Longxi Zhou and Xingyu Liao and Bin Zhang and Xin Gao,  Arxiv, 2023 \n\n\n* \u003Ca href='https:\u002F\u002Fhuggingface.co\u002FTyrannosaurus\u002FArtGPT-4'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa> **ArtGPT-4**: Artistic Vision-Language Understanding with Adapter-enhanced MiniGPT-4.\",  Yuan, Zhengqing, Huiwen Xue, Xinyi Wang, Yongming Liu, Zhuanzhe Zhao, and Kun Wang, Arxiv, 2023 \n\n\n\u003C\u002Ffont>\n\n## News\n[Oct.31 2023] We release the evaluation code of our MiniGPT-v2.  \n\n[Oct.24 2023] We release the finetuning code of our MiniGPT-v2.\n\n[Oct.13 2023] Breaking! We release the first major update with our MiniGPT-v2\n\n[Aug.28 2023] We now provide a llama 2 version of MiniGPT-4\n\n## Online Demo\n\nClick the image to chat with MiniGPT-v2 around your images\n[![demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_e6d59fd22352.png)](https:\u002F\u002Fminigpt-v2.github.io\u002F)\n\nClick the image to chat with MiniGPT-4 around your images\n[![demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_607057cb607d.png)](https:\u002F\u002Fminigpt-4.github.io)\n\n\n## MiniGPT-v2 Examples\n\n![MiniGPT-v2 demos](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_f3023740c99e.png)\n\n\n\n## MiniGPT-4 Examples\n  |   |   |\n:-------------------------:|:-------------------------:\n![find wild](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_07fa53797ac8.png) |  ![write story](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_0cb871e314c5.png)\n![solve problem](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_3d331cdff9b8.png)  |  ![write Poem](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_eee5279bc6e6.png)\n\nMore examples can be found in the [project page](https:\u002F\u002Fminigpt-4.github.io).\n\n\n\n## Getting Started\n### Installation\n\n**1. Prepare the code and the environment**\n\nGit clone our repository, creating a python environment and activate it via the following command\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4.git\ncd MiniGPT-4\nconda env create -f environment.yml\nconda activate minigptv\n```\n\n\n**2. Prepare the pretrained LLM weights**\n\n**MiniGPT-v2** is based on Llama2 Chat 7B. For **MiniGPT-4**, we have both Vicuna V0 and Llama 2 version.\nDownload the corresponding LLM weights from the following huggingface space via clone the repository using git-lfs.\n\n|                            Llama 2 Chat 7B                             |                                           Vicuna V0 13B                                           |                                          Vicuna V0 7B                                          |\n:------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------:\n[Download](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-chat-hf\u002Ftree\u002Fmain) | [Downlad](https:\u002F\u002Fhuggingface.co\u002FVision-CAIR\u002Fvicuna\u002Ftree\u002Fmain) | [Download](https:\u002F\u002Fhuggingface.co\u002FVision-CAIR\u002Fvicuna-7b\u002Ftree\u002Fmain) \n\n\nThen, set the variable *llama_model* in the model config file to the LLM weight path.\n\n* For MiniGPT-v2, set the LLM path \n[here](minigpt4\u002Fconfigs\u002Fmodels\u002Fminigpt_v2.yaml#L15) at Line 14.\n\n* For MiniGPT-4 (Llama2), set the LLM path \n[here](minigpt4\u002Fconfigs\u002Fmodels\u002Fminigpt4_llama2.yaml#L15) at Line 15.\n\n* For MiniGPT-4 (Vicuna), set the LLM path \n[here](minigpt4\u002Fconfigs\u002Fmodels\u002Fminigpt4_vicuna0.yaml#L18) at Line 18\n\n**3. Prepare the pretrained model checkpoints**\n\nDownload the pretrained model checkpoints\n\n\n| MiniGPT-v2 (after stage-2) | MiniGPT-v2 (after stage-3) | MiniGPT-v2 (online developing demo)| \n|------------------------------|------------------------------|------------------------------|\n| [Download](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1Vi_E7ZtZXRAQcyz4f8E6LtLh2UXABCmu\u002Fview?usp=sharing) |[Download](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1HkoUUrjzFGn33cSiUkI-KcT-zysCynAz\u002Fview?usp=sharing) | [Download](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1aVbfW7nkCSYx99_vCRyP1sOlQiWVSnAl\u002Fview?usp=sharing) |\n\n\nFor **MiniGPT-v2**, set the path to the pretrained checkpoint in the evaluation config file \nin [eval_configs\u002Fminigptv2_eval.yaml](eval_configs\u002Fminigptv2_eval.yaml#L10) at Line 8.\n\n\n\n| MiniGPT-4 (Vicuna 13B) | MiniGPT-4 (Vicuna 7B) | MiniGPT-4 (LLaMA-2 Chat 7B) |\n|----------------------------|---------------------------|---------------------------------|\n| [Download](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1a4zLvaiDBr-36pasffmgpvH5P7CKmpze\u002Fview?usp=share_link) | [Download](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1RY9jV0dyqLX-o38LrumkKRh6Jtaop58R\u002Fview?usp=sharing) | [Download](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F11nAPjEok8eAGGEG1N2vXo3kBLCg0WgUk\u002Fview?usp=sharing) |\n\nFor **MiniGPT-4**, set the path to the pretrained checkpoint in the evaluation config file \nin [eval_configs\u002Fminigpt4_eval.yaml](eval_configs\u002Fminigpt4_eval.yaml#L10) at Line 8 for Vicuna version or [eval_configs\u002Fminigpt4_llama2_eval.yaml](eval_configs\u002Fminigpt4_llama2_eval.yaml#L10) for LLama2 version.   \n\n\n\n### Launching Demo Locally\n\nFor MiniGPT-v2, run\n```\npython demo_v2.py --cfg-path eval_configs\u002Fminigptv2_eval.yaml  --gpu-id 0\n```\n\nFor MiniGPT-4 (Vicuna version), run\n\n```\npython demo.py --cfg-path eval_configs\u002Fminigpt4_eval.yaml  --gpu-id 0\n```\n\nFor MiniGPT-4 (Llama2 version), run\n\n```\npython demo.py --cfg-path eval_configs\u002Fminigpt4_llama2_eval.yaml  --gpu-id 0\n```\n\n\nTo save GPU memory, LLMs loads as 8 bit by default, with a beam search width of 1. \nThis configuration requires about 23G GPU memory for 13B LLM and 11.5G GPU memory for 7B LLM. \nFor more powerful GPUs, you can run the model\nin 16 bit by setting `low_resource` to `False` in the relevant config file:\n\n* MiniGPT-v2: [minigptv2_eval.yaml](eval_configs\u002Fminigptv2_eval.yaml#6) \n* MiniGPT-4 (Llama2): [minigpt4_llama2_eval.yaml](eval_configs\u002Fminigpt4_llama2_eval.yaml#6)\n* MiniGPT-4 (Vicuna): [minigpt4_eval.yaml](eval_configs\u002Fminigpt4_eval.yaml#6)\n\nThanks [@WangRongsheng](https:\u002F\u002Fgithub.com\u002FWangRongsheng), you can also run MiniGPT-4 on [Colab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OK4kYsZphwt5DXchKkzMBjYF6jnkqh4R?usp=sharing)\n\n\n### Training\nFor training details of MiniGPT-4, check [here](MiniGPT4_Train.md).\n\nFor finetuning details of MiniGPT-v2, check [here](MiniGPTv2_Train.md)\n\n\n### Evaluation\nFor finetuning details of MiniGPT-v2, check [here](eval_scripts\u002FEVAL_README.md)  \n\n\n## Acknowledgement\n\n+ [BLIP2](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmain\u002Fmodel_doc\u002Fblip-2) The model architecture of MiniGPT-4 follows BLIP-2. Don't forget to check this great open-source work if you don't know it before!\n+ [Lavis](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FLAVIS) This repository is built upon Lavis!\n+ [Vicuna](https:\u002F\u002Fgithub.com\u002Flm-sys\u002FFastChat) The fantastic language ability of Vicuna with only 13B parameters is just amazing. And it is open-source!\n+ [LLaMA](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama) The strong open-sourced LLaMA 2 language model.\n\n\nIf you're using MiniGPT-4\u002FMiniGPT-v2 in your research or applications, please cite using this BibTeX:\n```bibtex\n\n\n@article{chen2023minigptv2,\n      title={MiniGPT-v2: large language model as a unified interface for vision-language multi-task learning}, \n      author={Chen, Jun and Zhu, Deyao and Shen, Xiaoqian and Li, Xiang and Liu, Zechu and Zhang, Pengchuan and Krishnamoorthi, Raghuraman and Chandra, Vikas and Xiong, Yunyang and Elhoseiny, Mohamed},\n      year={2023},\n      journal={arXiv preprint arXiv:2310.09478},\n}\n\n@article{zhu2023minigpt,\n  title={MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models},\n  author={Zhu, Deyao and Chen, Jun and Shen, Xiaoqian and Li, Xiang and Elhoseiny, Mohamed},\n  journal={arXiv preprint arXiv:2304.10592},\n  year={2023}\n}\n```\n\n\n## License\nThis repository is under [BSD 3-Clause License](LICENSE.md).\nMany codes are based on [Lavis](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FLAVIS) with \nBSD 3-Clause License [here](LICENSE_Lavis.md).\n","# MiniGPT-V\n\n\u003Cfont size='5'>**MiniGPT-v2：大型语言模型作为视觉-语言多任务学习的统一接口**\u003C\u002Ffont>\n\n陈俊、朱德尧、沈晓倩、李翔、刘泽春、张鹏川、拉古拉曼·克里希纳穆尔蒂、维卡斯·钱德拉、熊云阳☨、穆罕默德·埃尔霍西尼☨\n\n☨共同最后作者\n\n\u003Ca href='https:\u002F\u002Fminigpt-v2.github.io'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa> \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.09478.pdf'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-Arxiv-red'>\u003C\u002Fa>  \u003Ca href='https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FVision-CAIR\u002FMiniGPT-v2'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue'> \u003Ca href='https:\u002F\u002Fminigpt-v2.github.io'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGradio-Demo-blue'>\u003C\u002Fa> [![YouTube](https:\u002F\u002Fbadges.aleen42.com\u002Fsrc\u002Fyoutube.svg)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=atFCwV2hSY4)\n\n\n\u003Cfont size='5'> **MiniGPT-4：利用先进大型语言模型增强视觉-语言理解能力**\u003C\u002Ffont>\n\n朱德尧*、陈俊*、沈晓倩、李翔、穆罕默德·埃尔霍西尼\n\n*同等贡献\n\n\u003Ca href='https:\u002F\u002Fminigpt-4.github.io'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa>  \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.10592'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-Arxiv-red'>\u003C\u002Fa> \u003Ca href='https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FVision-CAIR\u002Fminigpt4'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue'>\u003C\u002Fa> \u003Ca href='https:\u002F\u002Fhuggingface.co\u002FVision-CAIR\u002FMiniGPT-4'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Model-blue'>\u003C\u002Fa> [![Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OK4kYsZphwt5DXchKkzMBjYF6jnkqh4R?usp=sharing) [![YouTube](https:\u002F\u002Fbadges.aleen42.com\u002Fsrc\u002Fyoutube.svg)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=__tftoxpBAw&feature=youtu.be)\n\n*阿卜杜拉国王科技大学*\n\n## 💡 获取帮助 - [问答](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4\u002Fdiscussions\u002Fcategories\u002Fq-a) 或 [Discord 💬](https:\u002F\u002Fdiscord.gg\u002F5WdJkjbAeE)\n\n\u003Cfont size='4'> **基于MiniGPT-4构建的社区示例** \u003C\u002Ffont> \n  \n* \u003Ca href='https:\u002F\u002Fgithub.com\u002Fwaltonfuture\u002FInstructionGPT-4?tab=readme-ov-file'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa> **InstructionGPT-4**：用于微调MiniGPT-4的200条指令范式，魏来、蒋子豪、黄伟然、孙立超，Arxiv，2023年\n\n* \u003Ca href='https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FICCV2023W\u002FCLVL\u002Fpapers\u002FAubakirova_PatFig_Generating_Short_and_Long_Captions_for_Patent_Figures_ICCVW_2023_paper.pdf'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa> **PatFig**：为专利附图生成简短和长篇说明文字，奥巴基罗娃、达娜、金·格德斯和刘路飞，ICCVW，2023年\n\n\n* \u003Ca href='https:\u002F\u002Fgithub.com\u002FJoshuaChou2018\u002FSkinGPT-4'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa> **SkinGPT-4**：基于视觉大型语言模型的交互式皮肤病诊断系统，周觉晓、何晓楠、孙丽媛、徐建南、陈秀英、楚月潭、周龙熙、廖星宇、张斌和高鑫，Arxiv，2023年\n\n\n* \u003Ca href='https:\u002F\u002Fhuggingface.co\u002FTyrannosaurus\u002FArtGPT-4'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa> **ArtGPT-4**：通过适配器增强的MiniGPT-4实现的艺术性视觉-语言理解，袁、郑青、薛慧文、王欣怡、刘永明、赵传哲和王坤，Arxiv，2023年\n\n\n\u003C\u002Ffont>\n\n## 新闻\n[2023年10月31日] 我们发布了MiniGPT-v2的评估代码。\n\n[2023年10月24日] 我们发布了MiniGPT-v2的微调代码。\n\n[2023年10月13日] 突发！我们发布了MiniGPT-v2的首次重大更新。\n\n[2023年8月28日] 我们现在提供MiniGPT-4的Llama 2版本。\n\n## 在线演示\n\n点击图片与MiniGPT-v2围绕您的图片进行对话\n[![demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_e6d59fd22352.png)](https:\u002F\u002Fminigpt-v2.github.io\u002F)\n\n点击图片与MiniGPT-4围绕您的图片进行对话\n[![demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_607057cb607d.png)](https:\u002F\u002Fminigpt-4.github.io)\n\n\n## MiniGPT-v2 示例\n\n![MiniGPT-v2演示](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_f3023740c99e.png)\n\n\n\n## MiniGPT-4 示例\n  |   |   |\n:-------------------------:|:-------------------------:\n![寻找野生](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_07fa53797ac8.png) |  ![写故事](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_0cb871e314c5.png)\n![解决问题](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_3d331cdff9b8.png)  |  ![写诗](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_readme_eee5279bc6e6.png)\n\n更多示例可在[项目页面](https:\u002F\u002Fminigpt-4.github.io)中找到。\n\n\n\n## 入门\n\n### 安装\n\n**1. 准备代码和环境**\n\n使用 Git 克隆我们的仓库，创建 Python 环境并激活它，命令如下：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4.git\ncd MiniGPT-4\nconda env create -f environment.yml\nconda activate minigptv\n```\n\n\n**2. 准备预训练的 LLM 权重**\n\n**MiniGPT-v2** 基于 Llama2 Chat 7B。对于 **MiniGPT-4**，我们同时提供了 Vicuna V0 和 Llama 2 版本。\n请通过 git-lfs 克隆以下 Hugging Face Space 仓库来下载相应的 LLM 权重。\n\n|                            Llama 2 Chat 7B                             |                                           Vicuna V0 13B                                           |                                          Vicuna V0 7B                                          |\n:------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------:\n[下载](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-chat-hf\u002Ftree\u002Fmain) | [下载](https:\u002F\u002Fhuggingface.co\u002FVision-CAIR\u002Fvicuna\u002Ftree\u002Fmain) | [下载](https:\u002F\u002Fhuggingface.co\u002FVision-CAIR\u002Fvicuna-7b\u002Ftree\u002Fmain) \n\n\n然后，在模型配置文件中将变量 *llama_model* 设置为 LLM 权重路径。\n\n* 对于 MiniGPT-v2，将 LLM 路径设置在 [这里](minigpt4\u002Fconfigs\u002Fmodels\u002Fminigpt_v2.yaml#L15) 的第 14 行。\n\n* 对于 MiniGPT-4 (Llama2)，将 LLM 路径设置在 [这里](minigpt4\u002Fconfigs\u002Fmodels\u002Fminigpt4_llama2.yaml#L15) 的第 15 行。\n\n* 对于 MiniGPT-4 (Vicuna)，将 LLM 路径设置在 [这里](minigpt4\u002Fconfigs\u002Fmodels\u002Fminigpt4_vicuna0.yaml#L18) 的第 18 行。\n\n**3. 准备预训练模型检查点**\n\n下载预训练模型检查点\n\n\n| MiniGPT-v2（阶段-2 后） | MiniGPT-v2（阶段-3 后） | MiniGPT-v2（在线开发演示）|\n|------------------------------|------------------------------|------------------------------|\n| [下载](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1Vi_E7ZtZXRAQcyz4f8E6LtLh2UXABCmu\u002Fview?usp=sharing) |[下载](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1HkoUUrjzFGn33cSiUkI-KcT-zysCynAz\u002Fview?usp=sharing) | [下载](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1aVbfW7nkCSYx99_vCRyP1sOlQiWVSnAl\u002Fview?usp=sharing) |\n\n\n对于 **MiniGPT-v2**，在评估配置文件中设置预训练检查点路径：\n在 [eval_configs\u002Fminigptv2_eval.yaml](eval_configs\u002Fminigptv2_eval.yaml#L10) 的第 8 行。\n\n\n\n| MiniGPT-4（Vicuna 13B） | MiniGPT-4（Vicuna 7B） | MiniGPT-4（LLaMA-2 Chat 7B）|\n|----------------------------|---------------------------|---------------------------------|\n| [下载](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1a4zLvaiDBr-36pasffmgpvH5P7CKmpze\u002Fview?usp=share_link) | [下载](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1RY9jV0dyqLX-o38LrumkKRh6Jtaop58R\u002Fview?usp=sharing) | [下载](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F11nAPjEok8eAGGEG1N2vXo3kBLCg0WgUk\u002Fview?usp=sharing) |\n\n对于 **MiniGPT-4**，在评估配置文件中设置预训练检查点路径：\n在 [eval_configs\u002Fminigpt4_eval.yaml](eval_configs\u002Fminigpt4_eval.yaml#L10) 的第 8 行，适用于 Vicuna 版本；或在 [eval_configs\u002Fminigpt4_llama2_eval.yaml](eval_configs\u002Fminigpt4_llama2_eval.yaml#L10) 的第 8 行，适用于 Llama2 版本。   \n\n\n\n### 在本地启动演示\n\n对于 MiniGPT-v2，运行：\n```\npython demo_v2.py --cfg-path eval_configs\u002Fminigptv2_eval.yaml  --gpu-id 0\n```\n\n对于 MiniGPT-4（Vicuna 版本），运行：\n\n```\npython demo.py --cfg-path eval_configs\u002Fminigpt4_eval.yaml  --gpu-id 0\n```\n\n对于 MiniGPT-4（Llama2 版本），运行：\n\n```\npython demo.py --cfg-path eval_configs\u002Fminigpt4_llama2_eval.yaml  --gpu-id 0\n```\n\n\n为了节省 GPU 内存，LLM 默认以 8 位加载，束搜索宽度为 1。这种配置对于 13B 的 LLM 需要约 23G GPU 内存，而对于 7B 的 LLM 则需要约 11.5G GPU 内存。如果您的 GPU 性能更强，可以通过将相关配置文件中的 `low_resource` 设置为 `False`，以 16 位运行模型：\n\n* MiniGPT-v2：[minigptv2_eval.yaml](eval_configs\u002Fminigptv2_eval.yaml#6) \n* MiniGPT-4（Llama2）：[minigpt4_llama2_eval.yaml](eval_configs\u002Fminigpt4_llama2_eval.yaml#6)\n* MiniGPT-4（Vicuna）：[minigpt4_eval.yaml](eval_configs\u002Fminigpt4_eval.yaml#6)\n\n感谢 [@WangRongsheng](https:\u002F\u002Fgithub.com\u002FWangRongsheng)，您也可以在 [Colab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OK4kYsZphwt5DXchKkzMBjYF6jnkqh4R?usp=sharing) 上运行 MiniGPT-4。\n\n\n### 训练\n关于 MiniGPT-4 的训练细节，请参阅 [这里](MiniGPT4_Train.md)。\n\n关于 MiniGPT-v2 的微调细节，请参阅 [这里](MiniGPTv2_Train.md)。\n\n\n### 评估\n关于 MiniGPT-v2 的微调细节，请参阅 [这里](eval_scripts\u002FEVAL_README.md)。  \n\n\n## 致谢\n\n+ [BLIP2](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmain\u002Fmodel_doc\u002Fblip-2) MiniGPT-4 的模型架构参考了 BLIP-2。如果您之前不了解这项优秀的开源工作，请务必查看！\n+ [Lavis](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FLAVIS) 本项目基于 Lavis 构建！\n+ [Vicuna](https:\u002F\u002Fgithub.com\u002Flm-sys\u002FFastChat) Vicuna 仅用 13B 参数就展现出如此强大的语言能力，令人惊叹。而且它是开源的！\n+ [LLaMA](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama) 强大的开源 LLaMA 2 语言模型。\n\n\n如果您在研究或应用中使用 MiniGPT-4\u002FMiniGPT-v2，请使用以下 BibTeX 格式引用：\n```bibtex\n\n\n@article{chen2023minigptv2,\n      title={MiniGPT-v2: 大型语言模型作为视觉-语言多任务学习的统一接口}, \n      author={Chen, Jun and Zhu, Deyao and Shen, Xiaoqian and Li, Xiang and Liu, Zechu and Zhang, Pengchuan and Krishnamoorthi, Raghuraman and Chandra, Vikas and Xiong, Yunyang and Elhoseiny, Mohamed},\n      year={2023},\n      journal={arXiv 预印本 arXiv:2310.09478},\n}\n\n@article{zhu2023minigpt,\n  title={MiniGPT-4：利用先进大型语言模型增强视觉-语言理解能力},\n  author={Zhu, Deyao and Chen, Jun and Shen, Xiaoqian and Li, Xiang and Elhoseiny, Mohamed},\n  journal={arXiv 预印本 arXiv:2304.10592},\n  year={2023}\n}\n```\n\n\n## 许可证\n本仓库采用 [BSD 3-Clause 许可证](LICENSE.md)。\n许多代码基于 [Lavis](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FLAVIS)，其许可证为 [BSD 3-Clause](LICENSE_Lavis.md)。","# MiniGPT-4 \u002F MiniGPT-v2 快速上手指南\n\nMiniGPT-4 和 MiniGPT-v2 是强大的视觉 - 语言多任务学习模型，能够将图像理解与大语言模型（LLM）的能力相结合。本指南将帮助您快速在本地部署并运行这些模型。\n\n## 1. 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu) 或 macOS。Windows 用户建议使用 WSL2。\n*   **GPU**: 需要 NVIDIA GPU。\n    *   **显存要求**:\n        *   7B 模型 (Vicuna 7B \u002F Llama-2-7B): 至少 12GB (默认 8-bit 量化模式)，推荐 16GB+。\n        *   13B 模型 (Vicuna 13B): 至少 24GB (默认 8-bit 量化模式)。\n    *   若需关闭量化（16-bit 模式）以获得更高精度，需双倍显存。\n*   **软件依赖**:\n    *   Python 3.9+\n    *   Conda (推荐用于环境管理)\n    *   Git 及 `git-lfs` (用于下载大模型权重)\n\n**安装 git-lfs (如未安装):**\n```bash\nsudo apt-get install git-lfs\ngit lfs install\n```\n\n## 2. 安装步骤\n\n### 第一步：克隆代码库并创建环境\n\n```bash\n# 克隆仓库\ngit clone https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4.git\ncd MiniGPT-4\n\n# 创建 conda 环境并激活\nconda env create -f environment.yml\nconda activate minigptv\n```\n\n> **注意**: 如果 `environment.yml` 下载依赖过慢，可手动创建环境后，使用国内镜像源（如清华源）安装 `requirements.txt` 中的包。\n\n### 第二步：下载预训练大语言模型 (LLM) 权重\n\n根据您想运行的模型版本，下载对应的 LLM 权重。由于 Hugging Face 在国内访问可能受限，建议配置镜像或使用代理。\n\n| 模型版本 | 对应 LLM | 下载地址 (Hugging Face) |\n| :--- | :--- | :--- |\n| **MiniGPT-v2** | Llama-2-7b-chat | [Download](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-chat-hf\u002Ftree\u002Fmain) |\n| **MiniGPT-4** | Vicuna V0 13B | [Download](https:\u002F\u002Fhuggingface.co\u002FVision-CAIR\u002Fvicuna\u002Ftree\u002Fmain) |\n| **MiniGPT-4** | Vicuna V0 7B | [Download](https:\u002F\u002Fhuggingface.co\u002FVision-CAIR\u002Fvicuna-7b\u002Ftree\u002Fmain) |\n\n下载完成后，修改配置文件中的路径指向您的权重文件夹：\n*   **MiniGPT-v2**: 编辑 `minigpt4\u002Fconfigs\u002Fmodels\u002Fminigpt_v2.yaml` (第 14-15 行)，设置 `llama_model` 路径。\n*   **MiniGPT-4 (Llama2)**: 编辑 `minigpt4\u002Fconfigs\u002Fmodels\u002Fminigpt4_llama2.yaml` (第 15 行)。\n*   **MiniGPT-4 (Vicuna)**: 编辑 `minigpt4\u002Fconfigs\u002Fmodels\u002Fminigpt4_vicuna0.yaml` (第 18 行)。\n\n### 第三步：下载 MiniGPT 预训练检查点\n\n下载项目特定的预训练权重文件：\n\n| 模型版本 | 下载地址 (Google Drive) | 备注 |\n| :--- | :--- | :--- |\n| **MiniGPT-v2** | [Stage-2](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1Vi_E7ZtZXRAQcyz4f8E6LtLh2UXABCmu\u002Fview?usp=sharing) \u002F [Stage-3](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1HkoUUrjzFGn33cSiUkI-KcT-zysCynAz\u002Fview?usp=sharing) | 推荐使用 Stage-3 |\n| **MiniGPT-4** | [Vicuna 13B](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1a4zLvaiDBr-36pasffmgpvH5P7CKmpze\u002Fview?usp=share_link) \u002F [Vicuna 7B](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1RY9jV0dyqLX-o38LrumkKRh6Jtaop58R\u002Fview?usp=sharing) \u002F [LLaMA-2](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F11nAPjEok8eAGGEG1N2vXo3kBLCg0WgUk\u002Fview?usp=sharing) | 根据选择的 LLM 下载对应版本 |\n\n> **提示**: 如果无法访问 Google Drive，请尝试寻找国内网盘搬运资源或使用代理工具。\n\n下载后，修改评估配置文件中的路径：\n*   **MiniGPT-v2**: 编辑 `eval_configs\u002Fminigptv2_eval.yaml` (第 8 行)。\n*   **MiniGPT-4 (Vicuna)**: 编辑 `eval_configs\u002Fminigpt4_eval.yaml` (第 8 行)。\n*   **MiniGPT-4 (Llama2)**: 编辑 `eval_configs\u002Fminigpt4_llama2_eval.yaml` (第 8 行)。\n\n## 3. 基本使用\n\n启动本地演示界面（Gradio），即可上传图片并与模型对话。默认配置为 8-bit 量化以节省显存。\n\n### 启动 MiniGPT-v2\n```bash\npython demo_v2.py --cfg-path eval_configs\u002Fminigptv2_eval.yaml --gpu-id 0\n```\n\n### 启动 MiniGPT-4 (Vicuna 版本)\n```bash\npython demo.py --cfg-path eval_configs\u002Fminigpt4_eval.yaml --gpu-id 0\n```\n\n### 启动 MiniGPT-4 (Llama2 版本)\n```bash\npython demo.py --cfg-path eval_configs\u002Fminigpt4_llama2_eval.yaml --gpu-id 0\n```\n\n运行成功后，终端会显示一个本地 URL（通常是 `http:\u002F\u002Flocalhost:7860`），在浏览器中打开该地址即可开始体验。\n\n**进阶调整（可选）：**\n如果您的显卡显存充足（例如 13B 模型拥有 24GB+ 显存），希望关闭 8-bit 量化以获得更好效果，请在对应的 `.yaml` 配置文件中将 `low_resource` 设置为 `False`。","一位数字博物馆策展人需要快速为数千张未标注的历史文物照片生成详细的解说词和互动问答，以搭建线上展览。\n\n### 没有 MiniGPT-4 时\n- **人工成本极高**：策展团队需聘请历史专家逐一查看图片并撰写说明，处理一张图片平均耗时 20 分钟，项目周期长达数月。\n- **信息维度单一**：传统图像识别仅能输出“朝代”、“材质”等标签，无法生成连贯的叙事性文字或挖掘背后的文化故事。\n- **交互体验匮乏**：线上展览只能展示静态图文，观众无法针对图片细节（如纹饰含义、破损原因）进行自然语言提问。\n- **多任务协作困难**：若需同时完成“描述画面”、“推断用途”和“生成教育问答”，需串联多个独立模型，流程繁琐且误差累积。\n\n### 使用 MiniGPT-4 后\n- **自动化高效生产**：MiniGPT-4 直接读取文物图片，秒级生成包含历史背景、艺术风格及保存状况的完整解说词，效率提升百倍。\n- **深度语义理解**：依托大语言模型能力，MiniGPT-4 不仅能识别物体，还能结合视觉线索编撰生动的历史故事，赋予文物“生命力”。\n- **原生多模态交互**：观众可直接在网页端上传局部截图向 MiniGPT-4 提问（如“这个纹样代表什么？”），获得精准的即时解答。\n- **统一接口多任务并行**：只需一次调用，MiniGPT-4 即可同时输出长文本介绍、短标题摘要及三组互动问答题，大幅简化技术架构。\n\nMiniGPT-4 将原本耗时数月的专家密集型工作转化为自动化的智能流程，让文化遗产以更具互动性和深度的方式触达大众。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVision-CAIR_MiniGPT-4_e6d59fd2.png","Vision-CAIR","Vision CAIR Research Group, KAUST","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FVision-CAIR_5d0a2f15.png","Vision CAIR Group, KAUST, supported by Mohamed Elhoseiny",null,"https:\u002F\u002Fcemse.kaust.edu.sa\u002Fvision-cair","https:\u002F\u002Fgithub.com\u002FVision-CAIR",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",99.9,{"name":85,"color":86,"percentage":87},"Shell","#89e051",0.1,25744,2907,"2026-04-11T08:55:07","BSD-3-Clause",4,"Linux","必需 NVIDIA GPU。运行 7B 模型需约 11.5GB 显存（8-bit 量化），运行 13B 模型需约 23GB 显存（8-bit 量化）。若关闭量化（16-bit），显存需求更高。未明确指定具体显卡型号或 CUDA 版本，但需支持 PyTorch 和 LLM 推理。","未说明",{"notes":97,"python":98,"dependencies":99},"1. 建议使用 Conda 管理环境并依据提供的 environment.yml 文件创建。2. 需单独下载预训练的大语言模型权重（如 Llama-2-7b-chat 或 Vicuna）并配置路径。3. 默认启用 8-bit 量化加载 LLM 以节省显存，高性能显卡可在配置文件中将 low_resource 设为 False 以使用 16-bit 精度。4. 项目基于 Lavis 构建，架构遵循 BLIP-2。","未说明 (通过 environment.yml 创建 conda 环境)",[100,101,102,103,104,105,106,107],"torch","transformers","accelerate","bitsandbytes","Lavis","gradio","opencv-python","Pillow",[35,15,109],"其他","2026-03-27T02:49:30.150509","2026-04-12T02:15:59.350829",[113,118,123,128,133,138],{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},30155,"模型输出中包含奇怪的 '\u003Cs>' 标记，如何去除？","输出中的 '\u003Cs>' 是用于 Markdown 删除线的标记。可以通过在代码中添加以下 Python 语句来移除它：\nllm_message = llm_message.replace(\"\u003Cs>\", \"\")\n应用此替换后，输出将恢复正常。","https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4\u002Fissues\u002F12",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},30156,"如何在 Google Colab 或本地计算机上运行 MiniGPT-4？","在 Colab 上使用需要 GPU 且必须是 Colab Pro 用户。本地使用步骤如下：\n1. 克隆仓库：git clone https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4.git\n2. 安装依赖：pip install -r requirements.txt\n3. 配置参数：\n   - 在 minigpt4\u002Fconfigs\u002Fmodels\u002Fminigpt4.yaml 中设置 llama_model (例如：\"wangrongsheng\u002FMiniGPT-4-LLaMA-7B\")\n   - 在 eval_configs\u002Fminigpt4_eval.yaml 中设置 ckpt (例如：'prerained_minigpt4_7b.pth')\n4. 运行演示：python demo.py --cfg-path eval_configs\u002Fminigpt4_eval.yaml","https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4\u002Fissues\u002F81",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},30157,"评估 RefCOCO 数据集时出现 FileNotFoundError，找不到 val_json 文件怎么办？","该错误是因为缺少评估所需的 JSON 数据文件。作者已将这些文件上传到了 eval_scripts\u002Feval_data 目录中。请确保下载了正确的数据集文件并将其放置在代码期望的路径下（例如 minigpt_evaluation_dataset\u002Frefcoco\u002F），或者检查代码中加载数据的路径配置是否正确。","https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4\u002Fissues\u002F423",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},30158,"运行时出现 'Expected all tensors to be on the same device' 错误或如何指定特定的 GPU 设备？","设备 ID 必须是一个整数。如果您想在特定的 GPU（例如 cuda:2）上运行，请使用 --gpu-device 参数并传入整数 ID。\n命令示例：\npython demo.py --cfg-path path\u002Fto\u002Fconfig --gpu-device 2\n这可以解决多卡环境下的设备不匹配问题。","https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4\u002Fissues\u002F44",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},30159,"在 Windows 上运行时出现 'AssertionError: Torch not compiled with CUDA enabled' 或 bitsandbytes 错误如何解决？","这通常是因为安装了错误的 PyTorch 版本（CPU 版本）或 bitsandbytes 未正确编译。\n1. 检查 PyTorch 版本：运行 pip show torch，确保版本包含 CUDA 支持（例如 version: 2.0.0+cu117）。如果是 CPU 版本，请重新安装支持 CUDA 的 PyTorch。\n2. 对于 bitsandbytes 问题，可能需要根据特定教程修改 bitsandbytes 的文件或在 Windows 上从源码编译它，因为预编译版本可能不包含 GPU 支持。","https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4\u002Fissues\u002F87",{"id":139,"question_zh":140,"answer_zh":141,"source_url":122},30160,"如何在没有 Gradio 界面的情况下在 Colab 上使用 MiniGPT-4 V2？","虽然具体的无界面代码脚本未在评论中直接给出，但用户可以通过参考官方提供的 Colab 笔记本链接，并修改其中的启动代码（通常是 demo.py 或类似的推理脚本），移除 Gradio 启动部分，直接调用模型的生成接口来实现。建议查看项目仓库中关于 'Use MiniGPT-4 in Colab' 的最新教程获取更新后的代码片段。",[]]