MiniGPT-4-ZH
MiniGPT-4-ZH 是一个专为中文用户优化的开源工具，让普通开发者也能轻松部署强大的视觉语言模型。它基于 MiniGPT-4 框架，通过精准的中文翻译和细致的部署指南，解决了原版安装复杂、显存需求高（如 Vicuna-13B 需 35GB+）的痛点，特别适合开发者、研究人员快速搭建图像理解与文本生成应用。你只需简单几步就能运行这个模型——它用投影层巧妙对齐视觉编码器和语言模型，采用创新的两阶段训练：先用海量数据预训练基础视觉能力，再用 3500 对高质量样本微调对话逻辑，显著提升响应准确性和自然度。现在支持 Vicuna-7B 低配版，显存需求降至 12GB，配合一键部署包，新手也能避开常见“坑点”。无论你想分析图片内容、开发智能助手，还是探索多模态 AI 的潜力，它都提供了友好高效的中文实践路径，助你专注创意而非配置烦恼。
使用场景
电商开发者小李计划为平台商品图自动生成精准中文描述，以提升卖家上架效率，但部署视觉语言模型时面临中文环境适配难题。
没有 MiniGPT-4-ZH 时
- 官方英文文档晦涩难懂，配置投影层和Vicuna权重时频繁出错，调试耗时超3天
- Vicuna-13B模型需35G显存，加载图片后飙升至43G，普通工作站无法运行，被迫租用高价云服务器
- 手动转换LLAMA权重需处理复杂差异文件，显存不足导致转换失败，反复尝试浪费大量时间
- 遇到Windows系统兼容问题时，缺乏中文解决方案，只能零散搜索外网资料
- 需额外研究裁剪设置或增大swap空间，分散核心开发精力，项目进度严重滞后
使用 MiniGPT-4-ZH 后
- 中文部署指南清晰标注关键步骤，投影层配置和权重加载一次成功，2小时内完成环境搭建
- 一键安装包优化显存占用，仅需17G即可流畅处理商品图，本地工作站直接运行降低成本
- 预置中文权重转换脚本自动处理LLAMA差异，避免手动操作错误，转换成功率100%
- 集成Windows安装指南和显存问题库，系统报错30分钟内解决，开发效率提升3倍
- 开发者专注描述逻辑优化，当天实现商品图自动生成"复古连衣裙细节纹理清晰"等精准文案
MiniGPT-4-ZH让中文开发者跳过部署陷阱，快速将前沿视觉语言技术转化为实际业务价值。
运行环境要求
- Linux
- Windows
必需 NVIDIA GPU，Vicuna-13B 需 23GB+ 显存（fp16 运行时 43GB），Vicuna-7B 需 11.5GB+ 显存（最低 12GB），推荐 A100 级显卡，CUDA 版本未说明
转换权重需 80GB RAM，运行时需 14GB+ RAM
快速开始
MiniGPT-4: 使用先进的大型语言模型(LLM)增强视觉语言理解(VLU)
作者为朱德尧、陈俊、沈晓倩、李翔和Mohamed Elhoseiny。*表示贡献相等。
所属机构为沙特阿拉伯国王科技大学。
在线演示
点击图像与MiniGPT-4聊天，了解有关您的图像的信息。
更多的例子可以在项目页面中找到。
新闻
我们现在提供了一个与Vicuna-7B（一种开源大型语言模型）对齐的预训练MiniGPT-4！演示GPU内存消耗现在可以低至12GB。
翻译同学的话
Vicuna-13B fp16（半精度浮点数）目前已知需要35G显存，加载图片后会达到43G，运行时内存高峰大约14G。
显存不足的用户，可以查看裁剪设置，位置在运行demo时。
转换权重时，大约需要80G内存，可以尝试增大swap空间。
我原本以为翻译这篇文档就能帮助大家部署，但自己实际部署后，发现中间有超级多的坑，非常不利于新手。后续我准备制作一个一键部署包，方便大家。敬请期待～ 有新消息我会及时发布到群里面。
这是我最近发现的一个一键安装包。感谢@camenduru同学。很奇怪的是，他的模型只有433MB大小，而我转换出来的有37G。
问题解决了，项目实际运行时，还是需要去下载模型的。
目前测试下来，一键安装包运行时需要17G显存。
感谢群友成浩同学提供的Windows安装踩坑指南 https://xlch.wolai.com/pBtGyPh6hyGx118o4deTk
如果翻译对您有帮助，请帮忙在右上角点击star。
欢迎加入国内AI商业应用交流群
简介
- MiniGPT-4使用一个投影层来将来自BLIP-2（一种视觉语言预训练模型）的冻结视觉编码器与冻结的LLM Vicuna（一种开源大型语言模型）对齐。
- 我们通过两个阶段来训练MiniGPT-4。第一个传统的预训练阶段在使用4个NVIDIA A100 GPU大约10小时内，使用大约500万个图像-文本对进行训练。第一阶段过后，Vicuna能够理解图像，但其生成能力受到了严重影响。
- 为了解决这个问题和提高可用性，我们提出了一种通过模型和ChatGPT自身创建高质量图像-文本对的新方法。基于此，我们创建了一个小型（总共3500对）但高质量的数据集。
- 第二个微调阶段在对话模板上使用该数据集进行训练，以显著提高其生成可靠性和整体可用性。令人惊讶的是，这个阶段计算效率很高，只需要使用单个NVIDIA A100 GPU大约7分钟的时间。
- MiniGPT-4能够产生许多类似于GPT-4中展示的新兴视觉语言理解(VLU)能力。
入门指南：
安装
1.准备代码和环境
请先将我们的代码库克隆到本地，创建一个Python环境，然后通过以下命令激活它
git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4
2.准备预训练的Vicuna权重
不想自己折腾的直接下载我们准备好的权重（公开可能会有版权问题，所以暂时先放到微信群了。），然后跳转到第 3 步
当前版本的MiniGPT-4是建立在Vicuna-13B v0版本之上的。请参考我们的说明here来准备Vicuna权重。
here 的翻译如下：
如何准备Vicuna权重
Vicuna是一种基于LLAMA的大型语言模型(LLM)，性能接近于ChatGPT，并且是开源的。我们当前使用的是Vicuna-13B v1.1版本。
为了准备Vicuna的权重，首先从 https://huggingface.co/lmsys/vicuna-13b-delta-v1.1 下载Vicuna的增量权重。如果你已经安装了git-lfs（https://git-lfs.com）， 可以通过以下方式完成：
git lfs install
# git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0
git clone https://huggingface.co/lmsys/vicuna-13b-delta-v1.1
请注意，这并不是直接可用的工作权重，而是工作权重与LLAMA-13B原始权重之间的差异（由于LLAMA的许可规则，我们无法分发LLAMA的权重）。
然后，您需要获取原始的LLAMA-13B权重，可以按照HuggingFace提供的说明here或者从互联网上下载。
原始权重获取如下：
提示：
直接使用迅雷下载，种子在此
下面是备选方案：
---- 备选方案开始。----
可以通过填写表格来获取LLaMA模型的权重。你肯定不用填写，因为“热心网友”已经泄漏出来了
网址如下：https://github.com/facebookresearch/llama/issues/149
小白请推荐百度网盘 https://pan.baidu.com/s/1ujG85wgQFuIyf74N9k2MDQ?pwd=nu4d
不充会员的，可以使用 ipfs，或者迅雷。具体方法如下：
# 找到这个部分，你可以直接点击链接进入，使用迅雷下载。
Full backup: ipfs://Qmb9y5GCkTG7ZzbBWMu2BXwMkzyCKcUjtEKPpgdZ7GEFKm
7B: ipfs://QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw
13B: ipfs://QmPCfCEERStStjg4kfj3cmCUu1TP7pVQbxdFMwnhpuJtxk
30B: ipfs://QmSD8cxm4zvvnD35KKFu8D9VjXAavNoGWemPW1pQ3AF9ZZ
65B: ipfs://QmdWH379NQu8XoesA8AFw9nKV2MpGR4KohK7WyugadAKTh
也可以使用Kubo CLI中的以下命令：
# 可选：预加载 7B 模型。检索您尚未拥有的内容。如有需要，请替换为其他 CID。
ipfs refs -r QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw
# 可选：固定7B模型。GC会删除您不使用的旧内容，这可以防止启用 GC 后模型被清除。
ipfs pin add QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw
# 通过CLI从IPFS下载并保存到磁盘：
ipfs get QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw --output ./7B
下载完成后，去百度网盘下载 tokenizer_checklist.chk tokenizer.model 这2个文件。
---- 备选方案结束。----
文件夹结构如下：
.
├── 13B
│ ├── =
│ ├── checklist.chk
│ ├── consolidated.00.pth
│ ├── consolidated.01.pth
│ └── params.json
├── tokenizer_checklist.chk
└── tokenizer.model
下载完权重之后，需要使用转换脚本将它们转换为Hugging Face Transformers格式。可以使用以下命令（示例）调用脚本：
脚本地址：https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py
# 转换之前，建议安装环境依赖，否则转换模型到一半会报错，极其浪费时间。
git clone https://github.com/lm-sys/FastChat
cd FastChat
# 查看tag
git tag
# 切换到最新的tag分支
git checkout v0.2.3
# 安装
pip install -e .
# 安装其他依赖
pip install transformers[sentencepiece]
注意，这里，需要安装 Transformers（一个流行的自然语言处理库）环境。国内镜像源更新不及时，请使用原版 pip 源，或者直接从项目安装
其他依赖：如果出现 timeout，可以使用代理，或者版本不要求最新时，使用国内源
python src/transformers/models/llama/convert_llama_weights_to_hf.py \
--input_dir /path/to/downloaded/llama/weights --model_size 7B --output_dir /output/path
报错解决：
ValueError: Couldn't instantiate the backend tokenizer from one of:
https://stackoverflow.com/questions/65431837/transformers-v4-x-convert-slow-tokenizer-to-fast-tokenizer
pip install transformers[sentencepiece]
注意：请将上述地址替换为您的文件系统中的实际路径。
转换完成后，可通过以下方式加载模型和分词器：
from transformers import LlamaForCausalLM, LlamaTokenizer
tokenizer = LlamaTokenizer.from_pretrained("/output/path")
model = LlamaForCausalLM.from_pretrained("/output/path")
当这两个权重准备好后，我们可以使用 Vicuna（一种开源大型语言模型）团队的工具来创建真正的工作权重。首先，安装与 v0 Vicuna 兼容的库：
pip install git+https://github.com/lm-sys/FastChat.git@v0.1.10
然后，运行以下命令以创建最终的工作权重：
python -m fastchat.model.apply_delta --base /path/to/llama-13b-hf/ --target /path/to/save/working/vicuna/weight/ --delta /path/to/vicuna-13b-delta-v0/
报错解决：
ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.
修改 llama-13b-hf/tokenizer_config.json/ 的 "tokenizer_class": "LLaMATokenizer" =>
"tokenizer_class": "LlamaTokenizer"
killed
转换 13B 需要 80G 左右内存，通常的家用电脑无法承载。可以考虑开启 swap
参考：https://www.cnblogs.com/erlou96/p/14578820.html#_label3_0
https://timberkito.com/?p=98
RuntimeError: The size of tensor a (32000) must match the size of tensor b (32001) at non-singleton dimension 0
参考：https://github.com/lm-sys/FastChat/issues/486
现在，您可以使用 Vicuna 权重了！
最终得到的权重文件应放置在一个文件夹内，结构如下：
vicuna_weights
├── config.json
├── generation_config.json
├── pytorch_model.bin.index.json
├── pytorch_model-00001-of-00003.bin
...
然后，在模型配置文件 here 的第 16 行设置 Vicuna 权重的路径。
3. 准备预训练的 MiniGPT-4 检查点
根据您准备的 Vicuna 模型下载预训练检查点。
| 与 Vicuna 13B 对齐的检查点 | 与 Vicuna 7B 对齐的检查点 |
|---|---|
| 下载 | 下载 |
然后，在评估配置文件 minigpt4_eval.yaml 的第 11 行设置预训练检查点的路径。
在本地启动演示
通过运行以下命令在本地机器上试用我们的演示 demo.py：
python demo.py --cfg-path eval_configs/minigpt4_eval.yaml --gpu-id 0
为节省 GPU（图形处理单元）内存，Vicuna 默认以 8 位精度加载，搜索宽度为 1。
该配置需要约 23GB GPU 内存用于 Vicuna 13B 和 11.5GB GPU 内存用于 Vicuna 7B。
模型裁剪
模型裁剪有多种方法。以下提供最简单的一种。（注意：模型裁剪可能会影响模型精度，导致效果不佳。建议没有经验的用户同时体验完整版，否则可能认为模型效果很差。）
# 先不写了。我发现需要我帮忙的那个朋友是3090 24G显存的，而且有4张，没有天理了！！！ 他只是输错了 device编号而已。 （骂骂咧咧 。。。。。。
# ( 骂完手动狗头保命～ 虽然我错了，但写教程是不可能了，一辈子都不可能
对于性能更强的 GPU，您可以在配置文件 minigpt4_eval.yaml 中将 low_resource 设置为 False，并使用更大的搜索宽度以 16 位精度运行模型。
Windows 部署遇到问题可参考此 issue https://github.com/Vision-CAIR/MiniGPT-4/issues/28 实际上，如果显存充足，可修改 minigpt4/models/mini_gpt4.py 第 92 行，将 load_in_8bit=False 以关闭 8 位加载，这样就不需要安装相关包。
感谢 @WangRongsheng，您也可以在 Colab 上运行我们的代码。
训练
MiniGPT-4 的训练包含两个对齐阶段。
1. 第一阶段预训练
在第一阶段预训练中，使用来自 LAION 和 CC 数据集的图像-文本对训练模型，以对齐视觉和语言模型。要下载和准备数据集，请查看我们的 第一阶段数据集准备说明。 第一阶段完成后，视觉特征被映射并可被语言模型理解。 要启动第一阶段训练，请运行以下命令。在我们的实验中，使用了 4 个 A100 GPU。 您可以在配置文件 train_configs/minigpt4_stage1_pretrain.yaml 中更改保存路径。
torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/minigpt4_stage1_pretrain.yaml
仅包含第一阶段训练的 MiniGPT-4 检查点可在此处下载 here。 与第二阶段后的模型相比，此检查点常生成不完整和重复的句子。
2. 第二阶段微调
在第二阶段中，我们使用自行创建的小型高质量图像-文本对数据集，并将其转换为对话格式，以进一步对齐 MiniGPT-4。 要下载和准备我们的第二阶段数据集，请查看我们的 第二阶段数据集准备说明。 要启动第二阶段对齐，请先在 train_configs/minigpt4_stage2_finetune.yaml 中指定第一阶段训练的检查点文件路径。 您也可在该文件中指定输出路径。 然后，运行以下命令。在我们的实验中，使用了 1 个 A100 GPU。
torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/minigpt4_stage2_finetune.yaml
经过第二阶段对齐，MiniGPT-4 能够以连贯且易于理解的方式讨论图像。
致谢
- BLIP2：MiniGPT-4 的模型架构基于 BLIP-2。如果您尚未了解，请务必查看这一优秀的开源工作！
- Lavis：本仓库基于 Lavis 构建！
- Vicuna：仅含 13B 参数的 Vicuna 展现出强大的语言能力，且为开源项目！
如果您在研究或应用中使用 MiniGPT-4，请引用以下 BibTeX：
@misc{zhu2022minigpt4,
title={MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models},
author={Deyao Zhu and Jun Chen and Xiaoqian Shen and xiang Li and Mohamed Elhoseiny},
year={2023},
}
国内交流群
目前群主已部署 MiniGPT-4 的在线版本，知识星球成员可优先体验；未加入星球的用户可等待星球成员体验完毕后使用（通常在晚上）～ 群主会不定期发布各类优秀项目的体验版本供大家试用，知识星球主要分享商业 AI 最新资讯，帮助大家节省时间。欢迎各位读者和朋友为我的项目点赞！
| 关注公众号加群 | 知识星球 |
|---|---|
 |
 |
许可证
本仓库采用 BSD 3-Clause 许可证。
许多代码基于 Lavis，其许可证为 BSD 3-Clause here。
感谢
本项目 fork 自 https://github.com/Vision-CAIR/MiniGPT-4 大部分翻译来自 https://github.com/Vision-CAIR/MiniGPT-4
常见问题
相似工具推荐
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。
PaddleOCR
PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。 面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。
awesome-machine-learning
awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。 它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。 其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。