minigpt4.cpp

使用纯 C/C++ 实现 MiniGPT4 的推理。

说明

minigpt4.cpp 的主要目标是利用 ggml 库，以 4 位量化的方式运行 MiniGPT4。

演示

使用方法

1. 克隆仓库

要求: git

git clone --recursive https://github.com/Maknee/minigpt4.cpp
cd minigpt4.cpp

2. 获取库文件

方法一：下载预编译的二进制文件

Windows / Linux / MacOS

前往 Releases，将 minigpt4 库文件解压到仓库目录中。

方法二：手动构建库

Windows

要求: CMake、Visual Studio 和 Git

cmake .
cmake --build . --config Release

应生成 bin\Release\minigpt4.dll 文件。

Linux

要求: CMake（Ubuntu: sudo apt install cmake）

cmake .
cmake --build . --config Release

应生成 minigpt4.so 文件。

MacOS

要求: CMake（MacOS: brew install cmake）

cmake .
cmake --build . --config Release

应生成 minigpt4.dylib 文件。

注意: 如果您希望在库中内置 OpenCV 功能（例如加载和预处理图像），请在 CMakeLists.txt 中将 MINIGPT4_BUILD_WITH_OPENCV 设置为 ON，或者在调用 CMake 命令时添加 -DMINIGPT4_BUILD_WITH_OPENCV=ON 参数。

3. 获取模型

方法一：下载预量化 MiniGPT4 模型

预量化的模型可在 Hugging Face 上找到 ~ 7B 或 13B。

推荐用于获得可靠结果，但推理速度较慢：minigpt4-13B-f16.bin。

方法二：转换并量化 PyTorch 模型

要求: Python 3.x 和 PyTorch。

克隆 MiniGPT-4 仓库并进行设置：

cd minigpt4
git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4

从 MiniGPT-4 仓库中下载预训练检查点，路径为 Checkpoint Aligned with Vicuna 7B 或 Checkpoint Aligned with Vicuna 13B；或者直接从 Hugging Face 链接 下载 7B 模型，从 13B 链接 下载 13B 模型。

将模型权重转换为 ggml 格式：

Windows

7B 模型：

cd minigpt4
python convert.py C:\pretrained_minigpt4_7b.pth --ftype=f16

13B 模型：

cd minigpt4
python convert.py C:\pretrained_minigpt4.pth --ftype=f16

Linux / MacOS

7B 模型：

python convert.py ~/Downloads/pretrained_minigpt4_7b.pth --outtype f16

13B 模型：

python convert.py ~/Downloads/pretrained_minigpt4.pth --outtype f16

应生成 minigpt4-7B-f16.bin 或 minigpt4-13B-f16.bin 文件。

4. 获取 Vicuna 模型

方法一：下载预量化 vicuna-v0 模型

预量化的模型可在 Hugging Face 上找到。

推荐用于获得可靠结果且推理速度尚可：ggml-vicuna-13B-v0-q5_k.bin。

方法二：转换并量化 vicuna-v0 模型

要求: Python 3.x 和 PyTorch。

按照 MiniGPT4 官方指南 获取 vicuna-v0 模型。

然后，克隆 llama.cpp 仓库：

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake .
cmake --build . --config Release

将模型转换为 ggml 格式：

python convert.py <模型路径>

对模型进行量化：

python quanitize <模型路径> <输出模型 > Q4_1

5. 运行

通过以下命令测试 minigpt4 是否正常工作，将 minigpt4-13B-f16.bin 和 ggml-vicuna-13B-v0-q5_k.bin 替换为你自己的模型：

cd minigpt4
python minigpt4_library.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin

Web UI

安装 Web UI 的依赖项：

pip install -r requirements.txt

然后运行 Web UI，将 minigpt4-13B-f16.bin 和 ggml-vicuna-13B-v0-q5_k.bin 替换为你自己的模型：

python webui.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin

输出应包含类似以下内容：

正在本地 URL 上运行：http://127.0.0.1:7860

要创建公开链接，请在 `launch()` 中设置 `share=True`。

在浏览器中访问 http://127.0.0.1:7860，你应该能够与 Web UI 交互。

minigpt4.cpp 快速上手指南

minigpt4.cpp 是一个基于 C/C++ 和 ggml 库实现的 MiniGPT-4 推理工具，支持 4-bit 量化，旨在降低运行门槛并提升效率。

1. 环境准备

系统要求：

• Windows / Linux / MacOS
• 具备基本的命令行操作能力

前置依赖：

• Git: 下载地址 (Windows 用户必备)
• CMake:
  • Ubuntu/Debian: sudo apt install cmake
  • MacOS: brew install cmake
  • Windows: 下载安装包
• 编译工具:
  • Windows: Visual Studio (包含 C++ 构建工具)
  • Linux/MacOS: 系统自带编译器 (gcc/clang)
• Python 环境 (仅当需要自行转换模型时): Python 3.x + PyTorch

2. 安装步骤

第一步：克隆项目

git clone --recursive https://github.com/Maknee/minigpt4.cpp
cd minigpt4.cpp

第二步：获取核心库

你可以选择下载预编译文件（推荐）或手动编译。

选项 A：下载预编译二进制文件（推荐）

访问 Releases 页面，下载对应系统的文件，解压并将库文件放入项目根目录。

• Windows: minigpt4.dll
• Linux: minigpt4.so
• MacOS: minigpt4.dylib

选项 B：手动编译

在项目根目录执行以下命令：

Windows:

cmake .
cmake --build . --config Release

生成文件位于 bin\Release\minigpt4.dll

Linux / MacOS:

cmake .
cmake --build . --config Release

生成文件为 minigpt4.so 或 minigpt4.dylib

注意：若需支持图片加载预处理功能，请在编译时添加参数 -DMINIGPT4_BUILD_WITH_OPENCV=ON (需先安装 OpenCV)。

第三步：获取模型文件

你需要两个模型文件：MiniGPT-4 权重 和 Vicuna 权重。推荐直接下载已量化的版本以节省时间。

1. 下载 MiniGPT-4 模型

   • 推荐 (13B, 精度高): minigpt4-13B-f16.bin
   • 备选 (7B): minigpt4-7B-f16.bin
   • 将下载的文件重命名为 minigpt4-13B-f16.bin 并放入项目目录。

2. 下载 Vicuna 模型

   • 推荐 (13B, v0, q5_k): ggml-vicuna-13B-v0-q5_k.bin
   • 将下载的文件重命名为 ggml-vicuna-13B-v0-q5_k.bin 并放入项目目录。

(注：若国内访问 HuggingFace 困难，请自行配置镜像源或使用代理加速下载)

3. 基本使用

确保上述模型文件已就位，进入 minigpt4 子目录即可运行。

方式一：命令行测试

运行以下命令验证环境是否正常（请根据实际文件名调整参数）：

cd minigpt4
python minigpt4_library.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin

方式二：启动 Web UI（推荐）

首先安装 Python 依赖：

pip install -r requirements.txt

启动 Web 界面：

python webui.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin

启动成功后，终端会显示类似以下信息：

Running on local URL:  http://127.0.0.1:7860

在浏览器中打开 http://127.0.0.1:7860，即可上传图片并与 MiniGPT-4 进行交互对话。