[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Maknee--minigpt4.cpp":3,"tool-Maknee--minigpt4.cpp":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,2,"2026-04-06T11:32:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":101,"forks":102,"last_commit_at":103,"license":104,"difficulty_score":105,"env_os":106,"env_gpu":107,"env_ram":108,"env_deps":109,"category_tags":117,"github_topics":120,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":128,"updated_at":129,"faqs":130,"releases":161},4670,"Maknee\u002Fminigpt4.cpp","minigpt4.cpp","Port of MiniGPT4 in C++ (4bit, 5bit, 6bit, 8bit, 16bit CPU inference with GGML)","minigpt4.cpp 是将强大的多模态模型 MiniGPT-4 移植到纯 C\u002FC++ 环境的开源项目。它旨在解决原版模型依赖重型 GPU 和复杂 Python 环境的问题，让普通用户也能在个人电脑上流畅运行。通过集成 GGML 库，该工具支持 4 位至 16 位多种量化精度，显著降低了内存占用，使得仅用 CPU 即可进行高效的图像理解与对话推理。\n\n这一方案特别适合希望在本地部署 AI 的开发者、受限于硬件资源的研究人员，以及注重数据隐私、不愿依赖云端服务的普通用户。其核心技术亮点在于极致的轻量化与跨平台兼容性，无需安装庞大的深度学习框架，只需简单的编译或下载预构建文件，即可在 Windows、Linux 和 macOS 上启动服务。此外，项目还提供了直观的 Web 界面演示和详细的模型转换指南，帮助用户轻松将 PyTorch 模型转换为高效格式。无论是想体验前沿的视觉语言模型，还是需要在低配置设备上集成智能交互功能，minigpt4.cpp 都提供了一个轻量、灵活且易于上手的解决方案。","# minigpt4.cpp\n\n\u003Ca href='https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmaknee\u002Fminigpt4.cpp'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue'>\n[![Quickstart in Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FMaknee\u002Fminigpt4.cpp\u002Fblob\u002Fmaster\u002Fminigpt4\u002Fcolab_webui.ipynb)\n\nInference of [MiniGPT4](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4) in pure C\u002FC++.\n\n## Description\n\nThe main goal of `minigpt4.cpp` is to run minigpt4 using 4-bit quantization with using the [ggml](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fggml) library.\n\n## Demo\n\n![minigpt1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMaknee_minigpt4.cpp_readme_6aca92107bd0.png)\n\n![minigpt1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMaknee_minigpt4.cpp_readme_87fe441f4024.gif)\n\n## Usage\n\n### 1. Clone repo\n\n**Requirements**: [git](https:\u002F\u002Fgitforwindows.org\u002F)\n\n```bash\ngit clone --recursive https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\ncd minigpt4.cpp\n```\n\n### 2. Getting the library\n\n#### Option 1: Download precompiled binary\n\n##### Windows \u002F Linux \u002F MacOS\n\nGo to [Releases](https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\u002Freleases) and extract `minigpt4` library file into the repository directory.\n\n#### Option 2: Build library manually\n\n##### Windows\n\n**Requirements**: [CMake](https:\u002F\u002Fcmake.org\u002Fdownload\u002F), [Visual Studio](https:\u002F\u002Fvisualstudio.microsoft.com\u002F) and [Git](https:\u002F\u002Fgitforwindows.org\u002F)\n\n```commandline\ncmake .\ncmake --build . --config Release\n```\n\n`bin\\Release\\minigpt4.dll` should be generated\n\n##### Linux\n\n**Requirements**: CMake (Ubuntu: `sudo apt install cmake`)\n\n```bash\ncmake .\ncmake --build . --config Release\n```\n\n`minigpt4.so` should be generated\n\n##### MacOS\n\n**Requirements**: CMake (MacOS: `brew install cmake`)\n\n```sh\ncmake .\ncmake --build . --config Release\n```\n\n`minigpt4.dylib` should be generated\n\n**Note:** If you build with opencv (allowing features such as loading and preprocessing image within the library itself), set `MINIGPT4_BUILD_WITH_OPENCV` to `ON` in `CMakeLists.txt` or build with `-DMINIGPT4_BUILD_WITH_OPENCV=ON` as a parameter to the cmake cli.\n\n### 3. Obtaining the model\n\n#### Option 1: Download pre-quantized MiniGPT4 model\n\nPre-quantized models are available on Hugging Face ~ [7B](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fminigpt4-7b-ggml\u002Ftree\u002Fmain) or [13B](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fminigpt4-13b-ggml\u002Ftree\u002Fmain).\n\nRecommended for reliable results, but slow inference speed: [minigpt4-13B-f16.bin](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fminigpt4-13b-ggml\u002Fblob\u002Fmain\u002Fminigpt4-13B-f16.bin)\n\n#### Option 2: Convert and quantize PyTorch model\n\n**Requirements**: [Python 3.x](https:\u002F\u002Fwww.python.org\u002Fdownloads\u002F) and [PyTorch](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F).\n\nClone the [MiniGPT-4](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4) repository and perform the setup\n\n```sh\ncd minigpt4\ngit clone https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4.git\ncd MiniGPT-4\nconda env create -f environment.yml\nconda activate minigpt4\n```\n\nDownload the pretrained checkpoint in the [MiniGPT-4](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4) repository under `Checkpoint Aligned with Vicuna 7B` or `Checkpoint Aligned with Vicuna 13B` or download them from [Huggingface link for 7B](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fminigpt4-7b-ggml\u002Fblob\u002Fmain\u002Fpretrained_minigpt4_7b.pth) or [13B](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fminigpt4-13b-ggml\u002Fblob\u002Fmain\u002Fpretrained_minigpt4.pth)\n\nConvert the model weights into ggml format\n\n##### Windows\n\n7B model\n```commandline\ncd minigpt4\npython convert.py C:\\pretrained_minigpt4_7b.pth --ftype=f16\n```\n\n13B model\n```commandline\ncd minigpt4\npython convert.py C:\\pretrained_minigpt4.pth --ftype=f16\n```\n\n##### Linux \u002F MacOS\n\n7B model\n```sh\npython convert.py ~\u002FDownloads\u002Fpretrained_minigpt4_7b.pth --outtype f16\n```\n\n13B model\n```sh\npython convert.py ~\u002FDownloads\u002Fpretrained_minigpt4.pth --outtype f16\n```\n\n`minigpt4-7B-f16.bin` or `minigpt4-13B-f16.bin` should be generated\n\n#### 4. Obtaining the vicuna model\n\n#### Option 1: Download pre-quantized vicuna-v0 model\n\nPre-quantized models are available on [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fggml-vicuna-v0-quantized\u002Ftree\u002Fmain)\n\nRecommended for reliable results and decent inference speed: [ggml-vicuna-13B-v0-q5_k.bin](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fggml-vicuna-v0-quantized\u002Fblob\u002Fmain\u002Fggml-vicuna-13B-v0-q5_k.bin)\n\n#### Option 2: Convert and quantize vicuna-v0 model\n\n**Requirements**: [Python 3.x](https:\u002F\u002Fwww.python.org\u002Fdownloads\u002F) and [PyTorch](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F).\n\nFollow the [guide from the MiniGPT4](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4\u002Fblob\u002Fmain\u002FPrepareVicuna.md) to obtain the vicuna-v0 model.\n\nThen, clone llama.cpp\n\n```sh\ngit clone https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp\ncd llama.cpp\ncmake .\ncmake --build . --config Release\n```\n\nConvert the model to ggml\n\n```sh\npython convert.py \u003Cpath-to-model>\n```\n\nQuantize the model\n\n```sh\npython quanitize \u003Cpath-to-model> \u003Coutput-model> Q4_1\n```\n\n#### 5. Running\n\nTest if minigpt4 works by calling the following, replacing `minigpt4-13B-f16.bin` and `ggml-vicuna-13B-v0-q5_k.bin` with your respective models\n\n```sh\ncd minigpt4\npython minigpt4_library.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin\n```\n\n##### Webui\n\nInstall the requirements for the webui\n\n```sh\npip install -r requirements.txt\n```\n\nThen, run the webui, replacing `minigpt4-13B-f16.bin` and `ggml-vicuna-13B-v0-q5_k.bin` with your respective models\n\n```sh\npython webui.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin\n```\n\nThe output should contain something like the following:\n\n```sh\nRunning on local URL:  http:\u002F\u002F127.0.0.1:7860\n\nTo create a public link, set `share=True` in `launch()`.\n```\n\nGo to `http:\u002F\u002F127.0.0.1:7860` in your browser and you should be able to interact with the webui.\n","# minigpt4.cpp\n\n\u003Ca href='https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmaknee\u002Fminigpt4.cpp'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue'>\n[![在 Colab 中快速入门](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FMaknee\u002Fminigpt4.cpp\u002Fblob\u002Fmaster\u002Fminigpt4\u002Fcolab_webui.ipynb)\n\n使用纯 C\u002FC++ 实现 [MiniGPT4](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4) 的推理。\n\n## 说明\n\n`minigpt4.cpp` 的主要目标是利用 [ggml](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fggml) 库，以 4 位量化的方式运行 MiniGPT4。\n\n## 演示\n\n![minigpt1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMaknee_minigpt4.cpp_readme_6aca92107bd0.png)\n\n![minigpt1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMaknee_minigpt4.cpp_readme_87fe441f4024.gif)\n\n## 使用方法\n\n### 1. 克隆仓库\n\n**要求**: [git](https:\u002F\u002Fgitforwindows.org\u002F)\n\n```bash\ngit clone --recursive https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\ncd minigpt4.cpp\n```\n\n### 2. 获取库文件\n\n#### 方法一：下载预编译的二进制文件\n\n##### Windows \u002F Linux \u002F MacOS\n\n前往 [Releases](https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\u002Freleases)，将 `minigpt4` 库文件解压到仓库目录中。\n\n#### 方法二：手动构建库\n\n##### Windows\n\n**要求**: [CMake](https:\u002F\u002Fcmake.org\u002Fdownload\u002F)、[Visual Studio](https:\u002F\u002Fvisualstudio.microsoft.com\u002F) 和 [Git](https:\u002F\u002Fgitforwindows.org\u002F)\n\n```commandline\ncmake .\ncmake --build . --config Release\n```\n\n应生成 `bin\\Release\\minigpt4.dll` 文件。\n\n##### Linux\n\n**要求**: CMake（Ubuntu: `sudo apt install cmake`）\n\n```bash\ncmake .\ncmake --build . --config Release\n```\n\n应生成 `minigpt4.so` 文件。\n\n##### MacOS\n\n**要求**: CMake（MacOS: `brew install cmake`）\n\n```sh\ncmake .\ncmake --build . --config Release\n```\n\n应生成 `minigpt4.dylib` 文件。\n\n**注意:** 如果您希望在库中内置 OpenCV 功能（例如加载和预处理图像），请在 `CMakeLists.txt` 中将 `MINIGPT4_BUILD_WITH_OPENCV` 设置为 `ON`，或者在调用 CMake 命令时添加 `-DMINIGPT4_BUILD_WITH_OPENCV=ON` 参数。\n\n### 3. 获取模型\n\n#### 方法一：下载预量化 MiniGPT4 模型\n\n预量化的模型可在 Hugging Face 上找到 ~ [7B](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fminigpt4-7b-ggml\u002Ftree\u002Fmain) 或 [13B](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fminigpt4-13b-ggml\u002Ftree\u002Fmain)。\n\n推荐用于获得可靠结果，但推理速度较慢：[minigpt4-13B-f16.bin](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fminigpt4-13b-ggml\u002Fblob\u002Fmain\u002Fminigpt4-13B-f16.bin)。\n\n#### 方法二：转换并量化 PyTorch 模型\n\n**要求**: [Python 3.x](https:\u002F\u002Fwww.python.org\u002Fdownloads\u002F) 和 [PyTorch](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F)。\n\n克隆 [MiniGPT-4](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4) 仓库并进行设置：\n\n```sh\ncd minigpt4\ngit clone https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4.git\ncd MiniGPT-4\nconda env create -f environment.yml\nconda activate minigpt4\n```\n\n从 [MiniGPT-4](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4) 仓库中下载预训练检查点，路径为 `Checkpoint Aligned with Vicuna 7B` 或 `Checkpoint Aligned with Vicuna 13B`；或者直接从 [Hugging Face 链接](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fminigpt4-7b-ggml\u002Fblob\u002Fmain\u002Fpretrained_minigpt4_7b.pth) 下载 7B 模型，从 [13B 链接](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fminigpt4-13b-ggml\u002Fblob\u002Fmain\u002Fpretrained_minigpt4.pth) 下载 13B 模型。\n\n将模型权重转换为 ggml 格式：\n\n##### Windows\n\n7B 模型：\n```commandline\ncd minigpt4\npython convert.py C:\\pretrained_minigpt4_7b.pth --ftype=f16\n```\n\n13B 模型：\n```commandline\ncd minigpt4\npython convert.py C:\\pretrained_minigpt4.pth --ftype=f16\n```\n\n##### Linux \u002F MacOS\n\n7B 模型：\n```sh\npython convert.py ~\u002FDownloads\u002Fpretrained_minigpt4_7b.pth --outtype f16\n```\n\n13B 模型：\n```sh\npython convert.py ~\u002FDownloads\u002Fpretrained_minigpt4.pth --outtype f16\n```\n\n应生成 `minigpt4-7B-f16.bin` 或 `minigpt4-13B-f16.bin` 文件。\n\n#### 4. 获取 Vicuna 模型\n\n#### 方法一：下载预量化 vicuna-v0 模型\n\n预量化的模型可在 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fggml-vicuna-v0-quantized\u002Ftree\u002Fmain) 上找到。\n\n推荐用于获得可靠结果且推理速度尚可：[ggml-vicuna-13B-v0-q5_k.bin](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fggml-vicuna-v0-quantized\u002Fblob\u002Fmain\u002Fggml-vicuna-13B-v0-q5_k.bin)。\n\n#### 方法二：转换并量化 vicuna-v0 模型\n\n**要求**: [Python 3.x](https:\u002F\u002Fwww.python.org\u002Fdownloads\u002F) 和 [PyTorch](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F)。\n\n按照 [MiniGPT4 官方指南](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4\u002Fblob\u002Fmain\u002FPrepareVicuna.md) 获取 vicuna-v0 模型。\n\n然后，克隆 llama.cpp 仓库：\n\n```sh\ngit clone https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp\ncd llama.cpp\ncmake .\ncmake --build . --config Release\n```\n\n将模型转换为 ggml 格式：\n\n```sh\npython convert.py \u003C模型路径>\n```\n\n对模型进行量化：\n\n```sh\npython quanitize \u003C模型路径> \u003C输出模型 > Q4_1\n```\n\n#### 5. 运行\n\n通过以下命令测试 minigpt4 是否正常工作，将 `minigpt4-13B-f16.bin` 和 `ggml-vicuna-13B-v0-q5_k.bin` 替换为你自己的模型：\n\n```sh\ncd minigpt4\npython minigpt4_library.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin\n```\n\n##### Web UI\n\n安装 Web UI 的依赖项：\n\n```sh\npip install -r requirements.txt\n```\n\n然后运行 Web UI，将 `minigpt4-13B-f16.bin` 和 `ggml-vicuna-13B-v0-q5_k.bin` 替换为你自己的模型：\n\n```sh\npython webui.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin\n```\n\n输出应包含类似以下内容：\n\n```sh\n正在本地 URL 上运行：http:\u002F\u002F127.0.0.1:7860\n\n要创建公开链接，请在 `launch()` 中设置 `share=True`。\n```\n\n在浏览器中访问 `http:\u002F\u002F127.0.0.1:7860`，你应该能够与 Web UI 交互。","# minigpt4.cpp 快速上手指南\n\n`minigpt4.cpp` 是一个基于 C\u002FC++ 和 `ggml` 库实现的 MiniGPT-4 推理工具，支持 4-bit 量化，旨在降低运行门槛并提升效率。\n\n## 1. 环境准备\n\n**系统要求**：\n- Windows \u002F Linux \u002F MacOS\n- 具备基本的命令行操作能力\n\n**前置依赖**：\n- **Git**: [下载地址](https:\u002F\u002Fgitforwindows.org\u002F) (Windows 用户必备)\n- **CMake**: \n  - Ubuntu\u002FDebian: `sudo apt install cmake`\n  - MacOS: `brew install cmake`\n  - Windows: [下载安装包](https:\u002F\u002Fcmake.org\u002Fdownload\u002F)\n- **编译工具**:\n  - Windows: Visual Studio (包含 C++ 构建工具)\n  - Linux\u002FMacOS: 系统自带编译器 (gcc\u002Fclang)\n- **Python 环境** (仅当需要自行转换模型时): Python 3.x + PyTorch\n\n## 2. 安装步骤\n\n### 第一步：克隆项目\n```bash\ngit clone --recursive https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\ncd minigpt4.cpp\n```\n\n### 第二步：获取核心库\n你可以选择下载预编译文件（推荐）或手动编译。\n\n#### 选项 A：下载预编译二进制文件（推荐）\n访问 [Releases 页面](https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\u002Freleases)，下载对应系统的文件，解压并将库文件放入项目根目录。\n- Windows: `minigpt4.dll`\n- Linux: `minigpt4.so`\n- MacOS: `minigpt4.dylib`\n\n#### 选项 B：手动编译\n在项目根目录执行以下命令：\n\n**Windows:**\n```commandline\ncmake .\ncmake --build . --config Release\n```\n*生成文件位于 `bin\\Release\\minigpt4.dll`*\n\n**Linux \u002F MacOS:**\n```bash\ncmake .\ncmake --build . --config Release\n```\n*生成文件为 `minigpt4.so` 或 `minigpt4.dylib`*\n\n> **注意**：若需支持图片加载预处理功能，请在编译时添加参数 `-DMINIGPT4_BUILD_WITH_OPENCV=ON` (需先安装 OpenCV)。\n\n### 第三步：获取模型文件\n你需要两个模型文件：**MiniGPT-4 权重** 和 **Vicuna 权重**。推荐直接下载已量化的版本以节省时间。\n\n1. **下载 MiniGPT-4 模型**\n   - 推荐 (13B, 精度高): [minigpt4-13B-f16.bin](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fminigpt4-13b-ggml\u002Fblob\u002Fmain\u002Fminigpt4-13B-f16.bin)\n   - 备选 (7B): [minigpt4-7B-f16.bin](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fminigpt4-7b-ggml\u002Ftree\u002Fmain)\n   - *将下载的文件重命名为 `minigpt4-13B-f16.bin` 并放入项目目录。*\n\n2. **下载 Vicuna 模型**\n   - 推荐 (13B, v0, q5_k): [ggml-vicuna-13B-v0-q5_k.bin](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fmaknee\u002Fggml-vicuna-v0-quantized\u002Fblob\u002Fmain\u002Fggml-vicuna-13B-v0-q5_k.bin)\n   - *将下载的文件重命名为 `ggml-vicuna-13B-v0-q5_k.bin` 并放入项目目录。*\n\n*(注：若国内访问 HuggingFace 困难，请自行配置镜像源或使用代理加速下载)*\n\n## 3. 基本使用\n\n确保上述模型文件已就位，进入 `minigpt4` 子目录即可运行。\n\n### 方式一：命令行测试\n运行以下命令验证环境是否正常（请根据实际文件名调整参数）：\n\n```sh\ncd minigpt4\npython minigpt4_library.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin\n```\n\n### 方式二：启动 Web UI（推荐）\n首先安装 Python 依赖：\n```sh\npip install -r requirements.txt\n```\n\n启动 Web 界面：\n```sh\npython webui.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin\n```\n\n启动成功后，终端会显示类似以下信息：\n```text\nRunning on local URL:  http:\u002F\u002F127.0.0.1:7860\n```\n\n在浏览器中打开 `http:\u002F\u002F127.0.0.1:7860`，即可上传图片并与 MiniGPT-4 进行交互对话。","一位独立开发者希望在只有普通 CPU 的旧笔记本电脑上，快速构建一个能理解截图并生成描述的原型应用，用于辅助视障用户。\n\n### 没有 minigpt4.cpp 时\n- **硬件门槛极高**：原版 MiniGPT-4 依赖高性能 GPU 和大显存，普通笔记本无法运行，开发者被迫租用昂贵的云端 GPU 实例。\n- **部署环境复杂**：需要配置完整的 PyTorch、CUDA 驱动及复杂的 Python 依赖库，环境冲突频发，调试耗时数天。\n- **推理延迟严重**：即便在云端，未量化的模型推理速度慢，难以满足实时交互需求，且流量和算力成本高昂。\n- **离线使用不可能**：由于对特定硬件和庞大环境的依赖，完全无法实现本地离线运行，限制了应用在无网场景下的可用性。\n\n### 使用 minigpt4.cpp 后\n- **纯 CPU 即可运行**：借助 GGML 库的 4bit\u002F8bit 量化技术，minigpt4.cpp 让模型能在普通 CPU 上流畅推理，彻底摆脱对昂贵 GPU 的依赖。\n- **极简部署流程**：仅需下载预编译的二进制文件或通过 CMake 简单构建，无需安装庞大的 Python 深度学习栈，几分钟即可完成环境搭建。\n- **响应速度显著提升**：量化后的模型大幅减少了内存占用和计算量，在本地设备上也能实现秒级图像理解反馈，用户体验流畅。\n- **真正离线可用**：整个推理过程完全本地化，数据不出设备，既保护了用户隐私，又让应用能在无网络环境下稳定服务。\n\nminigpt4.cpp 通过将多模态大模型“轻量化”并移植到 C++，让资源受限的本地设备也能低成本、高效率地拥有强大的视觉理解能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMaknee_minigpt4.cpp_6aca9210.png","Maknee","Henry Zhu","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FMaknee_a295828a.png","🍳🍳🍳",null,"makneee","https:\u002F\u002Fmaknee.github.io\u002F","https:\u002F\u002Fgithub.com\u002FMaknee",[81,85,89,93,97],{"name":82,"color":83,"percentage":84},"C++","#f34b7d",62.1,{"name":86,"color":87,"percentage":88},"Python","#3572A5",27.1,{"name":90,"color":91,"percentage":92},"CMake","#DA3434",7.5,{"name":94,"color":95,"percentage":96},"C","#555555",2.2,{"name":98,"color":99,"percentage":100},"Jupyter Notebook","#DA5B0B",1.1,569,27,"2026-03-31T11:35:15","MIT",4,"Windows, Linux, macOS","未说明 (基于 ggml 库，主要设计用于 CPU 推理，支持 4-bit 量化以降低资源需求；若手动编译开启 OpenCV 支持需相应依赖)","未说明 (取决于加载的模型大小：7B 或 13B 版本，建议使用量化模型以减少内存占用)",{"notes":110,"python":111,"dependencies":112},"核心推理引擎由 C\u002FC++ 编写并使用 ggml 库实现 4-bit 量化。用户可选择下载预编译二进制文件或手动编译（Windows 需 Visual Studio）。模型部分需要下载或转换 MiniGPT-4 和 Vicuna-v0 的权重文件为 ggml 格式。若需图像预处理功能，编译时需开启 OpenCV 支持。提供 WebUI 界面供交互使用。","3.x",[90,113,114,115,116],"Git","PyTorch","ggml","OpenCV (可选)",[118,13,52,35,119,16,15,14],"音频","其他",[121,122,123,115,124,125,126,127],"c","cpp","deep-learning","machine-learning","minigpt4","multimodal","quantization","2026-03-27T02:49:30.150509","2026-04-07T07:12:06.267741",[131,136,141,146,151,156],{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},21246,"如何在 Ubuntu 上构建项目时解决 CMake 编译失败或配置问题？","如果在运行 `cmake .` 时遇到问题，可以尝试在 CMake 中设置特定的标志。维护者建议设置 `MINIGPT4_NATIVE` 或 `MINIGPT4_LTO` 标志以优化构建。可以通过修改 `CMakeLists.txt` 或在命令行传递参数来设置这些选项。","https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\u002Fissues\u002F14",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},21247,"如何启用 GPU 加速（cuBLAS）以提升性能？","目前该项目尚未完全测试或文档化 cuBLAS 的集成。虽然理论上可以通过编辑 `CMakeLists.txt` 中的 `MINIGPT4_CUBLAS` 选项来尝试启用，但维护者指出目前主要支持通过 llama.cpp 的 Vicuna 模型进行 GPU 卸载，直接集成 cuBLAS 到 minigpt4.cpp 仍处于探索阶段，可能无法立即生效。","https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\u002Fissues\u002F21",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},21248,"运行 Web UI 时遇到 Gradio 报错（如 'scale should be integer'）怎么办？","这是由于 Gradio 版本不兼容导致的。解决方案是卸载当前版本并安装旧版本。用户反馈安装 `gradio==3.41.2` 或 `gradio==3.36.1` 可以解决问题。执行命令：\n`python3 -m pip uninstall gradio`\n`python3 -m pip install gradio==3.41.2`","https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\u002Fissues\u002F22",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},21249,"是否支持像 llama.cpp 那样将部分计算卸载到 GPU？","是的，这是可能的。对于语言模型部分（Vicuna），可以通过编辑 CMake 配置来启用 GPU 卸载功能（例如使用 cublas）。具体可以参考 llama.cpp 的 `CMakeLists.txt` 中的相关标志进行配置。","https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\u002Fissues\u002F15",{"id":152,"question_zh":153,"answer_zh":154,"source_url":155},21250,"Hugging Face 上的 7B 和 13B 模型文件是否相同？","此前曾发生过上传错误，导致 7B 仓库指向了 13B 的文件。维护者已确认该问题并进行了修复，重新转换并上传了正确的 7B 模型文件。如果遇到模型识别为 13B 的情况，请确保拉取的是修复后的最新版本文件。","https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\u002Fissues\u002F9",{"id":157,"question_zh":158,"answer_zh":159,"source_url":160},21251,"webui.py 无法加载 .bin 模型文件，只加载 ggml 文件或直接启动网页怎么办？","这是一个已知的使用差异问题。虽然 `webui.py` 可能在加载特定 `.bin` 文件时表现异常，但用户发现 `minigpt4_library.py` 可以成功加载两种格式的文件。建议优先使用 `minigpt4_library.py` 进行模型加载和推理测试，或者检查 `webui.py` 中的路径配置是否正确。","https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\u002Fissues\u002F19",[162,167],{"id":163,"version":164,"summary_zh":165,"released_at":166},127280,"latest","## 提交\n- 2075cd3：修复 README 中的拼写错误 (#12)（Erjan Kalybek）[#12](https:\u002F\u002Fgithub.com\u002FMaknee\u002Fminigpt4.cpp\u002Fpull\u002F12)","2023-08-08T15:34:13",{"id":168,"version":169,"summary_zh":170,"released_at":171},127281,"release","* 首次发布","2023-07-18T21:57:38"]