Visual OpenLLM

一款基于开源模型、以交互方式连接不同视觉模型的开源工具。

• 基于 ChatGLM + Visual ChatGPT + Stable Diffusion
• 开源版的“文心一言”

📝 更改日志

• [2024.2.24] 增加对Chatglm3的支持，新增vqa和pix2pix功能。（感谢 @MrChen314 的贡献）
• [2023.3.27] 代码开源

演示：

运行:

使用 Chatglm3-6B（默认）运行

python run.py --load_llm Chatglm3

使用 Chatglm 运行

python run.py --load_llm Chatglm

待办事项：

• 支持多轮对话
• 支持其他视觉工具
• 支持其他大语言模型

Visual OpenLLM 快速上手指南

Visual OpenLLM 是一款基于开源模型（ChatGLM + Visual ChatGPT + Stable Diffusion）构建的交互式视觉工具，旨在通过自然语言连接不同的视觉模型能力，被誉为开源版的“文心一言”。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python 版本：Python 3.8 或更高版本
• 硬件要求：建议配备 NVIDIA GPU (显存 >= 16GB 以流畅运行 ChatGLM3-6B)，若仅使用 CPU 推理速度会显著降低
• 前置依赖：
  • Git
  • CUDA Toolkit (如需 GPU 加速)
  • PyTorch (建议根据 CUDA 版本安装对应版本)

国内加速建议： 安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码

   git clone https://github.com/visual-openllm/visual-openllm.git
   cd visual-openllm
   

2. 创建虚拟环境（推荐）

   python -m venv venv
   source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate
   

3. 安装依赖包

   pip install -r requirements.txt
   

   注：若 requirements.txt 未自动包含所有视觉模型依赖，请参照项目文档手动安装 transformers, diffusers, gradio 等核心库。

4. 下载模型权重 首次运行前，请确保已下载对应的 LLM 模型权重（如 ChatGLM3-6B）。程序通常会自动从 HuggingFace 下载，国内用户可配置使用 ModelScope 或手动下载后放置于指定目录。

基本使用

项目支持加载不同的语言模型后端。以下是两种最常用的启动方式：

1. 默认模式：运行 ChatGLM3

此模式支持最新的 VQA（视觉问答）和 Pix2Pix（图像编辑）功能。

python run.py --load_llm Chatglm3

2. 兼容模式：运行 ChatGLM

如果您需要使用旧版 ChatGLM 模型：

python run.py --load_llm Chatglm

启动成功后，终端将显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器中打开该地址即可进入交互界面，上传图片并进行对话。