Gemini在ComfyUI中

🆕 最新 Gemini 1.5 Pro 模型已加入！

• 支持系统指令设置（System Instruction）
• 支持多模态 + 多轮对话
• 可以读取视频、音频等文件（上限 20G）
• 支持输入的 token 上限达到了 104万8576
• 目前速率限制比较严，每分钟只有 2 次，每天只有 1000 次

已支持文件上传功能，不过还仅限于单个文件（图片、txt文件、pdf文件、音频mp3文件等），未来会支持多文件上传（用于读取视频）

All-in-One LoRa Training 预处理、自动打标、训练、测试 LoRA 一条龙工作流

https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini/assets/140084057/d461f656-6888-48a8-b4f8-b70b7e46504d

V2.0 聊天机器人节点

https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini/assets/140084057/cb64ee29-a983-47fd-b26b-55386314afdd

将 Gemini pro vision 用于批量打标

https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini/assets/140084057/00addc94-1587-40d6-83f4-6b47dc1db665

项目介绍 | Info

• 将 Google Gemini 引入到 ComfyUI 中，现在你可以用它为你生成提示词、描述图像，也可与它畅聊人生

• 目前 Gemini API 免费开放（20240502 开始计费），你可以在这里申请一个自己的 API Key：Gemini API 申请

• 最新 Gemini 1.5 Pro 模型：

  • 支持系统指令设置（System Instruction）
  • 支持多模态 + 多轮对话，
  • 可以读取视频、音频等文件（上限 20G）
  • 支持输入的 token 上限达到了 104万8576
  • 目前速率限制比较严，每分钟只有 2 次，每天只有 1000 次

• 版本：V3.0 新增 Gemini 1.5 Pro 模型、系统指令、文件上传

详细说明 | Features

• Gemini 目前提供 3 种模型：

  • Gemini-pro: 文本模型

  • Genimi-pro-vision: 文本 + 图像模型

  • Gemini 1.5 Pro：文本 + 图像 + 文件（音频、视频等各类） 模型

• Gemini 1.5 Pro 新节点：

  • 🆕Gemini_15P_Advance_Zho：支持系统指令设置（System Instruction）

  • 🆕Gemini_15P_Chat_Advance_Zho：支持系统指令设置（System Instruction）+ 多轮对话

  • 📄Gemini_FileUpload_Zho：支持单文件上传（图片、音频、文本txt、pdf等），暂未支持视频（多文件）上传

  • 📄Gemini_File_Zho：文件读取对话，最大 token 数为 1048576

• 2 类节点:

  • 隐式 API KEY：将 Gemini_API_Key 设置为了环境变量，更安全，方便分享工作流（不会外泄 API KEY）

    ㊙️Gemini_Zho：同时支持 3 种模型，其中 Genimi-pro-vision 和 Gemini 1.5 Pro 可接受图像作为输入

    ㊙️Gemini_Vsion_ImgURL_Zho：Genimi-pro-vision 和 Gemini 1.5 Pro 模型，接受图像链接作为输入

    ㊙️Gemini_Chat_Zho：Genimi-pro 和 Gemini 1.5 Pro 模型，支持上下文对话，聊天机器人，Gemini 1.5 Pro 支持图像输入的上下文对话

  • 显式API KEY：直接在节点中输入 Gemini_API_Key，仅供个人私密使用，请勿将包含 API KEY 的工作流分享出去

    ✨Gemini_API_Zho：同时支持 3 种模型，其中 Genimi-pro-vision 和 Gemini 1.5 Pro 可接受图像作为输入

    ✨Gemini_API_Vsion_ImgURL_Zho：Genimi-pro-vision 和 Gemini 1.5 Pro 模型，接受图像链接作为输入

    ✨Gemini_API_Chat_Zho：：Genimi-pro 和 Gemini 1.5 Pro 模型，支持上下文对话，聊天机器人，Gemini 1.5 Pro 支持图像输入的上下文对话

• 辅助节点:

  • ✨DisplayText_Zho：显示文本

  • ✨ConcatText_Zho：使用 “，” 连接文本

• 节点示例：

聊天机器人

参数说明 | Parameters

• image（非必要）：选择 Gemini-pro 时无需接入图像，选择 Genimi-pro-vision 时需要接入图像，选择 Gemini 1.5 Pro 既可接入也可不接
• prompt：提示词
• model_name：模型选择，Gemini-pro 或 Genimi-pro-vision 或 Gemini 1.5 Pro
• stream：流式传输响应
• api_key：输入 Gemini_API_Key （仅在显式节点上有）

使用方法 | How to use

• 首先需要申请一个自己的 Gemini_API_Key：Gemini API 申请

• 选择隐式节点㊙️（推荐）：将你的 Gemini_API_Key 添加到 config.json 文件中，运行时会自动加载

• 选择显示节点✨：直接将 Gemini_API_Key 输入到节点的 api_key 中（注意：请勿将包含此节点的工作流分享出去，以免泄露你的 API Key）

• 使用注意：本地使用请确保你可以有效连接到 Google Gemini 的服务，推荐使用 Colab 或 Kaggle（无连接问题）

• 使用新版 Gemini 1.5 Pro 需要更新依赖 google-generativeai > 0.4.1

安装 | Install

• 推荐使用管理器 ComfyUI Manager 安装

• 手动安装：

  1. cd custom_nodes
  2. git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini.git
  3. cd custom_nodes/ComfyUI-Gemini
  4. pip install -r requirements.txt
  5. 重启 ComfyUI

工作流 | Workflow

V3.0 平替 DALL·3

Gemini 1.5 Pro + Stable Diffusion + ComfyUI = DALL·3

V2.0 工作流（隐式）（V1.1工作流依旧可用）

Gemini-pro Chatbot【Zho】

V1.1 工作流（隐式）

Gemini-pro【Zho】

Genimi-pro-vision【Zho】

更新日志 | Changelog

20240411

• V3.0版：新增 Gemini 1.5 Pro 模型、系统指令、文件上传

• 新增 平替 DALL·3 工作流（Gemini 1.5 Pro + Stable Diffusion + ComfyUI = DALL·3）

20231229

• V2.1版：修复 Deadline of 60.0s bug，方法来自官方：https://github.com/google/generative-ai-python/issues/117

20231222

• V2.0版：新增上下文聊天节点，相当于聊天机器人
  • 💬Gemini_Chat_Zho（隐式）
  • 💬Gemini_API_Chat_Zho（显示）

20231221

• V1.1版：修改 API KEY 的加载方式为自动添加 config.json ，将 API KEY 写入即可

• 已登陆 manager 不用手动安装了

20231220

• 实现 Genimi-pro-vision 模型调用，支持图像或图像链接输入
• 增加隐式节点，更加安全
• 增加辅助节点

20231219

• 创建 ComfyUI Gemini 项目，实现 Gemini-pro 模型调用

Stars

关于我 | About me

📬 联系我：

• 邮箱：zhozho3965@gmail.com
• QQ 群：839821928

🔗 社交媒体：

• 个人页：-Zho-
• Bilibili：我的B站主页
• X（Twitter）：我的Twitter
• 小红书：我的小红书主页

💡 支持我：

• B站：B站充电
• 爱发电：为我充电

致谢

• DisplayText节点参考了：ComfyUI_Custom_Nodes_AlekPet，感谢 AlekPet ！

ComfyUI-Gemini 快速上手指南

本指南帮助开发者在 ComfyUI 中快速集成 Google Gemini 模型，实现文本生成、图像描述、多轮对话及大文件（视频/音频）分析功能。

1. 环境准备

在开始之前，请确保满足以下要求：

• ComfyUI: 已安装最新版本的 ComfyUI。
• Python 环境: 建议使用 Python 3.10 或更高版本。
• 网络环境: 由于需要连接 Google 服务，请确保运行环境可访问外网。推荐在 Google Colab、Kaggle 或使用科学上网环境的本地机器上运行。
• API Key: 需提前申请 Google Gemini API Key。
  • 申请地址：Google AI Studio
• 依赖库版本: 若使用最新的 Gemini 1.5 Pro 模型，需确保 google-generativeai 版本大于 0.4.1。

2. 安装步骤

推荐使用 ComfyUI Manager 进行安装，也可选择手动安装。

方式一：通过 ComfyUI Manager 安装（推荐）

1. 启动 ComfyUI，点击右侧菜单的 Manager 按钮。
2. 选择 Install Custom Nodes。
3. 搜索 ComfyUI-Gemini。
4. 点击 Install 并重启 ComfyUI。

方式二：手动安装

在终端中执行以下命令：

cd ComfyUI/custom_nodes
git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini.git
cd ComfyUI-Gemini
pip install -r requirements.txt

注：国内用户若下载缓慢，可尝试使用镜像源安装依赖：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后，重启 ComfyUI。

3. 基本使用

第一步：配置 API Key

为了安全起见，推荐使用隐式节点（将 Key 存入配置文件，避免工作流分享时泄露）。

1. 进入 ComfyUI/custom_nodes/ComfyUI-Gemini 目录。
2. 创建或编辑 config.json 文件。
3. 填入你的 API Key，格式如下：

   {
     "gemini_api_key": "你的_API_KEY_在此处"
   }
   

第二步：添加节点

在 ComfyUI 画布右键搜索，根据需求选择节点：

• 基础文本/图像生成: 搜索 ㊙️Gemini_Zho (支持文本、图像输入，自动读取 config 中的 Key)。
• 多轮对话机器人: 搜索 ㊙️Gemini_Chat_Zho (支持上下文记忆)。
• 新版高级功能 (1.5 Pro):
  • 🆕Gemini_15P_Advance_Zho: 支持系统指令 (System Instruction)。
  • 📄Gemini_FileUpload_Zho: 上传单文件（图片、PDF、MP3 等）。
  • 📄Gemini_File_Zho: 读取大文件内容（最高支持 100 万+ token）。

注意: 请勿使用带 ✨ 前缀的显式节点（如 ✨Gemini_API_Zho）并在节点内直接填写 Key，除非你确定不会分享该工作流，否则会导致 Key 泄露。

第三步：构建最简单的工作流示例

以下是一个最简单的图像描述工作流搭建步骤：

1. 加载图像: 添加 Load Image 节点，上传一张图片。
2. 调用 Gemini: 添加 ㊙️Gemini_Zho 节点。
   • 连接 Load Image 的输出到 Gemini_Zho 的 image 输入端。
   • 在 prompt 输入框填写："请详细描述这张图片的内容"。
   • model_name 选择：Gemini-pro-vision 或 Gemini 1.5 Pro。
3. 显示结果: 添加 DisplayText_Zho 节点（或原生 Show Text），连接到 Gemini_Zho 的输出端。
4. 运行: 点击 "Queue Prompt"，即可在输出节点看到 AI 生成的图像描述。

进阶提示：平替 DALL·3 工作流

利用 Gemini 1.5 Pro 强大的理解能力，可以构建“文生图”自动化流程：

1. 使用 🆕Gemini_15P_Advance_Zho 将用户的简单想法扩写为详细的 Stable Diffusion 提示词。
2. 将输出的提示词连接到 CLIP Text Encode 节点。
3. 接入 KSampler 生成图像。 (具体工作流文件可在项目仓库的 Gemini_workflows 文件夹中下载)