Image.txt：将图像转换为独特段落

, ,

项目网站

（Hugging Face 有时在 Safari 上可能无法正常工作，请使用 Chrome）

演示

新闻

• 2023 年 4 月 17 日。除了语义分割任意目标 (Semantic Segment Anything)，我们还使用了 Edit Anything 来获取区域级语义。现在所有模型在 8GB 显存 GPU 卡上耗时少于 20 秒。（比 CPU 上的上一版本快 10 倍）
• 2023 年 4 月 17 日。我们的项目已上线 Hugging Face。欢迎尝试！huggingface
• 2023 年 4 月 14 日。我们的项目在 Twitter 上非常受欢迎。查看 发布的推文 了解详情。

（可在 8GB 显存 GPU 上 20 秒内运行！）

主流程

推理细节

待办事项

已完成

• GRIT 示例。
• ControlNet, BLIP2。
• 语义分割任意目标 (Semantic Segment Anything)。
• 用于细粒度语义的 Segment Anything。
• Gradio。
• 将 GRIT 集成到我们的代码中。
• 支持 GPT-4 API。
• Notebook/Hugging Face Space。
• 来自 Edit-Anything 的区域语义分类。
• 使模型轻量化。

进行中

• 用自训练的大型语言模型 (LLM) 替换 ChatGPT。
• 使用其他 grounding text2image 模型替代 Canny ControlNet。
• 在 Gradio 中显示检索结果。

可视化

文本到图像模型是基于 Diffusers 的 ControlNet，使用 Canny 边缘检测。

安装

请在 install.md 中查找安装说明。

2. 启动

简单可视化

export OPENAI_KEY=[YOUR KEY HERE]
python main.py  --image_src [image_path] --out_image_name [out_file_name]

如果您的 GPU 显存小于 8 GB。

python main.py --image_caption_device cpu --semantic_segment_device cpu

如果您没有可用的 GPU。

python main.py --image_caption_device cpu --semantic_segment_device cpu --dense_caption_device cpu  --contolnet_device cpu

例如

python main.py --image_src "https://oss.gittoolsai.com/images/showlab_Image2Paragraph_readme_b38e9fcbd52f.jpg" --out_image_name "https://oss.gittoolsai.com/images/showlab_Image2Paragraph_readme_94e7b970f458.jpg"

注意：如果您拥有显存大于 15GB 的 GPU 卡。请将所有设备设置为 GPU 以实现快速推理。

生成的文本和图像将显示在 "output/" 目录中。

注意：请使用 GPT-4 以获得更好的结果，因为 GPT-3.5 有时会丢失位置信息。

直接使用 Gradio

python main_gradio.py

如果您的 GPU 显存大于 20GB。 默认使用 device='cuda'。

3. 可视化

	A dog sitting on a porch with a bike.
输入	BLIP2 图像描述	GRIT 密集描述	语义分割任意目标

使用 ChatGPT 生成的最终段落如下：

  This image depicts a black and white dog sitting on a porch beside a red bike. The dense caption mentions other objects in the scene, such as a white car parked on the street and a red bike parked on the side of the road. The region semantic provides more specific information, including the porch, floor, wall, and trees. The dog can be seen sitting on the floor beside the bike, and there is also a parked bicycle and tree in the background. The wall is visible on one side of the image, while the street and trees can be seen in the other direction. 

4. COCO 上的检索结果

方法	可训练参数	运行时间	IR@1	TR@1
Image-text	230M	9H	43.8	33.2
Generated Paragraph-text	0	5m	49.7	36.1

有趣的是，我们发现将图像压缩为段落后，检索结果甚至比使用原始图像更好。

其他

如果您有更多建议或需要在本代码库中实现的功能，请随时通过电子邮件 awinyimg@gmail.com 联系我或提交 Issue。

致谢

本工作基于 ChatGPT, Edit_Anything, BLIP2, GRIT, OFA, Segment-Anything, Semantic-Segment-Anything, ControlNet。

Image2Paragraph 快速上手指南

Image2Paragraph 是一个开源工具，旨在将图片转换为独特的描述段落，并结合多模态模型（如 GRIT、BLIP2、Segment Anything）生成细粒度语义信息，最终通过 LLM 整合为自然语言段落。它支持在本地运行，甚至可在 8GB 显存的 GPU 上于 20 秒内完成推理。

1. 环境准备

• 系统要求: 支持 Linux / Windows / macOS。
• 硬件配置:
  • 推荐: 8GB 显存以上的 GPU 卡（推理速度约 20 秒）。
  • 备选: 无 GPU 设备也可运行（需设置所有设备为 CPU，速度较慢）。
  • 高性能: 若显存大于 15GB，建议将所有模块设置为 GPU 以加速。
• 软件依赖: Python 环境，CUDA（如需使用 GPU）。
• API 密钥: 需要有效的 OpenAI API Key（建议使用 GPT-4 以获得更好的位置信息识别效果）。

2. 安装步骤

1. 克隆项目:

   git clone <repository_url>
   cd Image2Paragraph
   

2. 安装依赖: 请严格按照项目根目录下的 install.md 文件指引安装所需库。

3. 配置环境变量: 设置您的 OpenAI API Key：

   export OPENAI_KEY=[YOUR KEY HERE]
   

   注意: 如果您使用的是 Safari 浏览器访问 Hugging Face Space，可能会遇到问题，建议使用 Chrome。

3. 基本使用

命令行模式

基础用法 (GPU 加速)

python main.py  --image_src [image_path] --out_image_name [out_file_name]

例如：

python main.py --image_src "examples/3.jpg" --out_image_name "output/3_result.jpg"

CPU 模式 (显存小于 8GB 或无 GPU) 如果显存不足 8GB，将部分设备设为 CPU：

python main.py --image_caption_device cpu --semantic_segment_device cpu

如果没有可用 GPU，将所有设备设为 CPU：

python main.py --image_caption_device cpu --semantic_segment_device cpu --dense_caption_device cpu  --contolnet_device cpu

生成的文本和图像将保存在 output/ 目录下。

Gradio Web 界面

启动本地 Web UI 进行可视化操作：

python main_gradio.py

提示: 如果您的 GPU 显存大于 20GB，默认即可使用 device='cuda'。