木啄：多模态大语言模型的幻觉修正

---

幻觉是笼罩在快速发展的多模态大语言模型（MLLMs）上的一片巨大阴影，指的是生成文本与图像内容不一致的现象。为了缓解幻觉问题，现有研究主要采用指令调优的方式，需要通过特定数据对模型进行重新训练。在本文中，我们开辟了一条全新的路径，提出了一种无需训练的方法——“木啄”。正如啄木鸟治愈树木一样，“木啄”能够从生成的文本中精准识别并纠正幻觉。具体而言，“木啄”由五个阶段组成：关键概念提取、问题构建、视觉知识验证、视觉主张生成以及幻觉修正。以事后补救的方式实现，“木啄”可以轻松服务于多种 MLLM，并且只需通过访问五个阶段的中间输出即可实现解释性分析。我们从定量和定性两个维度对“木啄”进行了评估，并展示了这一新范式的巨大潜力。在 POPE 基准测试中，我们的方法在准确率上分别比基线模型 MiniGPT-4/mPLUG-Owl 提升了 30.66% 和 24.33%。

这是首篇针对多模态大语言模型幻觉问题进行修正的研究成果。如果您有任何疑问，请随时发送邮件至 bradyfu24@gmail.com，或添加微信 ID xjtupanda。

🌋 评估

我们基于以下四种基准模型开展实验：

• LLaVA、mPLUG-Owl、Otter、MiniGPT-4

实验结果如下所示。更多详细信息，请参阅我们的论文 arXiv 论文。

📍 POPE 结果

本部分重点评估对象级幻觉。

📍 MME 结果

本部分同时关注对象级和属性级幻觉。

📍 LLaVA-QA90 结果

我们还提议直接通过最新开放的 GPT-4V 接口进行开放式评估。我们设计了两项指标：准确率和细节度。

▶️ 演示

欢迎随时尝试我们的 在线演示！

🛠️ 预备工作

1. 创建 Conda 环境

conda create -n corrector python=3.10
conda activate corrector
pip install -r requirements.txt

2. 安装所需软件包和模型

• 安装 spacy 及相关模型包，按照 链接 中的说明进行操作。该工具用于执行一些文本处理任务。

pip install -U spacy
python -m spacy download en_core_web_lg
python -m spacy download en_core_web_md
python -m spacy download en_core_web_sm

• 对于我们的 开放集检测器，请按照 链接 中的说明安装 GroundingDINO。

⭐ 使用方法

1. 推理

要根据图像与 MLLM 的文本输出进行修正，请按如下方式运行推理代码：

python inference.py \
        --image-path {path/to/image} \
        --query "一些查询。（例如：描述这张图片。)" \
        --text "一些需要修正的文本。" \
        --detector-config "path/to/GroundingDINO_SwinT_OGC.py" \
        --detector-model "path/to/groundingdino_swint_ogc.pth" \
        --api-key "sk-xxxxxxx" \

输出的文本会打印在终端中，中间结果默认保存为 ./intermediate_view.json.

---

2. 演示环境搭建

在实验中，我们默认使用 mPLUG-Owl 作为 MLLM。如果您希望复现在线演示，请克隆 项目，并修改 https://github.com/BradyFU/Woodpecker/blob/e3fcac307cc5ff5a3dc079d9a94b924ebcdc2531/gradio_demo.py#L7 和 https://github.com/BradyFU/Woodpecker/blob/e3fcac307cc5ff5a3dc079d9a94b924ebcdc2531/gradio_demo.py#L35-L36 中的相关变量。

然后只需运行：

CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py

在这里，我们将校正组件部署到 GPU 上，ID 为 0；而 mPLUG-Owl 则部署到 GPU 上，ID 为 1。

🌻 致谢

本仓库的开发得益于 mPLUG-Owl、GroundingDINO、BLIP-2 以及 LLaMA-Adapter。感谢这些优秀研究成果的贡献！

📑 引用格式

如果您发现我们的项目对您的研究有所帮助，请考虑引用以下文献：

@article{yin2024woodpecker,
  title={Woodpecker: 多模态大语言模型的幻觉修正},
  author={Yin, Shukang and Fu, Chaoyou and Zhao, Sirui and Xu, Tong and Wang, Hao and Sui, Dianbo and Shen, Yunhang and Li, Ke and Sun, Xing and Chen, Enhong},
  journal={中国科学信息学报},
  volume={67},
  number={12},
  pages={220105},
  year={2024},
  publisher={Springer}
}

Woodpecker 快速上手指南

Woodpecker 是一个无需训练的开源工具，旨在纠正多模态大语言模型（MLLM）生成的文本中的“幻觉”问题（即生成内容与图像不符）。它通过五个阶段（关键概念提取、问题构建、视觉知识验证、视觉主张生成、幻觉纠正）对现有模型的输出进行后处理修正。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.10
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存充足以运行检测模型和 MLLM）
• 依赖管理: Conda

安装步骤

1. 创建并激活 Conda 环境

conda create -n corrector python=3.10
conda activate corrector
pip install -r requirements.txt

提示：国内用户建议使用清华或阿里镜像源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装文本处理依赖 (spaCy)

Woodpecker 需要 spaCy 进行文本处理操作。

pip install -U spacy
python -m spacy download en_core_web_lg
python -m spacy download en_core_web_md
python -m spacy download en_core_web_sm

3. 安装开放集检测器 (GroundingDINO)

Woodpecker 依赖 GroundingDINO 进行视觉验证。请前往 GroundingDINO GitHub 仓库 按照其官方说明完成安装。

主要步骤通常包括：

# 示例：克隆并安装 GroundingDINO (具体请参考其官方 README)
git clone https://github.com/IDEA-Research/GroundingDINO.git
cd GroundingDINO
pip install -e .

注意：安装 GroundingDINO 可能需要预先安装 torch 和 torchvision，请根据您的 CUDA 版本选择合适的安装命令。

基本使用

安装完成后，您可以直接运行推理脚本，对指定图片和 MLLM 生成的文本进行幻觉纠正。

命令行推理示例

请准备好以下文件/信息：

• 输入图片路径
• 原始查询问题 (Query)
• MLLM 生成的待修正文本
• GroundingDINO 的配置文件 (.py) 和权重文件 (.pth)
• API Key (用于调用外部模型辅助验证，如 GPT-4)

运行以下命令：

python inference.py \
        --image-path {path/to/image} \
        --query "Some query.(e.x. Describe this image.)" \
        --text "Some text to be corrected." \
        --detector-config "path/to/GroundingDINO_SwinT_OGC.py" \
        --detector-model "path/to/groundingdino_swint_ogc.pth" \
        --api-key "sk-xxxxxxx"

输出说明：

• 修正后的文本将直接打印在终端中。
• 中间处理结果（如提取的关键概念、验证过程等）默认保存为 ./intermediate_view.json，便于调试和分析。

启动本地 Demo (可选)

如果您希望复现在线 Demo 体验，可以使用 mPLUG-Owl 作为基座模型。需先克隆 mPLUG-Owl 项目，并修改 gradio_demo.py 中的相关路径配置（参考原仓库第 7 行及 35-36 行）。

配置完成后，使用双卡（或单卡显存足够时调整设备号）运行：

CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py

注：上述命令默认将纠正组件放在 GPU 0，将 mPLUG-Owl 模型放在 GPU 1。