[Nature Medicine'24] iomedGPT

一种用于多样化生物医学任务的通用视觉-语言基础模型。

BiomedGPT 使用多模态和多任务生物医学数据集进行预训练和微调。所用数据集的详细信息见 datasets.md。如有任何问题，请随时联系我们或提交问题。

• [2025/07/07] 发布了更大规模的检查点——最大可达 5 倍（9.3 亿参数）——包括更强大的 large 和 xlarge 预训练模型。[ckpt] [技术报告]

安装（Linux）

1. 克隆此仓库并进入 BiomedGPT 文件夹

git clone https://github.com/taokz/BiomedGPT
cd BiomedGPT/

2. 安装所需软件包

conda create --name biomedgpt python=3.7.4
python -m pip install pip==21.2.4
pip install -r requirements.txt

使用 Huggingface 的 transformers 快速入门

请查看此 Colab 笔记本 以进行无需 Fairseq 的推理。

警告： 尚未对 transformers 进行大量实验，因此我们无法确认 transformers 和 fairseq 的结果是否完全一致。

检查点

我们提供了 BiomedGPT 的预训练检查点（Dropbox），可将其放入 scripts/ 文件夹中以供进一步开发。有关微调后的检查点，请参阅 checkpoints.md。

与 transformers 兼容的权重可通过 集合 获取。

注意：

我们强调，BiomedGPT 及其文件、代码和检查点仅用于学术研究目的。出于三个主要原因，严格禁止商业和临床用途：首先，BiomedGPT 基于 OFA 框架，该框架带有我们继承的非商业许可；其次，我们的模型并未获得在医疗环境中使用的许可；最后，我们尚未实施足够的安全措施，当前模型无法保证医学诊断所需的准确性。

实现

我们在 scripts/ 文件夹中提供了预处理、预训练、微调和推理脚本。您可以按照以下目录结构操作：

BiomedGPT/
├── checkpoints/
├── datasets/
│   ├── pretraining/
│   ├── finetuning/
│   └── ...
├── scripts/
│   ├── preprocess/
│   │   ├── pretraining/
│   │   └── finetuning/
│   ├── pretrain/
│   ├── vqa/
│   └── ...
└── ...

预训练

请按照 datasets.md 准备预训练数据集，其中包括 4 个 TSV 文件：vision_language.tsv、text.tsv、image.tsv 和 detection.tsv，位于 ./datasets/pretraining/ 目录下。

cd scripts/pretrain
bash pretrain_tiny.sh

您可以根据需求或消融实验修改 bash 脚本中的超参数。

使用预训练检查点进行零样本 VQA 推理

在脚本中添加 --zero-shot 参数。示例脚本：/scripts/vqa/evaluate_vqa_rad_zero_shot.sh。

警告： 当前实现尚未针对聊天机器人或助手应用设计，因为其主要重点是学习可在下游任务中迁移的通用医学表征，正如我们在论文中所述。为提升稳健对话能力而进行的大规模训练和指令调优仍在进行中。

下游任务

我们提供了微调和推理的运行脚本。执行过程中会生成日志文件。在进行微调或推理之前，请参考以下内容：

cd scripts/vqa
# 用于微调
bash train_vqa_rad_beam.sh
# 使用微调后的权重进行推理
bash evaluate_vqa_rad_beam.sh
# 使用指令调优后的权重进行零样本推理
bash evaluate_vqa_rad_unconstrained.sh

cd scripts/caption
# 用于微调
bash train_peir_gross.sh
# 用于推理
bash evaluate_peir_gross.sh

cd scripts/text_sum
# 用于微调
bash train_meqsum.sh
# 用于推理
bash evaluate_meqsum.sh

cd scripts/mednli
# 用于微调
bash train_mednli.sh
# 用于推理
bash evaluate_mednli.sh

cd scripts/image_cls
# 对于微调：我提供了一个模板，请根据需要为 MedMNIST 中的每个数据集设置不同的超参数。
bash train_medmnist.sh 
# 对于推理：一个模板
bash evaluate_medmnist.sh

相关代码库

• OFA
• Fairseq
• taming-transformers
• self-critical.pytorch

引用

如果您在发表论文时使用了 BiomedGPT 模型或我们的代码，请引用 🤗：

@article{zhang2024generalist,
  title={面向多样化生物医学任务的通用视觉-语言基础模型},
  author={Zhang, Kai 和 Zhou, Rong 和 Adhikarla, Eashan 和 Yan, Zhiling 和 Liu, Yixin 和 Yu, Jun 和 Liu, Zhengliang 和 Chen, Xun 和 Davison, Brian D 和 Ren, Hui 等},
  journal={Nature Medicine},
  pages={1--13},
  year={2024},
  publisher={Nature Publishing Group US New York}
}

@article{peng2025scaling,
  title={生物医学视觉-语言模型的扩展：微调、指令微调与多模态学习},
  author={Peng, Cheng 和 Zhang, Kai 和 Lyu, Mengxian 和 Liu, Hongfang 和 Sun, Lichao 和 Wu, Yonghui},
  journal={arXiv 预印本 arXiv:2505.17436},
  year={2025}
}

BiomedGPT 快速上手指南

BiomedGPT 是一个面向多样化生物医学任务的通用视觉 - 语言基础模型，支持医学视觉问答、图像描述、文本摘要等多种任务。

环境准备

• 操作系统：Linux
• Python 版本：3.7.4（必须严格匹配）
• 依赖管理：推荐使用 Conda 进行环境隔离
• 网络要求：需访问 GitHub、Dropbox 及 Hugging Face（国内用户建议配置代理或使用镜像加速）

安装步骤

1. 克隆项目仓库并进入目录：

git clone https://github.com/taokz/BiomedGPT
cd BiomedGPT/

2. 创建 Conda 环境并安装依赖：

conda create --name biomedgpt python=3.7.4
conda activate biomedgpt
python -m pip install pip==21.2.4
pip install -r requirements.txt

💡 国内用户可使用清华或中科大镜像加速 pip 安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

方式一：通过 Hugging Face Transformers 快速推理（推荐初学者）

项目提供了 Colab 示例，无需本地部署 Fairseq 即可进行推理：

• Colab 笔记本链接

⚠️ 注意：基于 Transformers 的推理结果尚未经过全面验证，可能与原版 Fairseq 实现存在细微差异。

方式二：本地运行零样本医学视觉问答（Zero-shot VQA）

1. 从 Dropbox 下载预训练检查点，放入 scripts/ 目录。
2. 执行零样本推理脚本：

cd scripts/vqa
bash evaluate_vqa_rad_zero_shot.sh

该脚本已内置 --zero-shot 参数，可直接对医学图像进行问答推理。

⚠️ 重要提示：本模型仅限学术研究使用，严禁用于临床诊断或商业场景。当前版本尚未针对对话式应用优化，不具备医疗级准确性保障。