本仓库实现了 Liquid，这是一种可扩展且统一的自回归生成范式，能够无缝集成多模态理解和生成能力。

📰 新闻

2025-03-25: 数据处理和模型预训练脚本已在 Data.md 和 TRAIN.md 中更新。

2025-03-04: Liquid 的文生图和视觉理解评估脚本已在 EVAL.md 中发布。

2025-02-28: Liquid 的论文、演示、模型和项目页面均已发布。

📑 开源计划

• Liquid-7B-IT（具备指令跟随能力的指令微调多模态模型）
  • [✅] 网页演示
  • [✅] 评估
  • [✅] 模型权重
  • [✅] 训练代码
• Liquid-0.5B~32B-预训练（跨越三个模型系列、从 0.5B 到 32B 六种不同规模的多模态扩展模型）
  • 模型权重

📽️ 推理

使用 Liquid 进行推理或评估不需要复杂的环境依赖。由于它本质上是一个 HuggingFace 格式的语言模型，只需安装 transformers 库和一些基本组件即可运行。请参阅 EVAL.md 了解推荐的版本。

在本地运行 Gradio 演示

如果部署在显存小于 30GB 的 GPU 上，为了避免内存溢出错误，可能需要在 app.py 的 AutoModelForCausalLM.from_pretrained 中启用 load_in_8bit 选项来进行图像生成。

pip install gradio==4.44.1
pip install gradio_client==1.3.0

cd evaluation
python app.py

单次推理

# 进行纯语言对话。

python inference_t2t.py  --model_path Junfeng5/Liquid_V1_7B  --prompt  "Write me a poem about Machine Learning."


# 图像理解
python inference_i2t.py --model_path Junfeng5/Liquid_V1_7B  --image_path samples/baklava.png   --prompt 'How to make this pastry?'


# 图像生成，如果 GPU 显存小于 30GB，请添加 --load_8bit 参数
python inference_t2i.py   --model_path Junfeng5/Liquid_V1_7B --prompt "young blue dragon with horn lightning in the style of dd fantasy full body"  

⚙️ 安装和训练

请参阅 Data.md 和 TRAIN.md。

📖 简介

• 我们提出了 Liquid，这是一种自回归生成范式，能够无缝集成视觉理解和生成能力。

• 与以往的多模态大语言模型（Multimodal Large Language Model，MLLM）不同，Liquid 使用单一大型语言模型（Large Language Model，LLM）实现这一集成，无需使用外部预训练的视觉嵌入（如 CLIP）。

• 首次发现，Liquid 揭示了一个缩放定律：视觉和语言任务统一训练带来的性能下降会随着模型规模的增大而减小。

• 此外，统一的 token 空间使视觉生成和理解任务能够相互促进

🔥 多模态生成

• Liquid：可扩展且通用的统一多模态生成器，支持视觉理解、视觉生成和多模态生成

• Liquid 能够在自回归范式下通过语言生成任意宽高比的高质量、逼真图像。

🔥 多模态生成的缩放定律

• Liquid 在不同规模（0.5B 到 32B）的多模态生成中展现出明显的缩放定律。

许可证

本项目基于 MIT 许可证授权——请参阅 LICENSE 文件了解详情。

引用

如果您觉得本项目有用，请考虑引用：

@article{liquid,
  title={Liquid: Language models are scalable and unified multi-modal generators},
  author={Wu, Junfeng and Jiang, Yi and Ma, Chuofan and Liu, Yuliang and Zhao, Hengshuang and Yuan, Zehuan and Bai, Song and Bai, Xiang},
  journal={International Journal of Computer Vision},
  year={2025}
}

Liquid 快速上手指南

Liquid 是一个统一的多模态生成模型，支持视觉理解、视觉生成和多模态生成任务。

环境准备

• Python 3.8+
• PyTorch 2.0+
• CUDA 11.0+（如需 GPU 推理）
• 推荐 GPU 显存：30GB 及以上（低于 30GB 需启用 8-bit 量化）

安装步骤

1. 克隆仓库

git clone https://github.com/foundationvision/Liquid.git
cd Liquid

2. 安装依赖

pip install torch transformers
pip install gradio==4.44.1
pip install gradio_client==1.3.0

国内开发者可使用清华镜像源加速：

pip install torch transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 文本对话

python inference_t2t.py --model_path Junfeng5/Liquid_V1_7B --prompt "Write me a poem about Machine Learning."

2. 图像理解（图文问答）

python inference_i2t.py --model_path Junfeng5/Liquid_V1_7B --image_path samples/baklava.png --prompt "How to make this pastry?"

3. 图像生成（文生图）

python inference_t2i.py --model_path Junfeng5/Liquid_V1_7B --prompt "young blue dragon with horn lightning in the style of dd fantasy full body"

GPU 显存不足 30GB 时，添加 --load_8bit 参数启用量化：

python inference_t2i.py --model_path Junfeng5/Liquid_V1_7B --prompt "your prompt" --load_8bit

4. 本地运行 Gradio Demo

cd evaluation
python app.py

注意事项

• 模型会自动从 HuggingFace 下载，首次运行需确保网络畅通
• 图像生成任务对显存要求较高，建议使用 30GB 以上显存的 GPU