Vary：扩展大型视觉-语言模型的视觉词汇表

Haoran Wei*, Lingyu Kong*, Jinyue Chen, Liang Zhao, Zheng Ge, Jinrong Yang, Jianjian Sun, Chunrui Han, Xiangyu Zhang

发布

• [2024/12/24] 🔥🔥🔥 我关于系统-2感知的新工作已发布 slow-perception。
• [2024/9/03] 🔥🔥🔥 我们发布了一个非常强大且全面的OCR模型 GOT-OCR2.0。
• [2024/7/16] 🎉🎉🎉 OneChart 被ACM'MM 2024口头会议接受（3.97%）！
• [2024/7/2] 🔥🔥🔥 Vary已被ECCV2024接受。为了感谢大家的关注，我将很快发布一个性能与Vary-document相当的模型。
• [2024/5/27] 🔥🔥🔥 我们在Fox中提出了一个文档理解基准。
• [2024/5/24] 🔥🔥🔥 我们提出了一项多页文档理解工作——Fox，它支持8页PDF图像输入！！！
• [2024/4/21] 🔥🔥🔥 对于OneChart，我们已在项目页面上发布了网页演示。尽情体验吧！！
• [2024/4/21] 🔥🔥🔥 我们提供了一个Vary-tiny LAVIS代码库（用于从头开始训练）和Vary-600k数据集（30万英文和30万中文页面）在此处！！！
• [2024/4/15]🔥🔥🔥我们在这里发布了图表解析模型OneChart此处。
• [2024/4/12]🔥🔥🔥下周我们将发布基于Vary-tiny的图表解析模型。该模型同时支持英语和中文图表。
• [2024/3/16]🔥🔥🔥我发现很多朋友对Vary-tiny(OPT-125M)非常感兴趣，因此我在Hugging Face上将其开源，这是一个PDF密集型OCR和目标检测版本。
• [2023/1/23]🔥🔥🔥我们在此处发布了Vary-toy。此外，我们还在此处展示了Vary家族的优异成果。
• [2023/12/29]🔥🔥🔥我们将在下月初发布一款新模型（小型Vary，约20亿参数），并引入一项新功能（目标检测）。为准备部署新模型，我们的在线演示将暂时关闭。
• [2023/12/11] 我们发布了在线演示，欢迎大家体验！
• [2023/12/11] 我们还发布了Vary的代码（训练和推理）！

使用与许可声明：本数据、代码和检查点仅供研究使用，并受相关许可协议约束。它们也仅限于符合LLaMA、Vicuna、GPT-4、Qwen和LLaVA许可协议的用途。

目录

• 安装
• Vary权重
• 演示
• 训练

安装

1. 克隆此仓库并进入Vary文件夹

git clone https://github.com/Ucas-HaoranWei/Vary.git
cd Vary

2. 安装软件包

conda create -n vary python=3.10 -y
conda activate vary
pip install e .

3. 安装Flash-Attention

pip install ninja
pip install flash-attn --no-build-isolation

Vary权重

• 如果您近期急需用于研究的权重，请通过电子邮件联系我。
• 在Hugging Face下载CLIP-VIT-L。
• 此处可获取Vary-toy的权重。

演示

1. 将代码中的CLIP-VIT路径（/cache/vit-large-patch14/）更新为您自己的路径。

python vary/demo/run_qwen_vary.py  --model-name  /vary/model/path/ --image-file /an/image/file.png

训练

• 我们目前不计划开源中间模型的权重。
• 不过，我们已公开训练代码，因此您可以使用自己的数据集进行训练。 如果您想这样做，可以尝试以下步骤：

1. 对于 Vary-base（单机运行；如果您有多台机器，则需要准备主机文件）：

deepspeed   Vary/train/train_qwen_vary.py  --deepspeed /Vary/zero_config/zero2.json
            --model_name_or_path /Qwen-7B/path/
            --vision_tower /vit-large-patch14/path/
            --freeze_vision_tower True
            --freeze_lm_model False
            --vision_select_layer  -2
            --use_im_start_end True
            --bf16 True
            --per_device_eval_batch_size 4
            --gradient_accumulation_steps 1
            --evaluation_strategy "no"
            --save_strategy "steps"
            --save_steps 5000
            --save_total_limit 1
            --weight_decay 0.
            --warmup_ratio 0.03
            --lr_scheduler_type "cosine"
            --logging_steps 1 --tf32 True
            --model_max_length 4096
            --gradient_checkpointing True
            --dataloader_num_workers 4
            --report_to none
            --per_device_train_batch_size 4
            --num_train_epochs 1
            --learning_rate 5e-5
            --datasets  data_name1+data_name2+data_name3
            --output_dir /path/to/output/

2. 对于 Vary-tiny：

deepspeed   Vary/train/train_opt.py  --deepspeed /Vary/zero_config/zero2.json
            --model_name_or_path /opt125m/path/
            --conversation_version opt
            --freeze_vision_tower False
            --freeze_lm_model False
            --use_im_start_end True
            --bf16 True
            --per_device_eval_batch_size 4
            --gradient_accumulation_steps 1
            --evaluation_strategy "no"
            --save_strategy "steps"
            --save_steps 5000
            --save_total_limit 1
            --weight_decay 0.
            --warmup_ratio 0.03
            --lr_scheduler_type "cosine"
            --logging_steps 1 --tf32 True
            --model_max_length 4096
            --gradient_checkpointing True
            --dataloader_num_workers 4
            --report_to none
            --per_device_train_batch_size 16
            --num_train_epochs 1
            --learning_rate 5e-5
            --datasets  data_name1+data_name2+data_name3
            --output_dir /path/to/output/

联系方式

如果您对代码或论文有任何疑问，请随时发送邮件至 (weihaoran18@mails.ucas.ac.cn)。

致谢

• LLaVA：我们在此基础上构建了代码库！
• Qwen：Vary 的基础大语言模型，擅长处理英语和中文！

引用

如果您在研究中认为我们的工作有所帮助，请考虑引用 Vary：

@article{wei2023vary,
  title={Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models},
  author={Wei, Haoran and Kong, Lingyu and Chen, Jinyue and Zhao, Liang and Ge, Zheng and Yang, Jinrong and Sun, Jianjian and Han, Chunrui and Zhang, Xiangyu},
  journal={arXiv preprint arXiv:2312.06109},
  year={2023}
}

@article{wei2024small,
  title={Small Language Model Meets with Reinforced Vision Vocabulary},
  author={Wei, Haoran and Kong, Lingyu and Chen, Jinyue and Zhao, Liang and Ge, Zheng and Yu, En and Sun, Jianjian and Han, Chunrui and Zhang, Xiangyu},
  journal={arXiv preprint arXiv:2401.12503},
  year={2024}
}

Vary 快速上手指南

Vary 是一个旨在扩大大型视觉 - 语言模型（LVLM）视觉词汇量的开源项目，基于 Qwen 和 LLaVA 架构构建，在英文和中文场景下均表现出色，特别擅长文档理解和 OCR 任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.10
• 硬件要求: 支持 CUDA 的 NVIDIA GPU（训练和推理均需）
• 前置依赖:
  • Conda (用于环境管理)
  • Git
  • CUDA Toolkit (需与 PyTorch 版本匹配)

安装步骤

1. 克隆代码库

首先将项目代码克隆到本地并进入目录：

git clone https://github.com/Ucas-HaoranWei/Vary.git
cd Vary

2. 创建并激活虚拟环境

使用 Conda 创建名为 vary 的 Python 3.10 环境：

conda create -n vary python=3.10 -y
conda activate vary

3. 安装项目依赖

安装项目核心包：

pip install e .

注意：如果下载速度较慢，可添加国内镜像源加速，例如：pip install e . -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 安装 Flash-Attention

Vary 依赖 Flash-Attention 进行加速，需按顺序执行以下命令：

pip install ninja
pip install flash-attn --no-build-isolation

提示：编译 flash-attn 可能需要较长时间，请确保已正确安装 CUDA 开发工具包。若遇到编译错误，可尝试预编译 wheel 包或检查 CUDA 版本兼容性。

5. 准备模型权重

• 视觉编码器: 下载 CLIP-VIT-L 模型。
  • 官方源：Hugging Face - openai/clip-vit-large-patch14
  • 国内加速：可使用 Hugging Face 镜像站或手动下载后放置于本地路径。
• 主模型权重:
  • Vary-toy: 可直接在 Hugging Face 获取。
  • Vary-base/Vary-document: 目前主要用于研究，如需近期使用权重进行科研，建议通过邮件 (weihaoran18@mails.ucas.ac.cn) 联系作者获取。

基本使用

以下是最简单的推理演示流程，以运行 Qwen 版本的 Vary 为例。

1. 配置视觉模型路径

在运行脚本前，请修改代码中默认的 CLIP-VIT 路径（默认为 /cache/vit-large-patch14/），将其指向你本地下载的实际路径。

2. 运行推理脚本

使用以下命令启动 Demo，替换 <model_path> 为你的模型权重文件夹路径，<image_path> 为你想要分析的图片路径：

python vary/demo/run_qwen_vary.py --model-name <model_path> --image-file <image_path>

示例：

python vary/demo/run_qwen_vary.py --model-name /home/user/models/vary-base --image-file ./test_doc.png

运行后，模型将对输入图片进行理解并输出文本结果（如文档内容识别、图表分析等）。

---

注：本项目代码和数据仅供研究使用，使用时请遵循 LLaMA, Vicuna, Qwen 等相关模型的许可协议。