📢 新闻

• 🔥🔥🔥 [2025.5.16] 我们的论文DocOwl2被ACL 2025接收。
• 🔥🔥🔥 [2024.12.24] 我们已通过ms-swift发布了DocOwl2的训练代码！现在你可以基于DocOwl2，使用自己的数据微调出更强大的模型！
• 🔥🔥🔥 [2024.9.28] 我们已在HuggingFace 🤗和ModelScope 上同时发布了DocOwl2的训练数据、推理代码和评估代码。
• 🔥🔥🔥 [2024.9.20] 我们的论文DocOwl 1.5和TinyChart被EMNLP 2024接收。
• 🔥🔥 [2024.9.06] 我们发布了木PLUG-DocOwl 2的arXiv论文，这是一份在无OCR多页文档理解任务上表现SOTA的8B多模态大模型，每张文档图像仅用324个token进行编码！
• [2024.7.16] 我们的论文PaperOwl被ACM MM 2024接收。
• [2024.5.08] 我们发布了由DeepSpeed支持的DocOwl1.5的训练代码。你现在可以基于DocOwl1.5微调出更强大的模型！
• [2024.4.26] 我们发布了TinyChart的arXiv论文，这是一份具有思维链能力的SOTA 3B多模态大模型，专门用于图表理解（ChartQA: 83.6 > Gemin-Ultra 80.8 > GPT4V 78.5）。TinyChart的演示可在HuggingFace 🤗上体验。所有代码、模型和数据均已发布在TinyChart中。
• [2024.4.3] 我们在ModelScope 和HuggingFace 🤗上分别搭建了DocOwl1.5的演示，并由DocOwl1.5-Omni提供支持。启动本地演示的源代码也已在DocOwl1.5中公开。
• [2024.3.28] 我们在HuggingFace 🤗和ModelScope 上同时发布了mPLUG-DocOwl 1.5的训练数据（DocStruct4M、DocDownstream-1.0、DocReason25K）、代码和模型（DocOwl1.5-stage1、DocOwl1.5、DocOwl1.5-Chat、DocOwl1.5-Omni）。
• [2024.3.20] 我们发布了mPLUG-DocOwl 1.5的arXiv论文，这是一份在无OCR文档理解任务上表现SOTA的8B多模态大模型（DocVQA 82.2、InfoVQA 50.7、ChartQA 70.2、TextVQA 68.6）。
• [2024.01.13] 我们的科学图表分析数据集M-Paper已在HuggingFace 🤗和ModelScope 上开放，包含44.7万张高分辨率图表图像及对应的段落分析。
• [2023.10.13] mPLUG-DocOwl/UReader的训练数据和模型已开源。
• [2023.10.10] 我们的论文UReader被EMNLP 2023接收。

• [2023.07.10] mPLUG-DocOwl在ModelScope上的演示已上线。
• [2023.07.07] 我们发布了mPLUG-DocOwl的技术报告和评估集。

🤖 模型

• mPLUG-DocOwl2 (Arxiv 2024) - mPLUG-DocOwl2：高分辨率压缩技术，用于无OCR多页文档理解

• mPLUG-DocOwl1.5 (EMNLP 2024) - mPLUG-DocOwl 1.5：统一结构学习，用于无OCR文档理解

• TinyChart (EMNLP 2024) - TinyChart：高效图表理解，结合视觉Token合并与思维链学习

• mPLUG-PaperOwl (ACM MM 2024) - mPLUG-PaperOwl：利用多模态大语言模型进行科学图表分析

• UReader (EMNLP 2023) - UReader：通用型无OCR视觉情境语言理解，基于多模态大语言模型

• mPLUG-DocOwl (Arxiv 2023) - mPLUG-DocOwl：模块化多模态大语言模型，专为文档理解设计

📺 在线演示

注：HuggingFace上的演示不如ModelScope稳定，因为HuggingFace的ZeroGPU Spaces中的GPU是动态分配的。

📖 DocOwl 1.5

• 🤗 HuggingFace Space

• ModelScope Space

📈 TinyChart-3B

• 🤗 HuggingFace Space

🌰 案例

相关项目

• mPLUG。
• mPLUG-2。
• mPLUG-Owl

mPLUG-DocOwl 快速上手指南

mPLUG-DocOwl 是阿里巴巴集团推出的强大多模态大语言模型家族，专注于无需 OCR 的文档理解。该系列模型（包括 DocOwl2、DocOwl1.5、TinyChart 等）能够高效处理高分辨率、多页文档及复杂图表，将文档图像编码为极少量的 Token，在多项基准测试中达到 SOTA 水平。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA GPU (建议显存 16GB 以上以运行 8B 模型，TinyChart-3B 可适当降低要求)
• 前置依赖:
  • PyTorch (与您的 CUDA 版本匹配)
  • Transformers
  • Accelerate
  • DeepSpeed (可选，用于训练和高效推理)

安装步骤

推荐使用国内镜像源加速依赖安装。您可以选择通过 pip 直接安装基础依赖，或使用官方推荐的 ms-swift 框架进行微调和推理。

方案一：基础环境安装 (HuggingFace/ModelScope)

# 创建虚拟环境
python -m venv docowl-env
source docowl-env/bin/activate

# 使用清华源安装 PyTorch (根据实际 CUDA 版本调整，此处以 cu118 为例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装其他核心依赖
pip install transformers accelerate sentencepiece protobuf -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 ModelScope (国内用户推荐，下载模型更快)
pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

方案二：使用 ms-swift 框架 (推荐用于微调和最新模型)

如果您计划微调 DocOwl2 或使用最新的训练代码，建议使用阿里巴巴开源的 ms-swift：

# 安装 ms-swift
pip install swift -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下示例展示如何使用 Python 加载 DocOwl1.5 模型并进行简单的文档问答。代码同时支持从 HuggingFace 和 ModelScope 加载模型（国内用户请取消 ModelScope 相关注释）。

1. 加载模型与推理

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from PIL import Image

# --- 配置模型路径 ---
# 选项 A: 从 ModelScope 加载 (国内推荐)
# model_id = "iic/mPLUG-DocOwl1.5" 
# 选项 B: 从 HuggingFace 加载
model_id = "mPLUG/DockOwl1.5" 

# --- 加载模型和分词器 ---
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    trust_remote_code=True,
    torch_dtype=torch.float16 # 使用半精度节省显存
).eval()

# --- 准备输入 ---
# 加载文档图片
image_path = "your_document_image.png"
image = Image.open(image_path).convert('RGB')

# 构建提示词 (Prompt)
question = "What is the main topic of this document?"
messages = [
    {"role": "user", "content": [{"type": "image"}, {"type": "text", "text": question}]}
]

# --- 执行推理 ---
# 注意：不同子模型（如 TinyChart, DocOwl2）的预处理方式可能略有差异，请参考对应子目录文档
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors='pt').to(model.device)

# 生成回答
generated_ids = model.generate(
    **inputs,
    max_new_tokens=512,
    do_sample=False
)

generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

2. 使用在线 Demo (免部署体验)

如果您希望先体验效果再部署本地环境，可以访问以下在线空间：

• DocOwl 1.5:
  • ModelScope 在线体验 (推荐，稳定性更高)
  • HuggingFace Space
• TinyChart-3B (专注图表理解):
  • HuggingFace Space

提示: 对于多页文档理解或特定任务（如 TinyChart 的程序思维推理），请参考项目中对应子文件夹（./DocOwl2/, ./TinyChart/）下的详细推理脚本。