一个用于将 PDF 及其他基于图像的文档格式转换为干净、易读的纯文本格式的工具包。

试用在线演示：https://olmocr.allenai.org/

特性：

• 将基于 PDF、PNG 和 JPEG 的文档转换为整洁的 Markdown 格式
• 支持公式、表格、手写内容以及复杂排版
• 自动去除页眉和页脚
• 即使在存在图表、多栏布局和插图的情况下，也能按照自然的阅读顺序转换为文本
• 高效，每百万页转换成本不到 200 美元
• （基于 70 亿参数的视觉语言模型，因此需要 GPU）

新闻

• 2025年10月21日 - v0.4.0 - 新模型发布，利用合成数据将 olmOCR 基准测试分数提升了约 4 分，并引入了强化学习训练。
• 2025年8月13日 - v0.3.0 - 新模型发布，修复了自动旋转检测问题以及对空白文档的幻觉现象。
• 2025年7月24日 - v0.2.1 - 新模型发布，在 olmOCR-Bench 上得分提高了 3 分，同时由于默认使用 FP8 格式，运行速度显著加快，且每个文档所需的重试次数也大大减少。
• 2025年7月23日 - v0.2.0 - 新的清理后的 训练代码，使得自行训练 olmOCR 模型变得更加简单。
• 2025年6月17日 - v0.1.75 - 从 sglang 切换到 vllm 基于的推理管道，更新 Docker 镜像至 CUDA 12.8。
• 2025年5月23日 - v0.1.70 - 现已提供官方 Docker 支持及镜像！查看 Docker 使用方法
• 2025年5月19日 - v0.1.68 - olmOCR-Bench 正式发布，得分为 77.4。此次发布还包括因提示词方面的错误修复而带来的 olmOCR 流程性能提升 2 分。
• 2025年3月17日 - v0.1.60 - 由于采样过程中温度选择更佳，性能有所提升。
• 2025年2月25日 - v0.1.58 - 初次公开发布并推出演示。

基准测试

olmOCR-Bench： 我们还提供一套全面的基准测试套件，涵盖 1,400 份文档中的 7,000 多个测试用例，以帮助评估 OCR 系统的性能。

	ArXiv	旧数学扫描	表格	旧扫描	页眉与页脚	多栏	长而细小的文字	基础	总体
Mistral OCR API	77.2	67.5	60.6	29.3	93.6	71.3	77.1	99.4	72.0±1.1
Marker 1.10.1	83.8	66.8	72.9	33.5	86.6	80.0	85.7	99.3	76.1±1.1
MinerU 2.5.4*	76.6	54.6	84.9	33.7	96.6	78.2	83.5	93.7	75.2±1.1
DeepSeek-OCR	77.2	73.6	80.2	33.3	96.1	66.4	79.4	99.8	75.7±1.0
Nanonets-OCR2-3B	75.4	46.1	86.8	40.9	32.1	81.9	93.0	99.6	69.5±1.1
PaddleOCR-VL*	85.7	71.0	84.1	37.8	97.0	79.9	85.7	98.5	80.0±1.0
Infinity-Parser 7B*	84.4	83.8	85.0	47.9	88.7	84.2	86.4	99.8	82.5±？
Chandra OCR 0.1.0*	82.2	80.3	88.0	50.4	90.8	81.2	92.3	99.9	83.1±0.9
olmOCR v0.4.0	83.0	82.3	84.9	47.7	96.1	83.7	81.9	99.7	82.4±1.1

安装

系统依赖

你需要安装 poppler-utils 和额外的字体，以便渲染 PDF 图像。

安装依赖（Ubuntu/Debian）：

sudo apt-get update
sudo apt-get install poppler-utils ttf-mscorefonts-installer msttcorefonts fonts-crosextra-caladea fonts-crosextra-carlito gsfonts lcdf-typetools

Python 安装

设置一个 conda 环境并安装 olmocr。运行 olmOCR 的依赖项在现有 Python 环境中安装起来比较困难，因此请务必创建一个干净的 Python 环境来进行安装。

conda create -n olmocr python=3.11
conda activate olmocr

根据你的使用场景选择合适的安装选项：

选项 1：远程推理（轻量级）

如果你计划使用带有 --server 标志的远程 vLLM 服务器，请安装基础包：

pip install olmocr

这样可以避免安装诸如 PyTorch 这样的大型 GPU 依赖库（约 2GB+）。

选项 2：本地 GPU 推理

要求：

• 近期的 NVIDIA GPU（已在 RTX 4090、L40S、A100、H100 上测试过），且至少有 12 GB 的显存
• 30 GB 的可用磁盘空间

要在你自己的 GPU 上运行推理：

pip install olmocr[gpu] --extra-index-url https://download.pytorch.org/whl/cu128

# 推荐：安装 flash infer 以加速 GPU 上的推理
pip install https://download.pytorch.org/whl/cu128/flashinfer/flashinfer_python-0.2.5%2Bcu128torch2.7-cp38-abi3-linux_x86_64.whl

选项 3：Beaker 集群执行

如果要使用 --beaker 标志将任务提交到 Beaker 集群：

pip install olmocr[beaker]

选项 4：基准测试套件

如果要运行 olmOCR 基准测试套件：

pip install olmocr[bench]

组合安装

你可以结合多个选项：

# GPU + Beaker 支持
pip install olmocr[gpu,beaker] --extra-index-url https://download.pytorch.org/whl/cu128

# GPU + 基准测试支持
pip install olmocr[gpu,bench] --extra-index-url https://download.pytorch.org/whl/cu128

故障排除

如果你遇到关于“打开文件数过多”的错误，请更新你的 ulimit：

ulimit -n 65536

使用示例

为了快速测试，可以尝试 web 演示。

转换单个 PDF（本地 GPU）：

# 下载一个示例 PDF
curl -o olmocr-sample.pdf https://olmocr.allenai.org/papers/olmocr_3pg_sample.pdf

# 将其转换为 markdown
olmocr ./localworkspace --markdown --pdfs olmocr-sample.pdf

转换图像文件：

olmocr ./localworkspace --markdown --pdfs random_page.png

转换多个 PDF：

olmocr ./localworkspace --markdown --pdfs tests/gnarly_pdfs/*.pdf

使用远程推理服务器：

olmocr ./localworkspace --server http://remote-server:8000/v1 --model allenai/olmOCR-2-7B-1025-FP8 --markdown --pdfs *.pdf

使用 --markdown 标志后，结果将以 markdown 文件的形式存储在 ./localworkspace/markdown/ 目录下。

注意： 如果你喜欢，也可以使用 python -m olmocr.pipeline 来代替 olmocr。

查看结果

此时，./localworkspace/ 工作目录下将同时包含 Dolma 和 markdown 文件（如果使用了 --markdown）。

cat localworkspace/markdown/olmocr-sample.md 

olmOCR：利用视觉语言模型解锁 PDF 中的数万亿个 token
...

使用推理提供商或外部服务器

如果你已经在其他地方运行了一个 vLLM 服务器（或任何实现了 OpenAI API 的推理平台），你可以让 olmOCR 使用它，而不是启动本地实例。

远程推理的安装：

# 轻量级安装——无需 GPU 依赖
pip install olmocr

使用外部服务器：

# 使用外部 vLLM 服务器代替本地服务器
olmocr ./localworkspace --server http://remote-server:8000/v1 --model allenai/olmOCR-2-7B-1025-FP8 --markdown --pdfs tests/gnarly_pdfs/*.pdf

vLLM 中提供的模型名称需要与 --model 参数中指定的值一致。

vLLM 服务器启动示例：

vllm serve allenai/olmOCR-2-7B-1025-FP8 --max-model-len 16384

经验证的外部提供商

我们已在以下外部模型提供商上测试了 olmOCR-2-7B-1025-FP8，并确认它们可以正常工作：

	每 100 万输入 token 的费用	每 100 万输出 token 的费用	示例命令
Cirrascale	$0.07	$0.15	olmocr ./workspace --server https://ai2endpoints.cirrascale.ai/api --api_key sk-XXXXXXX --workers 1 --max_concurrent_requests 20 --model olmOCR-2-7B-1025 --pdfs tests/gnarly_pdfs/*.pdf
DeepInfra	$0.09	$0.19	olmocr ./workspace --server https://api.deepinfra.com/v1/openai --api_key DfXXXXXXX --workers 1 --max_concurrent_requests 20 --model allenai/olmOCR-2-7B-1025 --pdfs tests/gnarly_pdfs/*.pdf
Parasail	$0.10	$0.20	olmocr ./workspace --server https://api.parasail.io/v1 --api_key psk-XXXXX --workers 1 --max_concurrent_requests 20 --model allenai/olmOCR-2-7B-1025 --pdfs tests/gnarly_pdfs/*.pdf

参数说明：

• --server：定义兼容 OpenAI 的端点，例如 https://api.deepinfra.com/v1/openai。
• --api_key：你的 API 密钥，通过 Authorization Bearer HTTP 头传递。
• --max_concurrent_requests：一次最多可向推理提供商发送的并发请求数量。
• --workers：一次最多可处理的页面组数。建议将其设置为 1，以便完成一组内容后再继续下一组。
• --pages_per_group：由于许多外部提供商的并发请求限制较低，你可能希望减少每组的页数。
• --model：模型标识符，例如 allenai/olmOCR-2-7B-1025。不同的提供商可能有不同的名称；如果你在本地运行，则可以使用 olmocr。
• 其他参数与本地推理时相同。

多节点/集群使用

如果您希望使用多个并行运行的节点来转换数百万个 PDF 文件，olmOCR 支持从 AWS S3 读取 PDF，并使用 AWS S3 输出存储桶来协调工作。

启动第一个工作节点：

olmocr s3://my_s3_bucket/pdfworkspaces/exampleworkspace --pdfs s3://my_s3_bucket/jakep/gnarly_pdfs/*.pdf

这会在您的 AWS 存储桶中设置一个简单的任务队列，并开始转换 PDF 文件。

在后续的工作节点上：

olmocr s3://my_s3_bucket/pdfworkspaces/exampleworkspace

这些节点会自动从同一个工作空间队列中获取任务并开始处理。

使用 Beaker 进行集群执行

如果您在 Ai2 工作，并希望使用 beaker 高效地线性化数百万个 PDF 文件，请安装带有 Beaker 支持的版本：

pip install olmocr[gpu,beaker] --extra-index-url https://download.pytorch.org/whl/cu128

然后使用 --beaker 标志在本地准备工作空间，并在集群中启动 N 个 GPU 工作节点：

olmocr s3://my_s3_bucket/pdfworkspaces/exampleworkspace --pdfs s3://my_s3_bucket/jakep/gnarly_pdfs/*.pdf --beaker --beaker_gpus 4

使用 Docker

拉取 Docker 镜像（较大，包含模型，约 30GB）：

docker pull alleninstituteforai/olmocr:latest-with-model

对于希望自行管理模型下载的高级用户，我们还提供了不含模型的基础镜像：

docker pull alleninstituteforai/olmocr:latest

快速入门 - 处理 PDF 文件

处理当前目录中的单个 PDF 文件：

docker run --gpus all \
  -v $(pwd):/workspace \
  alleninstituteforai/olmocr:latest-with-model \
  -c "olmocr /workspace/output --markdown --pdfs /workspace/sample.pdf"

处理多个 PDF 文件：

docker run --gpus all \
  -v /path/to/pdfs:/input \
  -v /path/to/output:/output \
  alleninstituteforai/olmocr:latest-with-model \
  -c "olmocr /output --markdown --pdfs /input/*.pdf"

交互模式

以交互模式运行容器，便于探索和调试：

docker run -it --gpus all alleninstituteforai/olmocr:latest-with-model

更多信息请访问我们在 Docker Hub 上的 Docker 仓库。

完整文档

查看所有可用选项：

olmocr --help
用法：pipeline.py [-h] [--pdfs [PDFS ...]] [--model MODEL] [--workspace_profile WORKSPACE_PROFILE] [--pdf_profile PDF_PROFILE] [--pages_per_group PAGES_PER_GROUP] [--max_page_retries MAX_PAGE_RETRIES] [--max_page_error_rate MAX_PAGE_ERROR_RATE] [--workers WORKERS]
                   [--apply_filter] [--stats] [--markdown] [--target_longest_image_dim TARGET_LONGEST_IMAGE_DIM] [--target_anchor_text_len TARGET_ANCHOR_TEXT_LEN] [--guided_decoding] [--gpu-memory-utilization GPU_MEMORY_UTILIZATION] [--max_model_len MAX_MODEL_LEN]
                   [--tensor-parallel-size TENSOR_PARALLEL_SIZE] [--data-parallel-size DATA_PARALLEL_SIZE] [--port PORT] [--server SERVER] [--beaker] [--beaker_workspace BEAKER_WORKSPACE] [--beaker_cluster BEAKER_CLUSTER] [--beaker_gpus BEAKER_GPUS] [--beaker_priority BEAKER_PRIORITY]
                   workspace

用于通过批处理推理管道运行数百万个 PDF 文件的管理器

位置参数：
  workspace             用于存储工作的文件系统路径，可以是本地文件夹，也可以是与多个工作节点协作时使用的 S3 路径，例如 s3://bucket/prefix/

选项：
  -h, --help            显示此帮助消息并退出
  --pdfs [PDFS ...]     将存储在 S3 中的 PDF 添加到工作空间的路径，可以是通配符路径 s3://bucket/prefix/*.pdf，或包含 PDF 路径列表的文件路径
  --model MODEL         模型所在路径，默认为 allenai/olmOCR-7B-0725-FP8，可以是本地路径、S3 或 Hugging Face。
  --workspace_profile WORKSPACE_PROFILE
                        用于访问工作空间的 S3 配置文件
  --pdf_profile PDF_PROFILE
                        用于访问原始 PDF 文档的 S3 配置文件
  --pages_per_group PAGES_PER_GROUP
                        每个工作项组的目标 PDF 页面数量
  --max_page_retries MAX_PAGE_RETRIES
                        我们将重试渲染页面的最大次数
  --max_page_error_rate MAX_PAGE_ERROR_RATE
                        文档中允许的失败页面比例，默认为 1/250
  --workers WORKERS     同时运行的工作节点数量
  --apply_filter        对非表单且不太可能是 SEO 垃圾邮件的英文 PDF 应用基本过滤
  --stats               不执行任何作业，而是报告当前工作空间的一些统计信息
  --markdown            同时将自然文本写入 Markdown 文件，并保留输入 PDF 的文件夹结构
  --target_longest_image_dim TARGET_LONGEST_IMAGE_DIM
                        用于渲染 PDF 页面的最长边尺寸
  --target_anchor_text_len TARGET_ANCHOR_TEXT_LEN
                        可使用的锚文本最大长度（字符数），新模型不再使用此参数
  --guided_decoding     启用针对模型 YAML 类型输出的引导解码功能

VLLM 参数：
  --gpu-memory-utilization GPU_MEMORY_UTILIZATION
                        VLLM 可预先分配用于 KV 缓存的显存比例（传递给 vllm serve）。
  --max_model_len MAX_MODEL_LEN
                        VLLM 将为其分配 KV 缓存的最大标记数上限，如果低于此值，VLLM 将不会启动
  --tensor-parallel-size TENSOR_PARALLEL_SIZE, -tp TENSOR_PARALLEL_SIZE
                        VLLM 的张量并行规模
  --data-parallel-size DATA_PARALLEL_SIZE, -dp DATA_PARALLEL_SIZE
                        VLLM 的数据并行规模
  --port PORT           VLLM 服务器使用的端口
  --server SERVER       外部 VLLM（或其他兼容提供商）的 URL
                        服务器地址（例如 http://hostname:port）。如果提供此选项，
                        则跳过本地 VLLM 实例的启动

Beaker/集群执行：
  --beaker              将此作业提交到 Beaker，而不是在本地运行
  --beaker_workspace BEAKER_WORKSPACE
                        要提交到的 Beaker 工作空间
  --beaker_cluster BEAKER_CLUSTER
                        您希望在其上运行的 Beaker 集群
  --beaker_gpus BEAKER_GPUS
                        要运行的 GPU 副本数量
  --beaker_priority BEAKER_PRIORITY
                        该作业的 Beaker 优先级级别

代码概览

这里有一些不错的可重用代码片段，可能对您的项目有所帮助：

• 使用 ChatGPT 4o 实现高质量自然文本解析的提示策略 - buildsilver.py
• 基于语言的基本过滤及 SEO 垃圾信息去除 - filter.py
• Qwen2.5-VL 的 SFT 微调代码 - train.py
• GRPO 强化学习训练器 - grpo_train.py
• 合成数据生成 - mine_html_templates.py
• 使用 VLLM 和微调模型处理数百万份 PDF 文件 - pipeline.py
• 查看由 PDF 文件生成的 Dolma 文档 - dolmaviewer.py

团队

olmOCR 由 AllenNLP 团队开发并维护，背后支持机构是 艾伦人工智能研究所 (AI2)。 AI2 是一家非营利性研究机构，其使命是通过具有重大影响力的 AI 研究与工程为人类社会作出贡献。 如需了解具体为该代码库做出贡献的人员，请参阅我们的 贡献者页面。

许可证

olmOCR 采用 Apache 2.0 许可证授权。 许可证全文可在 GitHub 上找到。

引用

针对 olmOCR v1 和 OlmOCR-bench：

@misc{olmocrbench,
      title={{olmOCR：利用视觉语言模型解锁 PDF 中的数万亿个 token}},
      author={杰克·波兹南斯基、乔恩·博尔查特、杰森·邓克尔伯格、里根·哈夫、丹尼尔·林、阿曼·兰加普尔、克里斯托弗·维尔海姆、凯尔·洛、卢卡·索尔代尼},
      year={2025},
      eprint={2502.18443},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18443},
}

针对 olmOCR v2 的 RL 单元测试奖励机制：

@misc{olmocr2,
      title={olmOCR 2：用于文档 OCR 的单元测试奖励机制}, 
      author={杰克·波兹南斯基、卢卡·索尔代尼、凯尔·洛},
      year={2025},
      eprint={2510.19817},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2510.19817}, 
}

olmOCR 快速上手指南

olmOCR 是一个基于视觉语言模型（VLM）的开源工具，旨在将 PDF、PNG、JPEG 等文档转换为干净、可读的 Markdown 文本。它擅长处理公式、表格、手写体及复杂排版（如多栏布局），并能自动去除页眉页脚。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu/Debian)
• GPU (本地推理): NVIDIA GPU (RTX 4090, L40S, A100, H100 等)，显存至少 12GB
• 磁盘空间: 至少 30GB 可用空间
• Python 版本: 3.11

前置依赖

在安装 Python 包之前，需先安装系统级依赖（用于 PDF 渲染和字体支持）：

sudo apt-get update
sudo apt-get install poppler-utils ttf-mscorefonts-installer msttcorefonts fonts-crosextra-caladea fonts-crosextra-carlito gsfonts lcdf-typetools

提示: 若遇到 too many open files 错误，请执行 ulimit -n 65536 增加文件描述符限制。

安装步骤

建议创建独立的 Conda 环境以避免依赖冲突：

conda create -n olmocr python=3.11
conda activate olmocr

根据使用场景选择以下一种安装方式：

方案 A：本地 GPU 推理（推荐）

适用于拥有高性能 NVIDIA 显卡的用户。

# 安装带有 GPU 支持的版本 (CUDA 12.8)
pip install olmocr[gpu] --extra-index-url https://download.pytorch.org/whl/cu128

# (可选) 安装 flash infer 以加速推理
pip install https://download.pytorch.org/whl/cu128/flashinfer/flashinfer_python-0.2.5%2Bcu128torch2.7-cp38-abi3-linux_x86_64.whl

方案 B：远程推理（轻量级）

适用于无本地 GPU，计划连接远程 vLLM 服务器或云服务的用户。此方式无需安装庞大的 PyTorch 依赖。

pip install olmocr

方案 C：组合安装

如需同时支持 Beaker 集群或基准测试：

# GPU + Beaker 支持
pip install olmocr[gpu,beaker] --extra-index-url https://download.pytorch.org/whl/cu128

基本使用

1. 转换单个 PDF 文件（本地 GPU）

下载示例文件并转换为 Markdown：

# 下载示例 PDF
curl -o olmocr-sample.pdf https://olmocr.allenai.org/papers/olmocr_3pg_sample.pdf

# 执行转换，结果保存在 ./localworkspace/markdown/ 目录
olmocr ./localworkspace --markdown --pdfs olmocr-sample.pdf

2. 转换图片文件

支持直接转换 PNG 或 JPEG 图片：

olmocr ./localworkspace --markdown --pdfs random_page.png

3. 批量转换

支持通配符批量处理文件夹内的所有 PDF：

olmocr ./localworkspace --markdown --pdfs tests/gnarly_pdfs/*.pdf

4. 使用远程服务器推理

如果你没有本地 GPU，可以连接到外部 vLLM 服务（需先安装方案 B）：

olmocr ./localworkspace --server http://remote-server:8000/v1 --model allenai/olmOCR-2-7B-1025-FP8 --markdown --pdfs *.pdf

查看结果

转换完成后，Markdown 文件位于工作区的 markdown 子目录下：

cat localworkspace/markdown/olmocr-sample.md