日语版 | English

🌟 概要

YomiToku は日本語に特化した AI 文章画像解析エンジン(Document AI)です。画像内の文字の全文 OCR およびレイアウト解析功能を有しており、画像内の文字情報や図表を認識、抽出、変換します。

• 🤖 日本語データセットで学習した 4 種類(文字位置の検知、文字列認識、レイアウト解析、表の構造認識)の AI モデルを搭載しています。4 種類のモデルはすべて独自に学習されたモデルで日本語文書に対して、高精度に推論可能です。
• 🇯🇵 各モデルは日本語の文書画像に特化して学習されており、7000 文字を超える日本語文字の認識をサポート、手書き文字、縦書きなど日本語特有のレイアウト構造の文書画像的解析も可能です。（日本語以外にも英語の文書に対しても対応しています）。
• 📈 レイアウト解析、表の構造解析, 読み順推定機能により、文書画像的レイアウト的意味的構造を壊さずに情報を抽出することが可能です。
• 📄 多様な出力形式をサポートしています。html やマークダウン、json、csv のいずれかのフォーマットに変換可能です。また、文書内に含まれる図表、画像的抽出的出力も可能です。文書画像をサーチャブルPDFに変換する処理もサポートしています。
• ⚡ GPU 環境で高速に動作し、効率的に文書的文字起こし解析が可能です。また、VRAM も 8GB 以内で動作し、ハイエンドな GPU を用意する必要はありません。軽量モデルを用いれば CPU でも高速に推論が可能です。

🖼️ デモ

gallery.mdにも複数種類的画像的検証結果を掲載しています。

入力画像	OCR 的 報告
レイアウト解析的 報告	エクスポート (HTML で出力したものをスクショ)

Markdown でエクスポートした結果に関してはリポзиトリ内的static/out/in_demo_p1.mdを参照

• 赤枠 : 図、画像等的 位置
• 緑枠 : 表領域全体的 位置
• ピンク枠 : 表的 セル構造(セル上の文字は [行番号, 列番号] (rowspan x colspan)を表します)
• 青枠 : 段落、テキストグループ領域
• 赤矢印 : 読み順推定的 報告

画像的 出典:「令和 6 年版情報通信白書 3 章 2 節 AI 的 进化に伴い発展するテクノロジー」：（総務省） を加工して作成

📣 リリース情報

• 2025 年 11 月 5 日 YomiToku v0.10.1 CPU推论向けに最適化したGPU Free OCRモデル的サポート
• 2025 年 4 月 4 日 YomiToku v0.8.0 手書き文字识别的サポート
• 2024 年 11 月 26 日 YomiToku v0.5.1 (beta) を公開

💡 インストール的 方法

pip install yomitoku

• PyTorch はご自身的 CUDA 的 バージョンにあったものをインストールしてください。デフォルトでは CUDA12.4 以上的ものがインストールされます。
• PyTorch は 2.5 以上のバージョン的に対応しています。その関係で CUDA11.8 以上のバージョンが必要になります。対応できない場合は、リポジトリ内的 Dockerfile を利用してください。

🚀 実行的 方法

通常モデルでの推論

yomitoku ${path_data} -f md -o results -v --figure

軽量モデルでの推论

--liteオプションを使用してください。

yomitoku ${path_data} -f md --lite -d cpu -o results -v --figure

軽量モデルは１行あたり読み取り可能な最大文字列長が50文字的制限があります。英文や１行あたり的文字数が多い文書は通常モデルを使用することを推奨します。

コマンドライン引数一覧

引数名	説明
${path_data}	解析対象的画像が含まれたディレクトリか画像ファイル的パスを直接指定します。ディレクトリを対象とした場合はサブディレクトリ内的画像も含めて処理を実行します。
--format(-f)	出力形式的ファイルフォーマットを指定します。(json, csv, html, md, pdf(searchable-pdf) をサポート)
--outdir(-o)	出力先的ディレクトリ名を指定します。存在しない場合は新規で作成されます。
--vis(-v)	解析結果を可視化した画像を出力します。
--lite(-l)	軽量モデルで推論を実施します。通常より高速に推論できますが、若干、精度が低下する可能性があります。
--device(-d)	モデルを実行するためのデバイスを指定します。gpu が利用できない場合は cpu で推論が実施されます。(デフォル特: cuda)
--ignore_line_break	画像的 改行位置を無視して、段落内的文章を連結して返します。（デフォル特：画像通り的改行位置で改行します。）
--figure_letter	検出した図表内的包含される文字も出力ファイル内にエクスポートします。
--figure	検出した図、画像を出力ファイル内にエクスポートします。
--encoding	エクスポートする出力ファイル的文字エンコーディングを指定します。サポートされていない文字コードが含まれる場合は、その文字を無視します。(utf-8, utf-8-sig, shift-jis, enc-jp, cp932)
--combine	PDFを入力に与えたときに、複数ページが含まれる場合に、それら的予測結果を一つ的ファイル内に統合してエクスポートします。
--ignore_meta	文章的header, footerなどの文字情報を出力ファイル内に含めません。
--ignore_ruby	ふりがな（ルビ）テキストを出力から除外します。
--ruby_threshold	ルビ判定的閾値を指定します（デフォル特：0.5）。--ignore_rubyと併用します。

その他のオプションに関してはヘルプを参照してください。

yomitoku --help

NOTE

• 通常モデルでは GPU 的実行を推奨します。CPU を用いて的推论向けに最优化されておらず、処理時間が長くなります。
• 軽量モデルでは CPU でも高速に推論できます。
• YomiToku は文書 OCR 向けに最適化されており、情景 OCR(看板など紙以外にプリントされた文字的読み取り)向けには最適化されていません。
• AI-OCR 的識別精度を高めるために、入力画像的解像度が重要です。低解像度画像では識別精度が低下します。最低でも画像的短辺を 720px 以上の画像で推論することをお勧めします。

📋 Extractor（構造化データ抽出）

YomiToku Extractorは、帳票画像やPDFからYAMLスキーマに基づいて構造化データを抽出する機能です。OCR・レイアウト解析的結果から、指定したフィールド的値を自動で抽出しJSONとして出力します。

抽出方式

コマンド	方式	特徴
yomitoku_extract	ルールベース	LLM不要。KV検索・グリッド照合・正規表現で高速に抽出
yomitoku_extract_with_llm	LLMベース	vLLM等的LLMサーバーを利用してより柔軟に抽出

• ルールベース: 定型帳票（申請書、報告書、伝票など）に適しています。抽出対象的位置やテキストパターンが決まっている場合に高速かつ高精度に抽出できます。
• LLMベース: 非定型帳票（名刺、レシート、請求書など）に適しています。レイアウトや値的パターンが不定の場合でも、文脈を理解して柔軟に抽出できます。

インストール

pip install yomitoku[extract]

スキーマ定義例

fields:
  - name: phone_number
    description: 電話番号
    type: string
    normalize: phone_jp

  - name: invoice_number
    regex: 'T\d{13}'
    type: string

  - name: order_items
    structure: table
    columns:
      - name: product
        description: 商品名
      - name: price
        description: 金額
        normalize: numeric

実行例

# ルールベース抽出
yomitoku_extract input.jpg -s schema.yaml -o results -v

# LLMベース抽出（vLLMサーバー使用）
yomitoku_extract_with_llm input.jpg -s schema.yaml -m Qwen/Qwen3-8B-Instruct

詳細はExtractor ドキュメントを参照してください。

📝 ドキュメント

パッケージ的詳細はドキュumentを確認してください。

LICENSE

本リポジトリ内的ソースコードおよび本プロジェクト的関連 HuggingFace Hub 上的模型的重量文件は、CC BY-NC-SA 4.0 ライセンス的下で提供されています。
非商用的個人利用・研究目的的利用は自由に行っていただけます。

YomiToku © 2024 by Kotaro Kinoshita is licensed under CC BY-NC-SA 4.0.
To view a copy of this license, visit: https://creativecommons.org/licenses/by-nc-sa/4.0/

商用化/非商用的判断は以下のガイドラインに従い、判断いたします。

• ライセンス的 商用/非商用的 判断的 ため的 ガイドライン

---

商用利用について

YomiToku を商用環境でご利用いただく場合、以下の方法で 製品版的 商用ライセンス を提供しています。
手書き認識的精度向上、画像的 自動向き補正、レイアウト解析的強化など、製品版のみで利用可能な追加機能 を多数搭載しています。

オンプレミス環境・ローカル PC 的 商用利用

オンプレミス環境やローカル PC 的 商用利用をご希望の場合は、専用的 オンプレ向け的 商用ライセンス をご用意しています。
詳細は以下よりお問い合わせください。

• https://www.mlism.com/

クラウ드上的 商用利用（AWS Marketplace）

YomiToku 的 商用版は AWS Marketplace でも提供しています。
すべて的解析処理は お客様的 AWS 环境内で完結 し、外部ネットワークや第三者サーバーへの送信は一切発生しません。
機密文書・社内資料・個人情報を扱うワークロードでも安心してご利用いただけます。

• AWS Marketplace – YomiToku-Pro Document Analyzer
  https://aws.amazon.com/marketplace/search/results?searchTerms=yomitoku
• 利用手順（YomiToku-Client ドキュument）
  https://mlism-inc.github.io/yomitoku-client/

YomiToku 快速上手指南

YomiToku 是一款专为日语文档优化的 AI 文档图像解析引擎（Document AI），支持高精度 OCR、布局分析及表格结构识别。它特别擅长处理竖排文字、手写体及复杂日文排版，同时也支持英文文档。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux, macOS, 或 Windows
• Python 版本: 3.10, 3.11, 3.12, 或 3.13
• PyTorch 版本: >= 2.5 (推荐 2.6)
• CUDA 版本: >= 11.8 (若使用 GPU 加速)
  • 注意：默认安装会尝试匹配 CUDA 12.4+ 的 PyTorch 版本。若您的环境 CUDA 版本较低，请先手动安装对应版本的 PyTorch，或使用项目提供的 Dockerfile。
• 显存要求: 标准模型推荐 8GB 以上显存；轻量模型可在 CPU 或低显存设备上运行。

提示：为了获得最佳识别精度，建议输入图像的短边分辨率不低于 720px。

安装步骤

1. 安装基础包

使用 pip 直接安装核心功能：

pip install yomitoku

(国内用户如遇下载缓慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华镜像源)

2. 安装结构化数据提取功能（可选）

如果您需要从表单或发票中提取特定字段（Extractor 功能），请安装扩展包：

pip install "yomitoku[extract]"

基本使用

场景一：标准文档解析（推荐 GPU）

对指定图片或文件夹进行完整解析，并导出为 Markdown 格式，同时生成可视化结果和提取图片中的图表。

yomitoku ${path_data} -f md -o results -v --figure

• ${path_data}: 替换为您的图片文件路径或包含图片的文件夹路径。
• -f md: 输出格式为 Markdown (支持 json, csv, html, pdf 等)。
• -o results: 输出目录名称。
• -v: 生成带有标注框的可视化结果图。
• --figure: 单独导出检测到的图表和图片。

场景二：轻量级快速解析（适用 CPU）

在 CPU 环境或对速度要求较高、文档行数较短（每行<50 字）的场景下使用轻量模型：

yomitoku ${path_data} -f md --lite -d cpu -o results -v --figure

• --lite: 启用轻量模型，推理速度更快但精度略低。
• -d cpu: 强制使用 CPU 进行推理。

场景三：结构化数据提取

基于预定义的 YAML schema 从表单图片中提取结构化数据（规则模式）：

yomitoku_extract input.jpg -s schema.yaml -o results -v

• input.jpg: 输入的图片文件。
• -s schema.yaml: 定义提取字段和规则的 YAML 配置文件路径。

---

更多参数详情：运行 yomitoku --help 查看完整的命令行选项说明。