漫画 OCR

用于日语文本的光学字符识别，主要针对日本漫画。它使用基于 Transformer 的 视觉编码器解码器 框架构建的自定义端到端模型。

Manga OCR 可以用作通用的日文印刷文本 OCR，但其主要目标是在各种漫画特有的场景下提供高质量的文本识别：

• 垂直和水平文本
• 带假名的文本
• 叠加在图像上的文本
• 多种字体和字形风格
• 低质量图像

与许多 OCR 模型不同，Manga OCR 支持在一次前向传播中识别多行文本，因此可以一次性处理漫画中的对话气泡，而无需将其拆分为单行。

相关资源：

• Poricom，一个使用 manga-ocr 的 GUI 阅读器
• mokuro，一个利用 manga-ocr 为漫画生成 HTML 覆盖层的工具
• Xelieu 的指南，一份关于如何使用 manga-ocr/mokuro 设置阅读和数据挖掘工作流的全面指南（以及许多其他实用技巧）
• 开发代码，包括训练和合成数据生成代码：链接
• 合成数据生成流程说明 + 生成图像示例：链接

安装

你需要 Python 3.6 或更高版本。请注意，由于 PyTorch 的依赖关系，最新的 Python 版本可能不受支持，因为 PyTorch 经常会在新版本的 Python 发布后出现问题，需要一段时间才能适配。请参考 PyTorch 官网 获取受支持的 Python 版本列表。

一些用户报告称从 Microsoft Store 安装的 Python 会出现问题。如果你遇到以下错误： ImportError: DLL load failed while importing fugashi: The specified module could not be found.， 请尝试从 官方站点 安装 Python。

如果你想使用 GPU 运行，请按照 这里 的说明安装 PyTorch，否则可以跳过此步骤。

故障排除

• ImportError: DLL load failed while importing fugashi: The specified module could not be found. - 可能是由于从 Microsoft Store 安装的 Python 导致的，请尝试从 官方站点 安装 Python。
• 在 ARM 架构上安装 mecab-python3 时出现问题 - 请尝试 此 workaround。

使用方法

Python API

from manga_ocr import MangaOcr

mocr = MangaOcr()
text = mocr('/path/to/img')

或者

import PIL.Image

from manga_ocr import MangaOcr

mocr = MangaOcr()
img = PIL.Image.open('/path/to/img')
text = mocr(img)

后台运行

Manga OCR 可以在后台运行，并在新图像出现时自动处理它们。

你可以使用像 ShareX 或 Flameshot 这样的工具手动截取屏幕区域，然后让 OCR 从系统剪贴板或指定目录中读取内容。默认情况下，Manga OCR 会将识别出的文本写入剪贴板，这样就可以被像 Yomitan 这样的词典软件读取。

在 Linux 系统上，剪贴板模式需要 Wayland 会话使用 wl-copy，或 X11 会话使用 xclip。你可以在终端中运行 echo $XDG_SESSION_TYPE 来确定你的系统需要哪一种工具。

使用词典阅读日语漫画的完整设置可能如下所示：

使用 ShareX 截取区域 -> 将图像写入剪贴板 -> Manga OCR -> 将文本写入剪贴板 -> Yomitan

https://user-images.githubusercontent.com/22717958/150238361-052b95d1-0152-485f-a441-48a957536239.mp4

• 若要从剪贴板读取图像并将识别出的文本写入剪贴板，请在命令行中运行：

  manga_ocr
  

• 若要从 ShareX 的截图文件夹中读取图像，请在命令行中运行：

  manga_ocr "/path/to/sharex/screenshot/folder"
  

  请注意，在剪贴板扫描模式下，你复制到剪贴板的任何图像都会被 OCR 处理，并替换为识别出的文本。如果你希望像往常一样复制和粘贴图像，建议使用文件夹扫描模式，并在 ShareX 中单独设置一个仅用于 OCR 的任务，该任务会将截图保存到某个文件夹，而不将其复制到剪贴板。

首次运行时，下载模型（约 400 MB）可能需要几分钟。当日志中出现 OCR ready 消息时，OCR 即可使用。

• 若要查看其他选项，请在命令行中运行：

  manga_ocr --help
  

如果 manga_ocr 无法正常工作，你也可以尝试用 python -m manga_ocr 替代。

使用提示

• OCR 支持多行文本，但文本越长，出现错误的可能性越大。 如果较长文本的某一部分未能成功识别，可以尝试对图像的较小部分进行识别。
• 该模型经过专门训练，能够很好地处理漫画文本，但对于其他类型的印刷文本，如小说或电子游戏，也能取得不错的效果。不过，它可能无法处理手写文本。
• 无论图像上是否有文本，模型都会尝试进行识别。由于它使用 Transformer 解码器（因此对日语语言有一定的理解），甚至可能会“凭空”生成一些看起来很真实的句子！这在大多数情况下不会造成问题，但在未来的版本中可能会得到改进。

示例

以下是一些精选示例，展示了该模型的能力。

图像	Manga OCR 结果
	素直にあやまるしか
	立川で見た〝穴〟の下の巨大な眼は：
	実戦剣術も一流です
	第３０話重苦しい闇の奥で静かに呼吸づきながら
	よかったじゃないわよ！何逃げてるのよ！！早くあいつを退治してよ！
	ぎゃっ
	ピンポーーン
	ＬＩＮＫ！私達７人の力でガノンの塔の結界をやぶります
	ファイアパンチ
	少し黙っている
	わかるかな〜？
	警察にも先生にも町中の人達に！！

联系方式

如有任何疑问，请随时通过 kha-white@mail.com 与我联系。

致谢

本项目使用了以下数据集：

• Manga109-s 数据集
• CC-100 数据集

Manga OCR 快速上手指南

Manga OCR 是一个专为日语漫画设计的端到端光学字符识别（OCR）工具。它基于 Transformers 的 Vision Encoder Decoder 框架，能够高质量地识别竖排/横排文字、带振假名（Furigana）的文本、叠加在图像上的文字以及各种字体风格，支持单次前向传播识别多行文本（无需按行切割）。

环境准备

• 操作系统：Windows / Linux / macOS
• Python 版本：3.6 或更高（建议使用官方安装的 Python，避免使用 Microsoft Store 版本以防依赖错误）
• GPU 支持（可选）：如需加速推理，请预先安装支持 CUDA 的 PyTorch 版本。
• 网络要求：首次运行时会自动下载约 400MB 的模型文件，请确保网络通畅。国内用户若下载缓慢，可尝试配置代理或使用支持断点续传的网络环境。

安装步骤

1. 确保已安装符合要求的 Python 环境。
2. （可选）如需 GPU 加速，请先前往 PyTorch 官网 安装对应版本的 PyTorch。
3. 使用 pip 安装 manga-ocr：

pip install manga-ocr

注：如遇 mecab-python3 在 ARM 架构下安装失败，请参考项目 Issue #16 中的变通方案。

基本使用

方式一：Python API 调用

最简代码示例如下：

from manga_ocr import MangaOcr

mocr = MangaOcr()
text = mocr('/path/to/img')
print(text)

也可传入 PIL Image 对象：

import PIL.Image
from manga_ocr import MangaOcr

mocr = MangaOcr()
img = PIL.Image.open('/path/to/img')
text = mocr(img)
print(text)

方式二：命令行后台运行

启动后将持续监听剪贴板或指定文件夹中的新图片，并自动输出识别结果到剪贴板：

• 监听剪贴板模式（适合配合 ShareX、Flameshot 等截图工具）：

manga_ocr

• 监听指定文件夹模式（例如 ShareX 截图保存目录）：

manga_ocr "/path/to/sharex/screenshot/folder"

首次运行时需下载模型，待日志出现 OCR ready 即表示就绪。识别结果将自动写入系统剪贴板，可直接粘贴至词典工具（如 Yomitan）中使用。

提示：在剪贴板模式下，所有复制的图片都会被处理并替换为识别文本。若需保留图片复制功能，请使用文件夹扫描模式，并在截图工具中单独设置 OCR 任务。