---

title: YuzuMarker.FontDetection emoji: 😅 colorFrom: blue colorTo: yellow sdk: docker app_port: 7860

新闻

• [更新 2023/05/05] 项目被推荐至阮一峰的网络日志 - 科技爱好者周刊：https://www.ruanyifeng.com/blog/2023/05/weekly-issue-253.html
• [更新 2023/11/18] 数据集现已开源！可从这里在 Hugging Face 下载：https://huggingface.co/datasets/gyrojeff/YuzuMarker.FontDetection/tree/master

场景文本字体数据集生成

本仓库还包含用于自动生成带有不同字体的场景文本图像数据集的数据。该数据集使用 VCB-Studio 的 CJK 字体包 和来自 pixiv.net 的数千张背景图片生成。

由于 pixiv 的数据只是随机抓取而来，因此不会共享这些数据。您可以根据自己的需求，准备适合您数据分布的背景数据集。

对于文本语料：

• 中文是从 3500个常用汉字 中随机生成的。
• 日文是从 https://www.uta-net.com 上的歌词列表中随机生成的。
• 韩文则是从其字母表中随机生成的。

所有文本还混合了英文文本，以模拟真实世界的数据。

数据准备流程

1. 下载 CJK 字体包并解压到 dataset/fonts 目录。
2. 准备背景数据，并将其放入 dataset/pixivimages 目录。
3. 运行以下脚本清理文件名：

   python dataset_filename_preprocess.py
   

生成脚本流程

现在准备工作已完成。可以使用以下命令生成数据集：

python font_ds_generate_script.py 1 1

请注意，该命令后面有两个参数。第二个参数用于将任务拆分为多个分区，第一个参数则是要运行的分区索引。例如，如果您想将任务分成4个分区并行执行，可以同时运行以下命令来加快速度：

python font_ds_generate_script.py 1 4
python font_ds_generate_script.py 2 4
python font_ds_generate_script.py 3 4
python font_ds_generate_script.py 4 4

生成的数据集将保存在 dataset/font_img 目录中。

需要注意的是，batch_generate_script_cmd_32.bat 和 batch_generate_script_cmd_64.bat 是 Windows 下的批处理脚本，可用于分别以32个和64个分区并行生成数据集。

最终检查

由于任务可能会被用户意外或故意终止，脚本内置了缓存机制，以避免重复生成同一张图片。不过，在这种情况下，脚本可能无法检测到缓存中的损坏（可能是写入文件时被中断导致的），因此我们还提供了一个脚本用于检查生成的数据集，并移除损坏的图片和标签。

python font_ds_detect_broken.py

运行该脚本后，您可能需要重新运行生成脚本，以填补因移除损坏文件而留下的空缺。

（可选）Linux 集群生成流程

如果您希望在 Linux 集群上运行生成脚本，我们还提供了环境搭建脚本 linux_venv_setup.sh。

前提条件是您拥有一台已安装 python3-venv 且路径中可用 python3 的 Linux 集群。

要搭建环境，请运行以下命令：

./linux_venv_setup.sh

该脚本会在 venv 目录下创建一个虚拟环境，并安装所有必要的包。在大多数情况下，这个脚本都是必需的，因为它还会安装 libraqm，这是 PIL 文字渲染所必需的库，而许多 Linux 服务器发行版默认并未安装。

环境搭建完成后，您可以编写一个任务调度程序，以并行部署生成任务。

其基本思路与直接使用脚本类似，只不过在这里我们接受三个参数：

• TOTAL_MISSION：任务的总分区数
• MIN_MISSION：要运行的任务最小分区索引
• MAX_MISSION：要运行的任务最大分区索引

编译命令如下：

gcc -D MIN_MISSION=<MIN_MISSION> \
    -D MAX_MISSION=<MAX_MISSION> \
    -D TOTAL_MISSION=<TOTAL_MISSION> \
    batch_generate_script_linux.c \
    -o <object-file-name>.out

例如，如果您想将任务分成64个分区，并分配给4台机器来完成，可以在每台机器上编译以下命令：

# 机器1
gcc -D MIN_MISSION=1 \
    -D MAX_MISSION=16 \
    -D TOTAL_MISSION=64 \
    batch_generate_script_linux.c \
    -o mission-1-16.out
# 机器2
gcc -D MIN_MISSION=17 \
    -D MAX_MISSION=32 \
    -D TOTAL_MISSION=64 \
    batch_generate_script_linux.c \
    -o mission-17-32.out
# 机器3
gcc -D MIN_MISSION=33 \
    -D MAX_MISSION=48 \
    -D TOTAL_MISSION=64 \
    batch_generate_script_linux.c \
    -o mission-33-48.out
# 机器4
gcc -D MIN_MISSION=49 \
    -D MAX_MISSION=64 \
    -D TOTAL_MISSION=64 \
    batch_generate_script_linux.c \
    -o mission-49-64.out

然后您可以在每台机器上运行编译好的目标文件，开始生成任务。

./mission-1-16.out # 机器1
./mission-17-32.out # 机器2
./mission-33-48.out # 机器3
./mission-49-64.out # 机器4

此外，还有一个辅助脚本用于查看生成任务的进度，使用方法如下：

python font_ds_stat.py

数据集其他信息

该生成过程主要受 CPU 限制，生成速度高度依赖于 CPU 性能。实际上，这项工作本身就是一个工程问题。

在生成过程中，某些字体会出现问题。脚本在 config/fonts.yml 中维护了一个手动排除列表，并支持实时检测不合格字体。脚本会自动跳过有问题的字体，并将其记录下来，以便后续模型训练使用。

模型训练

请确保数据集已准备好并放置在 dataset 目录下，然后即可开始训练模型。需要注意的是，您可以拥有多个数据集文件夹，脚本会自动将它们合并，只要您通过命令行参数提供这些文件夹的路径即可。

$ python train.py -h
用法: train.py [-h] [-d [DEVICES ...]] [-b SINGLE_BATCH_SIZE] [-c CHECKPOINT] [-m {resnet18,resnet34,resnet50,resnet101,deepfont}] [-p] [-i] [-a {v1,v2,v3}]
                [-l LR] [-s [DATASETS ...]] [-n MODEL_NAME] [-f] [-z SIZE] [-t {medium,high,heighest}] [-r]

可选参数:
  -h, --help            显示此帮助信息并退出
  -d [DEVICES ...], --devices [DEVICES ...]
                        要使用的 GPU 设备（默认：[0]）
  -b SINGLE_BATCH_SIZE, --single-batch-size SINGLE_BATCH_SIZE
                        单个设备的批量大小（默认：64）
  -c CHECKPOINT, --checkpoint CHECKPOINT
                        训练器检查点路径（默认：无）
  -m {resnet18,resnet34,resnet50,resnet101,deepfont}, --model {resnet18,resnet34,resnet50,resnet101,deepfont}
                        要使用的模型（默认：resnet18）
  -p, --pretrained      对于 ResNet 使用预训练模型（默认：假）
  -i, --crop-roi-bbox   裁剪 ROI 边界框（默认：假）
  -a {v1,v2,v3}, --augmentation {v1,v2,v3}
                        要使用的增强策略（默认：无）
  -l LR, --lr LR        学习率（默认：0.0001）
  -s [DATASETS ...], --datasets [DATASETS ...]
                        数据集路径，以空格分隔（默认： ['./dataset/font_img']）
  -n MODEL_NAME, --model-name MODEL_NAME
                        模型名称（默认：当前标签）
  -f, --font-classification-only
                        仅进行字体分类（默认：假）
  -z SIZE, --size SIZE  模型特征图像输入尺寸（默认：512）
  -t {medium,high,heighest}, --tensor-core {medium,high,heighest}
                        Tensor Core 精度（默认：high）
  -r, --preserve-aspect-ratio-by-random-crop
                        保持宽高比（默认：假）

字体分类实验结果

在我们合成的数据集上，

主干网络	数据增强	预训练	裁剪 文本 BBox	保持 宽高 比	输出 归一化	输入尺寸	超 参数	准确率	提交记录	数据集	精度
DeepFont	✔️*	❌	✅	❌	Sigmoid	105x105	I1	[无法收敛]	665559f	I5	bfloat16_3x
DeepFont	✔️*	❌	✅	❌	Sigmoid	105x105	IV4	[无法收敛]	665559f	I	bfloat16_3x
ResNet-18	❌	❌	❌	❌	Sigmoid	512x512	I	18.58%	5c43f60	I	float32
ResNet-18	❌	❌	❌	❌	Sigmoid	512x512	II2	14.39%	5a85fd3	I	bfloat16_3x
ResNet-18	❌	❌	❌	❌	Tanh	512x512	II	16.24%	ff82fe6	I	bfloat16_3x
ResNet-18	✅*8	❌	❌	❌	Tanh	512x512	II	27.71%	a976004	I	bfloat16_3x
ResNet-18	✅*	❌	❌	❌	Tanh	512x512	I	29.95%	8364103	I	bfloat16_3x
ResNet-18	✅*	❌	❌	❌	Sigmoid	512x512	I	29.37% [提前停止]	8d2e833	I	bfloat16_3x
ResNet-18	✅*	❌	❌	❌	Sigmoid	416x416	I	[下降趋势]	d5a3215	I	bfloat16_3x
ResNet-18	✅*	❌	❌	❌	Sigmoid	320x320	I	[下降趋势]	afcdd80	I	bfloat16_3x
ResNet-18	✅*	❌	❌	❌	Sigmoid	224x224	I	[下降趋势]	8b9de80	I	bfloat16_3x
ResNet-34	✅*	❌	❌	❌	Sigmoid	512x512	I	32.03%	912d566	I	bfloat16_3x
ResNet-50	✅*	❌	❌	❌	Sigmoid	512x512	I	34.21%	e980b66	I	bfloat16_3x
ResNet-18	✅*	✅	❌	❌	Sigmoid	512x512	I	31.24%	416c7bb	I	bfloat16_3x
ResNet-18	✅*	✅	✅	❌	Sigmoid	512x512	I	34.69%	855e240	I	bfloat16_3x
ResNet-18	✔️*9	✅	✅	❌	Sigmoid	512x512	I	38.32%	1750035	I	bfloat16_3x
ResNet-18	✔️*	✅	✅	❌	Sigmoid	512x512	III3	38.87%	0693434	I	bfloat16_3x
ResNet-50	✔️*	✅	✅	❌	Sigmoid	512x512	III	48.99%	bc0f7fc	II6	bfloat16_3x
ResNet-50	✔️	✅	✅	❌	Sigmoid	512x512	III	48.45%	0f071a5	II	bfloat16_3x
ResNet-50	✔️	✅	✅	✅11	Sigmoid	512x512	III	46.12%	0f071a5	II	bfloat16
ResNet-50	❕10	✅	✅	❌	Sigmoid	512x512	III	43.86%	0f071a5	II	bfloat16
ResNet-50	❕	✅	✅	✅	Sigmoid	512x512	III	41.35%	0f071a5	II	bfloat16

• * 实现中的 bug
• ¹ 学习率 = 0.0001, lambda = (2, 0.5, 1)
• ² 学习率 = 0.00005, lambda = (4, 0.5, 1)
• ³ 学习率 = 0.001, lambda = (2, 0.5, 1)
• ⁴ 学习率 = 0.01, lambda = (2, 0.5, 1)
• ⁵ 合成数据集的初始版本
• ⁶ 合成数据集加倍（2倍）
• ⁷ 合成数据集四倍（4倍）
• ⁸ 数据增强 v1: 颜色抖动 + 随机裁剪 [81%-100%]
• ⁹ 数据增强 v2: 颜色抖动 + 随机裁剪 [30%-130%] + 随机高斯模糊 + 随机高斯噪声 + 随机旋转 [-15°, 15°]
• ¹⁰ 数据增强 v3: 颜色抖动 + 随机裁剪 [30%-130%] + 随机高斯模糊 + 随机高斯噪声 + 随机旋转 [-15°, 15°] + 随机水平翻转 + 随机下采样 [1, 2]
• ¹¹ 通过随机裁剪保持宽高比

预训练模型

可在以下网址获取：https://huggingface.co/gyrojeff/YuzuMarker.FontDetection/tree/main

请注意，由于我是在 PyTorch 2.0 上使用 torch.compile 训练的所有内容，如果您想使用预训练模型，您需要安装 PyTorch 2.0，并按照 demo.py 中的方式使用 torch.compile 进行编译。

演示部署（方法一）

要部署演示，您需要 ./dataset/fonts 目录下的完整字体数据集，或者一个名为 font_demo_cache.bin 的缓存文件，该文件用于指示模型所使用的字体。此资源稍后将公开发布。

部署时，首先运行以下脚本来生成演示字体图像（如果您已有字体数据集）：

python generate_font_sample_image.py

然后运行以下脚本以启动演示服务器：

$ python demo.py -h
usage: demo.py [-h] [-d DEVICE] [-c CHECKPOINT] [-m {resnet18,resnet34,resnet50,resnet101,deepfont}] [-f] [-z SIZE] [-s] [-p PORT] [-a ADDRESS]

optional arguments:
  -h, --help            显示此帮助信息并退出
  -d DEVICE, --device DEVICE
                        要使用的 GPU 设备（默认：0），-1 表示使用 CPU
  -c CHECKPOINT, --checkpoint CHECKPOINT
                        训练器检查点路径（默认：无）。对于 huggingface.co 上的模型，可以使用 huggingface://<user>/<repo>/<file> 格式的链接，目前仅支持根目录下的模型文件。
  -m {resnet18,resnet34,resnet50,resnet101,deepfont}, --model {resnet18,resnet34,resnet50,resnet101,deepfont}
                        要使用的模型（默认：resnet18）
  -f, --font-classification-only
                        仅进行字体分类（默认：False）
  -z SIZE, --size SIZE  模型特征图输入尺寸（默认：512）
  -s, --share           通过 Gradio 获取公开链接（默认：False）
  -p PORT, --port PORT  Gradio 使用的端口（默认：7860）
  -a ADDRESS, --address ADDRESS
                        Gradio 使用的地址（默认：127.0.0.1）

演示部署（方法二）

如果您的机器上已安装 Docker，您可以像我在 Hugging Face Space 中那样直接使用 Docker 部署。

您可以参考上一节提供的命令行参数，修改 Dockerfile 的最后一行以满足您的需求。

构建 Docker 镜像：

docker build -t yuzumarker.fontdetection .

运行 Docker 容器：

docker run -it -p 7860:7860 yuzumarker.fontdetection

在线演示

该项目也部署在 Hugging Face Space 上：https://huggingface.co/spaces/gyrojeff/YuzuMarker.FontDetection

相关工作与资源

• DeepFont：从图像中识别字体：https://arxiv.org/abs/1507.03196
• 字体识别与推荐：https://mangahelpers.com/forum/threads/font-identification-and-recommendations.35672/
• 漫画中的无约束文本检测：一个新的数据集和基线：https://arxiv.org/pdf/2009.04042.pdf
• SwordNet：汉字字体风格识别网络：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9682683

星标历史

引用

如果您使用了本项目，请按照以下方式引用。谢谢！

@misc{qin2023yuzumarkerfont,
  author       = {Haoyun Qin},
  title        = {YuzuMarker.FontDetection},
  year         = {2023},
  url          = {https://github.com/JeffersonQin/YuzuMarker.FontDetection},
  note         = {GitHub 仓库}
}

YuzuMarker.FontDetection 快速上手指南

YuzuMarker.FontDetection 是首个专门针对中日韩（CJK）文字的字体识别模型。本指南将帮助您快速搭建环境、生成数据集并训练模型。

1. 环境准备

系统要求

• 操作系统: Linux (推荐) 或 Windows
• Python: Python 3.x
• 硬件:
  • 数据集生成：主要依赖 CPU 性能
  • 模型训练：需要 NVIDIA GPU (支持 CUDA)

前置依赖

在 Linux 环境下，必须安装 libraqm 库以支持 PIL 的文字渲染：

# Ubuntu/Debian
sudo apt-get install libraqm-dev

# CentOS/RHEL
sudo yum install libraqm-devel

提示：项目提供了 linux_venv_setup.sh 脚本，可自动创建虚拟环境并安装包括 libraqm 在内的所有依赖。

2. 安装步骤

方式一：使用自动脚本（推荐 Linux 用户）

运行项目提供的设置脚本，自动配置虚拟环境：

./linux_venv_setup.sh

激活环境：

source venv/bin/activate

方式二：手动安装

克隆仓库并安装依赖：

git clone https://github.com/JeffersonQin/YuzuMarker.FontDetection.git
cd YuzuMarker.FontDetection
pip install -r requirements.txt

3. 基本使用

本项目主要包含两个核心流程：数据集生成与模型训练。

步骤 A：准备数据集

1. 下载资源

   • 下载 CJK 字体包 并解压至 dataset/fonts 目录。
   • 准备背景图片放入 dataset/pixivimages 目录（或使用自有背景图）。

2. 预处理文件名

   python dataset_filename_preprocess.py
   

3. 生成合成数据 运行生成脚本。命令格式为 python font_ds_generate_script.py <当前分区索引> <总分区数>。

   单机单任务示例：

   python font_ds_generate_script.py 1 1
   

   注：生成的数据将保存在 dataset/font_img 目录。

4. 数据清洗（可选但推荐） 检查并移除因意外中断产生的损坏文件：

   python font_ds_detect_broken.py
   

   若有文件被移除，可重新运行生成脚本填补空缺。

步骤 B：训练模型

确保数据集已就绪，使用 train.py 开始训练。以下是一个基于 ResNet-18 的基础训练示例：

python train.py \
    -d 0 \
    -m resnet18 \
    -s ./dataset/font_img \
    -n my_font_model \
    -b 64 \
    -l 0.0001

参数说明：

• -d: 使用的 GPU 设备 ID
• -m: 骨干网络模型 (resnet18, resnet34, resnet50, deepfont 等)
• -s: 数据集路径 (可指定多个)
• -n: 保存的模型名称
• -b: 单卡 Batch Size
• -l: 学习率

查看完整帮助信息：

python train.py -h

在线体验

如果您不想本地部署，可以直接访问 Hugging Face Spaces 在线演示： 🤗 Open In Spaces (Online Demo)