简介

这是一个基于 PyTorch 的 FOTS 实现。

• ICDAR 数据集
• SynthText 80 万数据集
• 检测分支
• 识别分支
• 评估
• 多 GPU 训练
• 合理的项目结构
• wandb
• pytorch_lightning
• 不同尺度下的评估
• OHEM

使用说明

环境要求

conda create --name fots --file spec-file.txt
conda activate fots
pip install -r reqs.txt

cd FOTS/rroi_align
python build.py develop

训练

# 非常简单，单 GPU 训练时将 gpus 设置为 [0]。0 是你的 GPU 编号。
python train.py -c pretrain.json
python train.py -c finetune.json

评估

python eval.py 
-c finetune.json
-m <你的检查点>
-i <包含 train 和 test 的 icdar2015 文件夹>
--detection    
-o ./results
--cuda
--size "1280 720"
--bs 2
--gpu 1

使用 --detection 标志仅评估检测部分，不带该标志则评估端到端性能。

基准测试与模型

以下是 ICDAR2015 数据集上的 E2E 通用 基准测试结果。我在 Synthtext 上进行了预训练（7 个 epoch）。预训练模型（提取码：68ta）。微调后的模型（5000 个 epoch）（提取码：s38c）。

名称	主干网络	尺寸 (W * H)	Hmean
FOTS (论文)	Resnet 50	2240 * 1260	60.8
FOTS (我们)	Resnet 50	2240 * 1260	46.2
FOTS RT (论文)	Resnet 34	1280 * 720	51.4
FOTS RT (我们)	Resnet 50	1280 * 720	47

示例

致谢

• https://github.com/SakuraRiven/EAST（部分代码借鉴自该项目。）
• https://github.com/chenjun2hao/FOTS.pytorch.git（ROIRotate）

FOTS.PyTorch 快速上手指南

FOTS (Fast Oriented Text Spotting) 是一个端到端的场景文本检测与识别框架。本项目基于 PyTorch 和 PyTorch Lightning 实现，支持多 GPU 训练及 Wandb 日志监控。

环境准备

• 系统要求：Linux 操作系统（推荐），具备 CUDA 支持的 NVIDIA GPU。
• 前置依赖：已安装 Anaconda 或 Miniconda。
• 核心库：PyTorch, PyTorch Lightning, wandb。

安装步骤

请严格按照以下顺序执行命令以配置运行环境：

1. 创建并激活 Conda 环境

   conda create --name fots --file spec-file.txt
   conda activate fots
   

2. 安装 Python 依赖

   pip install -r reqs.txt
   

   提示：国内用户若下载缓慢，可添加清华源加速：pip install -r reqs.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 编译自定义算子 (RROI Align)

   cd FOTS/rroi_align
   python build.py develop
   

   注：执行完此步后，请返回项目根目录进行后续操作。

基本使用

1. 模型训练

项目提供了预训练和微调两种配置文件。单卡训练只需将配置中的 gpus 设置为 [0]。

启动预训练：

python train.py -c pretrain.json

启动微调：

python train.py -c finetune.json

2. 模型评估

使用以下命令对 ICDAR2015 数据集进行评估。可根据需求选择仅评估检测分支或端到端（检测 + 识别）评估。

端到端评估示例：

python eval.py \
-c finetune.json \
-m <your_ckpt_path> \
-i <icdar2015_folder_path> \
-o ./results \
--cuda \
--size "1280 720" \
--bs 2 \
--gpu 1

参数说明：

• -m: 指定检查点文件路径。
• -i: 指定包含 train 和 test 子文件夹的 ICDAR2015 数据集路径。
• --detection: 添加此标志仅评估检测效果；不加此标志则进行端到端评估。
• --size: 输入图像尺寸，格式为 "宽 高"。

3. 预训练模型

项目提供了在 SynthText 上预训练及在 ICDAR2015 上微调的模型权重（百度网盘）：

• 预训练模型 (SynthText, 7 epochs): 下载链接 (提取码: 68ta)
• 微调模型 (ICDAR2015, 5000 epochs): 下载链接 (提取码: s38c)