🔥 解耦书写者与字符风格的笔迹生成

ArXiv | 海报 | 视频 | 项目

📢 引言

• 提出的风格解耦Transformer（SDT）能够根据给定的内容和风格条件生成在线手写文本。
• 现有的基于RNN的方法主要关注于捕捉个人的整体书写风格，而忽略了同一个人书写的不同字符之间存在的细微风格差异。针对这一问题，SDT从单个手写样本中分离出书写者特有和字符特有的风格表示，从而提升模仿效果。
• 我们扩展了SDT，并引入了一种离线到离线的框架，以提高离线中文手写文本的生成质量。

我们的SDT概览

带有书写顺序的三种在线字符示例

📅 最新消息

• [2025/06/26] 🎉🎉🎉 DiffBrush，一种用于整行文本生成的新型最先进方法，已被ICCV 2025接收。
• [2024/11/26] 🎉🎉🎉 发布内容得分和风格得分的实现代码。
• [2024/07/01] 🎉🎉🎉 一种名为One-DM的手写文本生成最新方法已被ECCV 2024接收。
• [2024/01/07] 添加了使用用户自定义风格合成手写的教程和代码，更多信息请参见这里。
• [2023/12/15] 🎉🎉🎉 本工作被一位拥有270万粉丝的顶级bilibili视频博主报道，获得了近百万次观看。
• [2023/10/10] 该作者受邀为CSIG（中国图像图形学学会）进行了一场讲座（中文）。
• [2023/06/14] 本工作被Synced（机器之心）报道。
• [2023/04/12] 初次发布数据集、预训练模型以及训练和测试代码。
• [2023/02/28] 🎉🎉🎉 我们的SDT被CVPR 2023接收。

📺 手写生成结果

• 在线中文手写生成

• 应用于多种文字系统

• 扩展至离线中文手写生成

🔨 需求

conda create -n sdt python=3.8 -y
conda activate sdt
# 安装所有依赖
conda env create -f environment.yml

📂 文件夹结构

SDT/
│
├── train.py - 启动训练的主要脚本
├── test.py - 使用训练好的模型生成字符
├── evaluate.py - 对生成样本进行评估
│
├── configs/*.yml - 存放训练配置文件
├── parse_config.py - 处理配置文件的类
│
├── data_loader/ - 数据加载相关操作在此处进行
│   └── loader.py
│
├── model_zoo/ - 预训练的内容编码器模型
│
├── data/ - 默认存储实验数据集的目录
│
├── model/ - 网络、模型和损失函数
│   ├── encoder.py
│   ├── gmm.py
│   ├── loss.py
│   ├── model.py
│   └── transformer.py
│
├── saved/
│   ├── models/ - 训练好的模型保存于此
│   ├── tborad/ - TensorBoard可视化
│   └── samples/ - 训练过程中的可视化样本
│
├── trainer/ - 训练器
│   └── trainer.py
│  
└── utils/ - 小型实用工具函数
    ├── util.py
    └── logger.py - 设置TensorBoard日志目录及日志输出

💿 数据集

我们提供了中文、日文和英文数据集，可在Google Drive | 百度网盘下载，提取码：xu9u。请下载这些数据集，解压后将文件移动到/data目录下。

🍔 预训练模型

模型	Google Drive	百度网盘
训练良好的SDT	Google Drive	百度网盘
内容编码器	Google Drive	百度网盘
内容得分	Google Drive	百度网盘
风格得分	Google Drive	百度网盘

注意： 请下载这些权重，并将其移动到/model_zoo目录下。

🚀 训练与测试

训练

• 若要在中文数据集上训练 SDT，请运行以下命令：

python train.py --cfg configs/CHINESE_CASIA.yml --log Chinese_log

• 若要在日语数据集上训练 SDT，请运行以下命令：

python train.py --cfg configs/Japanese_TUATHANDS.yml --log Japanese_log

• 若要在英文数据集上训练 SDT，请运行以下命令：

python train.py --cfg configs/English_CASIA.yml --log English_log

定性测试

• 若要使用我们的 SDT 生成 在线中文手写体，请运行以下命令：

python test.py --pretrained_model checkpoint_path --store_type online --sample_size 500 --dir Generated/Chinese

• 若要使用我们的 SDT 生成 离线中文手写图像，请运行以下命令：

python test.py --pretrained_model checkpoint_path --store_type offline --sample_size 500 --dir Generated_img/Chinese

• 若要使用我们的 SDT 生成 在线日本手写体，请运行以下命令：

python test.py --pretrained_model checkpoint_path --store_type online --sample_size 500 --dir Generated/Japanese

• 若要使用我们的 SDT 生成 离线日本手写图像，请运行以下命令：

python test.py --pretrained_model checkpoint_path --store_type offline --sample_size 500 --dir Generated_img/Japanese

• 若要使用我们的 SDT 生成 在线英文手写体，请运行以下命令：

python test.py --pretrained_model checkpoint_path --store_type online --sample_size 500 --dir Generated/English

• 若要使用我们的 SDT 生成 离线英文手写图像，请运行以下命令：

python test.py --pretrained_model checkpoint_path --store_type offline --sample_size 500 --dir Generated_img/English

定量评估

• 若要评估生成的手写体，需将 data_path 设置为生成手写体的路径（例如 Generated/Chinese），并运行以下命令：

python evaluate.py --data_path Generated/Chinese --metric DTW

• 若要计算生成手写体的内容得分，需将 data_path 设置为生成手写体的路径（例如 Generated/Chinese），并运行以下命令：

python evaluate.py --data_path Generated/Chinese --metric Content_score --pretrained_model model_zoo/chinese_content_iter30k_acc95.pth

• 若要计算生成手写体的风格得分，需将 data_path 设置为生成手写图像的路径（例如 Generated_img/Chinese），并运行以下命令：

python evaluate.py --data_path Generated_img/Chinese --metric Style_score --pretrained_model models_zoo/chinese_style_iter60k_acc999.pth

🏰 实际应用

我们很高兴地发现，P0etry-rain 提出了一种流程：首先将我们 SDT 生成的结果转换为 TTF 格式，然后开发软件以实现段落、行和字符间距的灵活调整。以下是 TTF 文件、软件界面及打印结果。更多详情请参见 #78。

• TTF 文件

• 软件界面

• 打印结果

❤️ 引用

如果您认为我们的工作富有启发性，或在您的研究中使用了我们的代码库，请引用我们的工作：

@inproceedings{dai2023disentangling,
  title={Disentangling Writer and Character Styles for Handwriting Generation},
  author={Dai, Gang and Zhang, Yifan and Wang, Qingfeng and Du, Qing and Yu, Zhuliang and Liu, Zhuoman and Huang, Shuangping},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,
  pages={5977--5986},
  year={2023}
}

⭐ 星级图

SDT 手写生成工具快速上手指南

SDT (Style-Disentangled Transformer) 是一个用于在线和离线手写生成的开源项目。它通过将“书写者风格”与“字符风格”解耦，能够生成具有特定内容和风格的高质量手写文本（支持中文、日文、英文）。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS / Windows (推荐 Linux)
• Python 版本: 3.8
• 包管理工具: Conda (推荐)
• 硬件: 建议使用 NVIDIA GPU 进行训练和推理

2. 安装步骤

2.1 创建虚拟环境

使用 Conda 创建名为 sdt 的 Python 3.8 环境并激活：

conda create -n sdt python=3.8 -y
conda activate sdt

2.2 安装依赖

在项目根目录下，通过 environment.yml 文件一键安装所有所需依赖：

conda env create -f environment.yml

2.3 下载数据集与预训练模型

项目提供百度网盘加速链接，国内用户推荐优先使用。

数据集下载：

• 来源: 百度网盘 (提取码: xu9u)
• 操作: 下载中文、日文或英文数据集，解压后将文件夹移动至项目根目录下的 /data 文件夹中。

预训练模型下载：

• 来源:
  • 百度网盘 - 主模型
  • 百度网盘 - 评估模型 (Content/Style Score)
• 操作: 下载所需的 .pth 权重文件，并将它们移动至项目根目录下的 /model_zoo 文件夹中。

3. 基本使用

3.1 训练模型 (可选)

如果您希望从头训练模型，可以使用以下命令（以中文数据集为例）：

python train.py --cfg configs/CHINESE_CASIA.yml --log Chinese_log

注：日文和英文训练只需替换 --cfg 参数为对应的配置文件（如 configs/Japanese_TUATHANDS.yml）。

3.2 生成手写文本 (推理)

使用下载好的预训练模型生成手写样本。以下是最常用的在线中文手写生成示例：

python test.py --pretrained_model checkpoint_path --store_type online --sample_size 500 --dir Generated/Chinese

参数说明：

• --pretrained_model: 替换为您的实际模型路径（例如 model_zoo/your_model.pth）。
• --store_type:
  • online: 生成在线手写轨迹数据（包含笔顺信息）。
  • offline: 生成离线手写图像。
• --sample_size: 生成样本的数量。
• --dir: 输出结果保存的目录。

其他语言示例（生成离线图像）：

# 生成离线中文图像
python test.py --pretrained_model checkpoint_path --store_type offline --sample_size 500 --dir Generated_img/Chinese

# 生成离线英文图像
python test.py --pretrained_model checkpoint_path --store_type offline --sample_size 500 --dir Generated_img/English

3.3 质量评估 (可选)

生成完成后，可使用内置脚本计算 DTW 距离、内容分数 (Content Score) 或风格分数 (Style Score)：

# 计算 DTW 指标
python evaluate.py --data_path Generated/Chinese --metric DTW

# 计算内容分数 (需指定内容编码器模型)
python evaluate.py --data_path Generated/Chinese --metric Content_score --pretrained_model model_zoo/chinese_content_iter30k_acc95.pth

# 计算风格分数 (需指定风格编码器模型)
python evaluate.py --data_path Generated_img/Chinese --metric Style_score --pretrained_model models_zoo/chinese_style_iter60k_acc999.pth