一维视觉分词与生成

本仓库包含以下项目的代码与模型：

• FlowTok: FlowTok: 在文本与图像分词间无缝流动

• TA-TiTok & MaskGen: 基于紧凑文本感知一维分词的文本到图像掩码生成模型民主化

• RAR: 随机自回归视觉生成

• TiTok: 一张图像仅需32个分词即可重建与生成

更新日志

• 2025/03/16：FlowTok 的技术报告已发布。FlowTok 是一个极简但强大的框架，通过将图像编码为紧凑的一维（1D）分词表示，在文本与图像之间实现无缝流动。代码即将发布。
• 2025/02/24：我们发布了 MaskGen 的训练代码、推理代码及模型权重。
• 2025/01/17：我们发布了 TA-TiTok 的训练代码、推理代码及模型权重。
• 2025/01/14：TA-TiTok 与 MaskGen 的技术报告已发布。TA-TiTok 是一种创新的文本感知型 Transformer 架构一维分词器（1-dimensional tokenizer），可同时处理离散与连续分词。MaskGen 是一个强大且高效的文本到图像掩码生成模型，完全在开放数据上训练。更多细节请参阅 README_MaskGen。
• 2024/11/04：我们发布了 RAR 模型的技术报告及代码。
• 2024/10/16：我们更新了一组使用改进单阶段配方训练的 TiTok 分词器权重，使训练更简单且性能更优。我们发布了不同模型尺寸的 VQ 与 VAE 变体 TiTok 权重，希望有助于推动该领域的研究。更多细节请参见 TA-TiTok 的技术报告。
• 2024/09/25：TiTok 被 NeurIPS 2024 接收。
• 2024/09/11：发布基于 TiTok 的生成器训练代码。
• 2024/08/28：发布 TiTok 的训练代码。
• 2024/08/09：更好地支持从 HuggingFace 模型加载预训练权重，感谢 @NielsRogge 的帮助！
• 2024/07/03：提供复现论文结果的评估脚本，TiTok-B64 和 TiTok-S128 的检查点已开放。
• 2024/06/21：发布演示代码及 TiTok-L-32 检查点。
• 2024/06/11：TiTok 的技术报告已发布。

简介：基于紧凑文本感知一维分词的文本到图像掩码生成模型民主化 (README)

我们提出 TA-TiTok，一种新颖的文本感知型 Transformer 架构一维分词器，旨在同时处理离散与连续分词，并有效对齐重建结果与文本描述。 基于 TA-TiTok，我们提出 MaskGen——一个通用的文本到图像掩码生成模型框架。MaskGen 完全在开放数据上训练，表现卓越：使用 32 个连续分词时，在 MJHQ-30K 上达到 FID 得分 6.53；使用 128 个离散分词时，在 GenEval 上获得综合得分 0.57。

更多详情请参阅 README_MaskGen。

简介：随机自回归视觉生成 (README)

RAR 是一个与语言建模完全兼容的自回归（AR）图像生成器。它引入了一种无需额外成本的随机退火策略与置换目标，增强模型学习双向上下文的能力，同时保持自回归框架不变。RAR 在 ImageNet-256 基准上取得 FID 得分 1.48，展现出当前最优性能，显著超越此前的 AR 图像生成器。

更多详情请参阅 README_RAR。

简介：一张图像仅需32个分词即可重建与生成 (README)

我们提出一种紧凑的一维分词器，仅需 32 个离散分词即可表示一张图像。由此带来采样过程的显著加速（例如比 DiT-XL/2 快 410 倍），同时保持有竞争力的生成质量。

更多详情请参阅 README_TiTok。

安装

pip3 install -r requirements.txt

引用

如您在研究中使用我们的工作，请使用以下 BibTeX 条目。

@article{he2025flowtok,
  author    = {Ju He and Qihang Yu and Qihao Liu and Liang-Chieh Chen},
  title     = {FlowTok: Flowing Seamlessly Across Text and Image Tokens},
  journal   = {arXiv preprint arXiv:2503.10772},
  year      = {2025}
}

@article{kim2025democratizing,
  author    = {Dongwon Kim and Ju He and Qihang Yu and Chenglin Yang and Xiaohui Shen and Suha Kwak and Liang-Chieh Chen},
  title     = {Democratizing Text-to-Image Masked Generative Models with Compact Text-Aware One-Dimensional Tokens},
  journal   = {arXiv preprint arXiv:2501.07730},
  year      = {2025}
}

@article{yu2024randomized,
  author    = {Qihang Yu and Ju He and Xueqing Deng and Xiaohui Shen and Liang-Chieh Chen},
  title     = {Randomized Autoregressive Visual Generation},
  journal   = {arXiv preprint arXiv:2411.00776},
  year      = {2024}
}

@article{yu2024an,
  author    = {Qihang Yu and Mark Weber and Xueqing Deng and Xiaohui Shen and Daniel Cremers and Liang-Chieh Chen},
  title     = {An Image is Worth 32 Tokens for Reconstruction and Generation},
  journal   = {NeurIPS},
  year      = {2024}
}

致谢

CrossFlow

MAR

MaskGIT

Taming-Transformers

Open-MUSE

MUSE-Pytorch

1d-tokenizer 快速上手指南

环境准备

• 操作系统：Linux / macOS（推荐 Ubuntu 20.04+）
• Python 版本：≥ 3.8
• PyTorch：建议 ≥ 2.0（支持 CUDA 加速）
• GPU：推荐 NVIDIA 显卡 + CUDA 11.8/12.x（用于训练和推理加速）
• 国内用户建议：使用清华或阿里云 PyPI 镜像加速安装：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

安装步骤

1. 克隆仓库：

git clone https://github.com/tacju/1d-tokenizer.git
cd 1d-tokenizer

2. 安装依赖：

pip3 install -r requirements.txt

注：如遇网络问题，可替换为国内镜像源（见上文）。

基本使用

使用 TiTok 进行图像编码（示例）

from models.titok import TiTok

# 加载预训练模型（以 TiTok-L-32 为例）
model = TiTok.from_pretrained("checkpoints/titok_l_32.pth")

# 输入图像张量 (B, C, H, W)，输出 32 个离散 token
tokens = model.encode(image_tensor)
reconstructed_image = model.decode(tokens)

使用 MaskGen 进行文本到图像生成（示例）

from models.maskgen import MaskGenPipeline

# 初始化生成管道
pipeline = MaskGenPipeline.from_pretrained("checkpoints/maskgen_discrete_128.pth")

# 输入文本描述，生成图像
image = pipeline.generate(prompt="a red apple on a wooden table", num_steps=16)

使用 RAR 进行自回归图像生成（示例）

from models.rar import RARModel

model = RARModel.from_pretrained("checkpoints/rar_imagenet256.pth")
generated_image = model.sample(batch_size=1, temperature=1.0)

提示：各子项目详细用法请参考对应 README：

• README_TiTok.md
• README_MaskGen.md
• README_RAR.md

所有预训练权重可在项目 Releases 页面或 Hugging Face 模型库下载。