TokenMonster

更新： 在不同分词器上预训练16个语言模型的基准测试结果。

TokenMonster 是一种非贪婪的子词分词器和词汇表生成器，能够让语言模型运行得更快、更经济、更智能，并生成更长的文本流。

大型且次优的词汇表会导致语言模型在计算和内存资源上的浪费。通过切换到 TokenMonster，你有可能以不到四分之一大小的词汇表实现相同或更好的性能。

TokenMonster 可以在一台普通台式机上，用 1 GB 的数据集，在 24 小时内训练并生成一个最优的词汇表。我们提供了 442 个预训练词汇表，以及用于训练自定义词汇表的工具，还有使用预训练或自定义词汇表进行分词和反分词的 Go、Python 和 JavaScript 实现。

你可以在这里用浏览器测试 TokenMonster，用原生 JavaScript 实时分词。

TokenMonster 是一种新颖的分词方法，具有广泛的应用潜力，但其主要动机是提升大型语言模型的训练、推理效率以及上下文长度。通过使用更优的词汇表和非贪婪的分词算法，与其他现代分词方法相比，在相同词汇表大小下，文本可以用减少 37.5% 的标记数来表示，从而提高推理和训练的速度，并增加文本长度。或者，词汇表大小可以被减少 75% 或更多，释放出的资源可以用来让模型变得更智能、更快。

你还可以从其他分词器导入现有的词汇表，这样就可以在继续使用模型原本训练所用的词汇表的同时，享受到 TokenMonster 快速、非贪婪分词的优势。其中包含了适用于 GPT2 分词器和 LLaMa 分词器的 TokenMonster 词汇表。

特性

• 在各个方面都优于其他分词算法（基准测试）
• 为给定的数据集选择最优的词汇表
• 提供 5 种优化模式可供选择：unfiltered、clean、balanced、consistent、strict
• 非贪婪：一次最多跟踪 6 条并行分支
• 快速：同时跟踪 6 条分支的速度比其他算法跟踪 1 条还要快（基准测试）
• 利用capcode 标记令牌来编码大写和退格键操作
• 能够自行成功识别单词、子词、常用短语和修辞手法
• 可以处理 HTML 标签、连续空格、制表符等，而不会浪费上下文
• 可以针对任何语言进行训练
• 最高可达 7 个字符/标记（取决于词汇表大小和优化模式）
• 训练后的词汇表可以修改和调整大小
• 完全支持“特殊”和“单字节”标记
• 支持将词汇表导入导出为人类可读的 YAML 格式
• 422 个预训练词汇表已准备就绪，可直接使用

目录

• 使用方法 Go | Python | Javascript | 训练
• 基准测试
• 预训练词汇表
• 优化模式
• 词汇表选择指南
• Capcode
• 归一化
• 它是如何工作的？与 BPE 有何不同？
• 非贪婪分词算法
• 数据集
• 支持与咨询

预训练词汇表

计划或已经构建了 442 个词汇表。你可以从 Hugging Face 下载它们，或者在 Python 库中只需指定词汇表名称，它就会自动下载。（注意：这些预训练词汇表仍在训练中，请查看 这里 了解当前可用的词汇表。）

• 从以下数据集类型中选择：code english englishcode fiction
• 从以下词汇表大小中选择：1024 2048 4096 8000 16000 24000 32000 40000 50256 65536 100256
• 从以下优化模式中选择：unfiltered clean balanced consistent strict
• 如果需要禁用capcode，则添加：nocapcode
• 最后加上版本号：v1

示例：fiction-24000-strict-v1 code-4096-clean-nocapcode-v1

使用方法：

import tokenmonster
vocab = tokenmonster.load("englishcode-32000-consistent-v1")
tokens = vocab.tokenize("This is a test.")

此外，还有 2 个预先构建的词汇表：gpt2 和 llama。它们是从 Hugging Face Transformers 导入到 TokenMonster 中的 GPT2 分词器和 LLaMa 分词器。虽然标记和 ID 是完全相同的，但它们并不总是以完全相同的方式对文本进行分词。例如，Hugging Face 上的 LLaMa 分词器会将“decoded”分词为 dec oded，而 TokenMonster 则会正确地分词为 decode d。TokenMonster 训练的词汇表效率要高得多，因此只有在必要时才使用 gpt2 和 llama。用于将它们导入 TokenMonster 的脚本在这里。

vocab = tokenmonster.load("gpt2")

优化模式

所有优化模式都是无损的。优化模式越严格（数字越高），相同的文本会被拆分成更多的标记，但语言模型会更容易学习，因为语法更简单。优化模式越宽松（数字越低），可以用更少的标记表示更多的文本，但语言模型需要学习更复杂的语法。

0 unfiltered 允许训练过程自由决定标记。clean 几乎在所有情况下都是首选，因为 unfiltered 容易导致过拟合，尤其是在处理代码时，它会产生诸如 \n\t\t\t\tif ( 这样的标记。对于不以空格作为词边界的语言或数据，可以使用 unfiltered 来进行分词。

1 clean 引入了过滤器以避免过拟合。它强制词汇表中的单词以空格开头，并限制空白字符与其他字符的组合方式。

2 balanced 优先考虑完整单词，并尽量避免词汇表中出现难以学习的标记。

3 consistent 是 strict 的一个较为宽松的版本。它的目标是限制能够表示同一个单词或短语的不同标记数量，并且不允许开放-封闭的分隔符与单词或其他分隔符结合使用。数字也会被限制为较少的变体形式。

4 strict 的目标是让每个单词只对应一个标记，无论其编码方式如何。例如，However、 however, 和 HOWEVER! 都将使用同一个 however 标记，再结合其他标记来表示其空格和大小写信息。

词汇表选择指南

请查看 TokenMonster 词汇表比较，其中展示了词汇表大小、优化模式与每标记所含字符数之间的关系折线图。从这张图中，我可以总结出一条经验法则：词汇表大小每翻倍一次，每标记所含字符数就会增加 0.5。这一规律从词汇表大小 4096 开始，一直持续到 100256。

使用大词汇表虽然一直是常态，但您可以在 TokenMonster 测试器 和 交互式基准测试 中看到，将词汇表规模减少 50% 至 75% 往往只会带来标记数量的相对小幅增加。即使是用途广泛的 englishcode 词汇表，本质上属于多语言词汇，其在 24000 的规模下表现依然出色。用于故事或文章写作的模型甚至可以将词汇表规模降至 4096，仍然保持每标记 4 个字符。

TokenMonster 在小词汇表上也能表现出色，因为它采用了最优的选取策略。大多数情况下，除非是多语言词汇，否则没有必要使用超过 32000 的词汇表规模。更多并不意味着更好。使用过大的词汇表会导致嵌入向量的利用效率低下，更不用说会使语法变得过于复杂。那些不必要的标记对应的嵌入向量会占用本可更高效利用的内存和计算资源。

在我看来，10 万规模的词汇表是过度且浪费的，除非您的目标是在同一词汇表中支持至少三种语言。当词汇表达到 10 万规模时，就会出现“冗余”标记。所谓“冗余”，是指词汇表开始为一些冗长、特定的序列分配标记，比如“limitations under the License”和“#### According to”，这表明词汇表已经达到了其最佳规模，现在只是在压缩频繁出现的字符串。

我的建议是找到满足您需求的最小词汇表规模。这样，您可以选择使用较小、更快的模型，也可以相应地增加嵌入向量的维度，或者在这两者之间找到平衡。

关于优化模式，如果您使用的模型规模有限或训练不足，那么应选择 strict 模式。如果是一个不太智能的小型模型，而您希望充分发挥其潜力，那么就选择 strict，因为它通常能生成更智能的模型，因为简单的语法更容易学习（单词、标点符号和修饰词都被拆分为独立的标记）。另一方面，如果您正在训练一个较为复杂的模型，并且有足够的训练数据使每个标记都能接触到多种上下文，从而学习更复杂的语法，那么您可能更适合选择 clean 或 balanced。

strict 模式在长篇自然文本（如小说和文章）中表现非常好，但在代码处理方面则过于严格。consistent 模式能够在保持语法简单的同时，为代码分词提供最佳的一致性。balanced 和 clean 模式则擅长将代码压缩成更少的标记，但代价是语法会变得更复杂。不过，较小的词汇表意味着更简单的语法（更少的组合可能性），因此您或许可以选择在较小的词汇表规模下使用 balanced 模式，比如 16000。这些都可以通过玩转 TokenMonster 测试器 来确定。

Capcode

Capcode 是一种针对 UTF-8 文本中大写字母的替代编码方式，支持所有 UTF-8 字符。它是完全无损的，通过改变大写字母的编码方式，使其能够与小写字母共享标记，同时不会丢失任何信息。理论上，capcode 能使模型更容易理解单词的意义。此外，capcode 还能使分词更加高效，因为它释放了大量原本用于现有小写字母的大写变体的标记。

规范化

TokenMonster 设计为即插即用，会自动为您处理规范化问题。无论是 UTF-8 还是 UTF-16 词汇表，都会自动进行 NFD 规范化，并以小端序编码，无论架构如何。在分词时，相同的转换会透明地应用，因此您可以将字符串传递给 UTF-8 或 UTF-16 词汇表，无论是否使用 capcode，也不论是小端还是大端架构，系统都会正确处理。

对于字符集为“None”的词汇表，则不会进行任何规范化操作。如果您不确定该选择哪种，请优先使用 UTF-8。

它是如何工作的？与 BPE 有何不同？

字节对编码（BPE）从单字节标记开始，通过迭代合并频繁出现的标记来扩展词汇表，最终由单个字符逐步构建出完整的词汇。而 TokenMonster 则采用了完全不同的方法：它从所有可能的标记出发，利用受化学蒸馏启发的技术，逐步精炼词汇表，直至达到预设的词汇大小。因此，TokenMonster 避免了 BPE 的一个关键问题：一旦选择了某个分支，就会假定它是有益的；即便后续可以将其修剪掉，但原本可能表现更好的替代分支却已不可复得。

TokenMonster 能够超越其他算法的关键在于以下两点：

1. 蒸馏方法是一种高效的方式，能够在不损失精华的前提下，将所需内容与不需要的内容分离。
2. 训练过程专门针对所使用的分词方法进行优化。生成的词汇表是为特定的分词算法和数据集量身定制的，这是实现最佳分词效果的必要步骤。

简单来说，TokenMonster 的工作流程如下：

• 生成数据集中所有可能的标记（例如，在 1GB 文本中可产生约 400 亿个标记）。
• 删除出现次数不超过 100 次的标记（约 400 万个）。
• 随机生成指定大小的词汇表。
• 使用随机词汇表和目标分词算法对数据集进行分词。
• 删除得分最低的 1% 标记。
• 重复上述步骤数十万次。
• 当词汇表大小达到目标时，恢复潜在的优质标记。
• 继续这一过程，直到连续 1000 次都无法找到更优的词汇表为止。

TokenMonster 不需要任何关于语言或结构的信息，最终会生成一个整齐的单词、子词和常用短语列表。示例如下：

a number of 
a series of 
a wonderful 
ability and 
able to get 
about being 
about their 
account for 
acknowledge 
acquisition 
addition to 
address the 
advertising 
affected by 
after being 
against the 

非贪婪分词算法

TokenMonster 使用一种非贪婪的分词方法：在训练过程中，每个标记最多可以选择两个与其相关的子词作为备选。首先，按照贪心策略选择与文本下一截匹配的最长标记；然后，在词汇表文件中包含的索引中查找这些备选标记。对于原始标记及其备选标记，分别找出与后续文本片段匹配的最长标记，从而形成三条可能的分支。如果其中任何一条分支没有以词边界结束，则会进一步沿着一条使用“前向删除标记”的分支继续处理，这允许以空格开头的词被用作其他词的一部分。最终，根据一系列规则对全部六条分支进行评分，选择最优的分支，并沿该分支继续分词。

由于训练过程专门针对分词算法设计，训练不仅是在挑选优质的标记，还在优化词汇表中各标记之间的关系。

数据集

用于生成预训练词汇表的数据集均可在 Hugging Face 上获取。这些数据集的来源及生成脚本均包含在训练目录中。

训练数据主要来自 Red Pajamas 1B Token Sample。然而，为了减少正式英语的比例并突出其他语言、非正式写作和代码，我们将 c4_sample 和 cc_sample 剪辑至 100MB，并加入了 Reddit 对话 数据（同样剪辑至 100MB）。

此外，还为 30 种不同的编程语言分别添加了等权重的代码样本：每种语言 2MB（code_2mb）和 10MB（code_10mb），以确保所有编程语言都有代表性。这些数据来源于 codeparrot/github-code。为了涵盖多种编码风格，我规定每个 GitHub 仓库只选取 1 个文件，并且每个文件仅保留中间部分最多 200 行代码。

鉴于写作风格的不断演变，我认为由已过版权保护期的书籍组成的 book_sample.txt 并不能很好地代表当代小说。为了更好地反映现代风格，我整理了 fiction.txt 和 fiction_100mb.txt，将多个其他数据集拼接在一起并进行了清理。

注：fiction_100mb.txt 是 fiction.txt 的子集，code_2mb.txt 则是 code_10mb.txt 的子集。

英语

文件名	文件大小
arxiv_sample.txt	88,925,569
book_sample.txt	108,069,616
c4_sample.txt	100,560,318
cc_2023-06_sample.txt	100,852,231
fiction_100mb.txt	94,235,489
stackexchange_sample.txt	71,940,138
wikipedia_sample.txt	79,181,873
reddit.txt	100,027,565
	743,792,799

英语代码

文件名	文件大小
arxiv_sample.txt	88,925,569
book_sample.txt	108,069,616
c4_sample.txt	100,560,318
cc_2023-06_sample.txt	100,852,231
code_2mb.txt	62,895,904
fiction_100mb.txt	94,235,489
github_sample.txt	191,123,094
stackexchange_sample.txt	71,940,138
wikipedia_sample.txt	79,181,873
reddit.txt	100,027,565
	997,811,797

小说

文件名	文件大小
book_sample.txt	108,069,616
fiction.txt	357,119,086
reddit.txt	100,027,565
	565,216,267

代码

文件名	文件大小
code_10mb.txt	314,006,799
github_sample.txt	191,123,094
stackexchange_sample.txt	71,940,138
	577,070,031

以下编程和标记语言同时出现在“英语代码”和“代码”词汇表中：

语言
Assembly	Batchfile	C	C#	C++
CMake	CSS	Dockerfile	FORTRAN	Go
Haskell	HTML	Java	JavaScript	Julia
Lua	Makefile	Markdown	PHP	Perl
PowerShell	Python	Ruby	Rust	SQL
Scala	Shell	TypeScript	TeX	Visual Basic

支持与咨询

请使用“讨论”标签页获取关于如何使用 TokenMonster 的免费支持。您也可以聘请我进行付费咨询，以帮助您充分发挥 TokenMonster 的潜力，或根据您的具体需求为您生成词汇表。

。

TokenMonster 快速上手指南

TokenMonster 是一种非贪婪（ungreedy）的子词分词器和词表生成工具。相比传统方法，它能显著减少 token 数量（同等词表大小下减少约 37.5%），或在保持性能的同时将词表大小缩减至原来的 1/4，从而提升大语言模型的训练速度、推理效率及上下文长度。

环境准备

• 操作系统：Linux, macOS, Windows (支持典型桌面环境)
• 编程语言：Python (本指南侧重 Python 用法，同时也支持 Go 和 JavaScript)
• 依赖要求：
  • Python 3.x
  • tokenmonster Python 库
  • 网络连接（用于自动下载预训练词表，若网络受限需配置代理或手动下载）

安装步骤

使用 pip 直接安装官方库：

pip install tokenmonster

注意：首次加载预训练词表时，库会自动从 Hugging Face 下载相关文件。如果国内访问 Hugging Face 较慢，建议配置镜像源或使用科学上网工具。

基本使用

1. 加载预训练词表并分词

TokenMonster 提供了多种针对不同数据集（如代码、英文、小说等）和优化模式的预训练词表。以下是最简单的使用示例：

import tokenmonster

# 加载预训练词表
# 命名格式：{数据集}-{词表大小}-{优化模式}-v1
# 示例：englishcode-32000-consistent-v1
vocab = tokenmonster.load("englishcode-32000-consistent-v1")

# 进行分词
text = "This is a test."
tokens = vocab.tokenize(text)

print(tokens)
# 输出示例：[154, 23, 64, 892, 12] (具体 ID 取决于词表)

# 反向解码 (Detokenize)
original_text = vocab.detokenize(tokens)
print(original_text)

2. 使用现有模型词表 (GPT-2 / LLaMa)

如果你需要兼容已训练的模型（如 GPT-2 或 LLaMa），TokenMonster 支持导入这些词表，并利用其更高效的非贪婪算法进行分词：

import tokenmonster

# 加载 GPT-2 词表
vocab = tokenmonster.load("gpt2")
tokens = vocab.tokenize("Hello world")

# 加载 LLaMa 词表
# vocab = tokenmonster.load("llama")

3. 选择适合的词表策略

根据需求选择合适的词表名称参数：

• 数据集类型：code, english, englishcode, fiction
• 词表大小：4096, 8000, 16000, 24000, 32000 等
• 优化模式：
  • clean (推荐): 防止过拟合，通用性最强。
  • strict: 语法最简单，适合小模型或长文本生成，每个单词尽量对应一个 Token。
  • balanced: 平衡整体单词和子词。
  • consistent: 适合代码，保持一致性。
  • unfiltered: 仅用于不以空格为边界的特殊语言数据。

示例：加载一个针对代码优化的较小词表

# 4096 大小，clean 模式，禁用 Capcode (如需)
vocab = tokenmonster.load("code-4096-clean-nocapcode-v1")

通过减小词表体积并使用 TokenMonster 的高效算法，你可以在不牺牲太多压缩率的前提下，大幅降低模型的显存占用并提升推理速度。