提供当今最常用分词器的实现，重点在于性能与多功能性。

主要特性：

• 可使用当今最常用的分词器训练新词汇表并进行分词。
• 极其快速（无论是训练还是分词），这得益于 Rust 实现。在服务器 CPU 上对 1GB 文本进行分词仅需不到 20 秒。
• 易于使用，同时功能极为强大。
• 专为研究与生产环境设计。
• 规范化过程中会跟踪对齐信息。始终可以获取与给定标记相对应的原始句子部分。
• 完成所有预处理步骤：截断、填充，并添加模型所需的特殊标记。

性能

性能可能因硬件而异，但在 g6 AWS 实例上运行 ~/bindings/python/benches/test_tiktoken.py 应该得到如下结果：

绑定

我们提供了以下语言的绑定（更多语言即将推出！）：

• Rust（原始实现）
• Python
• Node.js
• Ruby（由 @ankane 贡献，外部仓库）

安装

您可以从源代码安装：

pip install git+https://github.com/huggingface/tokenizers.git#subdirectory=bindings/python

或者安装已发布的版本：

pip install tokenizers

Python 快速示例：

在字节对编码、WordPiece 或 Unigram 中选择您的模型，并实例化一个分词器：

from tokenizers import Tokenizer
from tokenizers.models import BPE

tokenizer = Tokenizer(BPE())

您还可以自定义预分词方式（例如按空格分割）：

from tokenizers.pre_tokenizers import Whitespace

tokenizer.pre_tokenizer = Whitespace()

然后，只需两行代码即可在一组文件上训练分词器：

from tokenizers.trainers import BpeTrainer

trainer = BpeTrainer(special_tokens=["[UNK]", "[CLS]", "[SEP]", "[PAD]", "[MASK]"])
tokenizer.train(files=["wiki.train.raw", "wiki.valid.raw", "wiki.test.raw"], trainer=trainer)

分词器训练完成后，只需一行代码即可对任何文本进行编码：

output = tokenizer.encode("Hello, y'all! How are you 😁 ?")
print(output.tokens)
# ["Hello", ",", "y", "'", "all", "!", "How", "are", "you", "[UNK]", "?"]

欲了解更多信息，请查阅 文档 或 快速入门！

tokenizers 快速上手指南

tokenizers 是 Hugging Face 提供的高性能分词器库，专注于速度与灵活性。它采用 Rust 编写，支持 BPE、WordPiece 和 Unigram 等主流算法，广泛应用于自然语言处理的研究与生产环境。

环境准备

• 操作系统：Linux、macOS 或 Windows
• Python 版本：建议 Python 3.7 及以上
• 前置依赖：
  • pip 包管理工具
  • 编译环境（若从源码安装，需安装 Rust 工具链及构建工具，如 build-essential 或 Xcode Command Line Tools）

提示：国内用户若遇到网络延迟，可配置 pip 使用清华或阿里云镜像源加速下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tokenizers

安装步骤

方式一：安装发布版本（推荐）

直接使用 pip 安装稳定版：

pip install tokenizers

方式二：从源码安装

如需最新特性，可从 GitHub 源码安装：

pip install git+https://github.com/huggingface/tokenizers.git#subdirectory=bindings/python

基本使用

以下示例展示如何使用 Python 快速构建并训练一个 BPE 分词器。

1. 初始化分词器

选择模型（如 BPE）并实例化：

from tokenizers import Tokenizer
from tokenizers.models import BPE

tokenizer = Tokenizer(BPE())

2. 配置预分词规则

设置如何将文本初步分割（例如按空格分割）：

from tokenizers.pre_tokenizers import Whitespace

tokenizer.pre_tokenizer = Whitespace()

3. 训练词汇表

准备训练文件列表，并定义特殊令牌，仅需两行代码即可启动训练：

from tokenizers.trainers import BpeTrainer

trainer = BpeTrainer(special_tokens=["[UNK]", "[CLS]", "[SEP]", "[PAD]", "[MASK]"])
tokenizer.train(files=["wiki.train.raw", "wiki.valid.raw", "wiki.test.raw"], trainer=trainer)

4. 编码文本

训练完成后，即可对任意文本进行编码：

output = tokenizer.encode("Hello, y'all! How are you 😁 ?")
print(output.tokens)
# 输出示例：["Hello", ",", "y", "'", "all", "!", "How", "are", "you", "[UNK]", "?"]

更多高级用法请参考 官方文档。