🚀 JTokkit - Java 分词工具包

欢迎使用 JTokkit，这是一个专为 OpenAI 模型设计的 Java 分词库。

EncodingRegistry registry = Encodings.newDefaultEncodingRegistry();
Encoding enc = registry.getEncoding(EncodingType.CL100K_BASE);
assertEquals("hello world", enc.decode(enc.encode("hello world")));

// 或者获取与特定 OpenAI 模型对应的分词器
enc = registry.getEncodingForModel(ModelType.TEXT_EMBEDDING_ADA_002);

💡 快速入门

如需快速开始，请参阅我们的文档。

📖 简介

JTokkit 旨在成为一个快速高效的分词工具，专为使用 OpenAI 模型进行自然语言处理任务而设计。它提供了一个易于使用的接口，用于对输入文本进行分词，例如在准备向 GPT-3.5 模型发送请求时计算所需的 token 数量。该库的诞生源于 JVM 生态系统中需要具备与 Python 库 tiktoken 类似的功能。

🤖 特性

✅ 实现了 r50k_base、p50k_base、p50k_edit、cl100k_base 和 o200k_base 的编码与解码

✅ 易于使用的 API

✅ 轻松扩展以支持自定义编码算法

✅ 零依赖

✅ 支持 Java 8 及以上版本

✅ 高效且性能优越

📊 性能

JTokkit 的速度比同类分词器快 2 到 3 倍。

有关基准测试的详细信息，请参阅 benchmark 目录。

🛠️ 安装

您可以通过将以下依赖项添加到 Maven 项目中来安装 JTokkit：

<dependency>
    <groupId>com.knuddels</groupId>
    <artifactId>jtokkit</artifactId>
    <version>1.1.0</version>
</dependency>

或者使用 Gradle：

dependencies {
    implementation 'com.knuddels:jtokkit:1.1.0'
}

🔰 使用入门

要使用 JTokkit，只需创建一个新的 EncodingRegistry，然后使用 getEncoding 方法获取您想要使用的编码。之后，您可以使用 encode 和 decode 方法对文本进行编码和解码。

EncodingRegistry registry = Encodings.newDefaultEncodingRegistry();
Encoding enc = registry.getEncoding(EncodingType.CL100K_BASE);
IntArrayList encoded = enc.encode("这是一句示例句子。");
// encoded = [2028, 374, 264, 6205, 11914, 13]
        
String decoded = enc.decode(encoded);
// decoded = "这是一句示例句子。"

// 或者根据模型类型获取分词器
Encoding secondEnc = registry.getEncodingForModel(ModelType.TEXT_EMBEDDING_ADA_002);
// enc == secondEnc

EncodingRegistry 和 Encoding 类是线程安全的，可以在各个组件之间自由共享。

➰ 扩展 JTokkit

如果您希望扩展 JTokkit 以支持自定义编码，有两种方法可供选择：

1. 实现 Encoding 接口，并将其注册到 EncodingRegistry 中：

EncodingRegistry registry = Encodings.newDefaultEncodingRegistry();
Encoding customEncoding = new CustomEncoding();
registry.registerEncoding(customEncoding);

2. 为现有的 BPE 算法添加新参数：

EncodingRegistry registry = Encodings.newDefaultEncodingRegistry();
GptBytePairEncodingParams params = new GptBytePairEncodingParams(
        "custom-name",
        Pattern.compile("some custom pattern"),
        encodingMap,
        specialTokenEncodingMap
);
registry.registerGptBytePairEncoding(params);

完成上述操作后，您就可以将自定义编码与默认编码一起使用，并通过 registry.getEncoding("custom-name") 来访问它们。更多详细信息请参阅 JavaDoc。

📄 许可证

JTokkit 采用 MIT 许可证授权。有关更多信息，请参阅 LICENSE 文件。

JTokkit 快速上手指南

JTokkit 是一个专为 OpenAI 模型设计的高性能 Java Tokenizer 库，零依赖且兼容 Java 8+，性能比同类工具快 2-3 倍。

环境准备

• 系统要求：Java 8 或更高版本
• 前置依赖：无（零依赖库）
• 构建工具：Maven 3.6+ 或 Gradle 6.0+

安装步骤

Maven 项目

在 pom.xml 中添加以下依赖：

<dependency>
    <groupId>com.knuddels</groupId>
    <artifactId>jtokkit</artifactId>
    <version>1.1.0</version>
</dependency>

Gradle 项目

在 build.gradle 中添加：

dependencies {
    implementation 'com.knuddels:jtokkit:1.1.0'
}

💡 国内开发者如遇下载缓慢，可在 Maven/Gradle 配置中启用阿里云镜像加速。

基本使用

1. 初始化编码器注册表

EncodingRegistry registry = Encodings.newDefaultEncodingRegistry();

2. 获取指定编码格式

// 方式一：按编码类型获取
Encoding enc = registry.getEncoding(EncodingType.CL100K_BASE);

// 方式二：按 OpenAI 模型类型获取
Encoding modelEnc = registry.getEncodingForModel(ModelType.TEXT_EMBEDDING_ADA_002);

3. 编码与解码文本

// 编码：字符串 -> Token ID 列表
IntArrayList encoded = enc.encode("This is a sample sentence.");
// 输出示例：[2028, 374, 264, 6205, 11914, 13]

// 解码：Token ID 列表 -> 字符串
String decoded = enc.decode(encoded);
// 输出："This is a sample sentence."

线程安全说明

EncodingRegistry 和 Encoding 对象均为线程安全，可在全局单例中复用。