GPT-3 编码器

用于 GPT-2 / GPT-3 的 JavaScript BPE 编码解码器

简介

GPT-2 和 GPT-3 使用字节对编码将文本转换为一系列整数，以便输入到模型中。这是一个 OpenAI 原始 Python 编码器/解码器的 JavaScript 实现，原始代码可在 这里 找到。

使用 npm 安装

npm install gpt-3-encoder

使用方法

兼容 Node >= 12

const {encode, decode} = require('gpt-3-encoder')

const str = 'This is an example sentence to try encoding out on!'
const encoded = encode(str)
console.log('Encoded this string looks like: ', encoded)

console.log('We can look at each token and what it represents')
for(let token of encoded){
  console.log({token, string: decode([token])})
}

const decoded = decode(encoded)
console.log('We can decode it back into:\n', decoded)

GPT-3-Encoder 快速上手指南

环境准备

• 系统要求：Node.js 版本 >= 12
• 前置依赖：无需额外依赖，仅需 Node.js 运行环境

安装步骤

使用 npm 安装官方包：

npm install gpt-3-encoder

💡 国内加速建议：若下载缓慢，可配置淘宝镜像源：

npm config set registry https://registry.npmmirror.com

基本使用

以下示例演示如何将文本编码为 token 序列，并解码回原文：

const {encode, decode} = require('gpt-3-encoder')

const str = 'This is an example sentence to try encoding out on!'
const encoded = encode(str)
console.log('Encoded this string looks like: ', encoded)

console.log('We can look at each token and what it represents')
for(let token of encoded){
  console.log({token, string: decode([token])})
}

const decoded = decode(encoded)
console.log('We can decode it back into:\n', decoded)