基于 transformer 模型的 Julia 实现，结合 Flux.jl。

注意：当前版本与 0.1.x 版本几乎完全不同。如果您正在使用旧版本，请务必更新更改或继续使用旧版本。

安装

在 Julia 的 REPL 中：

]add Transformers

示例

使用 Transformers.jl 加载预训练的 Bert 模型。

using Transformers
using Transformers.TextEncoders
using Transformers.HuggingFace

textencoder, bert_model = hgf"bert-base-uncased"

text1 = "Peter Piper picked a peck of pickled peppers"
text2 = "Fuzzy Wuzzy was a bear"

text = [[ text1, text2 ]] # 1 批连续的句子
sample = encode(textencoder, text) # 分词 + 预处理（添加特殊标记 + 截断/填充 + one-hot 编码）

@assert reshape(decode(textencoder, sample.token), :) == [
    "[CLS]", "peter", "piper", "picked", "a", "peck", "of", "pick", "##led", "peppers", "[SEP]",
    "fuzzy", "wu", "##zzy",  "was", "a", "bear", "[SEP]"
]

bert_features = bert_model(sample).hidden_state

完整示例请参阅 example 文件夹。

更多信息

如果您想了解更多关于本包的信息，请查看 文档 并阅读 example 文件夹中的代码。您也可以在 Julia 的 Slack 或 Discourse 上标记我 (@chengchingwen) 提问，或者直接在 GitHub 上创建一个新的 Issue。

Transformers.jl 快速上手指南

Transformers.jl 是基于 Julia 语言实现的 Transformer 模型库，底层依赖 Flux.jl 深度学习框架。本指南将帮助您快速完成环境配置并运行首个 BERT 示例。

环境准备

• 操作系统：支持 Linux、macOS 和 Windows。
• 前置依赖：
  • 已安装 Julia (推荐最新稳定版)。
  • 确保网络通畅以下载模型权重（若访问 Hugging Face 受限，建议配置代理或使用国内镜像加速）。
• 核心依赖：安装时会自动解析并安装 Flux.jl 等相关依赖包。

安装步骤

启动 Julia REPL（交互式命令行），进入包管理模式并执行安装命令：

]add Transformers

注意：当前版本与 0.1.x 旧版本架构完全不同。如果您之前使用过旧版，请务必更新代码或锁定旧版本以避免兼容性问题。

基本使用

以下示例演示如何加载预训练的 BERT 模型，对文本进行分词编码，并提取模型特征。

using Transformers
using Transformers.TextEncoders
using Transformers.HuggingFace

# 1. 加载预训练的 bert-base-uncased 模型和编码器
textencoder, bert_model = hgf"bert-base-uncased"

# 2. 准备输入文本
text1 = "Peter Piper picked a peck of pickled peppers"
text2 = "Fuzzy Wuzzy was a bear"

# 构造一个包含两个句子的批次 (batch)
text = [[ text1, text2 ]]

# 3. 编码：分词 + 预处理 (添加特殊令牌、截断/填充、One-hot 编码)
sample = encode(textencoder, text)

# 验证分词结果 (可选)
@assert reshape(decode(textencoder, sample.token), :) == [
    "[CLS]", "peter", "piper", "picked", "a", "peck", "of", "pick", "##led", "peppers", "[SEP]",
    "fuzzy", "wu", "##zzy",  "was", "a", "bear", "[SEP]"
]

# 4. 前向传播：获取模型输出的隐藏状态 (hidden_state)
bert_features = bert_model(sample).hidden_state

更多完整示例请参考项目根目录下的 example 文件夹，或查阅官方文档。