韩语 | 英语

KoELECTRA

ELECTRA通过替换标记检测的方式进行训练，即判别器根据生成器输出的标记来判断其是“真实”标记还是“虚假”标记。这种方法的优势在于可以对所有输入标记进行训练，并且与BERT等模型相比表现出更好的性能。

KoELECTRA使用34GB的韩语文本进行训练，由此发布了KoELECTRA-Base和KoELECTRA-Small两种模型。

此外，KoELECTRA采用了Wordpiece分词、将模型上传至S3存储等技术，使得用户只需安装Transformers库即可在任何操作系统上直接使用该模型。

下载链接

模型	判别器	生成器	Tensorflow-v1
KoELECTRA-Base-v1	判别器	生成器	Tensorflow-v1
KoELECTRA-Small-v1	判别器	生成器	Tensorflow-v1
KoELECTRA-Base-v2	判别器	生成器	Tensorflow-v1
KoELECTRA-Small-v2	判别器	生成器	Tensorflow-v1
KoELECTRA-Base-v3	判别器	生成器	Tensorflow-v1
KoELECTRA-Small-v3	判别器	生成器	Tensorflow-v1

关于KoELECTRA

		层数	嵌入维度	隐藏层大小	注意力头数
KoELECTRA-Base	判别器	12	768	768	12
	生成器	12	768	256	4
KoELECTRA-Small	判别器	12	128	256	4
	生成器	12	128	256	4

词汇表

• 本项目最大的目标是使用户仅需Transformers库即可直接使用模型，因此我们未使用Sentencepiece或Mecab，而是沿用了原论文及代码中使用的Wordpiece分词方式。
• 更多详细信息请参阅[Wordpiece词汇表]

	词汇表大小	是否小写转换
v1	32200	False
v2	32200	False
v3	35000	False

数据

• 对于v1和v2版本，我们使用了约14G的语料库（26亿个标记），包括新闻、维基百科和Namuwiki等内容。
• 而对于v3版本，则额外增加了约20G的“大家的语料库”，涵盖了报纸、书面语、口语、即时通讯以及网络文本等多种来源。

预训练细节

模型	批量大小	训练步数	学习率	最大序列长度	生成器规模	训练时长
Base v1,2	256	70万	2e-4	512	0.33	7天
Base v3	256	150万	2e-4	512	0.33	14天
Small v1,2	512	30万	5e-4	512	1.0	3天
Small v3	512	80万	5e-4	512	1.0	7天

• 对于KoELECTRA-Small模型，我们采用了与原论文中ELECTRA-Small++完全相同的配置选项。

  • 这意味着其设置与官方ELECTRA发布的Small模型一致。
  • 另外，与KoELECTRA-Base不同的是，该模型的生成器和判别器具有相同的模型尺寸（=generator_hidden_size）。

• 除了批量大小和训练步数之外，其余超参数均与原论文保持一致。

  • 尽管我们也尝试过调整其他超参数，但最终发现按照原论文的设定表现最佳。

• 我们使用了TPU v3-8进行训练，并将GCP上使用TPU的方法整理在[使用TPU进行预训练]中。

KoELECTRA在🤗 Transformers🤗中的应用

• 自Transformers v2.8.0起，官方开始支持ElectraModel。

• 模型已上传至Huggingface S3，因此用户无需手动下载即可直接使用。

• ElectraModel与BertModel类似，唯一的区别在于它不返回pooled_output。

• 在微调阶段，ELECTRA通常使用判别器。

1. PyTorch模型与分词器

from transformers import ElectraModel, ElectraTokenizer

model = ElectraModel.from_pretrained("monologg/koelectra-base-discriminator")  # KoELECTRA-Base
model = ElectraModel.from_pretrained("monologg/koelectra-small-discriminator")  # KoELECTRA-Small
model = ElectraModel.from_pretrained("monologg/koelectra-base-v2-discriminator")  # KoELECTRA-Base-v2
model = ElectraModel.from_pretrained("monologg/koelectra-small-v2-discriminator")  # KoELECTRA-Small-v2
model = ElectraModel.from_pretrained("monologg/koelectra-base-v3-discriminator")  # KoELECTRA-Base-v3
model = ElectraModel.from_pretrained("monologg/koelectra-small-v3-discriminator")  # KoELECTRA-Small-v3

2. TensorFlow v2模型

from transformers import TFElectraModel

model = TFElectraModel.from_pretrained("monologg/koelectra-base-v3-discriminator", from_pt=True)

3. 分词器示例

>>> from transformers import ElectraTokenizer
>>> tokenizer = ElectraTokenizer.from_pretrained("monologg/koelectra-base-v3-discriminator")
>>> tokenizer.tokenize("[CLS] 한국어 ELECTRA를 공유합니다. [SEP]")
['[CLS]', '한국어', 'EL', '##EC', '##TRA', '##를', '공유', '##합니다', '.', '[SEP]']
>>> tokenizer.convert_tokens_to_ids(['[CLS]', '한국어', 'EL', '##EC', '##TRA', '##를', '공유', '##합니다', '.', '[SEP]'])
[2, 11229, 29173, 13352, 25541, 4110, 7824, 17788, 18, 3]

子任务结果

这是在保持config设置不变的情况下运行的结果，如果进一步进行超参数调优，可能会获得更好的性能。

代码及详细内容请参考[Finetuning]

基础模型

	NSMC (准确率)	Naver NER (F1值)	PAWS (准确率)	KorNLI (准确率)	KorSTS (斯皮尔曼相关系数)	问题对 (准确率)	KorQuaD (Dev) (EM/F1)	韩语仇恨言论 (Dev) (F1值)
KoBERT	89.59	87.92	81.25	79.62	81.59	94.85	51.75 / 79.15	66.21
XLM-Roberta-Base	89.03	86.65	82.80	80.23	78.45	93.80	64.70 / 88.94	64.06
HanBERT	90.06	87.70	82.95	80.32	82.73	94.72	78.74 / 92.02	68.32
KoELECTRA-Base	90.33	87.18	81.70	80.64	82.00	93.54	60.86 / 89.28	66.09
KoELECTRA-Base-v2	89.56	87.16	80.70	80.72	82.30	94.85	84.01 / 92.40	67.45
KoELECTRA-Base-v3	90.63	88.11	84.45	82.24	85.53	95.25	84.83 / 93.45	67.61

小型模型

	NSMC (准确率)	Naver NER (F1值)	PAWS (准确率)	KorNLI (准确率)	KorSTS (斯皮尔曼相关系数)	问题对 (准确率)	KorQuaD (Dev) (EM/F1)	韩语仇恨言论 (Dev) (F1值)
DistilKoBERT	88.60	84.65	60.50	72.00	72.59	92.48	54.40 / 77.97	60.72
KoELECTRA-Small	88.83	84.38	73.10	76.45	76.56	93.01	58.04 / 86.76	63.03
KoELECTRA-Small-v2	88.83	85.00	72.35	78.14	77.84	93.27	81.43 / 90.46	60.14
KoELECTRA-Small-v3	89.36	85.40	77.45	78.60	80.79	94.85	82.11 / 91.13	63.07

更新

2020年4月27日

• 针对两个子任务（KorSTS、QuestionPair）进行了额外的微调，并更新了原有5个子任务的结果。

2020年6月3日

• 使用EnlipleAI PLM中使用的词汇表制作了KoELECTRA-v2。基础模型和小型模型在KorQuaD任务上均表现出性能提升。

2020年10月9日

• 进一步使用了大家的语料库制作了KoELECTRA-v3。词汇表也重新基于Mecab和Wordpiece制作。
• 考虑到Huggingface Transformers对ElectraForSequenceClassification的官方支持等因素，对原有的子任务结果进行了更新。此外，还增加了Korean-Hate-Speech的结果。

from transformers import ElectraModel, ElectraTokenizer

model = ElectraModel.from_pretrained("monologg/koelectra-base-v3-discriminator")
tokenizer = ElectraTokenizer.from_pretrained("monologg/koelectra-base-v3-discriminator")

2021年5月26日

• 解决了在torch<=1.4下无法加载的问题（模型修改后已重新上传）(相关问题)
• 将tensorflow v2模型上传至huggingface hub(tf_model.h5)

2021年10月20日

• 由于直接从tf_model.h5加载存在多个问题，因此移除了该功能（恢复为通过from_pt=True加载）

致谢

KoELECTRA是在Tensorflow Research Cloud (TFRC)项目的Cloud TPU支持下制作的。此外，KoELECTRA-v3是在大家的语料库的帮助下制作的。

引用

若将此代码用于研究目的，请按以下方式引用：

@misc{park2020koelectra,
  author = {Park, Jangwon},
  title = {KoELECTRA: 韩语预训练ELECTRA模型},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub仓库},
  howpublished = {\url{https://github.com/monologg/KoELECTRA}}
}

参考文献

• ELECTRA
• Huggingface Transformers
• Tensorflow Research Cloud
• 中文ELECTRA
• Enliple AI 韩语PLM
• 大家的语料库

KoELECTRA 快速上手指南

KoELECTRA 是基于 ELECTRA 架构预训练的韩语语言模型，使用 34GB 韩语文本训练而成。它支持通过 Hugging Face transformers 库直接加载，无需手动下载模型文件，适用于各类韩语 NLP 任务。

环境准备

• 操作系统：Linux / macOS / Windows（无限制）
• Python 版本：推荐 Python 3.7+
• 依赖库：
  • transformers >= 2.8.0
  • torch (PyTorch) 或 tensorflow (可选)
• 安装命令：

pip install transformers torch

如在中国大陆地区，可使用清华镜像加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers torch

安装步骤

无需额外安装模型文件，所有模型已托管在 Hugging Face Hub，可直接通过代码加载。

确保已安装 transformers 库后，即可开始使用。

基本使用

1. 加载模型与分词器（PyTorch）

from transformers import ElectraModel, ElectraTokenizer

# 加载 KoELECTRA-Base-v3 判别器模型
model = ElectraModel.from_pretrained("monologg/koelectra-base-v3-discriminator")
tokenizer = ElectraTokenizer.from_pretrained("monologg/koelectra-base-v3-discriminator")

# 编码输入文本
inputs = tokenizer("[CLS] 한국어 ELECTRA 를 공유합니다. [SEP]", return_tensors="pt")

# 获取模型输出
outputs = model(**inputs)
print(outputs.last_hidden_state.shape)

2. 分词示例

from transformers import ElectraTokenizer

tokenizer = ElectraTokenizer.from_pretrained("monologg/koelectra-base-v3-discriminator")
tokens = tokenizer.tokenize("[CLS] 한국어 ELECTRA 를 공유합니다. [SEP]")
ids = tokenizer.convert_tokens_to_ids(tokens)

print(tokens)
print(ids)

3. TensorFlow v2 用户（可选）

from transformers import TFElectraModel

model = TFElectraModel.from_pretrained("monologg/koelectra-base-v3-discriminator", from_pt=True)

注意：微调任务时请使用 discriminator 模型；generator 模型仅用于预训练阶段。

---

现在你可以开始在韩语分类、命名实体识别、问答等任务中微调 KoELECTRA 模型了。