• KoGPT2（韩语GPT-2）Ver 2.0
  • 分词器
  • 模型
    • 性能
    • 分类或回归
  • 数据
  • 演示
  • 用户贡献示例
  • 相关新闻稿
  • 联系方式
  • 许可证

KoGPT2（韩语GPT-2）Ver 2.0

GPT-2 是一种经过训练能够很好地预测给定文本中下一个单词的语言模型，特别适合用于生成句子。KoGPT2 是一个基于超过40GB的文本数据训练而成的韩语解码器语言模型，旨在克服韩语相关性能不足的问题。

分词器

它使用了 tokenizers 包中的 Character BPE 分词器 进行训练。

词汇表大小为51,200，并添加了以下常用表情符号、emoji等，以提高对这些标记的识别能力：

😀, 😁, 😆, 😅, 🤣, .. , :-), :), -), (-:...

此外，还定义了 <unused0> ~ <unused99> 等未使用的标记，以便根据需要自由定义和使用。

> from transformers import PreTrainedTokenizerFast
> tokenizer = PreTrainedTokenizerFast.from_pretrained("skt/kogpt2-base-v2",
  bos_token='</s>', eos_token='</s>', unk_token='<unk>',
  pad_token='<pad>', mask_token='<mask>')
> tokenizer.tokenize("안녕하세요. 한국어 GPT-2 입니다.😤:)l^o")
['▁안녕', '하', '세', '요.', '▁한국어', '▁G', 'P', 'T', '-2', '▁입', '니다.', '😤', ':)', 'l^o']

模型

模型	参数量	类型	层数	注意头数	FFN维度	隐藏层维度
kogpt2-base-v2	125M	解码器	12	12	3072	768

> import torch
> from transformers import GPT2LMHeadModel

> model = GPT2LMHeadModel.from_pretrained('skt/kogpt2-base-v2')
> text = '근육이 커지기 위해서는'
> input_ids = tokenizer.encode(text, return_tensors='pt')
> gen_ids = model.generate(input_ids,
                           max_length=128,
                           repetition_penalty=2.0,
                           pad_token_id=tokenizer.pad_token_id,
                           eos_token_id=tokenizer.eos_token_id,
                           bos_token_id=tokenizer.bos_token_id,
                           use_cache=True)
> generated = tokenizer.decode(gen_ids[0])
> print(generated)
근육이 커지기 위해서는 무엇보다 규칙적인 생활습관이 중요하다.
특히, 아침식사는 단백질과 비타민이 풍부한 과일과 채소를 많이 섭취하는 것이 좋다.
또한 하루 30분 이상 충분한 수면을 취하는 것도 도움이 된다.
아침 식사를 거르지 않고 규칙적으로 운동을 하면 혈액순환에 도움을 줄 뿐만 아니라 신진대사를 촉진해 체내 노폐물을 배출하고 혈압을 낮춰준다.
운동은 하루에 10분 정도만 하는 게 좋으며 운동 후에는 반드시 스트레칭을 통해 근육량을 늘리고 유연성을 높여야 한다.
운동 후 바로 잠자리에 드는 것은 피해야 하며 특히 아침에 일어나면 몸이 피곤해지기 때문에 무리하게 움직이면 오히려 역효果가 날 수도 있다...

性能

分类或回归

	NSMC(准确率)	KorSTS(斯皮尔曼相关系数)
KoGPT2 2.0	89.1	77.8

数据

除了韩语维基百科之外，新闻、大家的语料库 v1.0等多种数据也被用于模型的训练。

演示

演示链接

用户贡献示例

• 国立国语院报纸语料库(Ver.1.1) 新闻文章主题分类

相关新闻稿

• SKT开发写作AI“KoGPT2”新版本…从句子生成提升至段落生成
• [AI模型探索] #7 韩语版的GPT-2，KoGPT2

联系方式

关于KoGPT2的相关问题，请提交至此处。

许可证

KoGPT2 根据 CC-BY-NC-SA 4.0 许可证 公开发布。在使用该模型及代码时，请遵守许可证条款。许可证全文可在LICENSE文件中查看。

KoGPT2 快速上手指南

KoGPT2 是由 SKT 开发的韩语专用 GPT-2 语言模型（Ver 2.0），基于超过 40GB 的韩语文本训练，擅长韩语句子生成、文本分类及回归任务。

环境准备

• 系统要求：支持 Linux、macOS 或 Windows。
• Python 版本：推荐 Python 3.7 及以上。
• 前置依赖：
  • torch (PyTorch)
  • transformers (Hugging Face)
  • tokenizers

确保已安装基础深度学习环境。若需加速下载，可配置 Hugging Face 国内镜像（如适用）。

安装步骤

使用 pip 安装必要的库：

pip install torch transformers tokenizers

提示：如果下载预训练模型速度较慢，建议在代码中设置 HF_ENDPOINT 环境变量指向国内镜像源（例如：export HF_ENDPOINT=https://hf-mirror.com）。

基本使用

以下示例展示如何加载 KoGPT2 模型并进行文本生成。

1. 初始化 Tokenizer 和 Model

from transformers import PreTrainedTokenizerFast, GPT2LMHeadModel
import torch

# 加载分词器
tokenizer = PreTrainedTokenizerFast.from_pretrained("skt/kogpt2-base-v2",
  bos_token='</s>', eos_token='</s>', unk_token='<unk>',
  pad_token='<pad>', mask_token='<mask>')

# 加载模型
model = GPT2LMHeadModel.from_pretrained('skt/kogpt2-base-v2')

2. 文本生成示例

输入一段韩语文本，模型将自动续写后续内容：

# 输入提示文本
text = '근육이 커지기 위해서는'

# 编码输入
input_ids = tokenizer.encode(text, return_tensors='pt')

# 生成文本
gen_ids = model.generate(input_ids,
                         max_length=128,
                         repetition_penalty=2.0,
                         pad_token_id=tokenizer.pad_token_id,
                         eos_token_id=tokenizer.eos_token_id,
                         bos_token_id=tokenizer.bos_token_id,
                         use_cache=True)

# 解码并输出结果
generated = tokenizer.decode(gen_ids[0])
print(generated)

输出示例：

근육이 커지기 위해서는 무엇보다 규칙적인 생활습관이 중요하다. 특히, 아침식사는 단백질과 비타민이 풍부한 과일과 채소를 많이 섭취하는 것이 좋다...

注意事项

• 该模型主要针对韩语优化，输入中文可能无法得到预期效果。
• 模型遵循 CC-BY-NC-SA 4.0 许可协议，仅限非商业用途使用。