KakaoBrain 项目 KoGPT

• KakaoBrain 项目 KoGPT（韩语生成式预训练 Transformer）
  • https://github.com/kakaobrain/kogpt
  • https://huggingface.co/kakaobrain/kogpt

模型描述

KoGPT6B-ryan1.5b

• [huggingface][kakaobrain/kogpt][KoGPT6B-ryan1.5b]
• [huggingface][kakaobrain/kogpt][KoGPT6B-ryan1.5b-float16]

超参数	值
	6,166,502,400
	28
	4,096
	16,384
	16
	256
	2,048
	64,512
位置编码	旋转位置嵌入 (RoPE)
RoPE 维度	64

硬件要求

KoGPT6B-ryan1.5b

GPU

以下是针对少量示例 KoGPT 的推荐最低 GPU 硬件配置。

• 必需的最小显存为 32GB GPU RAM

KoGPT6B-ryan1.5b-float16

GPU

以下是针对少量示例 KoGPT 的推荐最低 GPU 硬件配置。

• 半精度计算需要基于 Volta、Turing 或 Ampere 架构的 NVIDIA GPU
• 必需的最小显存为 16GB GPU RAM

使用方法

命令行

python -m kogpt --help
usage: KoGPT 推理 [-h] [--model MODEL] [--revision {KoGPT6B-ryan1.5b}]
                       [--device {cpu,cuda}] [-d]

KakaoBrain 韩语（韩文）生成式预训练模型

可选参数:
  -h, --help            显示此帮助信息并退出
  --model MODEL         huggingface 仓库（默认：kakaobrain/kogpt）
  --revision {KoGPT6B-ryan1.5b}
  --device {cpu,cuda}   （默认：cuda）
  -d, --debug

python -m kogpt
提示> 人类一样思考和行动的“智能”通过，人类至今未能解决的
温度(0.8)> 
最大长度(128)> 64
人类一样思考和行动的“智能”通过，人类至今未能解决的问题的答案将能够被找到。科学技术高度发达的21世纪生活的我们孩子们最需要的是思维能力训练。通过思维能力训练，世界

提示>  
...

Python

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM 

tokenizer = AutoTokenizer.from_pretrained(
  'kakaobrain/kogpt', revision='KoGPT6B-ryan1.5b-float16',  # 或者 float32 版本：revision=KoGPT6B-ryan1.5b
  bos_token='[BOS]', eos_token='[EOS]', unk_token='[UNK]', pad_token='[PAD]', mask_token='[MASK]'
)
model = AutoModelForCausalLM.from_pretrained(
  'kakaobrain/kogpt', revision='KoGPT6B-ryan1.5b-float16',  # 或者 float32 版本：revision=KoGPT6B-ryan1.5b
  pad_token_id=tokenizer.eos_token_id,
  torch_dtype='auto', low_cpu_mem_usage=True
).to(device='cuda', non_blocking=True)
_ = model.eval()

prompt = '人类一样思考和行动的“智能”通过，人类至今未能解决的'
with torch.no_grad():
  tokens = tokenizer.encode(prompt, return_tensors='pt').to(device='cuda', non_blocking=True)
  gen_tokens = model.generate(tokens, do_sample=True，temperature=0.8，max_length=64)
  generated = tokenizer.batch_decode(gen_tokens)[0]
  
print(generated)  # 输出：人类一样思考和行动的“智能”通过，人类至今未能解决的问题的答案将能够被找到。科学技术高度发达的21世纪生活的我们孩子们最需要的是思维能力训练。通过思维能力训练，世界

实验

上下文少样本学习

模型	参数量	NSMC (准确率)	YNAT (F1)	KLUE-STS (F1)
HyperCLOVA[1]	1.3B	83.9	58.7	60.9
HyperCLOVA[1]	6.9B	83.8	67.5	59.3
HyperCLOVA[1]	13.0B	87.9	67.9	60.0
HyperCLOVA[1]	39.0B	88.0	71.4	61.6
HyperCLOVA[1]	82.0B	88.2	72.7	65.1
我们	6.0B	87.8	78.0	64.3

微调 / P-Tuning

我们曾报告过下游评估方面的问题（https://github.com/kakaobrain/kogpt/issues/17）。

之前发布的性能评估表已被删除，因为比较对象算法不同且无法确认性能测量方法，难以将其视为公平的比较。

您可以通过上述问题链接查看现有的性能评估表及故障排除结果。

局限性

KakaoBrain KoGPT 是基于原始数据进行训练的，而该数据集中已知包含脏话、低俗内容、政治敏感信息及其他不当语言。因此，KoGPT 可能会生成社会上不可接受的文本。与所有语言模型一样，在没有事先警告的情况下，很难预测 KoGPT 将如何响应特定的提示词以及潜在的冒犯性内容。

主要面向韩语：KoGPT 主要以韩语文本为训练数据，最适合用于此类文本的分类、搜索、摘要或生成任务。默认情况下，KoGPT 对于与其训练数据分布不同的输入表现较差，这包括非韩语文本以及在训练数据中未充分覆盖的韩语方言。

如果在测试过程中生成了异常或社会上不可接受的文本，请将“提示词”和“生成的文本”发送至 opensource+kogpt@kakaobrain.com。

卡카오브레인 KoGPT 是为了人工智能社区的研究目的而开发的，使用未经处理的原始数据进行训练，这些数据可能包含脏话、淫秽内容、政治敏感信息以及其他粗俗的语言。 因此，KoGPT 有可能生成不符合社会规范的文本。与其他语言模型类似，我们难以提前预知它会对特定的提示词或攻击性内容作出何种回应。

KoGPT 主要基于韩语文本进行训练，因此在处理韩语文本的分类、检索、摘要或生成任务时效果最佳。 通常情况下，KoGPT 在面对与训练数据分布差异较大的输入时，性能会有所下降，例如非韩语文本，或者在训练数据中代表性不足的韩语方言。

请在使用 KoGPT 进行研究、开发或测试时，务必注意上述事项。若在测试过程中生成了异常或不符合社会规范的文本，请将“提示词”和“生成的文本”一并发送至 opensource+kogpt@kakaobrain.com。

引用

如果您在任何项目或研究中使用本库或模型，请引用我们的代码：

@misc{kakaobrain2021kogpt,
  title         = {KoGPT: KakaoBrain 韩语（韩文）生成式预训练 Transformer},
  author        = {Ildoo Kim 和 Gunsoo Han 和 Jiyeon Ham 和 Woonhyuk Baek},
  year          = {2021},
  howpublished  = {\url{https://github.com/kakaobrain/kogpt}},
}

联系方式

本项目以开源形式发布，旨在为众多研究机构和初创企业提供研究支持。我们期待与各界伙伴开展合作，并欢迎随时与我们联系。

contact@kakaobrain.com

许可协议

KakaoBrain KoGPT 的 源代码 采用 Apache 2.0 许可协议授权。 KakaoBrain KoGPT 的 预训练权重 则采用 CC-BY-NC-ND 4.0 许可协议授权。

卡카오브레인 KoGPT 的 源代码 依据 Apache 2.0 许可协议开放使用。 卡카오브레인 KoGPT 的 预训练权重 则依据 CC-BY-NC-ND 4.0 许可协议开放使用。 在使用本模型、代码及预训练权重时，请务必遵守相关许可协议的规定。许可协议全文可在 Apache 2.0 和 LICENSE.cc-by-nc-nd-4.0 文件中查阅。

使用义务

尽管开源软件可以免费使用，但这并不意味着使用者没有任何义务。在决定您对 KoGPT 的使用是否符合 Apache 2.0（或 CC-BY-NC-ND 4.0）许可协议的要求时，请仔细阅读许可指南。若违反许可协议，根据具体使用情况，可能会面临使用禁令或损害赔偿等法律后果。

参考文献

[1] HyperCLOVA: Kim, Boseop 等人。“大规模语言模型能带来哪些改变？关于 HyperCLOVA 的深入研究：数十亿参数级韩语生成式预训练 Transformer。” arXiv 预印本 arXiv:2109.04650 (2021)。

---

贡献

免责声明

本贡献部分并非 KakaoBrain 的官方产品。

AK391 在 Huggingface Spaces 上的网页演示

• 查看演示：https://huggingface.co/spaces/akhaliq/kogpt
  • 该网页演示通过 Gradio 集成到 Huggingface Spaces 平台。
  • 贡献者：AK391

KoGPT 快速上手指南

环境准备

系统要求

• 操作系统：Linux 或 macOS（Windows 需要额外配置）
• Python 版本：3.8+

前置依赖

• PyTorch（建议使用 1.10+ 版本）
• Transformers 库（由 Hugging Face 提供）
• 其他依赖可通过 pip 自动安装

推荐使用国内镜像源加速安装，例如：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers torch

安装步骤

pip install kogpt

或者从源码安装：

git clone https://github.com/kakaobrain/kogpt.git
cd kogpt
pip install -e .

基本使用

命令行使用（CLI）

python -m kogpt
prompt> 인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던
temperature(0.8)> 
max_length(128)> 64

Python 代码示例

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM 

tokenizer = AutoTokenizer.from_pretrained(
  'kakaobrain/kogpt', revision='KoGPT6B-ryan1.5b-float16',  # 或使用 float32: revision=KoGPT6B-ryan1.5b
  bos_token='[BOS]', eos_token='[EOS]', unk_token='[UNK]', pad_token='[PAD]', mask_token='[MASK]'
)
model = AutoModelForCausalLM.from_pretrained(
  'kakaobrain/kogpt', revision='KoGPT6B-ryan1.5b-float16',  # 或使用 float32: revision=KoGPT6B-ryan1.5b
  pad_token_id=tokenizer.eos_token_id,
  torch_dtype='auto', low_cpu_mem_usage=True
).to(device='cuda', non_blocking=True)
_ = model.eval()

prompt = '인간처럼 생각하고, 행동하는 \'지능\'을 통해 인류가 이제까지 풀지 못했던'
with torch.no_grad():
  tokens = tokenizer.encode(prompt, return_tensors='pt').to(device='cuda', non_blocking=True)
  gen_tokens = model.generate(tokens, do_sample=True, temperature=0.8, max_length=64)
  generated = tokenizer.batch_decode(gen_tokens)[0]
  
print(generated)