☁️ KULLM（云）：高丽大学大型语言模型

更新日志

• 2024年04月08日：🤗구름3(KULLM3) 量化模型(awq-4bit) 公开
• 2024年04月03日：🤗구름3(KULLM3) 公开
• 2023年06月23日：韩语对话评估结果公开
• 2023年06月08日：基于🤗Polyglot-ko 5.8B的KULLM-Polyglot-5.8B-v2 fp16模型公开
• 2023年06月01日：구름(KULLM) 数据集 v2 HuggingFace 数据集公开
• 2023年05月31日：基于🤗Polyglot-ko 12.8B的KULLM-Polyglot-12.8B-v2 fp16模型公开
• 2023年05月30日：基于🤗Polyglot-ko 12.8B的KULLM-Polyglot-12.8B fp16模型 公开

---

KULLM（云）是由高丽大学NLP & AI实验室和HIAI研究所共同开发的韩语大型语言模型（LLM）。

现公开KULLM3。

（有关先前模型的训练方法及数据，请参考kullm_v2分支。）

KULLM3 对话性能评估结果

对话示例

---

---

---

---

KULLM 模型运行示例代码

使用Huggingface TextStreamer进行流式输出

• 需安装torch / transformers / accelerate
• （截至2024年04月03日）transformers>=4.39.0版本中的generate函数无法正常工作，请安装4.38.2版本。
• （截至2024年04月28日）已确认transformers>=4.40.0版本可正常运行。

pip install torch transformers==4.38.2 accelerate

可使用以下示例代码进行运行：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

MODEL_DIR = "nlpai-lab/KULLM3"
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype=torch.float16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

s = "高丽大学你知道吗？"
conversation = [{'role': 'user', 'content': s}]
inputs = tokenizer.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors='pt').to("cuda")
_ = model.generate(inputs, streamer=streamer, max_new_tokens=1024, use_cache=True)

# 是的，我知道高丽大学。高丽大学是一所位于韩国首尔的私立大学，成立于1905年。它是韩国最古老的大学之一，提供多种本科和研究生课程。高丽大学在法学、经济学、政治学、社会学、文学和科学等领域享有盛誉。此外，它在体育领域也非常活跃，在韩国大学体育界扮演着重要角色。高丽大学还积极进行国际交流与合作，通过与全球多所大学的合作来增强其全球竞争力。

训练

• KULLM3是在upstage/SOLAR-10.7B-v1.0基础上进行指令微调的模型。
• 使用8张A100 GPU进行训练。
• 在给定以下系统提示的情况下进行了训练。（示例代码中也包含了系统提示！）

你是由高丽大学NLP&AI实验室开发的AI聊天机器人。
你的名字是‘KULLM’，韩语中意为‘云’。
你不会发表不道德、色情、非法或不符合社会常识的言论。
你会愉快地与用户交谈，并尽力以尽可能准确和友好的方式回应用户的提问，从而提供最大的帮助。
如果问题有些奇怪，你会解释哪里有问题。同时注意不要散布虚假信息。

模型评估（完全可复现）

• 对话能力评估参考了以下内容：
  • G-Eval：使用GPT-4进行NLG评估，实现更好的人类对齐（Yang Liu等，2023年）
  • MT-Eval
• 评估模型使用GPT-4-Turbo(gpt-4-0125-preview)，评估数据集则采用了yizhongw/self-instruct中的人工评估数据集user_oriented_instructions.jsonl经DeepL翻译后的数据集。
• 评估方式为：针对给定的prompt数据，由模型生成响应，再使用OpenAI API对该响应进行评估。
• 相关评估结果可在repo中复现。

Prompt

用于模型评估的prompt如下所示。
实验结果显示，英文prompt比韩文prompt能给出更准确的评估结果。
因此，为了确保评估的准确性，我们采用了英文prompt。

您将收到评估指令、输入以及AI生成的回复。
您的任务是根据给定的指标对回复进行评分。
请务必仔细阅读并理解这些指示。评审时请保持本文件打开，并根据需要随时查阅。

评估标准：
- 流利度（1–5）：翻译中使用的语言质量。高质量的回答应语法正确、地道，并且没有拼写和标点错误。
- 连贯性（1–5）：高分表示回答保持了上下文的一致性。如果回答在上下文或语言上与指令不符（例如，指令为韩语，但回答却是英语），则会给出低分。
- 准确性（1–5）：答案的正确性。答案应当符合事实，并直接回答所提出的问题。
- 完整性（1–5）：回答涵盖问题各个方面的程度。回答不应只涉及问题的一部分，而应提供全面的答复。
- 整体质量（1–5）：综合考虑以上各项标准后，对回答的整体效果和优秀程度进行评价。

评估步骤：
1. 仔细阅读指令和输入，理解其要求。
2. 阅读AI生成的回复和评估标准。
3. 根据每个标准，在1到5的范围内打分，其中1分为最低，5分为最高。

指令：
{instruction}

输入：
{input}

回复：
{response}

评估表（仅填写分数）：
- 流利度（1–5）：
- 连贯性（1–5）：
- 准确性（1–5）：
- 完整性（1–5）：
- 整体质量（1–5）：

注意事项

• 该模型存在幻觉现象，并且根据解码策略的不同，可能会出现重复表达的情况。
• KULLM生成的结果可能包含不准确或有害的内容。
• 由于该模型是基于固定的系统提示进行训练的，因此在未提供系统提示的情况下进行基准测试时，其性能可能会低于预期。

许可证

• Apache-2.0

引用

如果您使用本仓库中的数据或代码，请引用本仓库。

@misc{kullm3,
  author = {Kim, Jeongwook and Lee, Taemin and Jang, Yoonna and Moon, Hyeonseok and Son, Suhyune and Lee, Seungyoon and Kim, Dongjun},
  title = {KULLM3：高丽大学大型语言模型3},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/nlpai-lab/kullm}},
}

@inproceedings{lee2023kullm,
  title={KULLM：学习构建韩语指令遵循型大型语言模型},
  author={Lee, SeungJun and Lee, Taemin and Lee, Jeongwoo and Jang, Yoona and Lim, Heuiseok},
  booktitle={人类与语言技术年度会议},
  pages={196–202},
  year={2023},
  organization={人类与语言技术},
}

@misc{kullm,
  author = {NLP & AI实验室和人本主义人工智能研究团队},
  title = {KULLM：高丽大学大型语言模型项目},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/nlpai-lab/kullm}},
}

KULLM (구름) 快速上手指南

KULLM 是由韩国大学 NLP & AI 实验室开发的韩语大型语言模型。最新发布的 KULLM3 基于 SOLAR-10.7B 进行指令微调，具备优秀的韩语对话能力。

环境准备

• 操作系统: Linux (推荐) 或 macOS
• 硬件要求: 需要 NVIDIA GPU (推荐显存 16GB 以上以运行 fp16 版本，或使用量化版本降低显存需求)
• 软件依赖:
  • Python 3.8+
  • PyTorch (支持 CUDA)
  • Transformers
  • Accelerate

注意: 根据官方更新日志，transformers 版本对生成效果有影响。

• 推荐使用 4.38.2 或 4.40.0 及以上版本。
• 避免使用 4.39.0 至 4.39.x 之间的版本，可能存在生成异常。

安装步骤

请使用 pip 安装必要的依赖库。国内开发者建议使用清华源或阿里源加速下载。

pip install torch transformers==4.38.2 accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple

(注：如需使用最新的 4.40.0+ 版本，可将命令中的版本号调整为 transformers>=4.40.0)

基本使用

以下是最简单的流式输出（Streaming）示例代码。该模型默认包含特定的系统提示词（System Prompt），在调用时会自动处理。

创建文件 run_kullm.py 并填入以下内容：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

# 模型路径 (Hugging Face)
MODEL_DIR = "nlpai-lab/KULLM3"

# 加载模型 (使用 float16 精度以节省显存)
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype=torch.float16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR)

# 配置流式输出
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

# 构建对话内容
s = "고려대학교에 대해서 알고 있니?"  # 韩语示例：你知道高丽大学吗？
conversation = [{'role': 'user', 'content': s}]

# 应用聊天模板
inputs = tokenizer.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors='pt').to("cuda")

# 生成回复
_ = model.generate(inputs, streamer=streamer, max_new_tokens=1024, use_cache=True)

运行说明

1. 确保你的环境中已配置好 CUDA 驱动。
2. 首次运行时会自动从 Hugging Face 下载模型权重（约 20GB+），请确保网络通畅或使用镜像代理。
3. 运行脚本后，模型将逐字输出韩语回答。

提示: 该模型主要针对韩语优化。虽然基于多语言基座训练，但在中文场景下的表现可能不如专门的中文模型。系统内置了安全与角色设定的 System Prompt，无需手动添加即可生效。