RoleLLM：大型语言模型角色扮演能力的基准测试、激发与增强

论文; 数据

我们提出了RoleLLM，一个包含数据构建与评估框架（RoleBench）的角色扮演解决方案，以及针对闭源和开源模型的优化方案（RoleGPT、RoleLLaMA、RoleGLM）。此外，我们还提出了Context-Instruct方法，用于长文本知识提取和角色特定知识注入。

摘要

大型语言模型（LLMs）的出现为复杂任务如角色扮演开辟了道路，这种能力通过让模型模仿不同角色来提升用户交互体验。然而，当前最先进的LLMs多为闭源且以通用任务训练为主，这限制了其在角色扮演方面的优化潜力。本文我们提出了RoleLLM，一个用于基准测试、激发并增强LLMs角色扮演能力的框架。RoleLLM包括四个阶段：(1) 针对100个角色的角色档案构建；(2) 基于上下文的指令生成（Context-Instruct），用于提取角色特定知识；(3) 使用GPT进行角色提示（RoleGPT），以模仿不同说话风格；(4) 基于角色条件的指令微调（RoCIT），用于对开源模型进行精调并实现角色定制化。借助Context-Instruct和RoleGPT，我们创建了RoleBench，这是首个系统化、细粒度的角色级别基准数据集，包含168,093个样本。进一步地，在RoleBench上应用RoCIT后，我们得到了RoleLLaMA（英文版）和RoleGLM（中文版），显著提升了角色扮演能力，甚至达到了与RoleGPT（使用GPT-4）相当的效果。

最新动态

• [2023/12/1] 我们的RoleBench已被集成到OpenCompass中，用于LLM的全面评估。
• [2023/10/19] 我们的RoleBench数据已发布。
• [2023/10/3] 我们的论文已发表。

RoleBench统计信息

角色列表

亚伯拉罕·林肯、阿尔维·辛格、安德鲁·德特默、天使、安东尼奥·萨列里、李白（中国）、本杰明·巴顿、布莱尔·沃德夫、布鲁诺·安东尼、卡登·科塔尔、凯撒、教练埃里克·泰勒、汉斯·兰达上校、内森·R·杰塞普上校、科里奥兰纳斯、达达尼昂、大卫·艾姆斯、神秘博士、弗兰克·N·弗特医生、汉尼拔·莱克特医生、甄嬛传中的皇帝（中国）、张飞（中国）、弗莱彻·里德、弗兰克·T.J. 麦基、弗雷德·弗林特斯通、弗莱迪·克鲁格、加斯顿、格雷戈里·豪斯、HAL 9000、哈维·米尔克、甄嬛传中的华妃（中国）、杰克、杰克·斯派洛、杰克·托兰斯、杰基·穆恩、詹姆斯·邦德、詹姆斯·布朗、詹姆斯·卡特、杰夫·斯皮科利、拼图杀人狂、吉姆·莫里森、约翰·科菲、约翰·迪林格、约翰·多伊、约翰·基廷、乔丹·贝尔福特、法官德雷德、朱迪·胡普斯、朱诺·麦克加夫、卡尔·柴尔德斯、克劳斯·米凯尔森、莱昂纳德·谢尔比、利罗伊·杰斯罗·吉布斯、莱斯塔特·德·里昂库尔、洛根、路西法·晨星、琳·卡萨迪、马尔科姆·X、马克·伦顿、玛丽·西布利、拖车机马特、迈克尔·斯科特、墨菲·麦克马努斯、奥利弗·奎因、帕特·索利塔诺、保罗·康罗伊、保罗·维蒂、彼得·帕克、宝、G.H. 多尔教授、凯瑟琳王后、伊丽莎白一世女王、瑞秋·朗、兰德尔·麦克默菲、雷兰·吉文斯、罗伯特·安吉尔、罗夏、赛斯、谢尔顿·库珀、夏洛克·福尔摩斯、史莱克、桑尼、斯坦利·伊普基斯、斯蒂芬·霍金、斯蒂夫勒、老 dude、西奥多·特温布利、雷神托尔、汤姆·里普利、特拉维斯·比克尔、杜鲁门·卡波特、塔格·斯皮德曼、暮光之城的紫悦、泰勒·霍金斯、提利昂·兰尼斯特、薇奥莱特·韦斯顿、死侍、沃尔特·科瓦尔斯基、威利·索克、孙悟空（西游记，中国）。

所有上述角色均在开头的角色全景图中以肖像形式展示。

框架

RoleLLM由四个主要阶段组成：(1) 角色档案构建；(2) 基于上下文的指令生成（Context-Instruct），主要用于提取角色特定知识和情景记忆；(3) 使用GPT进行角色提示（RoleGPT），主要用于模仿不同说话风格；(4) 基于角色条件的指令微调（RoCIT），利用Context-Instruct和RoleGPT生成的数据来增强现有的开源LLM。

实验结果

非精选演示

星标历史

引用

如果您喜欢RoleBench和RoleLLM，请随时引用我们。

@article{wang2023rolellm,
  title   = {RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models},
  author  = {Zekun Moore Wang 和 Zhongyuan Peng 和 Haoran Que 和 Jiaheng Liu 和 Wangchunshu Zhou 和 Yuhan Wu 和 Hongcheng Guo 和 Ruitong Gan 和 Zehao Ni 和 Jian Yang 和 Man Zhang 和 Zhaoxiang Zhang 和 Wanli Ouyang 和 Ke Xu 和 Stephen W. Huang 和 Jie Fu 和 Junran Peng},
  year    = {2023},
  journal = {arXiv预印本 arXiv: 2310.00746}
}

RoleLLM 快速上手指南

RoleLLM 是一个用于基准测试、激发和增强大语言模型（LLM）角色扮演能力的框架。本项目提供了数据集构建方法（RoleBench）、闭源模型解决方案（RoleGPT）以及开源模型微调方案（RoleLLaMA/RoleGLM）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python: 3.8 或更高版本
• GPU: 推荐使用 NVIDIA GPU (用于微调开源模型如 RoleLLaMA/RoleGLM)，显存建议 16GB 以上以支持全量或高效微调。
• 前置依赖:
  • PyTorch (适配您的 CUDA 版本)
  • Transformers
  • Accelerate
  • Datasets

建议创建独立的虚拟环境：

python -m venv rolellm_env
source rolellm_env/bin/activate  # Windows 用户使用: rolellm_env\Scripts\activate

安装步骤

目前项目主要通过源码安装。请克隆仓库并安装必要的 Python 依赖。

1. 克隆仓库

   git clone https://github.com/InteractiveNLP-Team/RoleLLM-public.git
   cd RoleLLM-public
   

2. 安装依赖 如果项目根目录包含 requirements.txt，请执行：

   pip install -r requirements.txt
   

   注：若未找到具体的 requirements 文件，请手动安装核心库：

   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   pip install transformers datasets accelerate sentencepiece protobuf
   

3. 获取数据 (RoleBench) 您可以通过 Hugging Face 直接加载数据集，或在代码中引用。

   • 数据集地址：ZenMoore/RoleBench
   • 该数据集已集成至 OpenCompass，也可通过 OpenCompass 进行评测。

基本使用

RoleLLM 的核心功能分为两类：使用提示工程激发生成（RoleGPT 模式）和使用微调后的开源模型（RoleLLaMA/RoleGLM 模式）。

1. 加载 RoleBench 数据集

使用 datasets 库快速加载用于评估或训练的数据：

from datasets import load_dataset

# 加载 RoleBench 数据集
dataset = load_dataset("ZenMoore/RoleBench")

# 查看示例数据 (例如第一个角色的第一个样本)
print(dataset["train"][0])

2. 使用微调后的模型 (RoleLLaMA / RoleGLM)

假设您已经下载了微调好的模型权重（或通过 RoCIT 流程自行训练），可以使用 transformers 进行推理。

英文角色示例 (基于 RoleLLaMA):

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_name = "path/to/RoleLLaMA-weights"  # 替换为实际模型路径
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", torch_dtype=torch.float16)

# 构造角色提示 (以 Sherlock Holmes 为例)
input_text = """<role>Sherlock Holmes</role>
User: Who are you?
Assistant:"""

inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100, do_sample=True, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

中文角色示例 (基于 RoleGLM):

from transformers import AutoTokenizer, AutoModel
import torch

model_name = "path/to/RoleGLM-weights"  # 替换为实际模型路径
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(model_name, trust_remote_code=True).half().cuda()

# 构造角色提示 (以孙悟空为例)
prompt = "你是孙悟空。用户：你是谁？助手："

response, history = model.chat(tokenizer, prompt, history=[])
print(response)

3. 构建自定义角色指令 (Context-Instruct 思路)

若您想利用 GPT-4 等强大模型生成特定角色的训练数据（即复现 RoleGPT 流程），可参考以下逻辑构建 Prompt：

# 伪代码示例：构建 Context-Instruct 提示
role_profile = "You are Abraham Lincoln, the 16th US President..."
context_knowledge = "Extracted knowledge about the Civil War and Emancipation Proclamation..."

prompt = f"""
Based on the following role profile and knowledge context, generate a dialogue turn.
Role Profile: {role_profile}
Context: {context_knowledge}
User Input: "What is your view on freedom?"
Response (in character):
"""
# 将上述 prompt 发送给 GPT-4 API 即可获取高质量的角色扮演样本

提示：完整的微调脚本（RoCIT）和详细的数据处理流程请参考仓库中的 scripts 目录或论文附录。