YuLan-Chat模型是中国人民大学高瓴人工智能学院的研究人员开发的基于对话的大语言模型（“玉兰”取自中国人民大学校花）。最新版本从头开始进行预训练，并通过课程学习策略，结合高质量的中英文指令和人类偏好数据进行有监督微调。该模型具有以下技术特点：

• 由于在大规模高质量的中英文及多语言数据上进行了预训练，模型的语言能力得到了显著提升。
• 采用课程学习策略进行人类对齐训练，进一步增强了模型的有用性、诚实性和无害性。
• 为更好地支持中文长文本输入输出，我们扩展了词表并增加了最大输入长度，目前可支持4k上下文。

YuLan-Chat系列模型是中国人民大学高瓴人工智能学院师生共同开发的支持聊天的大语言模型（名字"玉兰"取自中国人民大学校花）。最新版本从头完成了整个预训练过程，并采用课程学习技术基于中英文双语数据进行有监督微调，包括高质量指令和人类偏好数据。该版模型具有如下技术特点：

• 由于在大规模中英双语数据上进行了继续预训练，模型的语言能力得到提高；
• 由于采用了课程学习方法进行人类对齐训练，模型在真实场景下的有用性、诚实性与无害性得到了增强；
• 为了更好的支持中文和更长的输入输出，模型的词表及长度得到了扩充，目前可支持4k上下文。

新闻

• [2024年12月25日] 我们发布了YuLan-Mini，这是一款仅使用1T预训练数据的高性能轻量级2.4B语言模型。更多详情请参见此处。
• [2024年7月1日] 我们发布了YuLan-Base-12B，这是一个从零开始训练的基础模型，以及其对话版YuLan-Chat-3-12B。我们在超过1.6TB的中英文及多语言数据上进行了大规模预训练，随后通过课程学习方法，结合高质量的中英文指令和人类偏好数据进行有监督微调，最终得到了对话版模型。
• [2023年8月18日] 我们的YuLan-Chat-2-13B在OpenCompass基准测试中取得了第5名！
• [2023年8月2日] 我们发布了YuLan-LLaMA-2-13B和YuLan-Chat-2-13B。这两款模型均基于LLaMA-2，在中英文语料上进行了持续预训练；其中，YuLan-Chat-2-13B是在YuLan-LLaMA-2-13B的基础上，使用高质量的中英文对话指令进行微调后的对话型模型。
• [2023年8月2日] 我们发布了YuLan-Chat-1-65B-v2，该模型在LLaMA-65B的基础上进行了中英文语料的持续预训练，随后使用高质量的中英文指令进行了微调。
• [2023年6月8日] 我们发布了YuLan-Chat-1-13B-v1和YuLan-Chat-1-65B-v1，以及相应的INT-8量化脚本。

• [2024年7月1日] 我们发布了YuLan-Base-12B，一个完全从头训练的Base模型，以及其Chat化版本YuLan-Chat-3-12B。我们在超过1.6TB词元的中、英文和多语数据上进行了大规模预训练，得到了Base模型，然后基于高质量双语指令和人类偏好数据，使用课程学习方法进行有监督微调，最终得到了Chat化的版本。
• [2023年8月2日] 我们发布了YuLan-LLaMA-2-13B和YuLan-Chat-2-13B两个模型，其都在LLaMA-2的基础上进行了双语继续预训练，YuLan-Chat-2-13B在YuLan-LLaMA-2-13B基础上进行了双语高质量对话指令微调。
• [2023年8月2日] 我们发布了YuLan-Chat-1-65B-v2模型，其在LLaMA-65B的基础上进行了双语继续预训练，然后用高质量双语指令进行了微调。
• [2023年6月8日] 我们发布了YuLan-Chat-1-13B-v1和YuLan-Chat-1-65B-v1两个模型，以及对应的int8量化脚本。

模型库

由于许可证限制，对于基于LLaMA的模型，我们仅提供与原始检查点的权重差异；而基于LLaMA-2的模型则可以直接使用。更多详细信息请参阅使用说明部分。

局限性：尽管我们尝试减少模型在使用中可能出现的安全性问题，并鼓励模型生成符合道德和法律要求的文本，但由于语言模型基于概率生成的范式，模型仍然可能会产生意外的输出。 例如，生成的响应可能包含偏见、歧视或其他有害内容。 请不要传播此类内容。 我们对因传播有害信息而造成的任何后果不承担任何责任。

由于许可证的限制，基于LLaMA的模型我们仅提供与官方模型的差值，基于LLaMA-2的模型可直接使用，具体请参见使用方法章节。

局限性：尽管我们尝试减少模型在使用中可能出现的安全性问题，并鼓励模型生成符合道德和法律要求的文本，但由于语言模型基于概率生成的范式，模型仍然可能会产生意外的输出。 例如，生成的响应可能包含偏见、歧视或其他有害内容。 请不要传播此类内容。 我们对因传播有害信息而造成的任何后果不承担任何责任。

模型	骨干架构	扩展词表	扩展长度	持续预训练	有监督微调	发布日期
YuLan-Base-12B	YuLan-Base-12B	✅ 51,190	✅ 4,096	❌	❌	2024.7.1
YuLan-Chat-3-12B	YuLan-Base-12B	✅ 51,190	✅ 4,096	❌	✅	2024.7.1
YuLan-Chat-2-13B	LLaMA2-13B	✅ 51,190	✅ 8,192	✅	✅	2023.8.2
YuLan-LLaMA-2-13B	LLaMA2-13B	✅ 51,190	✅ 8,192	✅	❌	2023.8.2
YuLan-Chat-1-65B-v2	LLaMA-65B	✅ 51,190	❌ 2,048	✅	✅	2023.8.2
YuLan-Chat-1-13B-v1	LLaMA-13B	❌ 32,000	❌ 2,048	❌	✅	2023.6.8
YuLan-Chat-1-65B-v1	LLaMA-65B	❌ 32,000	❌ 2,048	❌	✅	2023.6.8

评估

我们在多个中英文基准测试上对YuLan-Chat模型进行了评估，结果如下所示。

我们在中英文的一些基准测试上对YuLan-Chat进行了评价，其结果如下。

MMLU

MMLU（大规模多任务语言理解）是一个基准测试集，旨在通过仅在零样本和少样本设置下评估模型来衡量其在预训练过程中所获得的知识。

MMLU是一个评估模型知识量的常用的英文基准测试集。

模型	STEM	社会科学	人文科学	其他	平均
YuLan-Chat-1-13B-v1	39.6	57.8	42.6	57.6	49.4
YuLan-Chat-1-65B-v1	49.2	71.7	57.7	66.7	61.3
YuLan-Chat-1-65B-v2	46.3	67.9	56.9	63.9	58.7
LLaMA-2-13B	44.6	64.2	53.9	62.2	56.2
FlagAlpha/Llama2-Chinese-13b-Chat	44.4	63.2	51.6	60.6	55.0
Linly-AI/Chinese-LLaMA-2-13B-hf	43.6	62.7	49.8	61.6	54.4
YuLan-LLaMA-2-13B	42.9	61.5	50.4	58.6	53.4
YuLan-Chat-2-13B	45.3	66.7	53.8	62.8	57.2
YuLan-Base-12B	42.3	60.2	46.4	56.1	51.3
YuLan-Chat-3-12B	45.5	64.3	51.8	61.3	55.7

C-Eval

C-Eval 是一个针对基础模型的综合性中文评估套件。

C-Eval是一个针对基石模型综合能力的中文基准测试集。

模型	STEM	社会科学	人文科学	其他	平均	平均（难）
YuLan-Chat-1-13B-v1	30.2	37.4	31.9	30.7	32.0	25.7
YuLan-Chat-1-65B-v1	37.7	46.1	36.8	38.0	39.2	31.1
YuLan-Chat-1-65B-v2	39.9	55.9	47.7	43.7	45.4	31.4
LLaMA-2-13B	36.9	43.2	37.6	36.6	38.2	32.0
FlagAlpha/Llama2-Chinese-13b-Chat	36.8	44.5	36.3	36.5	38.1	30.9
Linly-AI/Chinese-LLaMA-2-13B-hf	33.7	44.8	36.6	36.5	37.0	27.7
YuLan-LLaMA-2-13B	35.3	46.4	41.9	37.6	39.3	28.6
YuLan-Chat-2-13B	38.9	49.7	45.0	40.8	42.6	32.2
YuLan-Base-12B	42.0	57.6	47.2	41.5	46.0	32.6
YuLan-Chat-3-12B	47.0	61.8	52.9	44.3	50.5	37.7

AGI-Eval-Gaokao

AGI-Eval 是一个以人为中心的基准，专门设计用于评估基础模型在与人类认知和解决问题相关的任务中的一般能力。我们使用其中的"高考"分支进行评测。

AGI-Eval 是一个以人为中心的基准，专门设计用于评估基础模型在与人类认知和解决问题相关的任务中的一般能力。我们使用其中的"高考"分支进行评测。

模型	平均	中文	英语	地理	历史	生物	化学	物理	数学-问答	数学-填空
YuLan-Chat-1-13B-v1	29.2	32.1	63.1	34.7	25.1	26.2	29.0	25.5	26.5	0.9
YuLan-Chat-1-65B-v1	34.6	24.8	82.0	44.2	44.3	31.4	30.9	26.0	27.1	0.9
YuLan-Chat-1-65B-v2	37.9	31.4	80.4	50.8	56.6	33.3	29.0	32.0	24.4	0.8
LLaMA-2-13B	32.7	27.2	72.2	36.2	43.0	26.2	32.4	30.0	26.2	0.9
FlagAlpha/Llama2-Chinese-13b-Chat	31.6	26.4	70.6	35.2	38.7	28.1	28.0	29.5	25.6	2.5
Linly-AI/Chinese-LLaMA-2-13B-hf	31.1	22.8	74.8	42.2	37.9	24.3	28.0	23.0	26.5	0.0
YuLan-LLaMA-2-13B	34.2	25.2	70.3	43.2	48.5	30.0	29.5	31.0	28.5	1.7
YuLan-Chat-2-13B	39.5	37.0	85.3	46.7	51.9	43.8	38.2	29.0	23.1	0.9
YuLan-Chat-3-12B	43.5	31.3	68.3	53.3	60.9	43.8	34.8	27.5	28.2	0.9
YuLan-Chat-3-12B	49.5	43.9	80.4	57.3	69.4	53.8	37.7	27.0	26.2	0.9

使用方法

环境配置

conda create -n yulan python=3.10 -y
conda activate yulan

我们建议根据官方手册安装pytorch和bitsandbytes，此处提供我们使用的版本作为参考。

我们建议根据官方手册安装pytorch和bitsandbytes，此处提供我们使用的版本作为参考。

torch==1.13
bitsandbytes==0.39.0

然后，安装其他所需的包。

pip install -r requirements.txt

模型权重恢复

1. 对于YuLan-Chat-1-13B-v1、YuLan-Chat-1-65B-v1和YuLan-Chat-1-65B-v2，由于它们基于LLaMA，您需要先下载LLaMA的原始权重，然后将我们发布的参数差值合并到原始模型参数中以获得最终的参数。

对于基于LLaMA的模型，请先下载LLaMA官方模型，然后将我们发布的参数差值合并到原始模型参数中以获得最终的参数。

python3 apply_delta.py \
    --base-model-path ./llama-13b/ \
    --tuned-model-path ./yulan-13b/ \
    --delta-path ./yulan-13b-delta

2. 对于YuLan-LLaMA-2-13B和YuLan-Chat-2-13B，您可以直接下载我们发布的检查点，并使用Huggingface Transformers加载其参数。

对于基于LLaMA-2的模型，可以直接下载我们发布的模型权重，并使用Huggingface Transformers进行使用。

从 Hugging Face Transformers 导入

由于我们的模型基于 LLaMA 训练，因此可以使用与原始 LLaMA 相同的方式加载。

由于我们的模型与LLaMA具有相似的结构，可以使用与LLaMA相同的方法加载。

>>> from transformers import AutoTokenizer, AutoModelForCausalLM
>>> tokenizer = AutoTokenizer.from_pretrained("yulan-team/YuLan-Chat-3-12b")
>>> model = AutoModelForCausalLM.from_pretrained("yulan-team/YuLan-Chat-3-12b").cuda()
>>> model = model.eval()
>>> input_text = "hello"
>>> prompt = "The following is a conversation between a human and an AI assistant namely YuLan, developed by GSAI, Renmin University of China. The AI assistant gives helpful, detailed, and polite answers to the user's questions.\n[|Human|]:{}\n[|AI|]:".format(input_text)
>>> inputs = tokenizer(prompt, return_tensors='pt', padding="longest", max_length=4096, truncation=True, return_attention_mask=True, add_special_tokens=True)
>>> kwargs = {'temperature': 0.8, 'top_p': 0.95, "top_k": 50, "repetition_penalty": 1.1, "no_repeat_ngram_size": 64, "max_length": 4096, "pad_token_id": tokenizer.bos_token_id, "eos_token_id": tokenizer.eos_token_id}
>>> outputs = model.generate(inputs['input_ids'].to(model.device), attention_mask=inputs['attention_mask'].to(model.device), do_sample=True, **kwargs)
>>> print(tokenizer.batch_decode(outputs, skip_special_tokens=True)[len(prompt):])

命令行推理

我们提供了 YuLan-Chat 的命令行推理代码。

我们提供命令行预测脚本。

python inference.py --model_path ~/pretrain-checkpoint/yulan-13b/

我们还提供了一种量化方法，以便更高效地部署 YuLan-Chat。经过量化后，模型可以被加载进单张 GPU 中。

我们也提供了一种量化的方法以便于更轻量化地部署YuLan-Chat。经过量化后，模型可以被加载进单张GPU中。

YuLan-Chat (INT-8)	GPU 消耗
13B	RTX3090-24G
65B	A100-80G

python inference.py --model_path ~/pretrain-checkpoint/yulan-13b/ --load_in_8bit

许可证

YuLan-Chat 使用 MIT 许可证。本项目中的所有数据和代码仅可用于学术研究目的。

本项目使用MIT许可，所有的数据和代码仅供学术研究使用。

贡献者

预训练	微调
Yutao Zhu (负责人), Kelong Mao, Wentong Chen, Yiding Sun, Yihan Wu, Qian Cao, Lei Zhang, Feng Wang, Qiangqiang Ren	Kun Zhou (负责人), Yushuo Chen, Zhipeng Chen, Lei Wang, Yupeng Hou, Xincheng Pang, Xinyu Tang, Junyi Li, Yuhan Chen, Shufang Xie

参考文献

如果您觉得我们的工作对您有所帮助，请引用我们的论文。

如果我们的项目对您有帮助，请引用我们，谢谢！

@article{yulan,
  author       = {Yutao Zhu and 
                  Kun Zhou and 
                  Kelong Mao and 
                  Wentong Chen and 
                  Yiding Sun and 
                  Zhipeng Chen and 
                  Qian Cao and 
                  Yihan Wu and 
                  Yushuo Chen and 
                  Feng Wang and 
                  Lei Zhang and 
                  Junyi Li and 
                  Xiaolei Wang and 
                  Lei Wang and 
                  Beichen Zhang and 
                  Zican Dong and 
                  Xiaoxue Cheng and 
                  Yuhan Chen and 
                  Xinyu Tang and 
                  Yupeng Hou and 
                  Qiangqiang Ren and 
                  Xincheng Pang and 
                  Shufang Xie and 
                  Wayne Xin Zhao and 
                  Zhicheng Dou and 
                  Jiaxin Mao and 
                  Yankai Lin and 
                  Ruihua Song and 
                  Jun Xu and 
                  Xu Chen and 
                  Rui Yan and 
                  Zhewei Wei and 
                  Di Hu and 
                  Wenbing Huang and 
                  Ze-Feng Gao and 
                  Yueguo Chen and 
                  Weizheng Lu and 
                  Ji-Rong Wen},
  title        = {YuLan: An Open-source Large Language Model},
  journal      = {CoRR},
  volume       = {abs/2406.19853},
  year         = {2024},
  url          = {https://doi.org/10.48550/arXiv.2406.19853},
  doi          = {10.48550/ARXIV.2406.19853},
  eprinttype    = {arXiv},
  eprint       = {2406.19853}
}

YuLan-1

您可以参考我们的 原始分支 以获取关于 YuLan-Chat-1 和指令集的更多详细信息。

更多关于指令构造的细节，可以参考我们之前的分支。

点赞历史

YuLan-Chat 快速上手指南

YuLan-Chat 是由中国人民大学高瓴人工智能学院研发的开源大语言模型系列。该模型基于大规模中英双语数据预训练，并采用课程学习策略进行人类对齐微调，具备优秀的双语理解能力、4k+ 上下文支持以及更高的安全性与有用性。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.10
• 硬件要求:
  • 运行 12B/13B 模型建议至少 24GB VRAM (如 RTX 3090/4090 或 A10/A100)。
  • 若显存不足，可使用量化版本或开启 bitsandbytes 进行 8-bit/4-bit 推理。
• 前置依赖:
  • CUDA Toolkit (根据显卡驱动版本安装)
  • Git

2. 安装步骤

2.1 创建虚拟环境

建议使用 Conda 创建独立的 Python 环境以避免依赖冲突：

conda create -n yulan python=3.10 -y
conda activate yulan

2.2 安装深度学习框架

为了获得最佳的硬件兼容性，建议先访问 PyTorch 官网 获取适合您环境的安装命令。以下为项目参考版本（需根据实际 CUDA 版本调整）：

# 示例：安装 PyTorch 1.13 (请根据实际情况替换为最新稳定版命令)
pip install torch==1.13 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

# 安装 bitsandbytes (用于量化推理，可选但推荐)
pip install bitsandbytes==0.39.0

国内加速提示：如果下载速度较慢，可使用清华或阿里镜像源： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

2.3 安装项目依赖

克隆仓库并安装其余依赖包：

git clone https://github.com/RUC-GSAI/YuLan-Chat.git
cd YuLan-Chat
pip install -r requirements.txt

2.4 获取模型权重

根据您选择的模型版本，从 Hugging Face 下载权重：

• 推荐新手: YuLan-Chat-3-12b (从头训练，原生支持中文，无需合并权重)。
• 注意: 部分基于 LLaMA-1 的旧版本模型（如 YuLan-Chat-1-xxB-v1）仅提供差分权重（delta weights），需要先下载原始 LLaMA 权重并进行合并操作。直接使用 YuLan-Chat-3-12B 或 YuLan-Chat-2-13B 可避免此步骤。

3. 基本使用

以下是最简单的 Python 推理示例，加载 YuLan-Chat-3-12B 模型进行对话。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 1. 指定模型路径 (本地路径或 HuggingFace ID)
model_path = "yulan-team/YuLan-Chat-3-12b"

# 2. 加载分词器和模型
# 若显存有限，可添加 load_in_8bit=True (需安装 bitsandbytes) 或 device_map="auto"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)

# 3. 构建对话输入
# YuLan-Chat 通常遵循特定的 Prompt 格式，此处以通用对话为例
prompt = "你好，请介绍一下你自己。"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# 4. 生成回复
with torch.no_grad():
    outputs = model.generate(
        inputs.input_ids,
        max_new_tokens=512,
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        pad_token_id=tokenizer.eos_token_id
    )

# 5. 解码并输出
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

运行说明：

• 首次运行时会自动下载模型文件，请确保网络通畅或使用代理。
• trust_remote_code=True 是加载该模型所必需的，因为它使用了自定义的代码结构。
• 如需更长上下文支持，请确认下载的模型版本支持 4k 或 8k 长度（如 YuLan-Chat-3-12B 支持 4k，YuLan-Chat-2-13B 支持 8k）。