新闻

• ❗️❗️ 2023年9月26日：发布大规模、细粒度、多样化的偏好数据集 UltraFeedback，全新语言模型 UltraLM-13B-v2.0，奖励模型 UltraRM 和批评家模型 UltraCM。
• ❗️❗️ 使用 UltraRM，简单的“最佳16取1”采样在 AlpacaEval 基准测试 上对 text-davinci-003 的胜率分别达到 92.30%（UltraLM2，在13B结果中排名第一）和 91.54%（UltraLM，在 LLaMA-1 结果中排名第一）。
• 2023年8月7日：发布 UltraLM-65B 的第一个版本。
• 2023年6月28日：UltraLM-13B 在 AlpacaEval 排行榜 上位居开源模型榜首！
• 2023年6月27日：我们发布了 UltraLM-13B 的第一个版本，这是一款基于 UltraChat 训练的强大聊天语言模型！
• 2023年4月20日：所有数据均已发布，后续还将进行更多处理并补充数据。
• 2023年4月17日：写作与创作板块剩余部分发布（45.7万条）。
• 2023年4月12日：写作与创作板块第一部分发布。
• 2023年4月9日：在 gpt4all 的支持下，我们现在也拥有一个 Atlas 探索器。
• 2023年4月8日：我们以 GPT-J 为例发布了训练脚本。
• 2023年4月7日：关于世界的问题第二部分发布，包含 29 万条生成的多轮对话。
• 2023年3月31日：关于世界的问题第一部分发布，包含 28 万条生成的多轮对话。

UltraLM

UltraLM 是一系列基于 UltraChat 训练的聊天语言模型。目前我们已发布 13B 版本，该版本在 AlpacaEval 排行榜 上位居开源模型榜首，并在所有模型中排名第四（截至2023年6月28日）。UltraLM-13B 基于 LLaMA-13B 构建，并在训练过程中得到了 BMTrain 的支持。

下载

模型	链接	版本
UltraLM-13B	Huggingface 仓库	v1.0
UltraLM-65B	Huggingface 仓库	v1.0
UltraLM-13B	Huggingface 仓库	v2.0
UltraRM-13B	Huggingface 仓库	v1.0
UltraCM-13B	Huggingface 仓库	v1.0

使用 UltraLM

• 若要重建 UltraLM，请下载 LLaMA-13B 和我们的 Delta 权重。如果您想测试 UltraLM，请使用此链接 Huggingface 仓库；我们尚未评估第三方提供的其他权重。
• 运行 /UltraLM/recover.sh 中的脚本，以获得恢复后的最终权重。
• 获得恢复后的模型后，将 /UltraLM/chat_cli.sh 中的模型路径替换为您自己的路径，然后运行即可开始聊天！

注：不同的超参数或系统提示会影响输出结果。您可以参考 /UltraLM/inference_cli.py 中的默认设置。

性能

本节报告了三项评估结果：来自斯坦福大学的 Alpaca-Eval、来自微软 WizardLM 的 Evol-instruct，以及我们精心编制的评估集。现代大型语言模型的评估可能存在偏差，并受到多种因素的影响，我们也在积极研究更全面的评估方法。

Alpaca-Eval

AlpacaEval 是一个专门用于评估大型语言模型的排行榜。该排行榜基于 GPT-4 自动评估的对 Text-Davince-003 的胜率而创建。

Evol-instruct

该数据集采用进化策略构建，通过多轮改写指令来获得不同复杂度级别的指令。该基准测试由 WizardLM 项目 开发，这是另一个优秀的聊天语言模型！

我们的评估集

我们编制了一个评估集，其中包括 Vicuna 基准测试 以及额外由 GPT-4 生成的 300 个问题和指令。这些问题/指令涵盖了广泛的主题，包括常识、世界知识、专业知识（特别是物理和生物）、数学，以及不同难度级别的写作任务。我们使用 GPT-4 进行评估。此处 为该数据集。

UltraLM 示例

• 示例 A：常识问题

  用户: 哪种动物被称为人类最好的朋友？

  UltraLM: 人类喜爱的伴侣动物有很多，但要回答“哪种动物被称为人类最好的朋友？”这个问题，最突出的答案无疑是家养的狗。家犬已经陪伴人类数万年之久，不仅提供忠实的陪伴和帮助，还能守护人和财产，并在漫长孤独的日子乃至军事行动中给予情感上的支持。狗的品种繁多，体型各异，精力、性格和气质也各不相同，因此几乎可以肯定，总有一只小狗会成为最适合需要它的人的伙伴。

• 示例 B：常识推理

  用户: 一磅羽毛和一磅砖头，哪个更重？

UltraLM: 一磅羽毛和一磅砖头的重量都正好是一磅。这是因为“磅”是一种重量单位，就像“英尺”是长度单位、“秒”是时间单位一样。我们用“磅”（或其他重量单位）来描述不同物体的重量，而不管这些物体是由什么材料制成的。所以，你问题的答案是：一磅羽毛和一磅砖头的重量是一样的。

• 示例 C：推理

  用户：如果一位农夫有17只羊，除了9只以外全都死了，那么还剩下多少只？

  UltraLM：剩下的羊总数是9只。

• 示例 D：推理

  用户：如果一栋红房子是由红砖砌成的，而一栋蓝房子是由蓝砖砌成的，那么温室是由什么材料建造的呢？

  UltraLM：温室并不是由绿砖建造的，而是由玻璃或塑料等能够让光线透过、为植物生长创造可控环境的材料制成的。温室可以有各种颜色，包括绿色，但建筑物本身的颜色并不会影响其内部植物的生长。

• 示例 E：创作

  用户：写一首关于电磁学的诗。

  UltraLM：
  电磁学是一种不可忽视的力量，
  它是我们所钟爱许多事物的缘由。
  在磁场中，导线会发出光芒，
  电子们则排列整齐，新旧皆彰。
  电与磁紧密相连，相辅相成，
  一个产生场，另一个带来作用力。
  磁场既能推动，也能吸引，
  对通电的导线，它会全力响应。
  吸引与排斥带来的力量，
  是许多现象背后的根源所在。
  从电动机到发电机，再到更多领域，
  电磁学正是这一切意义的根基。
  它无处不在，环绕在我们身旁，
  从指南针到电灯开关，无所不包。
  凭借它的威力，能成就诸多奇迹，
  小至一根指针，大至火箭的推力。
  这种力量不容否认，
  因为它已融入我们的生活之中。
  电磁学值得我们赞叹，
  它的强大与威严，无人能及，毋庸置疑。

• 示例 F：创作

  用户：写一篇关于宇宙诞生第一秒的短篇故事。

  UltraLM：
  宇宙诞生的第一秒，黑暗主宰一切。
  那时没有光，没有声音，没有形状，也没有物质。
  一切尚未存在，却蕴藏着一股强大的能量，
  一种原始之力正等待着被释放。
  在无限之中，第一秒握住了创造的潜能。
  忽然，一声巨响，一道耀眼的光芒骤然出现。
  在这道光芒里，最基本的粒子诞生了，
  它们的形态尚不可知，却疯狂碰撞，
  展开了一场混沌而热烈的创世之舞。
  在这股原始的光明中，
  自然界的每一种力量以及生命的每一个组成要素，
  都从纯粹的能量中化作了真实的物质。
  最初的原子迅速结合，
  由此形成了恒星与星系。它们通过核聚变产生了炽热的环境，
  推动着虚空不断退缩，
  以膨胀与冷却的波纹塑造着整个宇宙。
  在这最初的瞬间，任何经验结构——
  甚至连时间和空间——都无法确立其法则。
  在那一刹那，整个宇宙仿佛处于胚胎般的交汇点，
  一个宇宙奇点，所有未来的存在都由此而生。
  它是一个微观世界，孕育出宏观宇宙的一部分，
  而其诞生的时刻，则象征着贯穿多元宇宙的循环创世过程。
  从那一点光芒开始，无限的宇宙就此展开。
  几个世纪之后，亿万年过去，直至永恒，
  它依然是这场永不停息的旅程中最根本的一瞬，
  通往浩瀚无垠的彼岸。
  第一秒，便是万物的开端。

UltraChat 概览

本项目旨在利用 Turbo API 构建开源、大规模且多轮次的对话数据集，以助力开发具备通用对话能力的强大语言模型。
出于保护隐私等考虑，我们不会直接使用互联网上的公开数据作为提示语。

UltraChat 由三个部分组成

• 🌏 关于世界的提问：该部分的对话数据来源于对现实世界中的概念、实体和物体的广泛询问。涵盖的主题非常广泛，包括科技、艺术和创业等领域。
• ✍🏻 写作与创作：该部分的对话数据基于从零开始的写作/创作需求，内容涵盖了 AI 助手可能在创作过程中提供的各类帮助，例如撰写电子邮件、创作小说和剧本等。
• 📋 现有材料的辅助处理：该部分的对话数据基于现有材料生成，包括但不限于改写、续写、概括和推理等任务，主题多样。

*免责声明：尽管构建 UltraChat 的过程中并未使用任何公开的基准数据，但在规模扩大到一定程度时，仍有可能与某些评估基准产生重叠。我们再次强调，所有数据均为自动生成（包括指令和回应），我们并未插入任何公开的基准数据。
例如，UltraChat 于 2023 年 4 月发布，而 Alpaca Eval 则于 2023 年 5 月发布。
我们鼓励用户密切关注此类现象，同时也在积极探讨如何更合理地评估大型语言模型。*

UltraChat 示例

数据

本数据集仅用于科研和教育目的，不应被视为反映本数据集创建者、所有者或贡献者的观点或立场。数据采用 MIT 许可证进行分发。

数据发布

在下载之前，您可以先浏览数据，或者使用 Atlas 浏览器查看。

• 🤗 Hugging Face 数据集托管

直接下载链接：

• 关于世界的提问 [第一部分 + 第二部分]
• 写作与创作 [第一部分]
• 写作与创作 [第二部分]
• 现有材料的辅助处理 [第一部分]

数据格式

下载的数据文件中，每行是一个 JSON 字典，包含数据 ID 和对话数据，对话数据以列表形式呈现。以下是一个示例行。

{
  "id": "0", 
  "data": [
    "交叉训练如何使跑步者、游泳运动员或举重运动员等群体受益？", 
    "交叉训练可以通过以下方式使跑步者、游泳运动员或举重运动员等群体受益：……", 
    "这很有道理。我一直想提高自己的跑步成绩，但从未想过加入力量训练。您能推荐一些具体的练习吗？", 
    "当然，以下是一些对跑步者有益的力量训练练习：……", 
    "嗯，我其实不太喜欢举重。我能否在日常训练中加入其他形式的锻炼来提高跑步成绩呢？", 
    "可以的！……",
    "……"
    ]
}

训练

我们提供了用于在 UltraChat 数据集上微调 LLaMa 的训练代码（但我们不提供 LLaMa 的权重），相关代码位于 .src/ 目录下。训练过程由 BMTrain 加速。

• 下载已发布的数据，并将其放置在 ./data 目录下。

• 运行 train_bm.py，例如：

  WANDB_MODE="offline" torchrun --nnodes=1 --nproc_per_node=8 --rdzv_id=1 --rdzv_backend=c10d --rdzv_endpoint=localhost:50003 train_bm.py --tensorboard ./ultrachat_llama_tb_2 --save_step 5000 --logging_step 100
  

我们还提供了一个用于在 UltraChat 数据集上微调 GPT-J 的训练脚本，位于 .src/train_legacy/ 目录下，该脚本基于 OpenPrompt 实现。

• 下载已发布的数据，并将其放置在 ./data 目录下。
• 运行 accelerate launch train.py 开始训练。

UltraChat 的构建

UltraChat 的总体思路是使用不同的大语言模型分别生成开场白、模拟用户以及回应问题。

UltraChat 的每个模块都有其独特的挑战，需要采用特定的策略设计。我们将在每个模块发布时详细说明其构建过程。

关于世界的问题

元主题与子主题

• 数据来源于 30 个具有代表性和多样性的元主题（图标来自 flaticon）。

• 基于上述元主题，我们生成了 1100 多个子主题用于数据构建。
• 对于每个子主题，我们生成最多 10 个具体问题。
• 然后，我们利用 Turbo API 为这 10 个问题各自生成新的相关问题。通过精心设计的提示词，指导模型生成涵盖广泛常见概念和对象的多样化问题。
• 对于每一个问题，我们按照上述方法迭代地使用两个模型生成一个 3 到 7 轮的对话。

常见现实实体

• 我们从 Wikidata 中收集了前 10000 名高频命名实体。
• 使用 ChatGPT API 为每个实体生成 5 个元问题。
• 对于每个元问题，再生成 10 个更具体的问题以及 20 个相关但较为一般的题目。
• 我们从中抽取了 20 万个具体问题、25 万个一般问题以及 5 万个元问题，并为每个问题生成一个 3 到 7 轮的对话。

写作与创作

• 首先，我们收集了 20 种不同类型的写作任务，如下所示（图标来自 flaticon）。

• 对于每种写作类型，我们生成 200 条不同的指令，要求 AI 助手生成文本内容，其中 80% 的指令进一步扩展和细化。
• 将生成的指令作为初始输入，分别生成 2 到 4 轮的对话。

现有材料辅助

• 我们从 C4 数据集中提取了约 10 万份多样化的材料。
• 为每份材料生成最多 5 个问题或指令。
• 将材料与每个问题或指令结合，使用一组手动设计的模板作为用户的初始输入，从而启动与 AI 助手的对话。
• 对于每组输入，我们生成一个 2 到 4 轮的对话。

待办事项

• 发布“关于世界的问题”数据的剩余部分。
• 继续发布“写作与创作”数据。
• 未来将继续发布“现有材料辅助”数据。
• 在 UltraChat 数据集上训练模型，并进行深入分析。欢迎使用该数据集来训练您的聊天模型！
• 将推出 UltraChat 的中文版本。

局限性

• 尽管 UltraChat 在多个基准测试中表现良好，但仍存在幻觉等问题。根据我们的经验，UltraLM 在世界知识和创作方面表现较好，但在推理、数学和编程能力方面仍需进一步提升。

引用

如果您认为 UltraChat 有用，请随时引用本仓库。

@article{ding2023enhancing,
  title={Enhancing Chat Language Models by Scaling High-quality Instructional Conversations},
  author={Ding, Ning and Chen, Yulin and Xu, Bokai and Qin, Yujia and Zheng, Zhi and Hu, Shengding and Liu, Zhiyuan and Sun, Maosong and Zhou, Bowen},
  journal={arXiv preprint arXiv:2305.14233},
  year={2023}
}

UltraChat & UltraLM 快速上手指南

UltraChat 是一个大规模、信息丰富且多样化的多轮对话数据集项目，基于该数据训练的 UltraLM 系列模型在开源模型中表现卓越（曾在 AlpacaEval 榜单开源模型中排名第一）。本指南将帮助您快速部署并使用 UltraLM 模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。
• 硬件:
  • 推理：建议至少 24GB VRAM (针对 13B 模型量化版) 或更高显存以运行全精度模型。
  • 训练/微调：需要多卡 GPU 环境。
• 软件依赖:
  • Python 3.8+
  • PyTorch 1.13+ (建议 2.0+)
  • Git
  • Hugging Face transformers 库
  • BMTrain: UltraLM 训练依赖于清华开源的 BMTrain 框架。

安装基础依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate sentencepiece protobuf
pip install bmtrain

提示: 国内开发者如遇下载缓慢，可配置 Hugging Face 镜像： export HF_ENDPOINT=https://hf-mirror.com

安装步骤

UltraLM 模型通常以 Delta 权重形式发布（基于 LLaMA），您需要先获取原始的 LLaMA 权重，然后合并 Delta 权重以恢复完整模型。

1. 克隆项目代码

git clone https://github.com/thunlp/UltraChat.git
cd UltraChat

2. 获取模型权重

您需要从 Hugging Face 下载原始 LLaMA-13B 权重以及 UltraLM 的 Delta 权重。

• 原始模型: LLaMA-13B (注：UltraLM v1 基于 LLaMA-1，请根据具体版本需求下载对应基座)
• Delta 权重: UltraLM-13B Delta

将下载的权重放置在本地目录，例如：

• ./models/llama-13b (原始权重)
• ./models/ultralm-13b-delta (Delta 权重)

3. 恢复完整模型权重

使用项目提供的脚本将 Delta 权重合并到原始模型中，生成可使用的完整模型。

# 修改 recover.sh 中的路径指向您的本地模型路径，然后执行
bash UltraLM/recover.sh

执行完成后，您将获得一个完整的 UltraLM 模型目录（例如 ./recovered_model）。

基本使用

模型恢复完成后，您可以立即通过命令行进行对话测试。

启动对话

编辑 UltraLM/chat_cli.sh 文件，将其中的模型路径替换为您上一步生成的完整模型路径，然后运行：

bash UltraLM/chat_cli.sh

使用示例

启动后，终端将进入交互模式。您可以直接输入问题进行测试。

示例输入：

User: Which animal is known as man's best friend?

预期输出（部分）：

UltraLM: There are many animals that humans enjoy as companion animals, but one of the absolute standout answers to the question "which animal is known as a man's best friend?" is the domestically-bred dog. Domesticated dogs have been by humans' sides for tens of thousands of years...

Python 代码调用示例

如果您希望在代码中集成，可以参考 UltraLM/inference_cli.py 中的默认设置。以下是一个简化的加载示例：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "./recovered_model" # 替换为您的实际路径

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    device_map="auto"
)

input_text = "Write a short poem about electromagnetism."
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

注意: 不同的超参数或 System Prompt 会影响输出效果，建议参考源码中的默认配置进行调整。