强大、稳定且可复现的大语言模型对齐技术

用Xwin-LM提升你的大语言模型对齐水平！

Xwin-LM致力于开发并开源大型语言模型的对齐技术，包括监督微调（SFT）、奖励模型（RM）、拒绝采样、人类反馈强化学习（RLHF）等。我们的首个版本基于Llama2基础模型，在AlpacaEval上排名TOP-1。值得注意的是，它是首个在该基准上超越GPT-4的模型。该项目将持续更新。

新闻

• :boom: [2024年5月] 模型Xwin-Math-70B-V1.1和Xwin-Math-7B-V1.1在MATH基准测试中分别取得了51.9和44.7的pass@1分数，在GSM8K基准测试中则分别达到90.6和84.4的pass@1分数。这些都是基于LLaMA-2的最新SOTA模型！
• :boom: [2024年1月] 我们在AlpacaEval上更新了XwinLM-V0.3，在所有开源模型中排名第一。
• :boom: [2023年11月] 模型Xwin-Math-70B-V1.0在MATH基准测试中达到了31.8的pass@1分数，在GSM8K基准测试中则为87.0的pass@1分数。这一表现使其成为所有开源模型中的第一名！
• :boom: [2023年11月] 模型Xwin-Math-7B-V1.0和Xwin-Math-13B-V1.0在GSM8K基准测试中分别取得了66.6和76.2的pass@1分数，分别位居所有基于LLaMA-2的7B和13B开源模型中的第一名！
• :boom: [2023年11月] 我们发布了XwinCoder-7B、XwinCoder-13B和XwinCoder-34B。其中，XwinCoder-34B在HumanEval上的得分为74.2，并且在6个基准测试中与GPT-3.5-turbo的表现相当。
• :boom: [2023年10月12日] Xwin-LM-7B-V0.2和Xwin-LM-13B-V0.2已发布，改进了对比数据和强化学习训练（即PPO）。它们对阵GPT-4的胜率显著提高，分别达到59.83%（7B模型）和70.36%（13B模型）。70B模型也将很快发布。
• :boom: [2023年9月] 我们发布了Xwin-LM-70B-V0.1，在AlpacaEval基准测试上，其对阵Davinci-003的胜率为95.57%，在AlpacaEval中排名第一。这是首个在AlpacaEval上超越GPT-4的模型。此外，它对阵GPT-4的胜率为60.61%。
• :mag: [2023年9月] RLHF在Xwin-LM-V0.1版本的强大性能中发挥了关键作用！
• :boom: [2023年9月] 我们发布了Xwin-LM-13B-V0.1，在AlpacaEval上的胜率为91.76%，在所有13B模型中排名第一。
• :boom: [2023年9月] 我们发布了Xwin-LM-7B-V0.1，在AlpacaEval上的胜率为87.82%，在所有7B模型中排名第一。

模型卡片

模型	检查点	报告	许可证
Xwin-LM-7B-V0.2	🤗 HF链接	📃论文链接	Llama 2许可证
Xwin-LM-13B-V0.2	🤗 HF链接		Llama 2许可证
Xwin-LM-7B-V0.1	🤗 HF链接		Llama 2许可证
Xwin-LM-13B-V0.1	🤗 HF链接		Llama 2许可证
Xwin-LM-70B-V0.1	🤗 HF链接		Llama 2许可证
Xwin-Coder-7B	🤗 HF链接	📃简要介绍	Llama 2许可证
Xwin-Coder-13B	🤗 HF链接		Llama 2许可证
Xwin-Coder-34B	🤗 HF链接		Llama 2许可证
Xwin-Math-7B-V1.1	🤗 HF链接	📃论文链接	Llama 2许可证
Xwin-Math-70B-V1.1	🤗 HF链接		Llama 2许可证
Xwin-Math-7B-V1.0	🤗 HF链接		Llama 2许可证
Xwin-Math-13B-V1.0	🤗 HF链接		Llama 2许可证
Xwin-Math-70B-V1.0	🤗 HF链接		Llama 2许可证

基准测试

Xwin-LM 在 AlpacaEval 上的性能。

下表展示了 Xwin-LM 在 AlpacaEval 上的表现，该评测在 805 个问题上评估了其相对于 Text-Davinci-003 的胜率。为了进行全面评估，我们首次同时呈现了其与 ChatGPT 和 GPT-4 的胜率。我们的 Xwin-LM 模型系列在所有指标上均创下新的最先进水平。值得注意的是，Xwin-LM-70B-V0.1 首次超越了 GPT-4，对 Text-Davinci-003 的胜率为 95.57%，对 GPT-4 的胜率为 60.61%。

模型	AlpacaEval（胜率 %）	AlpacaEval（胜率 %）	AlpacaEval（胜率 %）
	对比 Text-Davinci-003	对比 ChatGPT	对比 GPT4
Xwin-LM-70B-V0.1	95.57	87.50	60.61
GPT-4	95.28	84.66	50.00
Xwin-LM-13B-V0.2	93.22	87.14	70.36
WizardLM-70B-V1.0	92.91	80.19	46.70
Llama-2-70B-Chat	92.66	81.97	51.19
Xwin-LM-13B-V0.1	91.76	81.79	55.30
ChatGPT	89.37	50.00	16.60
Xwin-LM-7B-V0.2	89.31	79.60	59.83
WizardLM-13B-V1.2	89.17	75.75	41.91
Xwin-LM-7B-V0.1	87.35	76.40	47.57
Llama-2-13B-Chat	81.09	64.22	30.92

AlpacaEval 案例研究

提示词	GPT4 回答	Xwin-LM 回答
我把一个盘子放在苹果上面，然后把盘子从厨房拿到餐厅。现在苹果在哪里？	苹果现在在餐厅里，因为当你把盘子从厨房搬到餐厅时，苹果就在盘子下面。	苹果仍然在厨房里，因为你只是移动了盘子而已。苹果在盘子下面，所以如果你想把苹果带到餐厅，你应该直接移动苹果，或者先把苹果放在盘子上，再把盘子一起搬到餐厅。
回答以下问题。 “晚上好”用法语怎么说？	法语中，“晚上好”说的是“bonsoir”。	法语中，“晚上好”翻译为“bonsoir”。这个问候语用于傍晚和夜间，通常在下午6点以后使用。它由“bon”（意为“好”）和“soir”（意为“晚上”）组成。发音时应念作“bone-swahr”。

Xwin-LM 在 NLP 基础任务上的性能。

下表提供了 Xwin-LMs 与其他 LLM 在 Open LLM Leaderboard 中 NLP 基础任务上的比较。

模型	MMLU 5-shot	ARC 25-shot	TruthfulQA 0-shot	HellaSwag 10-shot	平均
Text-davinci-003	56.9	85.2	59.3	82.2	70.9
Vicuna-13b 1.1	51.3	53.0	51.8	80.1	59.1
Guanaco 30B	57.6	63.7	50.7	85.1	64.3
WizardLM-7B 1.0	42.7	51.6	44.7	77.7	54.2
WizardLM-13B 1.0	52.3	57.2	50.5	81.0	60.2
WizardLM-30B 1.0	58.8	62.5	52.4	83.3	64.2
Llama-2-7B-Chat	48.3	52.9	45.6	78.6	56.4
Llama-2-13B-Chat	54.6	59.0	44.1	81.9	59.9
Llama-2-70B-Chat	63.9	64.6	52.8	85.9	66.8
Xwin-LM-7B-V0.1	49.7	56.2	48.1	79.5	58.4
Xwin-LM-13B-V0.1	56.6	62.4	45.5	83.0	61.9
Xwin-LM-70B-V0.1	69.6	70.5	60.1	87.1	71.8
Xwin-LM-7B-V0.2	50.0	56.4	49.5	78.9	58.7
Xwin-LM-13B-V0.2	56.6	61.5	43.8	82.9	61.2

推理

对话模板

为获得理想结果，请在使用我们的模型进行推理时严格遵循对话模板。我们的模型采用 Vicuna 制定的提示格式，并支持 多轮 对话。

一位好奇的用户与人工智能助手之间的对话。助手会针对用户的问题给出有帮助、详细且礼貌的回答。用户：你好！ 助手：您好。</s>用户：你是谁？ 助手：我是 Xwin-LM。</s>......

HuggingFace 示例

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
tokenizer = AutoTokenizer.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1")
(
    prompt := "一位好奇的用户与人工智能助手之间的对话。 "
            "助手会针对用户的问题给出有帮助、详细且礼貌的回答。 "
            "用户：你好，你能帮我吗？ "
            "助手："
)
inputs = tokenizer(prompt, return_tensors="pt")
samples = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)
output = tokenizer.decode(samples[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(output) 
# 当然可以！我在这里帮助您。请随时提出您的问题或描述您遇到的问题，我会尽力为您提供帮助。

vLLM 示例

由于 Xwin-LM 基于 Llama2，它也支持使用 vLLM 进行快速推理。详细的安装说明请参阅 vLLM。

from vllm import LLM, SamplingParams
(
    prompt := "一位好奇的用户与人工智能助手之间的对话。 "
            "助手会针对用户的问题给出有帮助、详细且礼貌的回答。 "
            "用户：你好，你能帮我吗？ "
            "助手："
)
sampling_params = SamplingParams(temperature=0.7, max_tokens=4096)
llm = LLM(model="Xwin-LM/Xwin-LM-7B-V0.1")
outputs = llm.generate([prompt,], sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(generated_text)

待办事项

• 发布源代码
• 发布更多能力，例如数学、推理等。

引用

如果您使用了本仓库中的数据或代码，请考虑引用我们的工作。

@software{xwin-lm,
  title = {Xwin-LM},
  author = {Xwin-LM 团队},
  url = {https://github.com/Xwin-LM/Xwin-LM},
  version = {预发布},
  year = {2023},
  month = {9},
}

致谢

感谢 Llama 2、FastChat、AlpacaFarm 和 vLLM。

Xwin-LM 快速上手指南

Xwin-LM 是一个专注于大语言模型（LLM）对齐技术的开源项目，涵盖监督微调（SFT）、奖励模型（RM）、拒绝采样及人类反馈强化学习（RLHF）等。其模型基于 Llama 2 构建，曾在 AlpacaEval 基准测试中超越 GPT-4，并在数学和代码领域表现卓越。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。
• Python: 版本 3.8 或更高。
• GPU: 推荐使用 NVIDIA GPU。
  • 7B 模型：至少 16GB 显存（量化后可更低）。
  • 13B 模型：至少 24GB 显存。
  • 70B 模型：需要多卡并行或高显存服务器。
• 前置依赖:
  • torch (PyTorch)
  • transformers
  • accelerate
  • bitsandbytes (可选，用于 4-bit/8-bit 量化加载)

建议创建独立的虚拟环境：

python -m venv xwin-env
source xwin-env/bin/activate

安装步骤

通过 pip 安装必要的推理库。为了获得最佳兼容性，建议先安装 PyTorch（根据你的 CUDA 版本选择），然后安装 Hugging Face 生态工具。

# 安装 PyTorch (示例为 CUDA 11.8，请根据实际情况调整)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装 Transformers, Accelerate 和 BitsAndBytes (用于量化加载)
pip install transformers accelerate bitsandbytes sentencepiece protobuf

提示：国内开发者若遇到下载速度慢的问题，可配置 Hugging Face 镜像源：

export HF_ENDPOINT=https://hf-mirror.com

基本使用

Xwin-LM 采用与 Vicuna 相同的对话模板，支持多轮对话。在使用时，必须严格遵循特定的 Prompt 格式以获得最佳效果。

1. Python 代码示例 (Hugging Face Transformers)

以下是最简单的单轮/多轮对话加载与推理示例：

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torch

# 模型名称 (以 7B V0.2 为例，可替换为 13B 或 70B)
model_name = "Xwin-LM/Xwin-LM-7B-V0.2"

# 加载分词器和模型
# 使用 device_map="auto" 自动分配 GPU，load_in_4bit=True 可节省显存
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=torch.float16,
    # load_in_4bit=True, # 如果显存不足，取消注释此行并安装 bitsandbytes
)

# 构建对话历史 (遵循 Vicuna 模板)
conversation = [
    {"role": "user", "content": "Hi! Who are you?"},
]

# 应用聊天模板
input_text = tokenizer.apply_chat_template(conversation, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

# 生成回复
generation_config = GenerationConfig(
    max_new_tokens=512,
    temperature=0.7,
    do_sample=True,
    pad_token_id=tokenizer.eos_token_id
)

outputs = model.generate(**inputs, generation_config=generation_config)
response = tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)

print(response)

2. 对话模板规范

如果您手动构建 Prompt 而不使用 apply_chat_template，请务必严格遵守以下格式（注意 <s> 和 </s> 标记）：

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: Hi! ASSISTANT: Hello.</s>USER: Who are you? ASSISTANT: I am Xwin-LM.</s>

• 系统提示语：固定开头为 "A chat between a curious user..."。
• 角色标记：用户输入前加 USER: ，助手回答前加 ASSISTANT: 。
• 结束标记：每一轮助手回答结束后必须添加 </s>。
• 多轮对话：重复 USER: ... ASSISTANT: ...</s> 结构。

3. 可用模型列表

您可以根据需求在 Hugging Face 上加载以下热门模型：

• 通用对话: Xwin-LM/Xwin-LM-7B-V0.2, Xwin-LM/Xwin-LM-13B-V0.2, Xwin-LM/Xwin-LM-70B-V0.1
• 数学推理: Xwin-LM/Xwin-Math-7B-V1.1, Xwin-LM/Xwin-Math-70B-V1.1
• 代码生成: Xwin-LM/XwinCoder-7B, Xwin-LM/XwinCoder-34B

只需将上述代码中的 model_name 替换为对应的模型路径即可。