引用

如果您使用了 WizardLM 的数据或代码，请引用以下论文：

@inproceedings{
xu2024wizardlm,
title={Wizard{LM}: Empowering Large Pre-Trained Language Models to Follow Complex Instructions},
author={Can Xu and Qingfeng Sun and Kai Zheng and Xiubo Geng and Pu Zhao and Jiazhan Feng and Chongyang Tao and Qingwei Lin and Daxin Jiang},
booktitle={The Twelfth International Conference on Learning Representations},
year={2024},
url={https://openreview.net/forum?id=CfXh93NDgH}
}

如果您使用了 WizardCoder 的数据或代码，请引用以下论文：

@inproceedings{
luo2024wizardcoder,
title={WizardCoder: Empowering Code Large Language Models with Evol-Instruct},
author={Ziyang Luo and Can Xu and Pu Zhao and Qingfeng Sun and Xiubo Geng and Wenxiang Hu and Chongyang Tao and Jing Ma and Qingwei Lin and Daxin Jiang},
booktitle={The Twelfth International Conference on Learning Representations},
year={2024},
url={https://openreview.net/forum?id=UnUwSIgK5W}
}

如果您参考了 WizardMath 的模型、代码、数据或论文，请引用以下文章：

@article{luo2023wizardmath,
  title={Wizardmath: Empowering mathematical reasoning for large language models via reinforced evol-instruct},
  author={Luo, Haipeng and Sun, Qingfeng and Xu, Can and Zhao, Pu and Lou, Jianguang and Tao, Chongyang and Geng, Xiubo and Lin, Qingwei and Chen, Shifeng and Zhang, Dongmei},
  journal={arXiv preprint arXiv:2308.09583},
  year={2023}
}

❗关于数据集的说明：

近期，我们整个组织在开源政策及代码、数据和模型的相关规定方面发生了明显变化。 尽管如此，我们仍努力争取率先开放模型权重，但数据涉及更为严格的审核，目前正由我们的法务团队进行审查。 在未获授权的情况下，我们的研究人员无权公开发布这些数据。 感谢您的理解。

招聘

• 🧑‍🎓 我们正在寻找积极进取的学生加入我们成为实习生，共同打造更智能的AI。请发送邮件至 caxu@microsoft.com 联系我们。

关于模型系统提示使用说明：

为获得与我们的演示 完全一致 的结果，请严格按照 "src/infer_wizardlm13b.py" 中提供的提示和调用方式来使用我们的模型进行推理。我们的模型采用了 Vicuna 的提示格式，并支持 多轮 对话。

对于 WizardLM, 提示应如下所示：

一个好奇的用户与一个人工智能助手之间的对话。助手会针对用户的问题给出有帮助、详细且礼貌的回答。用户：你好 助手：您好。</s>用户：你是谁？ 助手：我是 WizardLM。</s>......

对于 WizardCoder, 提示应如下所示：

"以下是一条描述任务的指令。请撰写一段恰当完成请求的回复。\n\n### 指令:\n{instruction}\n\n### 回复:"

对于 WizardMath, 提示应如下所示：

默认版本：

"以下是一条描述任务的指令。请撰写一段恰当完成请求的回复。\n\n### 指令:\n{instruction}\n\n### 回复:"

思维链版本： （❗对于 简单 的数学问题，我们不建议使用思维链提示。）

"以下是一条描述任务的指令。请撰写一段恰当完成请求的回复。\n\n### 指令:\n{instruction}\n\n### 回复：让我们一步步思考。"

GPT-4 自动评估

我们采用 FastChat 提出的基于 GPT-4 的自动评估框架来评估聊天机器人模型的性能。如图所示，WizardLM-30B 的表现优于 Guanaco-65B。

WizardLM-30B 在不同技能上的表现

下图比较了 WizardLM-30B 和 ChatGPT 在 Evol-Instruct 测试集上的技能表现。结果显示，WizardLM-30B 的平均性能达到 ChatGPT 的 97.8%，其中在 18 项技能上几乎达到或超过 100%，在 24 项技能上则超过 90%。

WizardLM 在 NLP 基础任务上的表现

下表提供了 WizardLM 与其他 LLM 在 NLP 基础任务上的对比。结果显示，WizardLM 在同规模的 LLaMa 模型中始终表现出更优异的性能。此外，我们的 WizardLM-30B 模型在 MMLU 和 HellaSwag 基准测试上与 OpenAI 的 Text-davinci-003 表现相当。

WizardLM 在代码生成任务上的表现

下表全面比较了 WizardLM 与其他几种 LLM 在代码生成任务（即 HumanEval）上的表现，评估指标为 pass@1。结果显示，WizardLM 在同规模的 LLaMa 模型中始终表现出更优异的性能。此外，我们的 WizardLM-30B 模型超越了 StarCoder 和 OpenAI 的 code-cushman-001。同时，我们的 Code LLM，WizardCoder，也展现了卓越的性能，pass@1 得分为 57.3，比开源领域的 SOTA 高出约 20 分。

征求反馈

我们欢迎各位使用专业且具有挑战性的指令来评估 WizardLM，并在 issue 讨论 区域向我们展示其表现不佳的案例及您的建议。目前我们正专注于改进 Evol-Instruct 算法，希望在下一版 WizardLM 中解决现有的不足和问题。此后，我们将开放最新 Evol-Instruct 算法的代码和流程，并与您携手共同优化它。

Evol-Instruct 概述

Evol-Instruct 是一种新颖的方法，利用 LLM 代替人工，自动批量生成各种难度级别和技能范围的开放领域指令，从而提升 LLM 的性能。您可以借助我们提供的 Evol Script 轻松开启属于您自己的进化之旅。

免责声明

本项目相关的资源，包括代码、数据和模型权重，仅限于学术研究用途，不得用于商业目的。WizardLM任何版本生成的内容均受随机性等不可控因素影响，因此本项目无法保证输出结果的准确性。本项目不对模型输出内容承担任何法律责任，亦不对其关联资源及输出结果的使用所导致的任何损失负责。

点星历史

WizardLM 是一个旨在增强大型预训练语言模型遵循复杂指令能力的开源项目，旗下包含通用对话模型（WizardLM）、代码生成模型（WizardCoder）和数学推理模型（WizardMath）。其中 WizardCoder-33B-V1.1 在代码评测中表现优异，WizardMath-7B-V1.1 则是同尺寸下最强的数学模型之一。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: 3.9 或更高版本 (python3.9+)。
• GPU 显存:
  • 运行 7B 模型：建议至少 16GB 显存（量化后可更低）。
  • 运行 13B-34B 模型：建议 24GB - 48GB 显存。
  • 运行 70B 模型：需要多卡环境或高显存专业卡。
• 依赖库: 推荐使用 vllm、transformers 或 llama.cpp 进行推理。

安装步骤

1. 创建虚拟环境

python3 -m venv wizardlm-env
source wizardlm-env/bin/activate  # Windows 用户使用: wizardlm-env\Scripts\activate

2. 安装核心依赖

为了获得最佳推理速度，推荐安装 vllm（支持高性能推理）或 transformers（通用兼容）。

方案 A：使用 vllm (推荐，速度快)

pip install vllm
# 国内加速源
pip install vllm -i https://pypi.tuna.tsinghua.edu.cn/simple

方案 B：使用 Transformers (兼容性最好)

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate sentencepiece protobuf
# 国内加速源
pip install transformers accelerate sentencepiece protobuf -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 获取模型权重

模型托管在 Hugging Face 上。由于网络原因，国内用户建议使用镜像站下载或使用支持自动镜像的库。

手动下载 (推荐通过镜像站): 访问 Hugging Face Mirror 搜索 WizardLM/WizardCoder-33B-V1.1 或 WizardLM/WizardMath-7B-V1.1 下载权重文件。

编程方式加载 (自动配置镜像): 在使用代码加载前，设置环境变量以使用国内镜像：

export HF_ENDPOINT=https://hf-mirror.com

基本使用

以下提供两种最常用的快速启动方式。

方式一：使用 Python 脚本 (基于 Transformers)

创建一个名为 run_wizard.py 的文件，填入以下代码。此示例以 WizardCoder-33B-V1.1 为例，如需使用其他版本（如 WizardMath），只需更改 model_name。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 设置国内镜像加速 (可选，若网络通畅可注释掉)
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 选择模型 ID (可根据需求替换为 WizardMath-7B-V1.1 等)
model_name = "WizardLM/WizardCoder-33B-V1.1"

print(f"Loading model: {model_name}...")

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)

# 准备输入提示 (Prompt)
prompt = "Write a Python function to calculate the factorial of a number."

# 生成回复
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    temperature=0.2,
    do_sample=True,
    top_p=0.95
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("\n--- Model Response ---")
print(response)

运行脚本：

python run_wizard.py

方式二：使用命令行快速推理 (基于 vLLM)

如果您已安装 vllm，可以使用一行命令启动本地 API 服务或直接生成文本。

启动交互式服务：

# 设置镜像环境变量
export HF_ENDPOINT=https://hf-mirror.com

# 启动服务 (将模型名称替换为您需要的版本)
python -m vllm.entrypoints.api_server \
    --model WizardLM/WizardCoder-33B-V1.1 \
    --port 8000 \
    --dtype float16

直接生成文本测试：

python -m vllm.entrypoints.llm \
    --model WizardLM/WizardCoder-33B-V1.1 \
    --prompt "Write a quick sort algorithm in Python." \
    --max-tokens 500

注意：

1. 首次运行时会自动下载模型权重，请确保磁盘空间充足（33B 模型约需 70GB+ 空间）。
2. 代码许可证遵循 Apache 2.0，但部分旧版模型数据遵循 CC BY-NC 4.0（非商业许可），商用前请务必检查具体模型版本的 License 说明。