更新日志

• 2023年5月31日：TheBloke为我们创建了🤗Wizard-Vicuna-30B-Uncensored-GGML模型！
• 2023年5月31日：TheBloke为我们创建了🤗Wizard-Vicuna-30B-Uncensored-fp16模型！
• 2023年5月31日：TheBloke为我们创建了🤗Wizard-Vicuna-30B-Uncensored-GPTQ模型！
• 2023年5月30日：ehartford为我们创建了🤗Wizard-Vicuna-30B-Uncensored模型！
• 2023年5月20日：TheBloke为我们创建了🤗Wizard-Vicuna-7B-Uncensored-GGML模型！
• 2023年5月20日：TheBloke为我们创建了🤗Wizard-Vicuna-13B-Uncensored-GGML模型！
• 2023年5月18日：ehartford为我们创建了🤗Wizard-Vicuna-7B-Uncensored模型！
• 2023年5月13日：ehartford为我们创建了🤗Wizard-Vicuna-13B-Uncensored模型！
• 2023年5月5日：TheBloke为我们创建了🤗wizard-vicuna-13B-HF版本！
• 2023年5月5日：TheBloke为我们创建了🤗wizard-vicuna-13B-GPTQ版本！
• 2023年5月5日：TheBloke为我们创建了🤗WizardVicuna 13B GGML版本！
• 2023年5月4日：我们发布了🤗WizardVicuna 13B模型。
• 2023年5月3日：我们发布了🤗WizardVicuna 70K对话数据集。

---

WizardVicunaLM

巫师的数据集 + ChatGPT的对话扩展 + Vicuna的微调方法

我非常欣赏WizardLM和VicunaLM背后的理念。尤其是WizardLM对数据集进行更深入、更广泛处理的方式，以及VicunaLM通过引入多轮对话来克服单轮对话局限性的思路。因此，我将这两种想法结合起来，创造了WizardVicunaLM。这个项目具有很强的实验性，主要用于概念验证，并不适合实际应用。

基准测试

相比VicunaLM性能提升约7%

详细信息

gptordie

这里提出的问题并非来自严格的测试，而是我提出了一些问题，并请GPT-4进行评分。比较的模型依次为ChatGPT 3.5、WizardVicunaLM、VicunaLM和WizardLM。

	gpt3.5	wizard-vicuna-13b	vicuna-13b	wizard-7b	链接
Q1	95	90	85	88	链接
Q2	95	97	90	89	链接
Q3	85	90	80	65	链接
Q4	90	85	80	75	链接
Q5	90	85	80	75	链接
Q6	92	85	87	88	链接
Q7	95	90	85	92	链接
Q8	90	85	75	70	链接
Q9	92	85	70	60	链接
Q10	90	80	75	85	链接
Q11	90	85	75	65	链接
Q12	85	90	80	88	链接
Q13	90	95	88	85	链接
Q14	94	89	90	91	链接
Q15	90	85	88	87	链接
	91	88	82	80

原理

我们采用了WizardLM的方法，即对单一问题进行更深入的扩展。然而，我们没有使用单独的指令形式，而是以Vicuna的对话格式进行扩展，并应用了Vicuna的微调技术。

将一个简单的指令转化为丰富的对话，正是我们在这里所做的工作。

在创建训练数据后，我随后按照Vicuna v1.1的训练方法进行了训练。

详细方法

首先，我们利用WizardLM创建的7K对话，在同一主题下探索并扩展多个领域。不过，我们将其做成了连续对话的形式，而不是指令格式。也就是说，它从WizardLM的指令开始，然后借助ChatGPT 3.5在一个对话中向各个方向展开。

之后，我们按照Vicuna的微调格式应用了以下模型。

训练过程

使用8张A100显卡训练了35个小时。

权重

您可以在Hugging Face上看到我们用于训练的数据集以及13b模型。

结论

如果我们把对话扩展到gpt4的32K规模，预计会有显著的提升，因为我们可以生成8倍数量、更准确且更丰富的对话。

提示词

该模型是基于Vicuna 1.1v训练的，因此在使用时最好按照如下方式：

USER: 4乘以8等于多少？
ASSISTANT:

反响

报道称其与 AutoGPT 配合良好

链接

报告指出，不仅韩语能力有所提升，中文和日语能力也得到了增强。

尽管该模型原本是完全针对英语进行调优的，但令人好奇的是，像韩语、中文和日语这样的其他语言能力居然也得到了加强，即便它们在训练数据中的占比本应有所下降。
链接1
链接2

报告称编码技能有所增强。

链接

报告称对话时的一致性更强。

链接

感谢 Prompt Engineering 制作的精彩视频 🙏

许可证

该模型采用 LLaMA 模型的许可证，而数据集则根据 OpenAI 的条款获得许可，因为它使用了 ChatGPT。其余部分均为免费。

作者

JUNE LEE - 他活跃于松岛人工智能学习小组和 GDG 松岛社区。

WizardVicunaLM 快速上手指南

WizardVicunaLM 是一个结合了 WizardLM 深度数据集扩展能力与 VicunaLM 多轮对话微调技术的实验性大语言模型。该模型在 VicunaLM 基础上实现了约 7% 的性能提升，尤其在多轮对话一致性、编程能力及多语言（含中文）表现上有所增强。

注意：本项目定位为概念验证（Proof of Concept），适合研究与实验，生产环境使用请谨慎评估。

环境准备

系统要求

• GPU: 推荐 NVIDIA A100 或同等算力显卡（显存建议 24GB+，量化版本可降低要求）
• 操作系统: Linux (Ubuntu 20.04/22.04 推荐) 或 macOS
• Python: 3.8 或更高版本
• CUDA: 11.7 或更高版本（如需 GPU 加速）

前置依赖

确保已安装以下基础库：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
pip install transformers accelerate sentencepiece protobuf

注：国内用户可使用清华或阿里镜像源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers accelerate sentencepiece protobuf

安装步骤

WizardVicunaLM 主要通过 Hugging Face 获取模型权重，推荐使用 transformers 库直接加载。根据硬件条件，可选择不同量化版本（GGML/GPTQ）以降低显存占用。

1. 拉取模型

以下是加载官方发布的 13B 全精度版本的示例代码。若需使用 TheBloke 提供的量化版本（推荐低显存用户），请将 model_name 替换为对应仓库地址（如 TheBloke/Wizard-Vicuna-13B-Uncensored-GPTQ）。

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "junelee/wizard-vicuna-13b" 
# 量化版本示例: "TheBloke/Wizard-Vicuna-13B-Uncensored-GPTQ"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype="auto",
    trust_remote_code=True
)

2. 使用 GGML/GGUF 版本（可选，适合本地推理）

如果您使用 llama.cpp 或支持 GGML 的工具链，可从 TheBloke 的仓库下载 .ggml 文件：

# 示例：使用 git lfs 拉取 GGML 模型
git lfs install
git clone https://huggingface.co/TheBloke/Wizard-Vicuna-13B-Uncensored-GGML

基本使用

WizardVicunaLM 基于 Vicuna v1.1 格式训练，必须遵循特定的 Prompt 格式才能发挥最佳效果。

标准对话示例

请严格按照 USER: 和 ASSISTANT: 的格式构建输入：

prompt = """USER: What is 4x8?
ASSISTANT:"""

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    pad_token_id=tokenizer.eos_token_id
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

多轮对话示例

模型擅长处理连续对话，保持上下文格式即可：

conversation = """USER: 请用 Python 写一个快速排序算法。
ASSISTANT: 当然可以，以下是快速排序的实现...
USER: 请解释一下其中的分区逻辑。
ASSISTANT:"""

# 将 conversation 传入 tokenizer 并进行 generate，逻辑同上

关键提示

• 格式严格：不要省略 USER: 和 ASSISTANT: 前缀，否则可能导致输出混乱。
• 无过滤版本：Hugging Face 上由 ehartford 和 TheBloke 发布的 "Uncensored" 版本移除了部分安全限制，适用于特定研究场景，请注意合规使用。
• 语言支持：虽然主要针对英语优化，但该模型在中文、日文和韩文上也表现出了意外的增强能力，可直接用中文提问。