[!重要]

📢 欢迎试用OpenCompass进行模型评估 📢
🤗 现已开放更新您与Mixtral相关的项目的请求！
🙏 此仓库是推理代码的**实验性**实现。

📊 性能

与其他模型的对比

• 所有数据均来自OpenCompass

由于提示、设置和实现细节的不同，不同评估工具生成的性能结果也会有所差异。

数据集	模式	Mistral-7B-v0.1	Mixtral-8x7B(MoE)	Llama2-70B	DeepSeek-67B-Base	Qwen-72B
有效参数量	-	7B	12B	70B	67B	72B
MMLU	PPL	64.1	71.3	69.7	71.9	77.3
BIG-Bench-Hard	GEN	56.7	67.1	64.9	71.7	63.7
GSM-8K	GEN	47.5	65.7	63.4	66.5	77.6
MATH	GEN	11.3	22.7	12.0	15.9	35.1
HumanEval	GEN	27.4	32.3	26.2	40.9	33.5
MBPP	GEN	38.6	47.8	39.6	55.2	51.6
ARC-c	PPL	74.2	85.1	78.3	86.8	92.2
ARC-e	PPL	83.6	91.4	85.9	93.7	96.8
CommonSenseQA	PPL	67.4	70.4	78.3	70.7	73.9
NaturalQuestion	GEN	24.6	29.4	34.2	29.9	27.1
TrivialQA	GEN	56.5	66.1	70.7	67.4	60.1
HellaSwag	PPL	78.9	82.0	82.3	82.3	85.4
PIQA	PPL	81.6	82.9	82.5	82.6	85.2
SIQA	GEN	60.2	64.3	64.8	62.6	78.2

Mixtral-8x7b性能

dataset                                 version    metric         mode    mixtral-8x7b-32k
--------------------------------------  ---------  -------------  ------  ------------------
mmlu                                    -          naive_average     ppl     71.34
ARC-c                                   2ef631     accuracy          ppl     85.08
ARC-e                                   2ef631     accuracy          ppl     91.36
BoolQ                                   314797     accuracy          ppl     86.27
commonsense_qa                          5545e2     accuracy          ppl     70.43
triviaqa                                2121ce     score             gen     66.05
nq                                      2121ce     score             gen     29.36
openbookqa_fact                         6aac9e     accuracy          ppl     85.40
AX_b                                    6db806     accuracy          ppl     48.28
AX_g                                    66caf3     accuracy          ppl     48.60
hellaswag                               a6e128     accuracy          ppl     82.01
piqa                                    0cfff2     accuracy          ppl     82.86
siqa                                    e8d8c5     accuracy          ppl     64.28
math                                    265cce     accuracy          gen     22.74
gsm8k                                   1d7fe4     accuracy          gen     65.66
openai_humaneval                        a82cae     humaneval_pass@1  gen     32.32
mbpp                                    1e1056     score             gen     47.80
bbh                                     -          naive_average     gen     67.14

✨ 资源

博客

• Hugging Face的MoE博客
• 增强的MoE并行化：开源MoE模型训练效率可提升9倍

论文

标题	会议/期刊	发表日期	代码链接	演示链接
专家混合模型与指令微调的结合：大型语言模型的制胜组合	Arxiv	2023年5月
MegaBlocks：基于专家混合的高效稀疏训练	Arxiv	2022年11月	megablocks
ST-MoE：设计稳定且可迁移的稀疏专家模型	Arxiv	2022年2月
Switch Transformers：通过简单高效的稀疏性扩展至万亿参数模型	Arxiv	2021年1月
GLaM：利用专家混合高效扩展语言模型	ICML 2022	2021年12月
GShard：通过条件计算和自动分片扩展巨型模型	Arxiv	2020年6月
在深度专家混合模型中学习因子化表示	Arxiv	2013年12月
FastMoE：一种快速的专家混合训练系统	Arxiv	2021年3月	FastMoE
FasterMoE：大规模动态预训练模型的建模与优化训练	ACM SIGPLAN PPoPP 2022	2022年3月	FasterMoE
SmartMoE：通过结合离线与在线并行化高效训练稀疏激活模型	USENIX ATC 2023	2022年3月	SmartMoE
局部专家的自适应混合	Neural Computation	1991年

评估

• 评估工具包：OpenCompass

训练

• Megablocks：https://github.com/stanford-futuredata/megablocks
• FairSeq：https://github.com/facebookresearch/fairseq/tree/main/examples/moe_lm
• OpenMoE：https://github.com/XueFuzhao/OpenMoE
• ColossalAI MoE：https://github.com/hpcaitech/ColossalAI/tree/main/examples/language/openmoe
• FastMoE（FasterMoE）：https://github.com/laekov/FastMoE
• SmartMoE：https://github.com/zms1999/SmartMoE

微调

• 微调脚本（全参数或QLoRA）来自XTuner
• 来自DiscoResearch的微调版Mixtral-8x7B：DiscoLM-mixtral-8x7b-v2

部署

• 使用vLLM进行推理

📖 模型架构

Mixtral-8x7B-32K MoE模型主要由32个相同的MoE Transformer块组成。MoE Transformer块与普通Transformer块的主要区别在于，FFN层被MoE FFN层取代。在MoE FFN层中，张量首先经过门控层计算每个专家的得分，然后根据专家得分从8个专家中选择前k个专家。张量通过这k个专家的输出聚合，从而得到MoE FFN层的最终输出。每个专家由3个线性层组成。值得注意的是，Mixtral MoE的所有归一化层也采用RMSNorm，这与LLama相同。在注意力层中，Mixtral MoE的QKV矩阵中，Q矩阵形状为(4096,4096)，而K和V矩阵形状均为(4096,1024)。

我们用下图展示了该架构：

📂 模型权重

Hugging Face格式

• 官方基础模型
• 官方对话模型

原始格式

您可以通过磁力链接或Hugging Face下载检查点。

通过HF下载

• mixtral-8x7b-32kseqlen

如果您无法访问Hugging Face，请尝试使用hf镜像

# 下载Hugging Face
git lfs install
git clone https://huggingface.co/someone13574/mixtral-8x7b-32kseqlen

# 合并文件（仅适用于HF）
cd mixtral-8x7b-32kseqlen/

# 合并检查点
cat consolidated.00.pth-split0 consolidated.00.pth-split1 consolidated.00.pth-split2 consolidated.00.pth-split3 consolidated.00.pth-split4 consolidated.00.pth-split5 consolidated.00.pth-split6 consolidated.00.pth-split7 consolidated.00.pth-split8 consolidated.00.pth-split9 consolidated.00.pth-split10 > consolidated.00.pth

通过磁力链接下载

请使用此链接下载原始文件

magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%http://2Fopentracker.i2p.rocks%3A6969%2Fannounce&tr=http%3A%2F%http://2Ftracker.openbittorrent.com%3A80%2Fannounce

MD5校验

请检查MD5以确保文件完整。

md5sum consolidated.00.pth
md5sum tokenizer.model

# 核实无误后，可以删除分割后的文件。
rm consolidated.00.pth-split*

官方MD5

 ╓────────────────────────────────────────────────────────────────────────────╖
 ║                                                                            ║
 ║                               ·· md5sum ··                                 ║
 ║                                                                            ║
 ║        1faa9bc9b20fcfe81fcd4eb7166a79e6  consolidated.00.pth               ║
 ║        37974873eb68a7ab30c4912fc36264ae  tokenizer.model                   ║
 ╙────────────────────────────────────────────────────────────────────────────╜

🔨 安装

conda create --name mixtralkit python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y
conda activate mixtralkit

git clone https://github.com/open-compass/MixtralKit
cd MixtralKit/
pip install -r requirements.txt
pip install -e .

ln -s path/to/checkpoints_folder/ ckpts

🚀 推理

文本补全

python tools/example.py -m ./ckpts -t ckpts/tokenizer.model --num-gpus 2

预期结果：

==============================示例 START==============================
[提示]:
你是谁？

[回应]:
我是一名设计师和理论家，马耳他大学的讲师，同时也是Barbagallo and Baressi Design公司的合伙人。该公司于2004年荣获享有盛誉的金圆规奖。我在美国接受过工业设计和室内设计方面的教育。

==============================示例 END==============================
==============================示例 START==============================
[提示]:
1 + 1 -> 3
2 + 2 -> 5
3 + 3 -> 7
4 + 4 ->

[回应]:
9
5 + 5 -> 11
6 + 6 -> 13

#include <iostream>

using namespace std;

int addNumbers(int x, int y)
{
        return x + y;
}

int main()
{

==============================示例 END==============================

🏗️ 评估

步骤-1：设置 OpenCompass

• 克隆并安装 OpenCompass

# 假设你已经创建了一个名为 mixtralkit 的 conda 环境
conda activate mixtralkit

git clone https://github.com/open-compass/opencompass opencompass
cd opencompass

pip install -e .

• 准备评估数据集

# 下载数据集到 data/ 文件夹
wget https://github.com/open-compass/opencompass/releases/download/0.1.8.rc1/OpenCompassData-core-20231110.zip
unzip OpenCompassData-core-20231110.zip

如果你需要评估 humaneval，请参阅 安装指南 获取更多信息

步骤-2：准备评估配置和权重

cd opencompass/
# 将示例配置链接到 opencompass
ln -s path/to/MixtralKit/playground playground

# 将模型权重链接到 opencompass
mkdir -p ./models/mixtral/
ln -s path/to/checkpoints_folder/ ./models/mixtral/mixtral-8x7b-32kseqlen

目前，你的文件结构应如下所示：

opencompass/
├── configs
│   ├── .....
│   └── .....
├── models
│   └── mixtral
│       └── mixtral-8x7b-32kseqlen
├── data/
├── playground
│   └── eval_mixtral.py
│── ......

步骤-3：运行评估实验

HF_EVALUATE_OFFLINE=1 HF_DATASETS_OFFLINE=1 TRANSFORMERS_OFFLINE=1 python run.py playground/eval_mixtral.py

🤝 致谢

• llama-mistral
• llama

🖊️ 引用

@misc{2023opencompass,
    title={OpenCompass: 一个用于基础模型的通用评估平台},
    author={OpenCompass 贡献者},
    howpublished = {\url{https://github.com/open-compass/opencompass}},
    year={2023}
}

MixtralKit 快速上手指南

MixtralKit 是由 OpenCompass 团队提供的 Mixtral 模型推理工具包，支持高效的 MoE（混合专家）架构模型加载与推理。本指南将帮助你快速完成环境配置并运行首个推理示例。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存充足以加载大模型）
• 依赖管理: Conda (推荐)
• 网络: 能够访问 GitHub 和 Hugging Face（若访问受限，建议使用国内镜像或代理）

安装步骤

1. 创建并激活 Conda 环境

使用以下命令创建名为 mixtralkit 的虚拟环境，并安装 PyTorch 及相关依赖：

conda create --name mixtralkit python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y
conda activate mixtralkit

2. 克隆项目并安装依赖

从 GitHub 克隆代码库并安装 Python 依赖包：

git clone https://github.com/open-compass/MixtralKit
cd MixtralKit/
pip install -r requirements.txt
pip install -e .

3. 准备模型权重

你需要下载 Mixtral 模型权重。如果无法直接访问 Hugging Face，可以使用国内镜像站 hf-mirror 加速下载。

方式 A：通过 Hugging Face (或镜像) 下载

# 初始化 git lfs
git lfs install

# 使用官方源下载 (若网络不通，可将 huggingface.co 替换为 hf-mirror.com)
git clone https://huggingface.co/someone13574/mixtral-8x7b-32kseqlen

# 进入目录并合并分片文件
cd mixtral-8x7b-32kseqlen/
cat consolidated.00.pth-split0 consolidated.00.pth-split1 consolidated.00.pth-split2 consolidated.00.pth-split3 consolidated.00.pth-split4 consolidated.00.pth-split5 consolidated.00.pth-split6 consolidated.00.pth-split7 consolidated.00.pth-split8 consolidated.00.pth-split9 consolidated.00.pth-split10 > consolidated.00.pth

# (可选) 验证 MD5 后删除分片文件
# rm consolidated.00.pth-split*

方式 B：建立软链接

安装完成后，将模型权重目录链接到项目根目录下的 ckpts 文件夹：

# 请将 path/to/checkpoints_folder/ 替换为你实际下载模型的路径
ln -s path/to/checkpoints_folder/ ckpts

注意: 确保 ckpts 目录下包含 consolidated.00.pth 和 tokenizer.model 文件。

基本使用

完成安装和模型准备后，即可运行文本生成示例。以下命令演示了如何使用 2 张 GPU 进行推理：

python tools/example.py -m ./ckpts -t ckpts/tokenizer.model --num-gpus 2

预期输出：

程序启动后将进入交互模式或直接输出示例结果，如下所示：

==============================Example START==============================

[Prompt]:
Who are you?

[Response]:
I am a designer and theorist; a lecturer at the University of Malta and a partner in the firm Barbagallo and Baressi Design, which won the prestig
ious Compasso d'Oro award in 2004. I was

...

你现在已成功运行 Mixtral 模型！你可以修改 tools/example.py 中的提示词（Prompt）来测试不同的生成任务。