Mistral

Mistral：一种强劲而清凉的西北风，越吹越强，带来宜人的气候与晴朗的天空。

一个用于透明且易于访问的大规模语言模型训练框架，基于 Hugging Face 🤗 构建。包含用于引入新预训练数据集的工具和实用脚本、单节点及分布式训练的各种方案——包括在 GCP 等云服务提供商上的部署，以及重要的评估脚本。

请访问我们的 Read the Docs 获取完整文档。

A Propulsion Endeavor 🚀

---

快速入门

安装

Mistral 已在以下环境中测试通过：Python 3.8.12、PyTorch 1.11.0（使用 CUDA 11.3 编译）、CUDA 11.3、NCCL 2.10、Transformers 4.17.0 和 DeepSpeed 0.6.0。

可通过以下命令轻松构建环境：

conda create -n mistral python=3.8.12 pytorch=1.11.0 torchdata cudatoolkit=11.3 -c pytorch
conda activate mistral
pip install -r setup/pip-requirements.txt

我们提供了一个经过测试的环境配置文件导出 .yaml 文件，位于 environments/environment-gpu.yaml。

可以使用 conda 管理环境和非 Python 依赖项，而 Python 依赖项则可以通过 pip 管理（注意：为了获取使用 CUDA 11.3 编译的版本，PyTorch 的安装是通过 conda 完成的）。

训练 GPT-2 Micro

前提条件

首先，请确保更新 conf/mistral-micro.yaml 文件中的目录设置，以指定 Hugging Face 缓存和模型运行日志的存储路径。

# 资源与缓存
artifacts:
    cache_dir: /path/to/artifacts
    run_dir: /path/to/runs

其次，确保 /path/to/mistral 已添加到你的 PYTHONPATH 中。

单节点单 GPU 训练

对于单节点单 GPU 训练，运行以下命令：

conda activate mistral
cd mistral
CUDA_VISIBLE_DEVICES=0 python train.py --config conf/mistral-micro.yaml --nnodes 1 --nproc_per_node 1 --training_arguments.fp16 true --training_arguments.per_device_train_batch_size 2 --run_id tutorial-gpt2-micro

多节点多 GPU 分布式训练（使用 DeepSpeed）

按如下方式修改 /job/hostfile 文件：

<第一台机器的主机名> slots=<GPU数量>
<第二台机器的主机名> slots=<GPU数量>
...
<第 n 台机器的主机名> slots=<GPU数量>

以下是一个示例 hostfile，我们在 machine1 和 machine2 上各使用 8 张 GPU 进行训练：

machine1 slots=8
machine2 slots=8

要启动分布式训练，运行以下命令：

conda activate mistral
cd mistral
deepspeed --num_gpus 8 --num_nodes 2 --master_addr machine1 train.py --config conf/tutorial-gpt2-micro.yaml --nnodes 2 --nproc_per_node 8 --training_arguments.fp16 true --training_arguments.per_device_train_batch_size 4 --training_arguments.deepspeed conf/deepspeed/z2-small-conf.json --run_id tutorial-gpt2-micro-multi-node

注意：你可能需要根据 GPU 的容量调整批量大小。

如果你有兴趣在 Google Cloud 上训练模型，请查看我们的 Google Cloud + Kubernetes 教程。

使用模型

模型检查点将存储在 artifacts.run_dir 指定的目录中。例如，检查点可能位于 /path/to/runs/tutorial-gpt2-micro/checkpoint-1000。

Mistral 以 Hugging Face 格式存储模型检查点，因此这些模型可以像直接使用 Hugging Face 训练的模型一样加载和使用。

例如，使用 🤗 Transformers 生成文本：

from transformers import GPT2LMHeadModel, GPT2Tokenizer

tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

model = GPT2LMHeadModel.from_pretrained("stanford-crfm/eowyn-x777-checkpoint-400000")

input_ids = tokenizer.encode(
    "你好，世界！这是一个语言模型提示。", return_tensors="pt"
)

sample_output = model.generate(input_ids, do_sample=True, max_length=50, top_k=50)

print("输出：\n" + 100 * "-")
print(tokenizer.decode(sample_output[0], skip_special_tokens=True))

请查看这个 Google Colab 笔记本，运行此演示！

---

资源

Propulsion 团队已在 OpenWebText 语料库 上训练了 5 个 GPT-2 Medium 模型和 5 个 GPT-2 Small 模型，该语料库可在 🤗 datasets 中找到。

每个 GPT-2 Small 模型共有 600 个检查点，其保存策略如下：

• 前 100 步，每 10 步保存一次。
• 第 100 步至第 2000 步，每 50 步保存一次。
• 第 2000 步至第 20000 步，每 100 步保存一次。
• 第 20000 步至第 400000 步，每 1000 步保存一次。

这些检查点可从 🤗 hub 下载。

运行	类型	种子	下载链接
Alias	GPT-2 Small	21	下载
Battlestar	GPT-2 Small	49	下载
Caprica	GPT-2 Small	81	下载
Darkmatter	GPT-2 Small	343	下载
Expanse	GPT-2 Small	777	下载
Arwen	GPT-2 Medium	21	下载
Beren	GPT-2 Medium	49	下载
Celebrimbor	GPT-2 Medium	81	下载
Durin	GPT-2 Medium	343	下载
Eowyn	GPT-2 Medium	777	下载

每个模型都有独立的 Git 仓库，每个检查点都以分支形式存储。

例如，以下是获取 battlestar 模型第 300000 步检查点的方法：

# 确保已安装 git-lfs
# (https://git-lfs.github.com)
git lfs install

# 获取 battlestar 模型的第 300000 步检查点
git clone https://huggingface.co/stanford-crfm/battlestar-gpt2-small-x49 --branch checkpoint-300000 --single-branch
cd battlestar-gpt2-small-x49
git lfs pull

为方便起见，所有模型及其步骤检查点均列在 mistral_models.json 文件中。

---

问题

如需提问、报告问题或请求功能，请使用 GitHub 问题跟踪器。 在创建新问题之前，请务必搜索现有问题，看看是否已有解决方案。

---

Mistral 与 Hugging Face 的区别

请访问此页面，其中概述了这两个代码库之间的差异。

---

贡献

有关贡献的信息，请参阅此页面。

Mistral 快速上手指南

Mistral 是一个基于 Hugging Face 🤗 构建的大规模语言模型训练框架，旨在提供透明且易于访问的训练流程。它支持单节点及分布式训练（包括云端），并提供了数据集集成和模型评估的实用脚本。

环境准备

在开始之前，请确保您的系统满足以下经过测试的版本要求：

• Python: 3.8.12
• PyTorch: 1.11.0 (需使用 CUDA 11.3 编译)
• CUDA: 11.3
• NCCL: 2.10
• Transformers: 4.17.0
• DeepSpeed: 0.6.0

前置依赖：

• 已安装 conda (推荐用于管理非 Python 依赖和 PyTorch)
• 已安装 git 和 git-lfs (用于下载模型检查点)

注意：国内用户若遇到连接问题，可配置 conda 使用清华或中科大镜像源，并在 pip 安装时指定国内镜像源（如 -i https://pypi.tuna.tsinghua.edu.cn/simple）。

安装步骤

推荐使用 conda 创建独立环境以确保依赖版本兼容。

1. 创建并激活 conda 环境：

   conda create -n mistral python=3.8.12 pytorch=1.11.0 torchdata cudatoolkit=11.3 -c pytorch
   conda activate mistral
   

2. 安装 Python 依赖：

   pip install -r setup/pip-requirements.txt
   

   (国内用户建议添加镜像源参数，例如：pip install -r setup/pip-requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

3. 验证环境（可选）： 项目提供了一个测试过的环境导出文件 environments/environment-gpu.yaml，如需复现完全一致的环境可参考该文件。

基本使用

1. 配置运行路径

在运行训练前，需修改配置文件 conf/mistral-micro.yaml，设置 artifacts 缓存目录和模型运行输出目录。

# Artifacts & Caching
artifacts:
    cache_dir: /path/to/artifacts  # 替换为您的实际路径
    run_dir: /path/to/runs         # 替换为您的实际路径

确保将 mistral 项目根目录添加到 PYTHONPATH：

export PYTHONPATH=/path/to/mistral:$PYTHONPATH

2. 单节点单卡训练 (GPT-2 Micro)

激活环境后，使用以下命令启动训练：

conda activate mistral
cd mistral
CUDA_VISIBLE_DEVICES=0 python train.py --config conf/mistral-micro.yaml --nnodes 1 --nproc_per_node 1 --training_arguments.fp16 true --training_arguments.per_device_train_batch_size 2 --run_id tutorial-gpt2-micro

3. 加载与使用模型

训练完成的检查点默认保存在 artifacts.run_dir 指定的目录下（例如 /path/to/runs/tutorial-gpt2-micro/checkpoint-1000）。Mistral 生成的模型格式与 Hugging Face 完全兼容，可直接使用 transformers 库加载。

以下是一个生成文本的 Python 示例：

from transformers import GPT2LMHeadModel, GPT2Tokenizer

# 加载分词器
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

# 加载预训练模型 (此处以斯坦福发布的 Eowyn 模型为例，也可替换为您的本地检查点路径)
model = GPT2LMHeadModel.from_pretrained("stanford-crfm/eowyn-x777-checkpoint-400000")

# 编码输入
input_ids = tokenizer.encode(
    "Hello world, this is a language model prompt.", return_tensors="pt"
)

# 生成文本
sample_output = model.generate(input_ids, do_sample=True, max_length=50, top_k=50)

print("Output:\n" + 100 * "-")
print(tokenizer.decode(sample_output[0], skip_special_tokens=True))

4. 下载预训练模型 (可选)

如果您不想从头训练，可以从 Hugging Face Hub 下载斯坦福团队预训练的 GPT-2 Small/Medium 模型检查点。由于检查点存储在 Git 分支中，需使用 git 克隆特定分支：

# 确保已安装 git-lfs
git lfs install

# 示例：下载 battlestar 模型的第 300,000 步检查点
git clone https://huggingface.co/stanford-crfm/battlestar-gpt2-small-x49 --branch checkpoint-300000 --single-branch
cd battlestar-gpt2-small-x49
git lfs pull

更多可用模型列表请参阅项目文档中的资源表格。