Mistral 推理

此仓库包含运行 Mistral 模型所需的最简代码。

7B 博客：https://mistral.ai/news/announcing-mistral-7b/
8x7B 博客：https://mistral.ai/news/mixtral-of-experts/
8x22B 博客：https://mistral.ai/news/mixtral-8x22b/
Codestral 22B 博客：https://mistral.ai/news/codestral
Codestral Mamba 7B 博客：https://mistral.ai/news/codestral-mamba/
Mathstral 7B 博客：https://mistral.ai/news/mathstral/
Nemo 博客：https://mistral.ai/news/mistral-nemo/
Mistral Large 2 博客：https://mistral.ai/news/mistral-large-2407/
Pixtral 12B 博客：https://mistral.ai/news/pixtral-12b/ Mistral Small 3.1 博客：https://mistral.ai/news/mistral-small-3-1/

Discord：https://discord.com/invite/mistralai
文档：https://docs.mistral.ai/
护栏机制：https://docs.mistral.ai/usage/guardrailing

安装

注意：您需要使用 GPU 来安装 mistral-inference，因为目前它要求安装 xformers，而 xformers 本身也需要 GPU 才能完成安装。

PyPI

pip install mistral-inference

本地

cd $HOME && git clone https://github.com/mistralai/mistral-inference
cd $HOME/mistral-inference && poetry install .

模型下载

直接链接

名称	下载	md5sum
7B 指令版	https://models.mistralcdn.com/mistral-7b-v0-3/mistral-7B-Instruct-v0.3.tar	80b71fcb6416085bcb4efad86dfb4d52
8x7B 指令版	https://models.mistralcdn.com/mixtral-8x7b-v0-1/Mixtral-8x7B-v0.1-Instruct.tar (更新后的模型即将发布！)	8e2d3930145dc43d3084396f49d38a3f
8x22 指令版	https://models.mistralcdn.com/mixtral-8x22b-v0-3/mixtral-8x22B-Instruct-v0.3.tar	471a02a6902706a2f1e44a693813855b
7B 基础版	https://models.mistralcdn.com/mistral-7b-v0-3/mistral-7B-v0.3.tar	0663b293810d7571dad25dae2f2a5806
8x7B	更新后的模型即将发布！	-
8x22B	https://models.mistralcdn.com/mixtral-8x22b-v0-3/mixtral-8x22B-v0.3.tar	a2fa75117174f87d1197e3a4eb50371a
Codestral 22B	https://models.mistralcdn.com/codestral-22b-v0-1/codestral-22B-v0.1.tar	1ea95d474a1d374b1d1b20a8e0159de3
Mathstral 7B	https://models.mistralcdn.com/mathstral-7b-v0-1/mathstral-7B-v0.1.tar	5f05443e94489c261462794b1016f10b
Codestral-Mamba 7B	https://models.mistralcdn.com/codestral-mamba-7b-v0-1/codestral-mamba-7B-v0.1.tar	d3993e4024d1395910c55db0d11db163
Nemo 基础版	https://models.mistralcdn.com/mistral-nemo-2407/mistral-nemo-base-2407.tar	c5d079ac4b55fc1ae35f51f0a3c0eb83
Nemo 指令版	https://models.mistralcdn.com/mistral-nemo-2407/mistral-nemo-instruct-2407.tar	296fbdf911cb88e6f0be74cd04827fe7
Mistral Large 2	https://models.mistralcdn.com/mistral-large-2407/mistral-large-instruct-2407.tar	fc602155f9e39151fba81fcaab2fa7c4

注：

• 重要提示：
  • mixtral-8x22B-Instruct-v0.3.tar 与 Mixtral-8x22B-Instruct-v0.1 完全相同，只是存储格式为 .safetensors。
  • mixtral-8x22B-v0.3.tar 与 Mixtral-8x22B-v0.1 相同，但词汇表扩展到了 32768 个词。
  • codestral-22B-v0.1.tar 采用一种非商业用途的自定义许可协议，称为 Mistral AI 非生产许可 (MNPL)。
  • mistral-large-instruct-2407.tar 采用一种非商业用途的自定义许可协议，称为 Mistral AI 研究许可 (MRL)。
• 上述所有模型均支持函数调用功能。例如，Mistral 7B 基础版/指令版 v3 是对 7B 基础版/指令版 v2 的小幅更新，新增了函数调用能力。
• “即将发布”的模型也将包含函数调用功能。
• 您可以从我们的文档中下载旧版本的模型：[https://docs.mistral.ai/getting-started/open_weight_models/#downloading]。

从 Hugging Face Hub 下载

名称	ID	URL
Pixtral Large 指令版	mistralai/Pixtral-Large-Instruct-2411	https://huggingface.co/mistralai/Pixtral-Large-Instruct-2411
Pixtral 12B 基础版	mistralai/Pixtral-12B-Base-2409	https://huggingface.co/mistralai/Pixtral-12B-Base-2409
Pixtral 12B	mistralai/Pixtral-12B-2409	https://huggingface.co/mistralai/Pixtral-12B-2409
Mistral Small 3.1 24B 基础版	mistralai/Mistral-Small-3.1-24B-Base-2503	https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Base-2503
Mistral Small 3.1 24B 指令版	mistralai/Mistral-Small-3.1-24B-Instruct-2503	https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503

使用方法

最新消息!!!：Mistral Large 2 已发布。更多关于其功能的信息请参见 此处。

创建一个用于存储模型的本地文件夹

export MISTRAL_MODEL=$HOME/mistral_models
mkdir -p $MISTRAL_MODEL

下载上述任意链接并解压内容，例如：

export 12B_DIR=$MISTRAL_MODEL/12B_Nemo
wget https://models.mistralcdn.com/mistral-nemo-2407/mistral-nemo-instruct-2407.tar
mkdir -p $12B_DIR
tar -xf mistral-nemo-instruct-2407.tar -C $12B_DIR

或者

export M8x7B_DIR=$MISTRAL_MODEL/8x7b_instruct
wget https://models.mistralcdn.com/mixtral-8x7b-v0-1/Mixtral-8x7B-v0.1-Instruct.tar
mkdir -p $M8x7B_DIR
tar -xf Mixtral-8x7B-v0.1-Instruct.tar -C $M8x7B_DIR

对于 Hugging Face 模型的权重，以下是一个下载 Mistral Small 3.1 24B 指令版 的示例：

from pathlib import Path
from huggingface_hub import snapshot_download


mistral_models_path = Path.home().joinpath("mistral_models")

model_path = mistral_models_path / "mistral-small-3.1-instruct"
model_path.mkdir(parents=True, exist_ok=True)

repo_id = "mistralai/Mistral-Small-3.1-24B-Instruct-2503"

snapshot_download(
    repo_id=repo_id,
    allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"],
    local_dir=model_path,
)

使用方法

以下章节将概述如何通过命令行界面 (CLI) 或直接在 Python 中运行模型。

命令行界面

• 演示

要测试模型在您的环境中是否正常工作，可以运行 mistral-demo 命令。
例如，120亿参数的 Mistral-Nemo 模型可以在单个 GPU 上进行测试，命令如下：

mistral-demo $12B_DIR

对于大型模型，如 8x7B 和 8x22B，则需要在多 GPU 环境中运行。针对这些模型，可以使用以下命令：

torchrun --nproc-per-node 2 --no-python mistral-demo $M8x7B_DIR

注意：如果有多余的 GPU，可将 --nproc-per-node 的值调整为更大的数字。

• 聊天

要与模型进行交互式对话，可以使用 mistral-chat 命令。

mistral-chat $12B_DIR --instruct --max_tokens 1024 --temperature 0.35

对于大型模型，可以结合 torchrun 使用：

torchrun --nproc-per-node 2 --no-python mistral-chat $M8x7B_DIR --instruct

注意：如有必要，可调整 --nproc-per-node 的值以匹配更多的 GPU 数量（例如，针对 8x22B 模型）。

• 与 Codestral 对话

要将 Codestral 用作编程助手，可以使用 mistral-chat 命令。请确保 $M22B_CODESTRAL 已设置为下载的 Codestral 模型文件夹的有效路径，例如 $HOME/mistral_models/Codestral-22B-v0.1。

mistral-chat $M22B_CODESTRAL --instruct --max_tokens 256

如果您向模型提问：“请用 Rust 编写一个计算斐波那契数列的函数”，模型应会生成类似以下内容的回答：

当然，下面是一个用 Rust 编写的简单斐波那契数列计算函数。该函数接受一个整数 `n` 作为参数，并返回第 `n` 个斐波那契数。

fn fibonacci(n: u32) -> u32 {
    match n {
        0 => 0,
        1 => 1,
        _ => fibonacci(n - 1) + fibonacci(n - 2),
    }
}

fn main() {
    let n = 10;
    println!("第 {} 个斐波那契数是：{}", n, fibonacci(n));
}

这个函数使用递归方式计算斐波那契数。不过，这种方法效率不高，因为它会重复计算许多中间结果。更高效的方案是使用循环来迭代计算斐波那契数。

之后您还可以继续对话，例如：“请将其翻译成 Python。”

• 与 Codestral-Mamba 对话

要将 Codestral-Mamba 用作编程助手，可以使用 mistral-chat 命令。请确保 $7B_CODESTRAL_MAMBA 已设置为下载的 Codestral-Mamba 模型文件夹的有效路径，例如 $HOME/mistral_models/mamba-codestral-7B-v0.1。

随后，您还需要安装以下 Python 包：

pip install packaging mamba-ssm causal-conv1d transformers

安装完成后即可开始对话：

mistral-chat $7B_CODESTRAL_MAMBA --instruct --max_tokens 256

• 与 Mathstral 对话

要将 Mathstral 用作助手，可以使用 mistral-chat 命令。请确保 $7B_MATHSTRAL 已设置为下载的 Mathstral 模型文件夹的有效路径，例如 $HOME/mistral_models/mathstral-7B-v0.1。

mistral-chat $7B_MATHSTRAL --instruct --max_tokens 256

如果您向模型提问：“Albert 每周都喜欢冲浪一次，每次冲浪持续 4 小时，每小时收费 20 美元。那么 Albert 在 5 周内总共会花费多少钱？”模型应给出正确的计算结果。

之后您可以继续对话，例如：“那他一年会花费多少钱？”

• 与 Mistral Small 3.1 24B Instruct 对话

要将 Mistral Small 3.1 24B Instruct 用作助手，可以使用 mistral-chat 命令。请确保 $MISTRAL_SMALL_3_1_INSTRUCT 已设置为下载的 Mistral Small 模型文件夹的有效路径，例如 $HOME/mistral_models/mistral-small-3.1-instruct。

mistral-chat $MISTRAL_SMALL_3_1_INSTRUCT --instruct --max_tokens 256

如果您向模型展示一张图片，并提问：“上图所示的是哪个公园？请提供识别该公园的线索。”同时附上图片 URL https://huggingface.co/datasets/patrickvonplaten/random_img/resolve/main/yosemite.png，模型应答为优胜美地国家公园，并给出相应的识别线索。

之后您还可以继续对话，例如：“图中的湖泊叫什么名字？”模型应回答说那不是湖泊，而是一条河流。

Python

• 指令遵循：

from mistral_inference.transformer import Transformer
from mistral_inference.generate import generate

from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.protocol.instruct.messages import UserMessage
from mistral_common.protocol.instruct.request import ChatCompletionRequest


tokenizer = MistralTokenizer.from_file("./mistral-nemo-instruct-v0.1/tekken.json")  # 更改为提取的分词器文件
model = Transformer.from_folder("./mistral-nemo-instruct-v0.1")  # 更改为提取的模型目录

prompt = "请合理估算，请一位窗户清洁工清洗巴黎所有窗户的费用大概是多少美元。"

completion_request = ChatCompletionRequest(messages=[UserMessage(content=prompt)])

tokens = tokenizer.encode_chat_completion(completion_request).tokens

out_tokens, _ = generate([tokens], model, max_tokens=1024, temperature=0.35, eos_id=tokenizer.instruct_tokenizer.tokenizer.eos_id)
result = tokenizer.instruct_tokenizer.tokenizer.decode(out_tokens[0])

print(result)

• 多模态指令遵循：

from pathlib import Path

from huggingface_hub import snapshot_download
from mistral_common.protocol.instruct.messages import ImageURLChunk, TextChunk
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_inference.generate import generate
from mistral_inference.transformer import Transformer

model_path = Path.home().joinpath("mistral_models") / "mistral-small-3.1-instruct" # 更改为提取的模型
tokenizer = MistralTokenizer.from_file(model_path / "tekken.json")
model = Transformer.from_folder(model_path)

url = "https://huggingface.co/datasets/patrickvonplaten/random_img/resolve/main/yosemite.png"
prompt = "上图展示的是哪个公园？请给出识别该公园的线索。"

user_content = [ImageURLChunk(image_url=url), TextChunk(text=prompt)]

tokens, images = tokenizer.instruct_tokenizer.encode_user_content(user_content, False)

out_tokens, _ = generate(
    [tokens],
    model,
    images=[images],
    max_tokens=256,
    temperature=0.15,
    eos_id=tokenizer.instruct_tokenizer.tokenizer.eos_id,
)
result = tokenizer.decode(out_tokens[0])

print("Prompt:", prompt)
print("Completion:", result)

• 函数调用：

from mistral_common.protocol.instruct.tool_calls import Function, Tool

completion_request = ChatCompletionRequest(
    tools=[
        Tool(
            function=Function(
                name="get_current_weather",
                description="获取当前天气",
                parameters={
                    "type": "object",
                    "properties": {
                        "location": {
                            "type": "string",
                            "description": "城市和州，例如旧金山，加州",
                        },
                        "format": {
                            "type": "string",
                            "enum": ["摄氏度", "华氏度"],
                            "description": "要使用的温度单位。根据用户所在位置推断。",
                        },
                    },
                    "required": ["location", "format"],
                },
            )
        )
    ],
    messages=[
        UserMessage(content="今天巴黎的天气怎么样？"),
        ],
)

tokens = tokenizer.encode_chat_completion(completion_request).tokens

out_tokens, _ = generate([tokens], model, max_tokens=64, temperature=0.0, eos_id=tokenizer.instruct_tokenizer.tokenizer.eos_id)
result = tokenizer.instruct_tokenizer.tokenizer.decode(out_tokens[0])

print(result)

• 中间填空（FIM）：

请确保已安装 mistral-common >= 1.2.0：

pip install --upgrade mistral-common

你可以按如下方式模拟代码补全的中间填空。

from mistral_inference.transformer import Transformer
from mistral_inference.generate import generate
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.tokens.instruct.request import FIMRequest

tokenizer = MistralTokenizer.from_model("codestral-22b")
model = Transformer.from_folder("./mistral_22b_codestral")

prefix = """def add("""
suffix = """    return sum"""

request = FIMRequest(prompt=prefix, suffix=suffix)

tokens = tokenizer.encode_fim(request).tokens

out_tokens, _ = generate([tokens], model, max_tokens=256, temperature=0.0, eos_id=tokenizer.instruct_tokenizer.tokenizer.eos_id)
result = tokenizer.decode(out_tokens[0])

middle = result.split(suffix)[0].strip()
print(middle)

测试

运行 logits 等价性测试：

python -m pytest tests

部署

deploy 文件夹包含用于构建带有所需依赖项的 vLLM 镜像的代码，以便部署 Mistral AI 模型。在该镜像中，使用了 transformers 库，而非参考实现。构建命令如下：

docker build deploy --build-arg MAX_JOBS=8

运行该镜像的说明可在官方文档中找到。

模型平台

• 在 Mistral AI 官方 API（La Plateforme）上使用 Mistral 模型。
• 通过 云服务提供商 使用 Mistral 模型。

参考文献

[1]: LoRA：大型语言模型的低秩适应，Hu 等人，2021 年。

许可证

本库采用 Apache 2.0 许可证授权。更多信息请参阅 LICENCE 文件。

您不得以侵犯、盗用或以其他方式违反任何第三方权利（包括知识产权）的方式使用本库或我们的模型。

Mistral Inference 快速上手指南

本指南帮助中国开发者快速部署并运行 Mistral AI 开源模型（如 Mistral 7B, Mixtral 8x7B, Codestral 等）。

1. 环境准备

在开始之前，请确保满足以下系统和硬件要求：

• 操作系统: Linux (推荐) 或 macOS。
• 硬件:
  • 必须拥有 NVIDIA GPU。
  • 安装过程依赖 xformers，该库需要 GPU 环境才能编译安装。
  • 显存建议:
    • 7B 模型：单卡即可运行。
    • 8x7B / 8x22B 等大模型：需要多卡并行运行。
• 软件依赖:
  • Python 3.9+
  • PyTorch (需匹配 CUDA 版本)
  • Git

2. 安装步骤

你可以选择通过 PyPI 直接安装，或克隆源码进行本地开发。

方式一：通过 PyPI 安装（推荐）

pip install mistral-inference

方式二：本地源码安装

如果你需要修改代码或使用最新特性：

cd $HOME && git clone https://github.com/mistralai/mistral-inference
cd $HOME/mistral-inference && poetry install .

3. 模型下载与准备

在使用前，需下载模型权重并解压到本地目录。

设置存储目录

export MISTRAL_MODEL=$HOME/mistral_models
mkdir -p $MISTRAL_MODEL

下载示例 (以 Mistral Nemo Instruct 为例)

export 12B_DIR=$MISTRAL_MODEL/12B_Nemo
wget https://models.mistralcdn.com/mistral-nemo-2407/mistral-nemo-instruct-2407.tar
mkdir -p $12B_DIR
tar -xf mistral-nemo-instruct-2407.tar -C $12B_DIR

注意:

• 对于 Mixtral 8x7B 或 8x22B 等大模型，请下载对应的 .tar 包并解压。
• 部分模型（如 Codestral, Mistral Large）有特定的非商业许可证，使用前请查阅官方许可协议。
• 若网络受限，可尝试使用 Hugging Face Hub 下载（需配置国内镜像加速），参考下方 Python 代码段。

4. 基本使用

方法 A：命令行界面 (CLI)

这是最快速的测试方式，支持对话和演示模式。

1. 运行演示 (Demo)

测试模型是否能正常加载和推理。

• 单卡模型 (如 7B, 12B):

  mistral-demo $12B_DIR
  

• 多卡模型 (如 8x7B, 8x22B): 需使用 torchrun 指定 GPU 数量（例如 2 卡）：

  torchrun --nproc-per-node 2 --no-python mistral-demo $M8x7B_DIR
  

  (注：根据实际显卡数量调整 --nproc-per-node)

2. 交互式对话 (Chat)

与模型进行多轮对话。

• 标准对话:

  mistral-chat $12B_DIR --instruct --max_tokens 1024 --temperature 0.35
  

• 大模型多卡对话:

  torchrun --nproc-per-node 2 --no-python mistral-chat $M8x7B_DIR --instruct
  

• 特定模型对话 (如 Codestral): 确保变量指向正确的模型路径（例如 $M22B_CODESTRAL）：

  mistral-chat $M22B_CODESTRAL --instruct --max_tokens 256
  

方法 B：Python 代码调用

适用于将模型集成到自己的应用中。以下是一个基础的指令跟随示例：

from mistral_inference.transformer import Transformer
from mistral_inference.generate import generate

from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.protocol.instruct.messages import UserMessage
from mistral_common.protocol.instruct.request import ChatCompletionRequest

# 1. 加载分词器和模型 (路径替换为你实际解压的目录)
tokenizer = MistralTokenizer.from_file("./mistral-nemo-instruct-v0.1/tekken.json")
model = Transformer.from_folder("./mistral-nemo-instruct-v0.1")

# 2. 构建请求
prompt = "How expensive would it be to ask a window cleaner to clean all windows in Paris. Make a reasonable guess in US Dollar."

completion_request = ChatCompletionRequest(
    messages=[UserMessage(content=prompt)]
)

# 3. 分词并生成
tokens = tokenizer.encode_chat_completion(completion_request).tokens
out_tokens, _ = generate(tokens, model, max_tokens=256, temperature=0.7)
result = tokenizer.decode(out_tokens)

print(result)

附：通过 Hugging Face Hub 下载模型 (Python)

如果直接下载链接受阻，可使用此脚本下载（建议配置 HF_ENDPOINT 为国内镜像）：

from pathlib import Path
from huggingface_hub import snapshot_download

# 设置国内镜像加速 (可选)
# import os
# os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

mistral_models_path = Path.home().joinpath("mistral_models")
model_path = mistral_models_path / "mistral-small-3.1-instruct"
model_path.mkdir(parents=True, exist_ok=True)

repo_id = "mistralai/Mistral-Small-3.1-24B-Instruct-2503"

snapshot_download(
    repo_id=repo_id,
    allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"],
    local_dir=model_path,
)