由 ONNX 提供支持的 Llama 2

这是一个经过优化的 Llama 2 模型版本，由 Meta 根据本仓库中的 Llama 社区许可协议提供。微软允许您使用、修改、重新分发并基于微软对优化版本的贡献创建衍生作品，但须遵守 Llama 社区许可协议中关于限制、保证免责及责任免除的相关条款。

开始之前

本仓库中包含 ONNX 文件的子模块受到访问控制。 如需获取 Llama 2 模型的访问权限，请填写 Llama 2 ONNX 注册页面。若申请获批，您将在接下来的 48 小时内获得 GitHub 访问权限，通常会更快。

克隆本仓库及子模块

在开始之前，请确保已安装 Git LFS。Git LFS（大文件存储）用于高效处理大型文件。您可以在 https://git-lfs.com/ 找到适用于您操作系统的 Git LFS 安装方法。

接下来，您可以选择要使用的 Llama 2 模型版本，只需检出相应的子模块即可。 可供选择的子模块如下：

• 7B_FT_float16
• 7B_FT_float32
• 7B_float16
• 7B_float32
• 13B_FT_float16
• 13B_FT_float32
• 13B_float16
• 13B_float32

git clone https://github.com/microsoft/Llama-2-Onnx.git
cd Llama-2-Onnx
git submodule init <chosen_submodule> 
git submodule update

您可以通过指定不同的子模块名称来初始化多个子模块。请注意，这些文件体积非常大！（7B Float16 模型约为 10GB）

什么是 Llama 2？

Llama 2 是一系列预训练和微调过的生成式文本模型。如需了解更多关于 Llama 2 的信息，请参阅 Llama 2 模型卡片。

Llama 2 的结构是怎样的？

Llama 2 模型由多层解码器堆叠而成。每个解码器层（或 Transformer 块）由一个自注意力层和一个前馈多层感知机组成。与经典 Transformer 相比，Llama 模型在前馈层中使用了不同的投影尺寸；例如，Llama 1 和 Llama 2 的投影尺寸均为隐藏层大小的 2.7 倍，而非标准的 4 倍。Llama 1 和 Llama 2 之间的一个关键区别在于注意力层的架构变化：Llama 2 采用了分组查询注意力（GQA）机制，以提升效率。

常见问题解答

是否有使用 ONNX 运行 Llama 2 的简单代码示例？

本仓库提供了两个示例。最小可运行示例位于 Llama-2-Onnx/MinimumExample。这是一个简单的命令行程序，可利用所选版本的 Llama 2 完成一段文本。

输入如下：

python MinimumExample/Example_ONNX_LlamaV2.py --onnx_file 7B_FT_float16/ONNX/LlamaV2_7B_FT_float16.onnx --embedding_file 7B_FT_float16/embeddings.pth --tokenizer_path tokenizer.model --prompt "What is the lightest element?"

输出：

The lightest element is hydrogen. Hydrogen is the lightest element on the periodic table, with an atomic mass of 1.00794 u (unified atomic mass units).

是否有更完整的使用 ONNX 运行 Llama 2 的代码示例？

更完整的聊天机器人界面可在 Llama-2-Onnx/ChatApp 中找到。这是一个基于流行 Gradio Web 界面的 Python 程序，允许您通过聊天机器人界面与所选版本的 Llama 2 互动。

示例如下：

如何使用微调后的模型？

微调后的模型专为对话应用而训练。 为了获得预期的功能和性能，需要遵循特定的格式要求，包括 INST 标签、BOS 和 EOS 标记，以及中间的空格和换行符（建议对输入调用 strip() 方法以避免出现双空格）。这不仅使模型能够以聊天模式运行，还能提供额外的安全保障，以减少潜在的不良输出。

为什么首次推理会很慢？

ONNX Runtime 的执行提供者可能需要为底层硬件生成 JIT 二进制文件。通常情况下，这些二进制文件会被缓存，并在后续运行中直接加载，从而减少开销。

为什么在我的设备上，FP16 版本的 ONNX 比 FP32 版本慢？

这可能是由于您的设备不支持原生 FP16 运算，因此权重会在运行时被转换为 FP32。使用 FP32 版本的模型可以避免这种转换带来的额外开销。

如何提高推理速度？

建议将输入和输出数据放置在目标设备上，以避免昂贵的数据拷贝操作。有关详细信息，请参阅以下文档：

I/O 绑定 | ONNX Runtime

应该测试哪些参数？

用户可以使用模型的输出 logits 进行温度采样和 top-p 采样。请参考 Meta 提供的指导，以确定最佳参数组合；示例可在此处找到：这里。

如何负责任地开发 Llama 2 应用？

为帮助开发者以负责任的方式进行创新，Meta 鼓励您查阅 Llama 2 模型的 负责任使用指南。 微软则鼓励您了解其 负责任的人工智能方法，其中包括许多面向开发者的公开资源和工具。

Llama-2-Onnx 快速上手指南

本指南帮助中国开发者快速在本地部署并运行基于 ONNX 优化的 Llama 2 模型。

1. 环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• 操作系统：支持 Windows、Linux 或 macOS。
• Git 与 Git LFS：必须安装 Git Large File Storage (LFS) 以高效处理大模型文件。
  • 安装指南：https://git-lfs.com/
  • 验证安装：运行 git lfs install。
• Python 环境：建议使用 Python 3.8 或更高版本，并安装 onnxruntime 及相关依赖（具体依赖请参考项目中的 requirements.txt）。
• 访问权限：由于模型子模块受访问控制，使用前需填写 Llama 2 ONNX 注册页面 申请权限。通常在 48 小时内（往往更快）会收到 GitHub 访问授权。

2. 安装步骤

第一步：克隆仓库

首先克隆主仓库：

git clone https://github.com/microsoft/Llama-2-Onnx.git
cd Llama-2-Onnx

第二步：选择并初始化模型子模块

根据硬件显存和需求选择合适的模型版本。可选子模块包括：

• 7B 系列：7B_FT_float16, 7B_FT_float32, 7B_float16, 7B_float32
• 13B 系列：13B_FT_float16, 13B_FT_float32, 13B_float16, 13B_float32

注意：模型文件非常大（例如 7B Float16 版本约 10GB），请确保磁盘空间充足。国内用户若遇到拉取缓慢，可配置 Git 代理或使用国内 Git 镜像加速。

以下以初始化 7B 微调版 Float16 模型为例：

git submodule init 7B_FT_float16
git submodule update

如需同时使用多个模型，可重复执行 init 命令指定不同子模块名称。

3. 基本使用

项目提供了一个最小化命令行示例，用于测试文本补全功能。

运行示例

确保已下载对应的 .onnx 模型文件、.pth 嵌入文件和 tokenizer.model。执行以下命令：

python MinimumExample/Example_ONNX_LlamaV2.py --onnx_file 7B_FT_float16/ONNX/LlamaV2_7B_FT_float16.onnx --embedding_file 7B_FT_float16/embeddings.pth --tokenizer_path tokenizer.model --prompt "What is the lightest element?"

预期输出

程序将输出模型生成的补全内容：

The lightest element is hydrogen. Hydrogen is the lightest element on the periodic table, with an atomic mass of 1.00794 u (unified atomic mass units).

进阶使用（聊天机器人）

如果需要更完整的交互体验，项目还提供了基于 Gradio 的聊天界面。请参考 ChatApp 目录下的文档启动 Web 服务：

# 进入 ChatApp 目录并运行（具体命令参考 ChatApp/ChatApp.md）
python ChatApp/app.py