yalm（另一个语言模型）是一个用 C++/CUDA 实现的大型语言模型推理框架，除了用于加载和保存冻结的 LLM 权重外，不依赖任何其他库。

• 该项目旨在作为性能工程和 LLM 推理实现方面的教育性练习。
• 因此，代码库强调文档化——无论是外部文档还是注释——以及对优化技术的科学理解，并在可能的情况下保持代码的可读性。
• 它并不适合用于生产环境。详情请参阅文末的【局限性】部分。
• 更多信息请参阅我的博客文章《从零开始实现快速 LLM 推理》：https://andrewkchan.dev/posts/yalm.html。

使用 RTX 4090 + EPYC 7702P，在 FP16 精度下对 Mistral-7B-Instruct-v0.2 进行 4k 上下文长度的最新基准测试结果如下：

引擎	平均吞吐量（约120 tokens） tok/s	平均吞吐量（约4800 tokens） tok/s
Hugging Face Transformers, GPU	25.9	25.7
llama.cpp, GPU	61.0	58.8
calm, GPU	66.0	65.7
yalm, GPU	63.8	58.7

使用说明

yalm 需要一台安装了兼容 C++20 的编译器和 CUDA 工具包（包括 nvcc）的计算机。此外，您还需要一个包含以 Hugging Face 格式存储的 LLM safetensor 权重和配置文件的目录，并将其转换为 .yalm 文件。按照以下步骤下载 Mistral-7B-v0.2、构建 yalm 并运行它：

# 安装 git LFS
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get -y install git-lfs
# 下载 Mistral
git clone git@hf.co:mistralai/Mistral-7B-Instruct-v0.2
# 克隆本仓库
git clone git@github.com:andrewkchan/yalm.git

cd yalm
pip install -r requirements.txt
python convert.py --dtype fp16 mistral-7b-instruct-fp16.yalm ../Mistral-7B-Instruct-v0.2/
make && ./build/main mistral-7b-instruct-fp16.yalm -i "什么是大型语言模型？" -m c

使用方法

以下是 ./build/main 的 CLI 帮助文档：

用法：   main <checkpoint> [选项]
示例： main model.yalm -i "问：人生的意义是什么？" -m c
选项：
  -h 显示此帮助信息
  -d [cpu,cuda] 指定使用的设备（默认为 cuda）
  -m [completion,passkey,perplexity] 指定运行模式（默认为 completion）
  -T <int> 滑动窗口上下文长度（0 表示最大长度）

困惑度模式选项：
  必须选择一项：
    -i <string> 输入提示
    -f <filepath> 包含提示的输入文件
完成模式选项：
  -n <int> 在完成模式下运行的步数，默认为 256。0 表示最大序列长度，-1 表示无限步数。
  -t <float> 温度参数（默认为 1.0）
  必须选择一项：
    -i <string> 输入提示
    -f <filepath> 包含提示的输入文件
密钥模式选项：
  -n <int> 插入的垃圾行数（默认为 250）
  -l <int> 密钥位置（-1 表示随机）

测试与基准测试

yalm 自带一个基础测试套件，用于检查 CPU 和 GPU 后端中注意力机制、矩阵乘法和前馈网络的实现是否正确。构建并运行测试的方法如下：

make test
./build/test

测试二进制文件还包含针对单个内核的基准测试（可用于使用 ncu 进行性能分析），以及用于测量主内存带宽的两个基准测试：

# 内存基准测试
./build/test -b
./build/test -b2

# 内核基准测试
./build/test -k [matmul,mha,ffn]

局限性

• 目前仅支持完成模式（此外还有一些测试模式，例如计算给定提示的困惑度或执行【密钥测试】）。聊天界面尚未实现。
• 需要 NVIDIA GPU。
• GPU 后端仅支持单个 GPU，且整个模型必须能够完全放入显存。
• 截至 2024 年 12 月 31 日，仅测试过以下模型：
  • Mistral-v0.2
  • Mixtral-v0.1（仅 CPU）
  • Llama-3.2

致谢

• calm - 我的许多实现灵感都来源于 Arseny Kapoulkine 的推理引擎。某种程度上，这个项目正是从“理解 calm 及其为何如此高效”这一想法开始的。不过，我尽量使自己的代码更易读，并尽可能从科学角度理解优化技术，因此放弃了一些 calm 中使用的高级技术，比如动态并行性。
• llama2.c - CPU 后端的部分代码源自 Andrej Karpathy 出色的 C 语言 Llama 推理实现。

yalm 快速上手指南

yalm (Yet Another Language Model) 是一个基于 C++/CUDA 编写的大语言模型（LLM）推理实现项目。该项目主要作为性能工程和 LLM 推理实现的教学练习，代码注重文档化、优化原理的科学解释以及可读性，不适用于生产环境。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux（推荐，基于提供的安装命令）
• 编译器：支持 C++20 标准的编译器
• GPU 驱动与工具包：必须安装 NVIDIA CUDA Toolkit（包含 nvcc 编译器）
• 硬件要求：需要 NVIDIA GPU，且显存足以容纳整个模型（目前仅支持单卡）
• 其他依赖：
  • git 和 git-lfs（用于下载大模型文件）
  • python3 及 pip（用于模型格式转换）
  • Hugging Face 格式的模型权重目录（需转换为 .yalm 格式）

注意：本项目目前仅在以下模型上经过测试：Mistral-v0.2、Mixtral-v0.1（仅 CPU）、Llama-3.2。

安装步骤

以下以在 Linux 环境下部署 Mistral-7B-Instruct-v0.2 为例：

1. 安装 Git LFS 并下载模型

首先安装 Git LFS 插件，然后克隆模型仓库。

# 安装 git LFS
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get -y install git-lfs

# 下载 Mistral 模型 (确保已配置 HF token 或使用镜像源加速)
git clone git@hf.co:mistralai/Mistral-7B-Instruct-v0.2

2. 克隆 yalm 项目并安装 Python 依赖

# 克隆 yalm 仓库
git clone git@github.com:andrewkchan/yalm.git

cd yalm

# 安装必要的 Python 库用于格式转换
pip install -r requirements.txt

3. 转换模型格式

将 Hugging Face 格式的模型权重转换为 yalm 专用的 .yalm 二进制文件。

# 将模型转换为 FP16 格式的 .yalm 文件
python convert.py --dtype fp16 mistral-7b-instruct-fp16.yalm ../Mistral-7B-Instruct-v0.2/

4. 编译项目

使用 make 编译 C++/CUDA 源代码。

make

基本使用

编译完成后，可执行文件位于 ./build/main。以下是最简单的运行示例，使用 GPU 对给定提示词进行文本补全。

运行示例

./build/main mistral-7b-instruct-fp16.yalm -i "What is a large language model?" -m c

参数说明

• <checkpoint>: 转换后的 .yalm 模型文件路径。
• -i <string>: 输入提示词（prompt）。
• -m c: 运行模式，c 代表 completion（文本补全模式）。
• -d [cpu,cuda]: 指定设备，默认为 cuda。
• -n <int>: 生成的最大步数（token 数），默认为 256。

其他常用模式

• 困惑度评估 (Perplexity):

  ./build/main model.yalm -i "Your text here" -m perplexity
  

• Passkey 测试:

  ./build/main model.yalm -m passkey -n 250
  

如需查看完整帮助文档，请运行：

./build/main -h