TinyChatEngine：设备端 LLM/VLM 推理库

在边缘设备上运行大型语言模型（LLM）和视觉语言模型（VLM）非常实用：例如在笔记本电脑、汽车、机器人等设备上的代码辅助、办公助手和智能回复服务。由于数据保留在本地，用户可以获得即时响应，同时隐私得到更好保护。

这一能力得益于 LLM 模型压缩技术：SmoothQuant 和 AWQ（激活感知权重量化），它们与实现压缩后低精度模型的 TinyChatEngine 协同设计。

欢迎查看我们的演示文稿，了解更多详情！

NVIDIA GeForce RTX 4070 笔记本上的 Code LLaMA 演示：

Apple MacBook M1 Pro 上的 VILA 演示：

Apple MacBook M1 Pro 上的 LLaMA 聊天演示：

概述

LLM 压缩：SmoothQuant 和 AWQ

SmoothQuant：通过将量化难度从激活值转移到权重，平滑激活值中的异常值，实现数学上等价的转换（1001 = 1010）。

AWQ（激活感知权重量化）：通过分析激活值的大小来保护重要的权重通道，而不是直接作用于权重本身。

LLM 推理引擎：TinyChatEngine

• 通用性：支持 x86（Intel/AMD）、ARM（Apple M1/M2、树莓派）以及 CUDA（Nvidia GPU）架构。
• 无依赖库：完全从零开始用 C/C++ 实现。
• 高性能：可在 Macbook 和 GeForce 笔记本上实现实时推理。
• 易用性：下载并编译即可使用！

最新消息

• (2024/05) 🏆 AWQ 和 TinyChat 在 MLSys 2024 大会上荣获 最佳论文奖。🎉
• (2024/05) 🔥 我们新增了对 Llama-3 系列模型的支持！请参阅我们的示例和模型库。
• (2024/02) 🔥 AWQ 和 TinyChat 已被 MLSys 2024 接收！
• (2024/02) 🔥 我们扩展了对 视觉语言模型（VLM） 的支持。欢迎在您的边缘设备上尝试运行 VILA。

• (2023/10) 我们扩展了对编码助手 Code Llama 的支持。欢迎查看我们的模型库。
• (2023/10) ⚡我们推出了新的 CUDA 后端，支持计算能力 ≥ 6.1 的 Nvidia GPU，适用于服务器和边缘设备。其性能相比旧版本提升了约 40%。欢迎体验！

先决条件

macOS

对于 macOS 用户，请通过以下命令安装 boost 和 llvm：

brew install boost
brew install llvm

对于 M1/M2 用户，请从 App Store 安装 Xcode，以启用 Metal 编译器，从而支持 GPU。

Windows（仅 CPU）

对于 Windows 用户，需下载并安装 MSYS2 中的 GCC 编译器。请参考此教程进行安装：https://code.visualstudio.com/docs/cpp/config-mingw。

• 使用 MSYS2 安装所需依赖项：

pacman -S --needed base-devel mingw-w64-x86_64-toolchain make unzip git

• 将二进制目录（例如 C:\msys64\mingw64\bin 和 C:\msys64\usr\bin）添加到环境变量路径中。

Windows（配备 Nvidia GPU，实验性功能）

• 安装适用于 Windows 的 CUDA 工具包（链接）。安装时，请将 CUDA 的安装路径设置为不含空格的其他位置。

• 安装支持 C 和 C++ 的 Visual Studio：请遵循官方说明。

• 按照以下步骤操作，并使用 Visual Studio 提供的 x64 Native Tools 命令提示符来编译 TinyChatEngine。

使用 TinyChatEngine 部署 Llama-3-8B-Instruct 的分步指南

在此，我们提供从头开始使用 TinyChatEngine 部署 Llama-3-8B-Instruct 的分步说明。

• 克隆仓库。

  git clone --recursive https://github.com/mit-han-lab/TinyChatEngine
  cd TinyChatEngine
  

• 安装 Python 包

  • TinyChatEngine 的主要代码库是用纯 C/C++ 编写的。Python 包仅用于从我们的模型库下载（和转换）模型。

    conda create -n TinyChatEngine python=3.10 pip -y
    conda activate TinyChatEngine
    pip install -r requirements.txt
    

• 从我们的模型库下载量化后的 Llama 模型。

  cd llm
  

  • 在 x86 设备上（例如 Intel/AMD 笔记本电脑）

    python tools/download_model.py --model LLaMA_3_8B_Instruct_awq_int4 --QM QM_x86
    

  • 在 ARM 设备上（例如 M1/M2 MacBook、树莓派）

    python tools/download_model.py --model LLaMA_3_8B_Instruct_awq_int4 --QM QM_ARM
    

  • 在 CUDA 设备上（例如 Jetson AGX Orin、PC/服务器）

    python tools/download_model.py --model LLaMA2_7B_chat_awq_int4 --QM QM_CUDA
    

  • 请参阅此表格以获取支持的详细模型列表

• (仅限 CUDA) 根据您使用的平台和 GPU 的计算能力，相应地修改 Makefile。如果在 Windows 上使用 Nvidia GPU，请修改 第 54 行 中的 -arch=sm_xx。如果在其他平台上使用 Nvidia GPU，请修改 第 60 行 中的 -gencode arch=compute_xx,code=sm_xx。

• 编译并在本地启动聊天。

  make chat -j
  ./chat
  
  TinyChatEngine by MIT HAN Lab: https://github.com/mit-han-lab/TinyChatEngine
  Using model: LLaMA_3_8B_Instruct
  Using AWQ for 4bit quantization: https://github.com/mit-han-lab/llm-awq
  Loading model... Finished!
  USER: Write a syllabus for the parallel computing course.
  ASSISTANT: Here is a sample syllabus for a parallel computing course:
  
  **Course Title:** Parallel Computing
  **Instructor:** [Name]
  **Description:** This course covers the fundamental concepts of parallel computing, including parallel algorithms, programming models, and architectures. Students will learn how to design, implement, and optimize parallel programs using various languages and frameworks.
  **Prerequisites:** Basic knowledge of computer science and programming concepts.
  **Course Objectives:**
  * Understand the principles of parallelism and its applications
  * Learn how to write parallel programs using different languages (e.g., OpenMP, MPI)
  ...
  

使用 TinyChatEngine 部署视觉语言模型（VLM）聊天机器人

TinyChatEngine 不仅支持 LLM，还支持 VLM。我们推出了一款针对 VLM 的先进聊天机器人。在此，我们提供易于遵循的说明，以使用 TinyChatEngine 部署视觉语言模型聊天机器人（VILA-7B）。我们建议为此 VLM 功能使用 M1/M2 MacBooks。

• 按照上述说明设置基本环境，即先决条件和使用 TinyChatEngine 部署 Llama-3-8B-Instruct 的分步指南。

• 为了在终端中展示图像，请下载并安装以下工具包。

  • 安装 termvisage。
  • （适用于 MacOS）安装 iTerm2。
  • （适用于其他操作系统）请参考此处以准备好合适的终端。

• 从我们的模型库下载量化的 VILA-7B 模型。

  • 在 x86 设备上（例如 Intel/AMD 笔记本电脑）

    python tools/download_model.py --model VILA_7B_awq_int4_CLIP_ViT-L --QM QM_x86
    

  • 在 ARM 设备上（例如 M1/M2 MacBook、树莓派）

    python tools/download_model.py --model VILA_7B_awq_int4_CLIP_ViT-L --QM QM_ARM
    

• （适用于 MacOS）在本地启动聊天机器人。请使用合适的终端（例如 iTerm2）。

  • 图像/文本转文本

    ./vila ../assets/figures/vlm_demo/pedestrian.png
    

  • ../assets/figures/vlm_demo 路径下有几张图片。欢迎您在自己的设备上尝试不同的图片与 VILA 互动！
  • 对于其他操作系统，请修改 vila.sh 中的第 4 行，以使用正确的终端。

后端支持

精度	x86 （Intel/AMD CPU）	ARM （Apple M1/M2 & RPi）	Nvidia GPU
FP32	✅	✅
W4A16			✅
W4A32	✅	✅
W4A8	✅	✅
W8A8	✅	✅

• 对于树莓派，我们建议使用配备8GB内存的型号。我们的测试主要在aarch64架构的树莓派4 Model B Rev 1.4上进行。对于其他版本，请您自行尝试，并在遇到问题时告知我们。
• 对于Nvidia GPU，我们的CUDA后端支持计算能力≥6.1的Nvidia显卡。对于计算能力低于6.1的显卡，您可以尝试使用，但我们尚未进行测试，因此无法保证运行效果。

量化与模型支持

TinyChatEngine的目标是在不同设备上支持多种量化方法。例如，目前它支持基于smoothquant工具链、利用提供的转换脚本opt_smooth_exporter.py生成的int8权重优化模型。对于LLaMA模型，我们提供了将Hugging Face格式检查点转换为我们的int4权重格式的脚本llama_exporter.py，以及根据您的设备选择特定量化方法的脚本model_quantizer.py。在转换和量化模型之前，建议先应用来自AWQ的伪量化技术，以获得更高的精度。我们目前正在努力支持更多模型，请持续关注！

设备特定的int4权重重排

为减少权重重排带来的运行时开销，TinyChatEngine会在模型转换阶段提前完成这一过程。本节将介绍QM_ARM和QM_x86的权重布局。这些布局分别针对ARM和x86 CPU设计，支持128位SIMD和256位SIMD运算。此外，我们还支持用于Nvidia GPU的QM_CUDA，涵盖服务器级和边缘级GPU。

平台	ISA	量化方法
Intel & AMD	x86-64	QM_x86
Apple M1/M2 Mac & 树莓派	ARM	QM_ARM
Nvidia GPU	CUDA	QM_CUDA

• QM_ARM的示例布局：对于QM_ARM，假设初始的128位权重向量为[w0, w1, ... , w30, w31], 其中每个wi都是4位量化权重。TinyChatEngine会将这些权重重新排列为[w0, w16, w1, w17, ..., w15, w31]的顺序，即将权重的低半部分和高半部分交错排列。这种新的排列方式能够通过128位的AND和移位操作同时解码低半部分和高半部分的权重信息，如图所示。这将消除运行时的权重重排开销，从而提升性能。

TinyChatEngine模型库

我们提供了一系列经过TinyChatEngine测试的模型，您可以直接下载并在自己的设备上部署。要下载某个模型，请在下表中找到目标模型的ID，并使用对应的脚本。请在此处查看我们的模型库这里。

模型	精度	ID	x86 后端	ARM 后端	CUDA 后端
LLaMA_3_8B_Instruct	fp32	LLaMA_3_8B_Instruct_fp32	✅	✅
	int4	LLaMA_3_8B_Instruct_awq_int4	✅	✅
LLaMA2_13B_chat	fp32	LLaMA2_13B_chat_fp32	✅	✅
	int4	LLaMA2_13B_chat_awq_int4	✅	✅	✅
LLaMA2_7B_chat	fp32	LLaMA2_7B_chat_fp32	✅	✅
	int4	LLaMA2_7B_chat_awq_int4	✅	✅	✅
LLaMA_7B	fp32	LLaMA_7B_fp32	✅	✅
	int4	LLaMA_7B_awq_int4	✅	✅	✅
CodeLLaMA_13B_Instruct	fp32	CodeLLaMA_13B_Instruct_fp32	✅	✅
	int4	CodeLLaMA_13B_Instruct_awq_int4	✅	✅	✅
CodeLLaMA_7B_Instruct	fp32	CodeLLaMA_7B_Instruct_fp32	✅	✅
	int4	CodeLLaMA_7B_Instruct_awq_int4	✅	✅	✅
Mistral-7B-Instruct-v0.2	fp32	Mistral_7B_v0.2_Instruct_fp32	✅	✅
	int4	Mistral_7B_v0.2_Instruct_awq_int4	✅	✅
VILA-7B	fp32	VILA_7B_CLIP_ViT-L_fp32	✅	✅
	int4	VILA_7B_awq_int4_CLIP_ViT-L	✅	✅
LLaVA-v1.5-13B	fp32	LLaVA_13B_CLIP_ViT-L_fp32	✅	✅
	int4	LLaVA_13B_awq_int4_CLIP_ViT-L	✅	✅
LLaVA-v1.5-7B	fp32	LLaVA_7B_CLIP_ViT-L_fp32	✅	✅
	int4	LLaVA_7B_awq_int4_CLIP_ViT-L	✅	✅
StarCoder	fp32	StarCoder_15.5B_fp32	✅	✅
	int4	StarCoder_15.5B_awq_int4	✅	✅
opt-6.7B	fp32	opt_6.7B_fp32	✅	✅
	int8	opt_6.7B_smooth_int8	✅	✅
	int4	opt_6.7B_awq_int4	✅	✅
opt-1.3B	fp32	opt_1.3B_fp32	✅	✅
	int8	opt_1.3B_smooth_int8	✅	✅
	int4	opt_1.3B_awq_int4	✅	✅
opt-125m	fp32	opt_125m_fp32	✅	✅
	int8	opt_125m_smooth_int8	✅	✅
	int4	opt_125m_awq_int4	✅	✅

例如，下载量化后的 LLaMA-2-7B-chat 模型：（对于 int4 模型，请使用 --QM 选项来选择适合您设备的量化模型）

• 在 Intel/AMD 笔记本上：

  python tools/download_model.py --model LLaMA2_7B_chat_awq_int4 --QM QM_x86
  

• 在 M1/M2 Macbook 上：

  python tools/download_model.py --model LLaMA2_7B_chat_awq_int4 --QM QM_ARM
  

• 在 Nvidia GPU 上：

  python tools/download_model.py --model LLaMA2_7B_chat_awq_int4 --QM QM_CUDA
  

要使用 TinyChatEngine 部署量化模型，请编译并运行聊天程序。

• 在 CPU 平台上

make chat -j


# ./chat <模型名称> <精度> <线程数>
./chat LLaMA2_7B_chat INT4 8

• 在 GPU 平台上

make chat -j
# ./chat <模型名称> <精度>
./chat LLaMA2_7B_chat INT4

相关项目

TinyEngine：面向微控制器的内存高效、高性能神经网络库

SmoothQuant：针对大型语言模型的准确且高效的训练后量化方法

AWQ：面向 LLM 压缩与加速的激活感知权重量化方法

致谢

llama.cpp

whisper.cpp

transformers

TinyChatEngine 快速上手指南

TinyChatEngine 是一个专为边缘设备（笔记本、树莓派、车载设备等）设计的大语言模型（LLM）和多模态大模型（VLM）推理库。它基于 SmoothQuant 和 AWQ 量化技术，无需额外依赖，支持 x86、ARM (Apple M1/M2) 和 CUDA 后端，可实现本地实时对话。

环境准备

系统要求

• macOS: 支持 Intel 及 Apple Silicon (M1/M2/M3)。
• Windows: 支持 CPU 推理；NVIDIA GPU 推理处于实验阶段（需计算能力 >= 6.1）。
• Linux: 支持 x86_64 及 ARM64 (如 Raspberry Pi 4/5, Jetson Orin)。

前置依赖安装

macOS

使用 Homebrew 安装必要工具：

brew install boost
brew install llvm

注意：M1/M2 用户需从 AppStore 安装 Xcode 以启用 Metal 编译器支持。

Windows (CPU)

1. 下载并安装 MSYS2。
2. 在 MSYS2 终端中安装开发工具链：

pacman -S --needed base-devel mingw-w64-x86_64-toolchain make unzip git

3. 将二进制目录（如 C:\msys64\mingw64\bin 和 C:\msys64\usr\bin）添加到系统环境变量 Path 中。

Windows (NVIDIA GPU - 实验性)

1. 安装 CUDA Toolkit（安装路径请勿包含空格）。
2. 安装 Visual Studio 并勾选 "C++ 桌面开发" 组件。
3. 后续编译请使用 "x64 Native Tools Command Prompt for VS"。

Linux (Ubuntu/Debian)

通常需安装基础构建工具：

sudo apt-get update
sudo apt-get install -y build-essential git cmake libboost-all-dev llvm

安装步骤

1. 克隆项目

git clone --recursive https://github.com/mit-han-lab/TinyChatEngine
cd TinyChatEngine

2. 配置 Python 环境

虽然核心引擎是 C/C++，但需要 Python 脚本来下载和转换模型。

conda create -n TinyChatEngine python=3.10 pip -y
conda activate TinyChatEngine
pip install -r requirements.txt

(可选加速) 如果使用国内网络，建议指定清华或阿里镜像源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载量化模型

进入 llm 目录并根据你的硬件平台下载预量化模型（以 Llama-3-8B-Instruct 为例）：

cd llm

• x86 设备 (Intel/AMD CPU):

python tools/download_model.py --model LLaMA_3_8B_Instruct_awq_int4 --QM QM_x86

• ARM 设备 (Mac M1/M2, Raspberry Pi):

python tools/download_model.py --model LLaMA_3_8B_Instruct_awq_int4 --QM QM_ARM

• CUDA 设备 (NVIDIA GPU): 注意：目前示例命令中官方提供的是 LLaMA2 模型，若需 Llama-3 请确认模型仓库是否已更新对应 CUDA 版本，或使用以下命令下载 LLaMA2 测试：

python tools/download_model.py --model LLaMA2_7B_chat_awq_int4 --QM QM_CUDA

提示：完整支持的模型列表请查看官方 Model Zoo。

4. 编译引擎

返回根目录或直接在 llm 目录下编译（根据平台自动检测）：

make chat -j

针对 NVIDIA GPU 的特殊配置： 如果编译失败或需要指定显卡架构，请编辑 llm/Makefile：

• Windows: 修改第 54 行的 -arch=sm_xx (xx 替换为你的显卡算力号，如 75, 86)。
• Linux/macOS: 修改第 60 行的 -gencode arch=compute_xx,code=sm_xx。

基本使用

编译完成后，直接运行生成的可执行文件即可开始对话。

启动文本对话

./chat

运行示例输出：

TinyChatEngine by MIT HAN Lab: https://github.com/mit-han-lab/TinyChatEngine
Using model: LLaMA_3_8B_Instruct
Using AWQ for 4bit quantization: https://github.com/mit-han-lab/llm-awq
Loading model... Finished!
USER: Write a syllabus for the parallel computing course.
ASSISTANT: Here is a sample syllabus for a parallel computing course:

**Course Title:** Parallel Computing
**Instructor:** [Name]
**Description:** This course covers the fundamental concepts of parallel computing...

启动多模态对话 (VLM - 仅限部分平台推荐)

如果你下载了 VILA 等多模态模型，并在 macOS (推荐 iTerm2) 或配置了 termvisage 的终端上：

./vila ../assets/figures/vlm_demo/pedestrian.png

系统将加载图片并允许你针对图片内容进行提问。