PowerInfer：使用消费级显卡实现快速的大语言模型推理

简要说明

PowerInfer 是一款利用激活局部性为您的设备提供服务的 CPU/GPU LLM 推理引擎。

项目看板

最新消息 🔥

• [2026年1月5日] 我们发布了 Tiiny AI Pocket Lab，这是全球首款袖珍型超级计算机。它可以在本地以 20 tokens/s 的速度运行 GPT-OSS-120B (int4)。该产品已在 CES 2026 上亮相。
• [2025年7月27日] 我们发布了 SmallThinker-21BA3B-Instruct 和 SmallThinker-4BA0.6B-Instruct。同时，我们还发布了一个用于高效 设备端推理 的相应框架。
• [2024年6月11日] 我们非常高兴地推出 PowerInfer-2，这是我们专为智能手机设计的高度优化的推理框架。借助 TurboSparse-Mixtral-47B，其速度达到了惊人的每秒 11.68 个 token，比其他最先进的框架快高达 22 倍。
• [2024年6月11日] 我们很高兴地推出 Turbo Sparse，我们的 TurboSparse 模型旨在实现快速推理。仅花费 10 万美元，我们就将原始的 Mistral 和 Mixtral 模型稀疏化至近 90% 的稀疏度，同时保持卓越性能！对于 Mixtral 级别的模型，我们的 TurboSparse-Mixtral 只激活 4B 个参数！
• [2024年5月20日] 竞赛招募：CCF-TCArch 定制计算挑战赛 2024。CCF TCARCH CCC 是由中国计算机学会（CCF）计算机体系结构技术委员会（TCARCH）组织的全国性竞赛。今年的比赛旨在使用开源 ROCm/HIP 对 PowerInfer 推理引擎进行优化。有关比赛的更多信息，请参见 这里。
• [2024年5月17日] 我们现在为配备 ROCm 的 AMD 设备提供支持。
• [2024年3月28日] 我们很高兴地推出 Bamboo LLM，它结合 PowerInfer 实现了顶级性能和无与伦比的速度！您可以体验 Bamboo-7B Base / DPO。
• [2024年3月14日] 我们支持了 ProSparse Llama 2 (7B/13B)，这些 ReLU 模型具有约 90% 的稀疏度，性能与原版 Llama 2 相当（感谢 THUNLP & ModelBest）！
• [2024年1月11日] 我们支持了 Windows 平台上的 GPU 推理！
• [2023年12月24日] 我们发布了 Falcon(ReLU)-40B-FP16 的在线 gradio 演示！
• [2023年12月19日] 我们正式发布了 PowerInfer！

演示 🔥

https://github.com/SJTU-IPADS/PowerInfer/assets/34213478/fe441a42-5fce-448b-a3e5-ea4abb43ba23

在单块 RTX 4090(24G) 上运行 Falcon(ReLU)-40B-FP16 时，PowerInfer 与 llama.cpp 的对比，速度提升了 11 倍！

_{PowerInfer 和 llama.cpp 都在同一硬件上运行，并充分利用了 RTX 4090 的显存。}

[!NOTE] 在线实时演示⚡️

试试我们在 RTX 4090 上托管 Falcon(ReLU)-40B-FP16 的 Gradio 服务器！

_{实验性质，不提供任何保证🚧}

摘要

我们推出了 PowerInfer，这是一款在配备单个消费级显卡的个人电脑（PC）上运行的高速大语言模型（LLM）推理引擎。PowerInfer 设计的核心在于利用 LLM 推理中固有的高 局部性，其特征是神经元激活呈现幂律分布。

这种分布表明，一小部分被称为“热神经元”的神经元会在不同输入之间持续被激活，而大多数“冷神经元”则会根据具体输入而变化。PowerInfer 利用这一洞察，设计了一种 GPU-CPU 混合推理引擎：热激活的神经元被预先加载到 GPU 中以便快速访问，而冷激活的神经元则在 CPU 上进行计算，从而显著降低 GPU 显存需求和 CPU-GPU 数据传输量。此外，PowerInfer 还集成了自适应预测器和神经元感知稀疏算子，进一步优化了神经元激活效率和计算稀疏性。

评估结果显示，在单个 NVIDIA RTX 4090 GPU 上，PowerInfer 在多种 LLM（包括 OPT-175B）上实现了平均 13.20 tokens/s 的令牌生成速率，峰值可达 29.08 tokens/s，仅比顶级服务器级 A100 GPU 的表现低 18%。这显著优于 llama.cpp，速度最高可提升 11.69 倍，同时保持模型精度。

特点

PowerInfer 是一款高速且易于使用的推理引擎，可用于在本地部署 LLM。

PowerInfer 的优势在于：

• 以局部性为核心的设计：利用稀疏激活和“热”/“冷”神经元概念，实现高效的 LLM 推理，确保在较低资源消耗下仍能保持高速。
• CPU/GPU 混合利用：无缝整合 CPU 和 GPU 的内存与计算能力，实现负载均衡和更快的处理速度。

PowerInfer 具有灵活性和易用性，具体体现在：

• 易于集成：兼容流行的 ReLU 稀疏模型。
• 本地部署便捷：专为消费级硬件的本地部署而设计并深度优化，可在单个 GPU 上实现低延迟的 LLM 推理和服务。
• 向后兼容性：尽管与 llama.cpp 不同，您仍然可以像使用 llama.cpp 一样使用大部分 examples/ 文件，例如服务器模式和批量生成。PowerInfer 也支持使用 llama.cpp 的模型权重进行推理，以确保兼容性，但不会带来性能提升。

您今天就可以使用以下模型与 PowerInfer 配合：

• Falcon-40B
• Llama2 系列
• ProSparse Llama2 系列
• Bamboo-7B

我们已经在以下平台上测试过 PowerInfer：

• 具备 AVX2 指令集的 x86-64 CPU，无论是否配备 NVIDIA 显卡，均在 Linux 系统上运行。
• 具备 AVX2 指令集的 x86-64 CPU，无论是否配备 NVIDIA 显卡，均在 Windows 系统上运行。
• Apple M 芯片（仅 CPU），在 macOS 系统上运行。（由于我们尚未针对 Mac 进行优化，目前性能提升并不显著。）

即将推出的新功能：

• 适用于 macOS 的 Metal 后端，用于稀疏推理。

请参阅我们的 项目看板 以了解我们当前的开发重点。

开始使用

• 安装
• 模型权重
• 推理

设置与安装

前置条件

PowerInfer 需要以下依赖项：

• CMake (3.17+)
• Python (3.8+) 和 pip (19.3+)，用于模型权重转换及自动 FFN 卸载

获取代码

git clone https://github.com/Tiiny-AI/PowerInfer
cd PowerInfer
pip install -r requirements.txt # 安装 Python 辅助工具的依赖

构建

为了构建 PowerInfer，您有两种不同的选项。这些命令应在项目的根目录下执行。

使用 CMake（3.17+）：

• 如果您有 NVIDIA 显卡：

cmake -S . -B build -DLLAMA_CUBLAS=ON
cmake --build build --config Release

• 如果您有 AMD 显卡：

# 将 '1100' 替换为您显卡的架构名称，可通过 rocminfo 获取
CC=/opt/rocm/llvm/bin/clang CXX=/opt/rocm/llvm/bin/clang++ cmake -S . -B build -DLLAMA_HIPBLAS=ON -DAMDGPU_TARGETS=gfx1100
cmake --build build --config Release

• 如果您只有 CPU：

cmake -S . -B build
cmake --build build --config Release

模型权重

PowerInfer 模型以基于 GGUF 格式的特殊格式 PowerInfer GGUF 存储，包含 LLM 权重和预测器权重。

通过 Hugging Face 下载 PowerInfer GGUF

您可以在以下 Hugging Face 仓库中获取 .powerinfer.gguf 格式的 PowerInfer GGUF 权重，以及用于“热点”神经元卸载的模型激活统计信息。

我们建议使用 huggingface-cli 下载整个模型仓库。例如，以下命令会将 PowerInfer/ReluLLaMA-7B-PowerInfer-GGUF 下载到 ./ReluLLaMA-7B 目录中。

huggingface-cli download --resume-download --local-dir ReluLLaMA-7B --local-dir-use-symlinks False PowerInfer/ReluLLaMA-7B-PowerInfer-GGUF

因此，PowerInfer 可以自动利用以下目录结构实现功能完整的模型卸载：

.
├── *.powerinfer.gguf (未量化 PowerInfer 模型)
├── *.q4.powerinfer.gguf (如果可用，则为 INT4 量化 PowerInfer 模型)
├── activation (用于细粒度 FFN 卸载的已分析激活统计信息)
│   ├── activation_x.pt (第 x 层的已分析激活统计信息)
│   └── ...
├── *.[q4].powerinfer.gguf.generated.gpuidx (运行时为相应模型生成的 GPU 索引)

从原始模型权重 + 预测器权重转换

Hugging Face 对单个模型权重的大小限制为 50GiB。对于 ≥ 40B 的未量化模型，您可以使用从 Hugging Face 获取的原始模型权重和预测器权重来转换为 PowerInfer GGUF。

您可以使用以下命令将原始模型权重和预测器权重转换为 PowerInfer GGUF：

# 确保已执行 `pip install -r requirements.txt`
python convert.py --outfile /PATH/TO/POWERINFER/GGUF/REPO/MODELNAME.powerinfer.gguf /PATH/TO/ORIGINAL/MODEL /PATH/TO/PREDICTOR

# python convert.py --outfile ./ReluLLaMA-70B-PowerInfer-GGUF/llama-70b-relu.powerinfer.gguf ./SparseLLM/ReluLLaMA-70B ./PowerInfer/ReluLLaMA-70B-Predictor

出于同样的原因，我们建议在转换后保持与 PowerInfer GGUF 仓库相同的目录结构。

python convert-dense.py --outfile /PATH/TO/DENSE/GGUF/REPO/MODELNAME.gguf /PATH/TO/ORIGINAL/MODEL
# python convert-dense.py --outfile ./Bamboo-DPO-v0.1-gguf/bamboo-7b-dpo-v0.1.gguf --outtype f16 ./Bamboo-DPO-v0.1

推理

对于仅使用 CPU 或 CPU-GPU 混合推理且充分利用所有显存的情况，您可以按照以下说明运行 PowerInfer：

./build/bin/main -m /PATH/TO/MODEL -n $output_token_count -t $thread_num -p $prompt
# 例如：./build/bin/main -m ./ReluFalcon-40B-PowerInfer-GGUF/falcon-40b-relu.q4.powerinfer.gguf -n 128 -t 8 -p "Once upon a time"
# 对于 Windows：.\build\bin\Release\main.exe -m .\ReluFalcon-40B-PowerInfer-GGUF\falcon-40b-relu.q4.powerinfer.gguf -n 128 -t 8 -p "Once upon a time"

如果您希望限制 GPU 的显存使用量：

./build/bin/main -m /PATH/TO/MODEL -n $output_token_count -t $thread_num -p $prompt --vram-budget $vram_gb
# 例如：./build/bin/main -m ./ReluLLaMA-7B-PowerInfer-GGUF/llama-7b-relu.powerinfer.gguf -n 128 -t 8 -p "Once upon a time" --vram-budget 8
# 对于 Windows：.\build\bin\Release\main.exe -m .\ReluLLaMA-7B-PowerInfer-GGUF\llama-7b-relu.powerinfer.gguf -n 128 -t 8 -p "Once upon a time" --vram-budget 8

在 CPU-GPU 混合推理模式下，PowerInfer 会自动将所有稠密激活块卸载到 GPU 上，并在可能的情况下拆分 FFN 并将其卸载到 GPU。

./build/bin/main -m /PATH/TO/DENSE/MODEL -n $output_token_count -t $thread_num -p $prompt -ngl $num_gpu_layers
# 例如：./build/bin/main -m ./Bamboo-base-v0.1-gguf/bamboo-7b-v0.1.gguf -n 128 -t 8 -p "Once upon a time" -ngl 12

服务、困惑度评估及其他应用

PowerInfer 支持与 llama.cpp 相同的服务和批量生成指令。通常，您可以使用与 llama.cpp 相同的命令，只是将 -ngl 参数替换为 PowerInfer 的 --vram-budget。请参阅每个 examples/ 目录中的详细说明。例如：

• 服务
• 困惑度评估
• 批量生成

量化

PowerInfer 针对 INT4（Q4_0）模型优化了量化支持。您可以使用以下指令对 PowerInfer GGUF 模型进行量化：

./build/bin/quantize /PATH/TO/MODEL /PATH/TO/OUTPUT/QUANTIZED/MODEL Q4_0
# 例如：./build/bin/quantize ./ReluFalcon-40B-PowerInfer-GGUF/falcon-40b-relu.powerinfer.gguf ./ReluFalcon-40B-PowerInfer-GGUF/falcon-40b-relu.q4.powerinfer.gguf Q4_0
# 对于 Windows：.\build\bin\Release\quantize.exe .\ReluFalcon-40B-PowerInfer-GGUF\falcon-40b-relu.powerinfer.gguf .\ReluFalcon-40B-PowerInfer-GGUF\falcon-40b-relu.q4.powerinfer.gguf Q4_0

然后您就可以使用量化后的模型，按照上述相同的方法进行 PowerInfer 推理。

更多文档

• 性能故障排除

评估

我们在单块 RTX 4090（24G）上，使用一系列 FP16 ReLU 模型，在输入长度为 64 的情况下，对 PowerInfer 与 llama.cpp 进行了对比评估，结果如下所示。PowerInfer 在 Falcon 40B 上实现了最高 11 倍的加速，在 Llama 2 70B 上实现了最高 3 倍的加速。

_{X 轴表示输出长度，Y 轴表示相对于 llama.cpp 的加速倍数。每个柱状图上方的数字表示端到端生成速度（总提示时间 + 生成时间 / 总生成令牌数，单位为 tokens/s）。}

我们还在单块 RTX 2080Ti（11G）上，使用 INT4 ReLU 模型，在输入长度为 8 的情况下进行了评估，结果以相同的方式展示。PowerInfer 在 Falcon 40B 上实现了最高 8 倍的加速，在 Llama 2 70B 上实现了最高 3 倍的加速。

更多评估细节，请参阅我们的论文。

常见问题解答

1. 如果遇到 CUDA_ERROR_OUT_OF_MEMORY 错误怎么办？

   • 您可以尝试使用 --reset-gpu-index 参数来重建该模型的 GPU 索引，以避免任何过时的缓存。
   • 由于我们目前的实现方式，模型卸载可能不如预期准确。您可以尝试使用略低的 --vram-budget 值，或使用 --disable-gpu-index 来禁用 FFN 卸载。

2. PowerInfer 是否支持 Mistral、原始 Llama、通义千问等模型？

   • 目前我们仅支持具有 ReLU/ReGLU/平方 ReLU 激活函数的模型。因此，我们暂时不支持这些模型。值得一提的是，一篇论文表明，使用 ReLU/ReGLU 激活函数对收敛性和性能的影响可以忽略不计。

3. 为什么我们当前的 ReLU 模型，尤其是 70B 模型，在性能指标上出现了明显下降？

   • 与 LLM 训练通常需要约 2T 个标记不同，我们的模型仅使用了 5B 个标记进行微调。这种不足的再训练导致模型无法恢复其原有的性能。我们正在积极努力更新到更强大的模型，请继续关注。

4. 如果……

   • 欢迎提出任何问题！请随时创建一个议题，并附上您的运行环境和运行参数。我们将尽最大努力帮助您。

待办事项

我们将按照以下顺序发布代码和数据，请持续关注！

• 发布 PowerInfer 核心代码，支持 Llama-2 和 Falcon-40B。
• 支持 Mistral-7B（Bamboo-7B）
• 支持 Windows 系统
• 支持 text-generation-webui
• 发布困惑度评估代码
• 支持 Mac 上的 Metal 加速
• 发布 OPT 模型相关代码
• 发布预测器训练代码
• 支持 FFN 网络的在线拆分
• 支持多 GPU 运行

论文与引用

更多技术细节请参阅我们的论文。

如果您认为 PowerInfer 对您的项目或研究有帮助或相关性，请引用我们的论文：

@misc{song2023powerinfer,
      title={PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU},
      author={Yixin Song and Zeyu Mi and Haotong Xie and Haibo Chen},
      year={2023},
      eprint={2312.12456},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

致谢

我们感谢 ggml 易于修改的算子库以及 llama.cpp 提供的执行运行时。同时，我们也感谢 THUNLP 对基于 ReLU 的稀疏模型的支持。此外，我们还受益于 Deja Vu 的研究成果，这些工作为 PowerInfer 提供了灵感。

PowerInfer 快速上手指南

PowerInfer 是一款专为消费级 GPU 设计的高速大语言模型（LLM）推理引擎。它利用神经元激活的“局部性”原理，将高频激活的“热神经元”驻留显存，低频激活的“冷神经元”卸载至 CPU 计算，从而在单张显卡上实现接近服务器级 GPU 的推理速度。

环境准备

系统要求

PowerInfer 支持以下平台：

• Linux / Windows: x86-64 架构 CPU（需支持 AVX2 指令集），可选配 NVIDIA 或 AMD GPU。
• macOS: Apple M 系列芯片（仅 CPU 模式，目前性能优化有限）。

前置依赖

在开始之前，请确保系统已安装以下工具：

• CMake: 版本 3.17 或更高
• Python: 版本 3.8 或更高
• pip: 版本 19.3 或更高
• GPU 驱动:
  • NVIDIA 用户需安装 CUDA Toolkit
  • AMD 用户需安装 ROCm/HIP

安装步骤

1. 获取代码与依赖

克隆项目仓库并安装 Python 辅助工具依赖：

git clone https://github.com/Tiiny-AI/PowerInfer
cd PowerInfer
pip install -r requirements.txt

2. 编译构建

根据硬件配置选择对应的编译命令（在项目根目录执行）：

场景 A：拥有 NVIDIA GPU

cmake -S . -B build -DLLAMA_CUBLAS=ON
cmake --build build --config Release

场景 B：拥有 AMD GPU 注意：请将 gfx1100 替换为你显卡的实际架构名称（可通过 rocminfo 查询）。

CC=/opt/rocm/llvm/bin/clang CXX=/opt/rocm/llvm/bin/clang++ cmake -S . -B build -DLLAMA_HIPBLAS=ON -DAMDGPU_TARGETS=gfx1100
cmake --build build --config Release

场景 C：仅使用 CPU

cmake -S . -B build
cmake --build build --config Release

基本使用

1. 下载模型权重

PowerInfer 需要使用特定的 *.powerinfer.gguf 格式模型（包含模型权重及预测器权重）。推荐从 Hugging Face 下载预转换好的模型。

以 Llama2-7B (ReLU) 为例，使用 huggingface-cli 下载到本地 ReluLLaMA-7B 目录：

huggingface-cli download --resume-download --local-dir ReluLLaMA-7B --local-dir-use-symlinks False PowerInfer/ReluLLaMA-7B-PowerInfer-GGUF

注：国内用户若访问 Hugging Face 困难，可配置镜像源或使用代理加速。

下载完成后，目录结构应包含 .powerinfer.gguf 文件及 activation 统计文件夹。

2. 运行推理

编译完成后，可执行生成的二进制文件进行推理。以下是最简单的命令行交互示例（假设生成的可执行文件位于 build/bin 目录下，具体文件名请参考编译输出，通常为 main 或 server）：

交互式对话示例：

./build/bin/main -m ./ReluLLaMA-7B/relullama-7b-fp16.powerinfer.gguf -p "你好，请介绍一下 PowerInfer。" -n 256

启动本地 API 服务示例：

./build/bin/server -m ./ReluLLaMA-7B/relullama-7b-fp16.powerinfer.gguf --host 0.0.0.0 --port 8080

参数说明：

• -m: 指定模型路径。
• -p: 输入提示词（Prompt）。
• -n: 生成 token 的最大数量。
• server: 启动类似 llama.cpp 的 HTTP 服务端，兼容大多数前端界面。