中文 | English

一款更易用、更全面、更高效的大型模型压缩工具集。

✒️ 技术报告   |    📖 文档   |   🤗 Hugging Face   |   🤖 ModelScope

💬 微信 |   🫨 Discord

📣最新动态

• [26/03/25] 我们发布了DAQ，这是一种在训练后微调过程中保持知识的同时，参数更新量相对较小的量化算法。[论文] | [文档]
• [26/02/09] 我们发布了HY-1.8B-2Bit，这是一款2比特的端侧大语言模型，[Hugging Face]。
• [26/01/13] 我们发布了v0.3版本。我们支持Eagle3用于全规模LLM/VLM/音频模型的训练与部署，详情请参见指导文档。同时，我们还发布了Sherry，一种硬件友好的1.25比特量化算法[论文] | [代码]🔥🔥🔥
• [25/11/05] 我们发布了v0.2版本。新增对GLM-4.6、Qwen3-VL和Qwen3-Omni等模型的量化支持，开源了Eagle3推测解码训练框架，并更新了扩散模型量化工具。
• [25/09/30] 我们发布了SpecExit，一种推理早停算法：[论文] | [文档] | [vLLM代码]
• [25/09/26] 我们发布了TEQUILA，一种三值量化算法[论文] | [代码]
• [25/09/24] 我们现在支持对Qwen3系列模型进行NVFP4的PTQ量化。同时，我们也开源了Qwen3-32B-NVFP4和Qwen3-235B-A22B-NVFP4权重。

🌟核心特性

• 高度集成：该工具集将主流压缩算法整合进统一框架，为开发者提供一键式访问，使用极为便捷。
• 持续创新：除了集成业界广泛使用的算法外，我们还在不断研究更优的压缩算法，未来将逐步开源。
• 性能驱动：我们在模型压缩工作流及算法部署中持续优化端到端性能，例如实现单GPU上对Qwen3-235B和DeepSeek-R1等模型的量化。

💼技术概览

🛎️使用方法

1. 安装 AngelSlim

我们建议使用 pip 安装最新稳定版的 AngelSlim：

pip install angelslim

或者，您也可以克隆仓库，并以可编辑模式从源码安装：

cd AngelSlim && python setup.py install

更多详细的安装说明及平台特定指导，请参阅安装文档。

2. 快速入门

2.1 推测解码

安装 AngelSlim 后，您可以使用以下脚本快速开始 Eagle3 训练：

# 启动 vLLM 服务器
bash scripts/speculative/run_vllm_server.sh
# 生成训练数据
bash scripts/speculative/generate_data_for_target_model.sh
# 对 Eagle3 模型进行在线训练
bash scripts/speculative/train_eagle3_online.sh

Eagle3 的训练与部署指南：LLM | VLM | 音频（ASR） | 音频（TTS）。

2.2 LLM/VLM/音频模型量化

安装 AngelSlim 后，您可以通过以下一条命令脚本对 Qwen3-1.7B 模型进行静态 FP8 量化：

python3 tools/run.py -c configs/qwen3/fp8_static/qwen3-1_7b_fp8_static.yaml

此示例通过在从 HuggingFace 加载的模型上执行 PTQ 校准，生成量化的模型权重。

from angelslim.engine import Engine

slim_engine = Engine()
# 准备模型
slim_engine.prepare_model(model_name="Qwen", model_path="Qwen/Qwen3-1.7B",)
# 初始化压缩器
slim_engine.prepare_compressor("PTQ", default_method="fp8_dynamic")
# 压缩模型
slim_engine.run()
# 保存压缩后的模型
slim_engine.save("./output")

更多详情请参阅快速入门文档。

2.3 扩散模型量化

使用 scripts/diffusion/run_diffusion.py 进行量化和推理：

# 在线量化与推理
python scripts/diffusion/run_diffusion.py \
    --model-name-or-path black-forest-labs/FLUX.1-schnell \
    --quant-type fp8-per-tensor \
    --prompt "一只猫拿着写着‘hello world’的牌子" \
    --height 1024 --width 1024 --steps 4 --guidance 0.0 --seed 0

更多量化推理方法，请参阅扩散模型量化文档。

2.4 Token 压缩（VLM）

AngelSlim 提供了一个通用的元数据驱动框架，用于视觉 token 的剪枝和合并。您可以通过烟雾测试快速验证一种压缩策略（例如 VisionZip）：

python tools/test_universal_pruning.py \
    --model_path "Qwen/Qwen2.5-VL-3B-Instruct" \
    --config "configs/qwen2_5_vl/pruning/visionzip_r0.9.yaml"

有关实施新策略的更多详细信息，请参阅Token Compressor 文档。

3. 部署与测试

3.1 离线推理

要使用通过 transformers 加载的量化模型进行离线推理测试。

python scripts/deploy/offline.py $MODEL_PATH "你好，我叫"

3.2 API 服务部署

指定量化模型路径 MODEL_PATH 后，您可以使用 vLLM 和 SGLang 推理框架部署一个兼容 OpenAI 的 API 服务。

3.3 服务调用

通过 OpenAI 的 API 格式发起请求。

bash scripts/deploy/openai.sh -m $MODEL_PATH -p "你好，我叫" --port 8080 --max-tokens 4096 --temperature 0.7 --top-p 0.8 --top-k 20 --repetition-penalty 1.05 --system-prompt "你是一个乐于助人的助手。"

3.4 性能评估

使用 lm-evaluation-harness，推荐版本为 lm-eval>=0.4.8，评估量化模型性能。

bash scripts/deploy/lm_eval.sh -d 0,1 -t 2 -g 0.8 -r $RESULT_PATH -b "auto" --tasks ceval-valid,mmlu,gsm8k,humaneval -n 0 $MODEL_PATH

更多详细信息，请参阅部署文档。

📈 基准测试

1. 推测解码

我们使用 vLLM 对 AngelSlim 训练的 Eagle3 模型进行了评估，涵盖代码生成、数学推理、指令遵循、文本生成以及多模态理解等任务。在 num_speculative_tokens = 2 或 4 的设置下，我们训练的模型在推理加速和上下文长度方面的表现如下，接受长度为 1.8–3.5，最大加速比为 1.4–1.9×。

1.1 Qwen3 系列模型

在 vLLM（v0.11.2）上，使用 Eagle3 推理解码技术对 Qwen3 系列模型在 MT-bench、HumanEval、GSM8K 和 Alpaca 上的基准测试结果，采用单 GPU 配置（tp=1, ep=1, num_speculative_tokens=2, batch_size=1, output_len=1024）。

1.2 视觉语言模型

1.2.1 Qwen3-VL 系列模型

在 vLLM（v0.12.0）上，使用 Eagle3 推理解码技术对 Qwen3-VL 系列模型在语言和多模态任务上的基准测试结果，采用单 GPU 配置（tp=1, ep=1, num_speculative_tokens=4, batch_size=1, output_len=1024）。

1.2.2 HunyuanOCR 模型

在 vLLM（v0.13.0）上使用 Eagle3 推测解码对 HunyuanOCR 进行基准测试的结果，数据集为 OmniDocBench，采用单 GPU（tp=1, ep=1, num_speculative_tokens=4, batch_size=1, output_len=1024）。

1.3 音频模型

1.3.1 Qwen2-Audio 模型

在 vLLM（v0.12.0）上使用 Eagle3 推测解码对 Qwen2-Audio 进行基准测试的结果，数据集为 LibriSpeech，采用单 GPU（tp=1, ep=1, num_speculative_tokens=4, batch_size=1, output_len=1024）。

1.3.2 Fun-CosyVoice3 模型

在单 GPU（tp=1, ep=1, num_speculative_tokens=4, batch_size=1, output_len=1024）条件下，使用 Eagle3 推测解码对 Fun-CosyVoice3 进行基准测试的结果，数据集为 LibriTTS。

适配于 Transformers 后端推理，仅显示接受长度。vLLM 加速约 1.6 倍，基于基础 LLM 加速估算得出。

2. 量化

以下展示了部分选定模型的性能测试结果。如需完整基准测试，请参阅 Benchmark 文档

2.1 Hunyuan 系列模型

Hunyuan-Instruct 模型分别采用 FP8、INT4-AWQ 和 INT4-GPTQ 量化算法，在包括 OlympiadBench、AIME 2024 和 DROP 在内的数据集上的基准测试结果：

2.2 通义千问3系列模型

通义千问3系列模型在CEVAL、MMLU、GSM8K和HUMANEVAL等数据集上，采用FP8-Static、FP8-Dynamic、INT4-GPTQ和INT4-AWQ量化算法的评测结果如下：

2.3 深势系列模型

深势R1-0528系列模型在GPQA Diamond、AIME 2024、SimpleQA和LiveCodeBench等数据集上，采用FP8-Block-Wise和W4A8-FP8量化算法的评测结果如下：

2.4 通义千问-VL系列模型

Qwen3-VL评测

通义千问3VL系列模型在MMMU_VAL、DocVQA_VAL和ChartQA_TEST等数据集上，采用BF16、FP8-Static和FP8-Dynamic量化算法的评测结果如下：

2.5 Qwen-Omni 系列模型

Qwen3-Omni 文本到文本基准测试

Qwen3-Omni 系列模型在 BF16、FP8-Static 和 FP8-Dynamic 下，于 aime25、gpqa_diamond 和 mmlu_redux 上的基准测试结果如下：

2.6 其他模型

其他模型如 GLM-4.6、Qwen2.5 和 Seed-OSS 已经使用 FP8-Static、FP8-Dynamic、INT4-GPTQ 和 INT4-AWQ 等量化策略，在 CEVAL、MMLU 和 GSM8K 等基准测试上进行了评估。

3. Token压缩（VLM）

我们在多个多模态基准测试上，针对Qwen2.5-VL-3B-Instruct模型评估了多种视觉Token压缩策略。您可以通过以下命令复现这些结果：

python tools/run_pruning_eval.py \
    --model_path "Qwen/Qwen2.5-VL-3B-Instruct" \
    --configs "configs/qwen2_5_vl/pruning/visionzip_r0.9.yaml" \
    --tasks "textvqa" \
    --output_dir "./results/visionzip_test"

📝 许可证

本项目的代码以AngelSlim许可证开源。

🔗 引用

@article{angelslim2026,
  title={AngelSlim: 一个更易用、全面且高效的大型模型压缩工具包},
  author={Hunyuan AI Infra团队},
  journal={arXiv预印本 arXiv:2602.21233},
  year={2026}
}

💬 技术讨论

• AngelSlim由腾讯Hunyuan AI Infra团队开发，新功能会不断迭代更新。如果您有任何问题或建议，请在Github Issues中提交，或加入我们的微信讨论群。

• ⭐ 请给本仓库标星，以便关注我们的最新进展。如果您有兴趣加入我们实习或全职工作，请将简历发送至：lucayu@tencent.com。

AngelSlim 快速上手指南

AngelSlim 是一个易用、全面且高效的大模型压缩工具包，支持量化（Quantization）、投机采样（Speculative Decoding）等多种压缩策略，覆盖 LLM、VLM、扩散模型及语音模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.8 - 3.11
• GPU: NVIDIA GPU (建议显存 >= 16GB，具体取决于模型大小)
• CUDA: 11.8 或 12.x
• PyTorch: 2.0+ (需与 CUDA 版本匹配)

前置依赖检查： 请确保已安装基础的 PyTorch 环境。若未安装，可使用以下命令（以 CUDA 12.1 为例）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

2. 安装步骤

推荐通过 pip 直接安装最新稳定版。国内用户建议使用镜像源加速下载。

方式一：通过 PyPI 安装（推荐）

# 使用清华镜像源加速安装
pip install angelslim -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装（获取最新特性）

如果您需要使用最新的算法（如 Sherry, TEQUILA, Eagle3 等），建议从 GitHub 克隆源码安装：

# 克隆仓库
git clone https://github.com/Tencent/AngelSlim.git
cd AngelSlim

# 安装依赖及工具包
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

提示：部分高级量化算法（如 NVFP4）或特定模型支持可能需要额外安装对应的内核库，请参考官方文档中的 requirements 文件。

3. 基本使用

AngelSlim 提供了统一的命令行接口和 Python API。以下以最常用的 PTQ（训练后量化） 为例，展示如何将一个 HuggingFace 模型量化为 INT4 格式。

场景：对 Qwen3 模型进行 INT4-GPTQ 量化

方法 A：使用命令行工具 (CLI)

这是最快捷的方式，适合快速验证和批量处理。

angelslim quantize \
    --model_path Qwen/Qwen3-7B \
    --output_dir ./qwen3-7b-int4 \
    --algorithm gptq \
    --w_bits 4 \
    --group_size 128 \
    --calib_dataset "c4" \
    --calib_samples 128 \
    --device_map auto

参数说明：

• --model_path: 原始模型路径（本地路径或 HuggingFace/ModelScope ID）。
• --algorithm: 量化算法，支持 gptq, awq, fp8_static, fp8_dynamic 等。
• --w_bits: 权重量化位数（如 4, 8）。
• --calib_dataset: 校准数据集名称。

方法 B：使用 Python API

适合需要集成到自定义训练或推理流程中的开发者。

from angelslim.quant import Quantizer
from transformers import AutoModelForCausalLM, AutoTokenizer

# 1. 加载模型和分词器
model_name = "Qwen/Qwen3-7B"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", trust_remote_code=True)

# 2. 配置量化参数
config = {
    "algorithm": "gptq",
    "w_bits": 4,
    "group_size": 128,
    "calib_dataset": "c4",
    "calib_samples": 128
}

# 3. 执行量化
quantizer = Quantizer(model, tokenizer, config)
quantized_model = quantizer.run()

# 4. 保存量化后的模型
quantized_model.save_quantized("./qwen3-7b-int4")
tokenizer.save_pretrained("./qwen3-7b-int4")

print("量化完成，模型已保存至 ./qwen3-7b-int4")

进阶：使用 Eagle3 进行投机采样加速

AngelSlim 还支持 Eagle3 框架以加速推理。训练 Eagle3 草稿模型示例：

angelslim eagle3 train \
    --base_model Qwen/Qwen3-7B \
    --draft_model_output_dir ./eagle3-draft \
    --dataset "alpaca" \
    --batch_size 4 \
    --learning_rate 1e-4

更多高级功能（如扩散模型量化、Sherry 1.25bit 量化等）请参阅 官方文档。