中文  ｜ 英文

Hugging Face  |   🖥️ 官方网站  |   🕖 HunyuanAPI  |   🕹️ 演示  |    ModelScope

技术报告 | GITHUB | cnb.cool | LICENSE | Discord | WeChat / WeCom

欢迎来到Hunyuan-A13B的官方仓库，这是一款基于细粒度专家混合（MoE）架构构建的创新开源大型语言模型（LLM）。Hunyuan-A13B专为高效性和可扩展性而设计，在保持高性能的同时，计算开销极低，因此成为高级推理和通用应用的理想选择，尤其适用于资源受限的环境。

模型简介

随着人工智能技术的飞速发展，大型语言模型（LLMs）在自然语言处理、计算机视觉以及科学任务等领域取得了显著进展。然而，随着模型规模的不断扩大，如何在保持高性能的同时优化资源消耗已成为一项关键挑战。为此，我们深入探索了专家混合（MoE）架构。全新推出的Hunyuan-A13B模型总参数量达800亿，其中活跃参数仅为130亿。它不仅能够提供卓越的性能，还实现了最优的资源效率，成功地在计算能力与资源利用率之间取得了平衡。

核心特性与优势

• 小巧而强大：尽管总参数量高达800亿，但活跃参数仅130亿，该模型在众多基准测试中表现出色，其性能甚至可以媲美规模更大的模型。
• 混合推理支持：同时支持快速思维和慢速思维模式，用户可根据需求灵活选择。
• 超长上下文理解能力：原生支持256K的上下文窗口，在处理长文本任务时仍能保持稳定表现。
• 增强的代理能力：针对代理任务进行了优化，在BFCL-v3、τ-Bench和C3-Bench等基准测试中均取得了领先结果。
• 高效推理：采用分组查询注意力机制（GQA），并支持多种量化格式，从而实现高效的推理过程。

为什么选择Hunyuan-A13B？

作为一款功能强大且计算效率极高的大模型，Hunyuan-A13B是研究人员和开发者在资源有限的情况下追求高性能的理想选择。无论是学术研究、经济高效的AI解决方案开发，还是创新应用的探索，这款模型都能为您提供坚实的基础，助力不断进步。

 

相关新闻

• 2025年6月27日，我们在Hugging Face上开源了Hunyuan-A13B-Pretrain、Hunyuan-A13B-Instruct、Hunyuan-A13B-Instruct-FP8以及Hunyuan-A13B-Instruct-GPTQ-Int4。此外，我们还发布了一份技术报告以及一份训练和推理操作手册，详细介绍了模型的各项能力，并提供了训练和推理的具体操作指南。

基准测试

注意：以下基准测试由 TRT-LLM 后端在若干 基础模型 上进行评估。

模型	Hunyuan-Large	Qwen2.5-72B	Qwen3-A22B	Hunyuan-A13B
MMLU	88.40	86.10	87.81	88.17
MMLU-Pro	60.20	58.10	68.18	67.23
MMLU-Redux	87.47	83.90	87.40	87.67
BBH	86.30	85.80	88.87	87.56
SuperGPQA	38.90	36.20	44.06	41.32
EvalPlus	75.69	65.93	77.60	78.64
MultiPL-E	59.13	60.50	65.94	69.33
MBPP	72.60	76.00	81.40	83.86
CRUX-I	57.00	57.63	-	70.13
CRUX-O	60.63	66.20	79.00	77.00
MATH	69.80	62.12	71.84	72.35
CMATH	91.30	84.80	-	91.17
GSM8k	92.80	91.50	94.39	91.83
GPQA	25.18	45.90	47.47	49.12

Hunyuan-A13B-Instruct 在多个基准测试中表现出极高的竞争力，尤其是在数学、科学和智能体等领域。我们将其与几款强大的模型进行了对比，结果如下所示。

主题	基准	OpenAI-o1-1217	DeepSeek R1	Qwen3-A22B	Hunyuan-A13B-Instruct
数学	AIME 2024 AIME 2025 MATH	74.3 79.2 96.4	79.8 70 94.9	85.7 81.5 94.0	87.3 76.8 94.3
科学	GPQA-Diamond OlympiadBench	78 83.1	71.5 82.4	71.1 85.7	71.2 82.7
编码	Livecodebench Fullstackbench ArtifactsBench	63.9 64.6 38.6	65.9 71.6 44.6	70.7 65.6 44.6	63.9 67.8 43
推理	BBH DROP ZebraLogic	80.4 90.2 81	83.7 92.2 78.7	88.9 90.3 80.3	89.1 91.1 84.7
指令遵循	IF-Eval SysBench	91.8 82.5	88.3 77.7	83.4 74.2	84.7 76.1
文本生成	LengthCtrl InsCtrl	60.1 74.8	55.9 69	53.3 73.7	55.4 71.9
NLU	ComplexNLU Word-Task	64.7 67.1	64.5 76.3	59.8 56.4	61.2 62.9
智能体	BFCL v3 τ-Bench ComplexFuncBench C3-Bench	67.8 60.4 47.6 58.8	56.9 43.8 41.1 55.3	70.8 44.6 40.6 51.7	78.3 54.7 61.2 63.5

 

与 transformers 库结合使用

我们的模型默认采用慢速思维推理模式，有两种方法可以禁用 CoT 推理：

1. 在调用 apply_chat_template 时传入 "enable_thinking=False"。
2. 在提示词前添加 "/no_think" 可强制模型不执行 CoT 推理。类似地，在提示词前添加 "/think" 则会强制模型执行 CoT 推理。

以下代码片段展示了如何使用 transformers 库加载并应用该模型，同时演示了如何启用和禁用推理模式，以及如何解析推理过程与最终输出。

from transformers import AutoModelForCausalLM, AutoTokenizer
import os
import re

model_name_or_path = os.environ['MODEL_PATH']
# model_name_or_path = "tencent/Hunyuan-A13B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, device_map="auto",trust_remote_code=True)  # You may want to use bfloat16 and/or move to GPU here
messages = [
    {"role": "user", "content": "Write a short summary of the benefits of regular exercise"},
]
tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt",
                                                enable_thinking=True # Toggle thinking mode (default: True)
                                                )

outputs = model.generate(tokenized_chat.to(model.device), max_new_tokens=4096)

output_text = tokenizer.decode(outputs[0])

think_pattern = r'\<think\>(.*?)\<\/think\>'
think_matches = re.findall(think_pattern, output_text, re.DOTALL)

answer_pattern = r'\<answer\>(.*?)\<\/answer\>'
answer_matches = re.findall(answer_pattern, output_text, re.DOTALL)

think_content = [match.strip() for match in think_matches][0]
answer_content = [match.strip() for match in answer_matches][0]
print(f"thinking_content:{think_content}\n\n")
print(f"answer_content:{answer_content}\n\n")

训练快速入门

Hunyuan-A13B 提供了与模型训练相关的流程。请参阅 Training 以了解模型训练的相关内容。

量化压缩

我们使用自主研发的 AngelSlim 压缩工具，生成了 FP8 和 INT4 量化模型。AngelSlim 支持对 LLM 模型进行一键式量化与压缩，请参考 AngelSlim 文档。

FP8 量化

我们采用 FP8 静态量化技术。FP8 量化使用 8 位浮点格式，通过少量校准数据（无需训练）预先确定量化尺度，将模型权重和激活值转换为 FP8 格式，从而提升推理效率并降低部署门槛。您可以使用 AngleSlim 进行量化，也可以直接下载我们已完成量化并开源的模型 Hunyuan-A13B-Instruct-FP8。

FP8 基准测试

本小节介绍 Hunyuan-80B-A13B-Instruct-FP8 量化模型的基准测试指标。

基准	Hunyuan-A13B-Instruct	Hunyuan-A13B-Instruct-FP8
AIME 2024	87.3	86.7
Gsm8k	94.39	94.01
BBH	89.1	88.34
DROP	91.1	91.1

Int4 量化

我们使用 GPTQ 算法实现 W4A16 量化，该算法逐层处理模型权重，利用少量校准数据来最小化量化权重的重构误差，并通过近似海森矩阵逆矩阵的优化过程逐层调整权重。这一过程无需对模型进行重新训练，仅需少量校准数据即可完成权重量化，从而提升推理效率并降低部署门槛。您可以使用 AngleSlim 量化工具，也可以直接下载我们已完成量化的开源模型进行使用：Hunyuan-A13B-Instruct-Int4。

Int4 基准测试

本小节介绍 Hunyuan-80B-A13B-Instruct-GPTQ-Int4 量化模型的基准测试指标。

基准测试	Hunyuan-A13B-Instruct	Hunyuan-A13B-Instruct-GPTQ-Int4
OlympiadBench	82.7	84.0
AIME 2024	87.3	86.7
Gsm8k	94.39	94.24
BBH	89.1	87.91
DROP	91.1	91.05

部署

在部署方面，您可以使用 TensorRT-LLM、vLLM 或 SGLang 等框架来服务模型，并创建与 OpenAI 兼容的 API 端点。

图片：https://hub.docker.com/r/hunyuaninfer/hunyuan-a13b/tags

TensorRT-LLM

Docker 镜像

我们提供基于最新版本 TensorRT-LLM 的预构建 Docker 镜像。

• 开始使用：

https://hub.docker.com/r/hunyuaninfer/hunyuan-large/tags

docker pull hunyuaninfer/hunyuan-a13b:hunyuan-moe-A13B-trtllm

docker run --privileged --user root --name hunyuanLLM_infer --rm -it --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --gpus=all hunyuaninfer/hunyuan-a13b:hunyuan-moe-A13B-trtllm

• 准备配置文件：

cat >/path/to/extra-llm-api-config.yml <<EOF
use_cuda_graph: true
cuda_graph_padding_enabled: true
cuda_graph_batch_sizes:
- 1
- 2
- 4
- 8
- 16
- 32
print_iter_log: true
EOF

• 启动 API 服务器：

trtllm-serve \
  /path/to/HunYuan-moe-A13B \
  --host localhost \
  --port 8000 \
  --backend pytorch \
  --max_batch_size 32 \
  --max_num_tokens 16384 \
  --tp_size 2 \
  --kv_cache_free_gpu_memory_fraction 0.6 \
  --trust_remote_code \
  --extra_llm_api_options /path/to/extra-llm-api-config.yml

vllm

Docker 镜像

我们提供包含 vLLM 0.8.5 的预构建 Docker 镜像，完全支持该模型。目前官方 vLLM 版本仍在开发中，请注意：此 Docker 镜像需要 CUDA 12.8。

• 开始使用：

docker pull docker.cnb.cool/tencent/hunyuan/hunyuan-a13b:hunyuan-moe-A13B-vllm
或
docker pull hunyuaninfer/hunyuan-a13b:hunyuan-moe-A13B-vllm

• 下载模型文件：

  • Huggingface：vLLM 会自动下载。
  • ModelScope：modelscope download --model Tencent-Hunyuan/Hunyuan-A13B-Instruct

• 启动 API 服务器：

通过 Huggingface 下载模型：

docker run  --privileged --user root  --net=host --ipc=host \
        -v ~/.cache:/root/.cache/ \
        --gpus=all -it --entrypoint python  hunyuaninfer/hunyuan-a13b:hunyuan-moe-A13B-vllm
 \
         -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --port 8000 \
         --tensor-parallel-size 4 --model tencent/Hunyuan-A13B-Instruct --trust-remote-code

通过 ModelScope 下载模型：

docker run  --privileged --user root  --net=host --ipc=host \
        -v ~/.cache/modelscope:/root/.cache/modelscope \
        --gpus=all -it --entrypoint python   hunyuaninfer/hunyuan-a13b:hunyuan-moe-A13B-vllm \
         -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --tensor-parallel-size 4 --port 8000 \
         --model /root/.cache/modelscope/hub/models/Tencent-Hunyuan/Hunyuan-A13B-Instruct/ --trust_remote_code

量化模型部署

本节介绍如何使用 vLLM 部署后量化模型的过程。

图片：以 BF16 模式部署镜像。

Int8 量化模型部署

部署 HunYuan-A13B 模型的 Int8 权重专用版本，只需在 run_server_int8.sh 中设置环境变量：

export MODEL_PATH=PATH_TO_BF16_MODEL

接下来启动 Int8 服务。运行：

sh run_server_int8.sh

成功运行 run_server_int8.sh 后，再运行请求脚本：

sh openapi.sh

Int4 量化模型部署

部署 HunYuan-A13B 模型的 Int4 权重专用版本，只需在 run_server_int4.sh 中设置环境变量，采用 GPTQ 方法：

export MODEL_PATH=PATH_TO_INT4_MODEL

接下来启动 Int4 服务。运行：

sh run_server_int4.sh

成功运行 run_server_int4.sh 后，再运行请求脚本：

sh openapi.sh

FP8 量化模型部署

部署 HunYuan-A13B 模型的 W8A8C8 版本，只需在 run_server_int8.sh 中设置环境变量：

export MODEL_PATH=PATH_TO_FP8_MODEL

接下来启动 FP8 服务。运行：

sh run_server_fp8.sh

成功运行 run_server_fp8.sh 后，再运行请求脚本：

sh openapi.sh

SGLang

Docker 镜像

我们还提供基于最新版本 SGLang 的预构建 Docker 镜像。

• 开始使用：

• 拉取 Docker 镜像

docker pull docker.cnb.cool/tencent/hunyuan/hunyuan-a13b:hunyuan-moe-A13B-sglang
或
docker pull hunyuaninfer/hunyuan-a13b:hunyuan-moe-A13B-sglang

• 启动 API 服务器：

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    --ipc=host \
    docker.cnb.cool/tencent/hunyuan/hunyuan-a13b:hunyuan-moe-A13B-sglang \
    -m sglang.launch_server --model-path hunyuan/huanyuan_A13B --tp 4 --trust-remote-code --host 0.0.0.0 --port 30000

社区资源

• Hunyuan-A13B CNB 快速入门

联系我们

如果您想向我们的研发和产品团队留言，欢迎联系我们的开源团队。您也可以通过电子邮件（hunyuan_opensource@tencent.com）与我们取得联系。

Hunyuan-A13B 快速上手指南

Hunyuan-A13B 是腾讯混元团队开源的基于细粒度混合专家（MoE）架构的大语言模型。该模型总参数量 800 亿，激活参数量仅 130 亿，兼具高性能与低推理成本，原生支持 256K 上下文窗口，并具备快慢思维切换能力。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• GPU: 推荐使用 NVIDIA GPU，显存建议 24GB 及以上（FP16/BF16 推理）；若使用量化版本（FP8/Int4），显存需求可大幅降低。
• Python: 3.8 或更高版本

前置依赖

确保已安装 PyTorch 和 Transformers 库。建议使用国内镜像源加速安装：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：模型加载需要 trust_remote_code=True，请确保网络通畅以自动下载相关代码文件，或提前从 GitHub 仓库 克隆代码。

安装步骤

方式一：直接使用 Hugging Face（推荐）

无需额外安装模型文件，代码运行时会自动下载。国内用户若访问 HF 受阻，可配置镜像或使用 ModelScope。

配置 HF 镜像（可选）：

export HF_ENDPOINT=https://hf-mirror.com

或者使用 ModelScope（魔搭社区）：

pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：手动下载模型

前往以下地址下载模型权重：

• Hugging Face: tencent/Hunyuan-A13B-Instruct
• ModelScope: Tencent-Hunyuan/Hunyuan-A13B-Instruct
• 量化版本: 提供 FP8 和 Int4 版本以降低显存占用。

下载后设置环境变量指向本地路径：

export MODEL_PATH=/path/to/your/local/model

基本使用

Hunyuan-A13B 默认开启“慢思考”模式（CoT），输出包含 <think> 思考过程和 <answer> 最终答案。您可以通过参数或提示词控制思维模式。

Python 代码示例

以下示例展示如何加载模型、切换思维模式并解析输出：

from transformers import AutoModelForCausalLM, AutoTokenizer
import os
import re

# 设置模型路径：可以是本地路径或 Hugging Face ID (如 "tencent/Hunyuan-A13B-Instruct")
model_name_or_path = os.environ.get('MODEL_PATH', "tencent/Hunyuan-A13B-Instruct")

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name_or_path, 
    device_map="auto", 
    trust_remote_code=True,
    torch_dtype="bfloat16"  # 建议根据显存情况选择 bfloat16 或 float16
)

# 构建对话消息
messages = [
    {"role": "user", "content": "Write a short summary of the benefits of regular exercise"},
]

# 方法 1: 通过参数控制思维模式
# enable_thinking=True (默认): 开启慢思考 (CoT)
# enable_thinking=False: 关闭慢思考，直接输出结果
tokenized_chat = tokenizer.apply_chat_template(
    messages, 
    tokenize=True, 
    return_tensors="pt",
    enable_thinking=True 
)

# 方法 2: 通过在 prompt 前添加特殊指令控制
# "/think": 强制开启思考
# "/no_think": 强制关闭思考
# messages = [{"role": "user", "content": "/no_think Write a short summary..."}]

# 生成回复
outputs = model.generate(tokenized_chat.to(model.device), max_new_tokens=4096)
output_text = tokenizer.decode(outputs[0])

# 解析思考过程和最终答案
think_pattern = r'<think>(.*?)</think>'
think_matches = re.findall(think_pattern, output_text, re.DOTALL)

answer_pattern = r'<answer>(.*?)</answer>'
answer_matches = re.findall(answer_pattern, output_text, re.DOTALL)

if think_matches:
    print(f"Thinking Content:\n{think_matches[0].strip()}\n")
    
if answer_matches:
    print(f"Answer Content:\n{answer_matches[0].strip()}\n")
else:
    # 如果未开启思考模式，直接输出原始文本
    print(output_text)

关键特性说明

• 思维切换：默认开启深度推理。若需快速响应，可在 apply_chat_template 中设置 enable_thinking=False 或在输入文本前加 /no_think。
• 长文本支持：模型原生支持 256K 上下文，可直接传入长文档进行处理。
• 量化推理：若显存受限，请替换 model_name_or_path 为 FP8 或 Int4 版本的模型路径。