中文  ｜ 英文

🫣 Hugging Face   |   🖥️  官方网站  ｜  🕖·  HunyuanAPI  ｜  🐳·  Gitee

技术报告  ｜   演示   ｜   Tencent Cloud TI   

模型下载
模型	Hugging Face 下载链接	腾讯云下载链接
Hunyuan-A52B-Instruct-FP8	Hunyuan-A52B-Instruct-FP8	Hunyuan-A52B-Instruct-FP8
Hunyuan-A52B-Instruct	Hunyuan-A52B-Instruct	Hunyuan-A52B-Instruct
Hunyuan-A52B-Pretrain	Hunyuan-A52B-Pretrain	Hunyuan-A52B-Pretrain

模型介绍

随着人工智能技术的快速发展，大型语言模型（LLMs）在自然语言处理、计算机视觉以及科学任务等领域取得了显著进展。然而，随着模型规模的不断扩大，如何在保持高性能的同时优化资源消耗已成为关键挑战。为应对这一挑战，我们探索了专家混合（MoE）模型。目前发布的 Hunyuan-Large（Hunyuan-MoE-A52B）模型是业界最大的开源 Transformer 基础 MoE 模型，总参数量达 3890 亿，活跃参数量为 520 亿。这是目前业界最大的开源 Transformer 基础 MoE 模型，总参数量达 3890 亿，活跃参数量为 520 亿。

通过开源 Hunyuan-Large 模型并公开相关技术细节，我们希望激发更多研究人员的创新灵感，共同推动人工智能技术的进步与应用。我们诚挚邀请您加入我们的开源社区，一起探索和优化未来的 AI 模型！

技术优势介绍

模型

• 高质量合成数据：通过引入合成数据进行训练，Hunyuan-Large 能够学习到更丰富的表征，更好地处理长上下文输入，并对未见数据具有更强的泛化能力。

• KV 缓存压缩：采用分组查询注意力（GQA）和跨层注意力（CLA）策略，显著降低 KV 缓存的内存占用和计算开销，从而提升推理吞吐量。

• 专家特定学习率缩放：为不同专家设置不同的学习率，确保每个子模型都能有效从数据中学习，并为整体性能做出贡献。

• 长上下文处理能力：预训练模型支持高达 256K 的文本序列，而 Instruct 模型则支持高达 128K，极大地提升了处理长上下文任务的能力。

• 广泛的基准测试：我们在多种语言和任务上进行了大量实验，以验证 Hunyuan-Large 的实际效果和安全性。

推理框架

• 此次开源提供了两种针对 Hunyuan-Large 模型的推理后端选项：流行的 vLLM 后端 和 TensorRT-LLM 后端。这两种方案都包含了性能优化措施。例如，引入新的 CLA 结构显著减少了 GPU 内存的使用，使 KV 缓存部分节省了 50%，从而确保高效处理长文本场景。此外，通过采用 FP8 量化，相比传统的 FP16/BF16 量化，内存占用减少了 50%，同时保持了精度，并使吞吐量提高了 70%。与此同时，借助 TRT-LLM 核心的高效算子，TRT-LLM 方案的性能比 vLLM 高出 30% 以上。TRT-LLM 方案已在腾讯的 Hunyuan 项目中广泛应用。本次发布我们首先开源的是 vLLM 方案，计划在不久的将来推出 TRT-LLM 方案。

训练框架

• Hunyuan-Large 开源模型完全兼容 Hugging Face 格式，研究人员和开发者可以使用 hf-deepspeed 框架进行模型微调。此外，我们还支持通过 Flash Attention 加速训练。为进一步帮助大家快速上手，我们通过此次发布将相应的训练脚本和模型实现公开给社区，方便后续基于这些资源进行模型训练和微调操作。

 

相关新闻

• 2024年11月25日 我们自主研发的长文本基准评测集——PenguinScrolls正式发布！您可以在GitHub上探索该项目，并在Hugging Face上获取数据集。
• 2024年11月18日 Hunyuan-A52B-Instruct 和 Hunyuan-A52B-Instruct-FP8 模型更新。
• 2024年11月5日 TI 平台 已集成 Hunyuan-Large 模型，您只需简单几步即可轻松进行训练和部署。请访问与 Hunyuan-Large 聊天，体验与该模型的实时对话；同时，您还可以参阅TI 上的 Hunyuan-Large 最佳实践，打造属于您的定制化 Hunyuan-Large 模型。
• 2024年11月5日 我们已在 Hugging Face 上开源了 Hunyuan-A52B-Pretrain、Hunyuan-A52B-Instruct 和 Hunyuan-A52B-Instruct-FP8。此外，我们还发布了技术报告以及训练与推理操作手册，详细介绍了模型的能力及训练和推理的具体流程。

基准评估

Hunyuan-Large 预训练模型 在与激活参数规模相近的密集型和 MoE 架构竞争对手相比，整体性能表现最佳。在 MMLU、MMLU-Pro 和 CMMLU 等综合基准测试中，Hunyuan-Large 始终取得最优成绩，充分证明了其在综合性任务上的全面能力。

此外，Hunyuan-Large 在常识理解与推理，以及经典 NLP 任务（如问答和阅读理解）方面也展现出卓越性能，例如 CommonsenseQA、PIQA 和 TriviaQA 等数据集。在数学能力方面，Hunyuan-Large 在 GSM8K 和 MATH 数据集上均超越所有基线模型，并且在中国语种的 CMATH 数据集中也取得了最佳成绩。同时，在所有中文任务中（如 CMMLU 和 C-Eval），Hunyuan-Large 同样表现出整体最优性能。

模型	LLama3.1-405B	LLama3.1-70B	Mixtral-8x22B	DeepSeek-V2	Hunyuan-Large
MMLU	85.2	79.3	77.8	78.5	88.4
MMLU-Pro	61.6	53.8	49.5	-	60.2
BBH	85.9	81.6	78.9	78.9	86.3
HellaSwag	-	-	88.7	87.8	86.8
CommonsenseQA	85.8	84.1	82.4	-	92.9
WinoGrande	86.7	85.3	85.0	84.9	88.7
PIQA	-	-	83.6	83.7	88.3
NaturalQuestions	-	-	39.6	38.7	52.8
DROP	84.8	79.6	80.4	80.1	88.9
ARC-C	96.1	92.9	91.2	92.4	95.0
TriviaQA	-	-	82.1	79.9	89.2
CMMLU	-	-	60.0	84.0	90.2
C-Eval	-	-	59.6	81.7	91.9
C3	-	-	71.4	77.4	82.3
GSM8K	89.0	83.7	83.7	79.2	92.8
MATH	53.8	41.4	42.5	43.6	69.8
CMATH	-	-	72.3	78.7	91.3
HumanEval	61.0	58.5	53.1	48.8	71.4
MBPP	73.4	68.6	64.2	66.6	72.6

Hunyuan-Large-Instruct 相较于具有相似激活参数量的 LLM，在大多数类型的任务上都实现了持续提升，这表明我们的后训练方法非常有效。深入分析不同类别基准测试中的模型表现，我们发现该指令微调模型在 MMLU 和 MATH 数据集上取得了最佳成绩。尤其值得一提的是，在 MMLU 数据集中，我们的模型表现显著提升，比 LLama3.1-405B 模型高出 2.6%。这一进步并非微小，而是充分体现了 Hunyuan-Large-Instruct 在广泛的语言理解任务中所具备的卓越理解和推理能力。此外，该模型在 MATH 数据集上的表现同样令人瞩目，以 3.6% 的优势领先 LLama3.1-405B。值得注意的是，如此大幅度的准确率提升仅依靠 520 亿个激活参数便得以实现，进一步凸显了我们模型的高效性。

模型	LLama3.1 405B Inst.	LLama3.1 70B Inst.	Mixtral 8x22B Inst.	DeepSeekV2.5 Chat	Hunyuan-Large Inst.
MMLU	87.3	83.6	77.8	80.4	89.9
CMMLU	-	-	61.0	-	90.4
C-Eval	-	-	60.0	-	88.6
BBH	-	-	78.4	84.3	89.5
HellaSwag	-	-	86.0	90.3	88.5
ARC-C	96.9	94.8	90.0	-	94.6
GPQA_diamond	51.1	46.7	-	-	42.4
MATH	73.8	68.0	49.8	74.7	77.4
HumanEval	89.0	80.5	75.0	89.0	90.0
AlignBench	6.0	5.9	6.2	8.0	8.3
MT-Bench	9.1	8.8	8.1	9.0	9.4
IFEval strict-prompt	86.0	83.6	71.2	-	85.0
Arena-Hard	69.3	55.7	-	76.2	81.8
AlpacaEval-2.0	39.3	34.3	30.9	50.5	51.8

 

数据

Hunyuan-Large 提供了与模型训练相关的流程。在本节中，您可以对训练数据格式进行处理，以便用于模型训练。

训练数据格式及处理

训练数据被处理为如下消息格式。训练和推理时的默认系统提示词是“你是一个乐于助人的助手”。以下是单轮和多轮数据的示例：

# 单轮数据格式

messages = [
    {"role": "system", "content": "你是一个乐于助人的助手。"},
    {"role": "user", "content": "海水为什么是咸的" },
    {"role": "assistant", "content": "海水是咸的主要是因为其中含有许多溶解在水中的盐类和矿物质。这些盐类和矿物质来自于地球表面的岩石和土壤中的化学物质，随着时间的推移，它们被带到了海洋中。当海水蒸发时，水分蒸发掉了，但盐类和矿物质仍然留在水中，导致海水变得更加咸味。因此，海水的咸度是由其中的盐类和矿物质的含量决定的。"}
]

# 多轮对话数据格式
messages = [
    {"role": "system", "content": "你是一个 helpful assistant。"},
    {"role": "user", "content": "知道重庆森林这部电影吗？" },
    {"role": "assistant", "content": "知道呀，是一部由王家卫导演的片子。" },
    {"role": "user", "content": " 而主演里更是有王菲，一上映便受到追捧。" },
    {"role": "assistant", "content": "所以此片获得了第14届香港电影金像奖最佳影片奖。"}
]

from tokenizers import ByteLevelBPETokenizer
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("./models", use_fast=False, trust_remote_code=True)

ids = tokenizer.apply_chat_template(messages)

更多使用参考，请参阅 ./models/test.py 文件。

 

快速入门

您可以通过参考快速入门指南中的内容，快速上手。

模型训练

为了简化训练流程，HunyuanLLM 提供了一个预构建的 Docker 镜像：

hunyuaninfer/hunyuan-large。

硬件要求

已在 H20 上进行测试，在未启用 make_moe_param_leaf_module 并使用 zero3+offload 的情况下，当 max_seq_length 设置为 2048 时，全量微调至少需要 32 张 GPU 卡，而 LoRA 微调则至少需要 8 张 GPU 卡。

训练性能

在最低配置下（8 张 GPU 卡用于 LoRA 微调），将 per_device_train_batch_size 设置为 1，同时将 gradient_accumulation_steps 设置为 1，每轮迭代大约需要 35 秒。

启动方法

请参考：HuggingFace Transformers Trainer

单机训练

在 train 目录下，执行以下命令：

pip install -r requirements.txt
bash train.sh

多机训练

要在多台机器上启动训练，请按照以下步骤操作，并确保所有机器位于同一个集群内。

配置机器间的无密码 SSH 登录

以下步骤以两台机器为例，其 IP 地址分别表示为 ${ip1} 和 ${ip2}。这些操作均在 Docker 容器中进行。

首先，在每台机器上的容器之间配置无密码 SSH 连接。

ssh-keygen			# 生成用于无密码登录的 id_rsa 和 id_rsa.pub
ssh-keygen -t rsa -A    # 生成 /etc/ssh/ssh_host_rsa_key 和 ssh_host_ecdsa_key，以便后续启动 'SSH listen'
/usr/sbin/sshd -p 36005 -o ListenAddress=0.0.0.0        # 启动 SSH 监听
echo "Port 36005" > ~/.ssh/config   # 将 SSH 连接端口更改为 36005
passwd root    # 设置 root 密码，以避免监控平台发出警报

注意：这里的 36005 是一个示例。您可以选择任意端口，但务必确保该端口已开放且未被其他进程占用。

接下来，在每台机器的容器内执行：

cat ~/.ssh/id_rsa.pub

复制输出的 SSH 公钥，并将其粘贴到 ~/.ssh/authorized_keys 文件中，每行放置一个公钥。这一步骤必须在每一台机器上完成。 最终，每台机器上的 ~/.ssh/authorized_keys 文件应完全相同，包含所有机器的公钥。

需要注意的是，在多节点训练过程中，每个节点上运行的代码必须保持一致。建议挂载共享网络驱动器。如果无法挂载共享驱动器，则需要手动将数据集、脚本和代码复制到所有机器的同一目录下。

开始多机训练

当准备工作完成后，并确认依赖项已安装（若未安装，请执行 pip install -r requirements.txt 进行安装）时，可以在 train.sh 文件的开头添加以下配置：

export HOST_GPU_NUM=8
# 当前机器 IP
export LOCAL_IP=${ip1}
# 多节点机器 IP 列表，用逗号分隔
export NODE_IP_LIST="${ip1}:8,${ip2}:8"

# 机器节点数量
export NODES=2
export NODE_NUM=$((${NODES} * ${HOST_GPU_NUM}))

注意：请将 ${ip1} 和 ${ip2} 替换为实际的 IP 地址！

然后，在 ${ip1} 所在的机器上，进入 train/ 目录并执行 bash train.sh。请注意，首次运行时，您可能会看到如下提示：

无法确认主机 '[ip]:36005 ([ip]:36005)' 的真实性。
ECDSA 密钥指纹是 xxxxxx。
ECDSA 密钥指纹的 MD5 哈希值是 xxxxxx。
您确定要继续连接吗（是/否）？

此时，请输入 yes 继续。

关键参数

脚本中的关键参数如下：

• --deepspeed：该参数应指向 DeepSpeed 配置文件。train 文件夹提供了三个默认的 DeepSpeed 配置文件：ds_zero2_no_offload.json、ds_zero3_no_offload.json、ds_zero3_offload.json。所需显存依次减少。
• --model_name_or_path：HF 预训练模型的路径。请确保该路径包含 modeling_hunyuan.py 和 configuration_hunyuan.py 文件，否则无法加载。
• --tokenizer_name_or_path：分词器文件夹的路径。请确保该路径包含 tokenization_hy.py 文件，否则无法加载。
• --train_data_file：训练数据文件的路径，应为 JSONL 格式。
• --output_dir：输出目录，用于存储日志、TensorBoard 文件和模型权重。
• --per_device_train_batch_size：每个 GPU 的批量大小。
• --gradient_accumulation_steps：梯度累积步数。全局批量大小为 per_device_train_batch_size * gradient_accumulation_steps * dp_size。
• --max_steps：总训练步数。
• --save_steps：保存检查点的间隔步数。
• --use_lora：是否使用 LoRA 进行训练。此参数还接受 --lora_rank、--lora_alpha 和 --lora_dropout 参数。LoRA 默认应用于 'q_proj'、'k_proj'、'v_proj'、'o_proj' 参数。如需更改，请在代码中修改。注意：使用 LoRA 训练时，仅保存 LoRA 权重，不保存基础模型权重。若需合并 LoRA 权重，请参阅下方的“LoRA 权重合并”部分。
• --make_moe_param_leaf_module：在使用 zero3 和 MoE 训练时，将 MoE 模块视为叶模块，即其参数不会被 zero3 切分。此选项预计将显著增加显存占用。
• --gradient_checkpointing：启用梯度检查点。
• --train_attention_params_only：是否仅训练注意力参数。
• --learning_rate：训练过程中的最大学习率。
• --min_lr：训练过程中的最小学习率。
• --use_flash_attn：开启 flash-attention 以加速训练。

注意：

• 如果您希望从先前保存的检查点继续训练，而不是加载预训练权重，请指定 --resume_from_checkpoint 并提供上一次训练的检查点路径。请勿同时指定 --model_name_or_path，因为那样只会加载权重，而不会恢复训练状态。
• 从检查点继续训练时，由于某些非确定性算法引入的随机性，损失值可能会出现轻微偏差，这属于正常现象。详情请参阅：HuggingFace Transformers Trainer Randomness。
• 当指定了 --model_name_or_path 时，所有与模型相关的参数将被忽略。
• 同一批次内的样本会被填充至与该批次中最长样本一致的长度，每个样本的最大长度为 max_seq_length。超出部分将被截断。
• 如果遇到关于偏置权重未加载的警告，可以忽略，因为 Hunyuan-Large 中并未使用偏置项。

显存不足怎么办？

请参考：DeepSpeed 配置文档

您可以尝试修改 DeepSpeed 配置文件，移除这些参数的 auto 属性，并降低其数值：

• stage3_param_persistence_threshold
• stage3_prefetch_bucket_size
• stage3_max_reuse_distance
• stage3_max_reuse_distance

LoRA 模型的合并

在启用 zero3 的情况下，由于模型权重被分割到不同的数据并行 Rank 上，因此无法在训练过程中直接将 LoRA 权重合并到零3模型中。如果需要将 LoRA 权重合并到基础模型中，可以在离线状态下完成合并操作，生成合并后的权重文件。执行 merge_lora_weight.sh 脚本即可将 LoRA 权重与基础模型权重合并。该脚本的参数包括：

• --base_model_path：基础模型权重的目录。
• --adapter_model_path：LoRA 权重的目录。
• --output_path：保存合并后权重的目录。
• --save_dtype：合并后权重的存储数据类型，可选格式有：fp16、bf16、fp32。

 

推理与部署

HunyuanLLM 使用 TRT-LLM 和 vLLM 进行部署。我们已开源 vLLM-backend 部署方案（详见“使用 vLLM 进行推理”），而 TRT-LLM 部署方案（详见“使用 TRT-LLM 进行推理”）将在不久的将来发布。

使用 TRT-LLM 进行推理

待开放

使用 vLLM 进行推理

Docker：

为简化部署流程，HunyuanLLM 提供了一个预构建的 Docker 镜像：

hunyuaninfer/hunyuan-large。您只需下载模型文件，并使用以下命令启动 Docker 容器，即可开始模型推理。

docker run --name hunyuanLLM_infer -itd --privileged --user root --net=host --ipc=host --gpus=8 hunyuaninfer/hunyuan-large:infer-open-source

注意：Docker 容器权限管理。上述命令以特权模式（--privileged）启动容器，这会赋予容器更高的权限，从而增加数据泄露和集群安全风险。建议尽量避免使用特权模式，以降低安全风险。对于必须使用特权模式的场景，请进行全面的安全评估，并采取适当的安全监控和加固措施。

配置多机之间的无密码 SSH 登录

以下步骤以两台机器为例，其 IP 分别表示为 ${ip1} 和 ${ip2}。这些操作均在 Docker 容器内进行。

首先，在两台机器上分别运行 passwd 设置密码，例如：Tmp123,./。

将 inference/login_ssh.py 复制到容器中，并执行以下命令，确保正确输入 IP 和密码。

python3 login_ssh.py --ips ${ip1},${ip2} --port 36000 --password=Tmp123,./

注意 📢：在开始之前，请务必使用 vLLM 的调试脚本验证多机通信是否正常：https://docs.vllm.ai/en/latest/getting_started/debugging.html

BF16 部署

BF16 部署需要 16 块 H20 GPU。在确认多机通信正常后，执行以下步骤：

在运行命令之前，请设置以下环境变量：

${LOCAL_IP}：当前机器上 bond1 对应的 IP 地址
${MODEL_PATH}：Hunyuan LLM 模型路径

第一步：启动 Ray

Ray 是一个用于并行和分布式 Python 的开源库。在本节中，我们使用 Ray 实现多机通信。

Ray 组件配置加固：Ray 组件的默认配置未启用服务端口（例如 6379、8265）的身份验证机制，存在未授权访问和命令执行的风险。建议仅在受信任的内部网络环境中部署 Ray 组件，或确保对这些端口实施严格的访问控制列表（ACL）策略，以防止未经授权的网络访问。

首先，在每个节点上启动 Ray（可以在后台运行，也可以保持终端打开）：

在主节点上：

export VLLM_HOST_IP=${LOCAL_IP}
export NCCL_SOCKET_IFNAME=bond1
export GLOO_SOCKET_IFNAME=bond1
ray start --block --head --node-ip-address=${LOCAL_IP} --port=6379

在所有工作节点上：

注意：将 {HEAD NODE $LOCAL_IP} 替换为主节点的实际 ${LOCAL_IP}。

export VLLM_HOST_IP=${LOCAL_IP}
export NCCL_SOCKET_IFNAME=bond1
export GLOO_SOCKET_IFNAME=bond1
ray start --block --address={HEAD NODE $LOCAL_IP}:6379 --node-ip-address=${LOCAL_IP}

如果 Ray 启动失败，请先执行 ray stop，然后再重新运行上述命令。

第二步：执行推理

方法一：命令行推理

以下代码片段展示了如何使用 vLLM 快速请求聊天模型：

注意：vLLM 组件远程代码执行防护。在下面的代码中，如果启用了 vLLM 组件的 trust-remote-code 配置选项，将允许从远程模型仓库加载并执行代码，这可能导致恶意代码被执行。除非业务明确要求，建议保持该配置选项关闭，以降低潜在的安全威胁。

import os
from vllm import LLM, SamplingParams

model_path=os.environ.get('MODEL_PATH')

llm = LLM(model=model_path,
        tokenizer=model_path,
        trust_remote_code=True,
        max_model_len=10240,
        dtype='bfloat16',
        tensor_parallel_size=16,
        pipeline_parallel_size=1,
        disable_log_stats=False,
        gpu_memory_utilization=0.98,
        disable_custom_all_reduce=True,
        #distributed_executor_backend='ray',
        enforce_eager=True,
        max_num_seqs=8,
        use_v2_block_manager=True,
        quantization=None)

prompts = ["海水为什么是咸的"]

sampling_params = SamplingParams(
    temperature=0.7, top_p=0.6, max_tokens=200, top_k=20, repetition_penalty=1.05)

outputs = llm.generate(prompts, sampling_params)

# 打印输出结果。
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

方法二：基于服务的推理

下面我们演示如何使用 vLLM 以服务方式部署模型并进行请求。

在主节点上运行以下命令：

export VLLM_HOST_IP=${LOCAL_IP}
export NCCL_SOCKET_IFNAME=bond1
export GLOO_SOCKET_IFNAME=bond1

然后通过运行以下命令启动服务：

cd inference
sh run_server.sh

提示：故障排除，如果遇到以下错误：

ray.exceptions.RaySystemError: System error: No module named 'transformers_modules' traceback: Traceback (most recent call last):
ModuleNotFoundError: No module named 'transformers_modules'

请将主节点上的 ~/.cache/huggingface/modules/ 目录复制到所有工作节点的相应路径。

成功运行 run_server.sh 后，执行请求脚本：

sh openapi.sh

务必修改 openapi.sh 中的 ${LOCAL_IP} 和 ${MODEL_PATH}，使其与对应服务的值一致。

量化模型部署：

本节介绍使用 vLLM 部署量化模型的过程。

图片：部署镜像与 BF16 相同。

Int8 量化模型部署：

要部署 Hunyuan-L 模型的 Int8 权重专用版本，只需在 run_server_int8.sh 中设置以下环境变量：

${MODEL_PATH}：BF16 模型路径
${LOCAL_IP}：当前机器上 bond1 对应的 IP 地址

然后通过运行以下命令启动 Int8 服务：

sh run_server_int8.sh

成功运行 run_server_int8.sh 后，执行请求脚本：

sh openapi.sh

FP8 量化模型部署：

要部署 Hunyuan-L 模型的 W8A8C8 版本，只需在 run_server_fp8.sh 中设置以下环境变量：

${MODEL_PATH}：FP8 模型路径
${LOCAL_IP}：当前机器上 bond1 对应的 IP 地址

然后通过运行以下命令启动 FP8 服务：

sh run_server_fp8.sh

成功运行 run_server_fp8.sh 后，执行请求脚本：

sh openapi.sh

FP8 基准测试

本部分介绍 Hunyuan Large Instruct FP8 量化模型的基准测试结果。

数据集	BF16	W8A8C8-FP8
ARC-C	94.6	94.2
C-Eval	88.6	89.2
CMMLU	90.4	89.8
MMLU	89.9	88.9

推理性能

本节展示了使用 vLLM 部署各种模型（原始模型及量化模型）的效率测试结果，包括不同批处理大小下的推理速度（tokens/s）。

推理框架	模型	GPU 数量（H20）	input_length	batch=1	batch=4
vLLM	Hunyuan-Large	16	2048	20.2	75.5
vLLM	Hunyuan-Large（仅权重为 Int8）	8	2048	19.3	73.6
vLLM	Hunyuan-Large（W8A8C8-FP8）	8	2048	19.8	74.9

分词器

HunYuan-Large 模型所使用的分词器在压缩率和效果之间取得了平衡，确保嵌入向量能够得到充分训练。该分词器的词汇表包含 10 万个来自 tiktoken 的词元，并在此基础上利用大量高质量的中文训练数据额外训练了 2.9 万个中文词元，以增强模型的中文能力及分词器的压缩率。综合来看，我们的新分词器相比 LLaMA3 的分词器，压缩率从每词元 2.78 个字符提升至 3.13 个字符。

Hunyuan API

您可以在腾讯云上体验我们的 Hunyuan-Large 模型。详情请访问：https://cloud.tencent.com/document/product/1729/97730。

交互式 Demo 网页

Hunyuan-Large 的网页版 Demo 已正式开放。请访问 https://huggingface.co/spaces/tencent/Hunyuan-Large，轻松体验我们的模型。

在 TI 平台上进行训练与推理

腾讯云的 TI 平台 是专为 AI 工程师打造的综合性机器学习平台。Hunyuan-Large 模型已集成其中，您只需简单几步即可完成训练与部署。访问 与 Hunyuan-Large 对话，实时体验与模型的对话；同时，您还可以参阅 Hunyuan-Large 在 TI 上的最佳实践，创建属于您自己的定制化 Hunyuan-Large 模型。

引用

如果您觉得我们的工作对您有所帮助，请随时引用我们。

@misc{sun2024hunyuanlargeopensourcemoemodel,
      title={Hunyuan-Large: 腾讯开源的拥有 520 亿激活参数的 MoE 模型}, 
      author={孙兴武、陈彦峰、黄一青、谢若冰、朱嘉琪、张凯、李帅鹏、杨震、韩约翰、舒晓波、卜家豪、陈中志、黄雪萌、连奉宗、杨赛勇、严建峰、曾宇远、任小琴、余超、吴露露、毛悦、杨涛、郑孙聪、吴侃、焦典、薛金宝、张希鹏、吴德成、刘凯、吴登鹏、徐广辉、陈绍华、陈爽、冯晓、洪义庚、郑俊强、许成成、李宗伟、匡雄、胡江陆、陈怡琪、邓雨驰、李贵阳、刘傲、张晨晨、胡世辉、赵子龙、吴子凡、丁耀、王伟超、刘汉、罗伯茨·王、费浩、佘佩杰、赵泽、曹勋、王海、项福生、黄梦源、熊志远、胡斌、侯学斌、姜磊、吴佳佳、邓亚平、沈毅、王倩、刘伟杰、刘杰、陈猛、董亮、贾卫文、陈虎、刘飞飞、袁睿、徐慧琳、闫振祥、曹腾飞、胡志超、冯新华、杜东、佘廷昊、陶阳宇、张峰、朱建臣、许成忠、李西瑞、查重、欧阳文、夏寅本、李翔、何泽坤、陈荣鹏、宋嘉伟、陈瑞彬、蒋凡、赵重庆、王博、龚浩、甘荣、胡温斯顿、康展辉、杨勇、刘玉红、王迪、江杰},
      year={2024},
      eprint={2411.02265},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.02265}, 
}

联系我们

如果您想向我们的研发和产品团队留言，欢迎联系我们的开源团队。您也可以通过电子邮件（hunyuan_opensource@tencent.com）与我们取得联系。

Tencent-Hunyuan-Large 快速上手指南

腾讯混元大模型（Hunyuan-Large）是目前业界最大的开源 Transformer 架构 MoE（混合专家）模型，拥有 3890 亿总参数和 520 亿激活参数。本指南将帮助您快速在本地部署和使用该模型。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU: 推荐使用 NVIDIA A100/H100 或多卡环境。
  • 运行 FP16/BF16 版本需较大显存。
  • 运行 FP8 量化版本可显著降低显存需求（相比 FP16 节省约 50% 显存），推荐优先使用。
• CUDA: 11.8 或更高版本
• Python: 3.10+

前置依赖

确保已安装 git、python3-pip 和 wget (用于下载模型)。

sudo apt-get update
sudo apt-get install -y git python3-pip wget

2. 安装步骤

2.1 克隆推理框架

Hunyuan-Large 官方优化了 vLLM 后端以支持其特有的 MoE 结构和长上下文特性。请克隆专用的 vLLM 分支：

git clone -b dev_hunyuan https://github.com/quinnrong94/vllm.git
cd vllm
pip install -e .

注意：请勿直接使用 PyPI 上的标准 vLLM 版本，必须使用上述针对混元优化的分支以获得最佳性能（如 CLA 结构支持和 FP8 加速）。

2.2 下载模型

推荐通过国内镜像源或腾讯云高速下载。以下以 Hunyuan-A52B-Instruct-FP8（指令微调版，量化版，推荐首选）为例：

方案 A：使用腾讯云 CDN 下载（国内速度最快）

mkdir -p ~/models/Hunyuan-A52B-Instruct-FP8
cd ~/models/Hunyuan-A52B-Instruct-FP8
wget https://cdn-large-model.hunyuan.tencent.com/Hunyuan-A52B-Instruct-128k-fp8-20241116.zip
unzip Hunyuan-A52B-Instruct-128k-fp8-20241116.zip
# 解压后请确认模型文件位于当前目录

方案 B：使用 Hugging Face (需网络代理)

# 确保已安装 huggingface-cli
pip install huggingface_hub
huggingface-cli download tencent/Tencent-Hunyuan-Large --local-dir ~/models/Hunyuan-A52B-Instruct-FP8 --include "Hunyuan-A52B-Instruct-FP8/*"

3. 基本使用

3.1 启动 API 服务

使用优化后的 vLLM 启动服务。以下命令假设您使用的是 FP8 版本，并开启了多卡并行（如需单卡请调整 --tensor-parallel-size）。

# 替换 <MODEL_PATH> 为您实际的模型路径，例如 /root/models/Hunyuan-A52B-Instruct-FP8
export MODEL_PATH=/root/models/Hunyuan-A52B-Instruct-FP8

python -m vllm.entrypoints.api_server \
    --model $MODEL_PATH \
    --trust-remote-code \
    --tensor-parallel-size 4 \
    --max-model-len 128000 \
    --port 8000

• --tensor-parallel-size: 根据可用 GPU 数量调整（FP8 版本建议至少 4 卡，具体视显存而定）。
• --max-model-len: 混元指令版支持 128K 上下文，预训练版支持 256K。

3.2 发送请求测试

服务启动后，使用 curl 或 Python 脚本进行测试。

使用 curl 测试：

curl http://localhost:8000/generate \
    -d '{
        "prompt": "你好，请介绍一下腾讯混元大模型。",
        "max_tokens": 512,
        "temperature": 0.7
    }'

使用 Python 客户端测试：

from openai import OpenAI

# 指向本地启动的 vLLM 服务
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="EMPTY" 
)

response = client.chat.completions.create(
    model="tencent-hunyuan-large",
    messages=[
        {"role": "user", "content": "你好，请介绍一下腾讯混元大模型。"}
    ],
    max_tokens=512,
    temperature=0.7
)

print(response.choices[0].message.content)

3.3 直接推理脚本 (可选)

如果不想启动服务器，可直接使用 vLLM 的离线推理功能：

python -m vllm.entrypoints.llm_api \
    --model $MODEL_PATH \
    --trust-remote-code \
    --prompt "你好，请介绍一下腾讯混元大模型。" \
    --max_tokens 512