Kimi-Audio-7B 🤗  | Kimi-Audio-7B-Instruct 🤗  | 📑 论文   

我们推出 Kimi-Audio，这是一个在音频理解、生成和对话方面表现出色的开源音频基础模型。本仓库包含 Kimi-Audio 的官方实现、模型和评估工具包。

🔥🔥🔥 最新动态!!

• 2025年5月29日: 👋 我们发布了 Kimi-Audio-7B 的微调示例。
• 2025年4月27日: 👋 我们发布了 Kimi-Audio-7B 的预训练模型权重。
• 2025年4月25日: 👋 我们发布了 Kimi-Audio-7B-Instruct 的推理代码和模型权重。
• 2025年4月25日: 👋 我们发布了音频评估工具包 Kimi-Audio-Evalkit。通过此工具包，我们可以轻松复现我们的结果和基线模型！
• 2025年4月25日: 👋 我们发布了 Kimi-Audio 的技术报告。

目录

• 简介
• 架构概述
• 快速开始
• 评估
  • 自动语音识别
  • 音频理解
  • 音频到文本对话
  • 语音对话
• 微调
• 评估工具包
• 生成测试集
• 许可证
• 致谢
• 引用
• 联系我们

简介

Kimi-Audio 被设计为一个通用的音频基础模型，能够在单一统一框架内处理各种音频处理任务。主要特点包括：

• 通用能力： 处理多样任务，如自动语音识别（ASR）、音频问答（AQA）、自动音频描述（AAC）、语音情感识别（SER）、声音事件/场景分类（SEC/ASC）以及端到端的语音对话。
• 最先进的性能： 在众多音频基准测试中达到 SOTA 结果（参见评估和技术报告）。
• 大规模预训练： 在超过1300万小时的不同音频数据（语音、音乐、声音）和文本数据上进行预训练，实现了强大的音频推理和语言理解能力。
• 新颖架构： 采用混合音频输入（连续声学向量 + 离散语义标记）以及一个带有并行头用于生成文本和音频标记的 LLM 核心。
• 高效推理： 基于流匹配（flow matching）的分块流式解码器，实现低延迟音频生成。
• 开源： 发布预训练和指令微调的代码和模型检查点，并发布一个全面的评估工具包，以促进社区研究和开发。

架构概述

Kimi-Audio 包含三个主要组件：

1. 音频分词器： 将输入音频转换为：
   • 使用向量量化（vector quantization）的离散语义标记（12.5Hz）。
   • 从 Whisper 编码器导出的连续声学特征（下采样至12.5Hz）。
2. 音频大语言模型： 一个基于 Transformer 的模型（从预训练的文本 LLM 如 Qwen 2.5 7B 初始化），其共享层处理多模态输入，随后是用于自回归生成文本标记和离散音频语义标记的并行头。
3. 音频解码器： 使用流匹配模型和声码器（BigVGAN）将预测的离散语义音频标记转换回高保真波形，支持具有前瞻机制的分块流式处理，以实现低延迟。

快速开始

步骤1：获取代码

git clone https://github.com/MoonshotAI/Kimi-Audio.git
cd Kimi-Audio
git submodule update --init --recursive
pip install -r requirements.txt

Kimi‑Audio 现在可以通过 pip 直接安装。

pip install torch
pip install git+https://github.com/MoonshotAI/Kimi-Audio.git

快速开始示例

此示例演示了从音频生成文本（ASR）以及在对话轮次中同时生成文本和语音的基本用法。

import soundfile as sf
from kimia_infer.api.kimia import KimiAudio

# --- 1. 加载模型 ---
model_path = "moonshotai/Kimi-Audio-7B-Instruct" 
model = KimiAudio(model_path=model_path, load_detokenizer=True)

# --- 2. 定义采样参数 ---
sampling_params = {
    "audio_temperature": 0.8,
    "audio_top_k": 10,
    "text_temperature": 0.0,
    "text_top_k": 5,
    "audio_repetition_penalty": 1.0,
    "audio_repetition_window_size": 64,
    "text_repetition_penalty": 1.0,
    "text_repetition_window_size": 16,
}

# --- 3. 示例 1: 音频到文本 (ASR) ---
messages_asr = [
    # 您可以提供文本形式的上下文或指令
    {"role": "user", "message_type": "text", "content": "请转录以下音频："},
    # 提供音频文件路径
    {"role": "user", "message_type": "audio", "content": "test_audios/asr_example.wav"}
]

# 仅生成文本输出
_, text_output = model.generate(messages_asr, **sampling_params, output_type="text")
print(">>> ASR 输出文本: ", text_output) # 预期输出: "这并不是告别，这是一个篇章的结束，也是新篇章的开始。"

# --- 4. 示例 2: 音频到音频/文本对话 ---
messages_conversation = [
    # 以音频查询开始对话
    {"role": "user", "message_type": "audio", "content": "test_audios/qa_example.wav"}
]

# 同时生成音频和文本输出
wav_output, text_output = model.generate(messages_conversation, **sampling_params, output_type="both")

# 保存生成的音频
output_audio_path = "output_audio.wav"
sf.write(output_audio_path, wav_output.detach().cpu().view(-1).numpy(), 24000) # 假设输出为24kHz
print(f">>> 对话输出音频已保存至: {output_audio_path}")
print(">>> 对话输出文本: ", text_output) # 预期输出: "当然可以，这很简单。一二三四五六七八九十。"

--- 示例 3：多轮音频到音频/文本对话 ---

messages = [
    {"role": "user", "message_type": "audio", "content": "test_audios/multiturn/case2/multiturn_q1.wav"},
    # 这是 Kimi-Audio 的第一轮输出
    {"role": "assistant", "message_type": "audio-text", "content": ["test_audios/multiturn/case2/multiturn_a1.wav", "当然可以，这很简单。一二三四五六七八九十。"]},
    {"role": "user", "message_type": "audio", "content": "test_audios/multiturn/case2/multiturn_q2.wav"}
]
wav, text = model.generate(messages, **sampling_params, output_type="both")


# 生成音频和文本输出
wav_output, text_output = model.generate(messages_conversation, **sampling_params, output_type="both")

# 保存生成的音频
output_audio_path = "output_audio.wav"
sf.write(output_audio_path, wav_output.detach().cpu().view(-1).numpy(), 24000) # 假设输出为 24kHz
print(f">>> 对话输出音频已保存至: {output_audio_path}")
print(">>> 对话输出文本: ", text_output) # 预期输出: "没问题，继续数下去就是十一十二十三十四十五十六十七十八十九二十。"

print("Kimi-Audio 推理示例完成。")

评估

Kimi-Audio 在广泛的音频基准测试中实现了最先进的（SOTA）性能。

以下是整体性能概览：

以下是在不同基准测试上的性能表现，你可以通过我们的 Kimi-Audio-Evalkit（另见 评估工具包）轻松复现 我们的结果和基线：

自动语音识别（ASR）

数据集	模型	性能 (WER↓)
LibriSpeech test-clean | test-other	Qwen2-Audio-base	1.74 | 4.04
	Baichuan-base	3.02 | 6.04
	Step-Audio-chat	3.19 | 10.67
	Qwen2.5-Omni	2.37 | 4.21
	Kimi-Audio	1.28 | 2.42
Fleurs zh | en	Qwen2-Audio-base	3.63 | 5.20
	Baichuan-base	4.15 | 8.07
	Step-Audio-chat	4.26 | 8.56
	Qwen2.5-Omni	2.92 | 4.17
	Kimi-Audio	2.69 | 4.44
AISHELL-1	Qwen2-Audio-base	1.52
	Baichuan-base	1.93
	Step-Audio-chat	2.14
	Qwen2.5-Omni	1.13
	Kimi-Audio	0.60
AISHELL-2 ios	Qwen2-Audio-base	3.08
	Baichuan-base	3.87
	Step-Audio-chat	3.89
	Qwen2.5-Omni	2.56
	Kimi-Audio	2.56
WenetSpeech test-meeting | test-net	Qwen2-Audio-base	8.40 | 7.64
	Baichuan-base	13.28 | 10.13
	Step-Audio-chat	10.83 | 9.47
	Qwen2.5-Omni	7.71 | 6.04
	Kimi-Audio	6.28 | 5.37
Kimi-ASR 内部测试集 subset1 | subset2	Qwen2-Audio-base	2.31 | 3.24
	Baichuan-base	3.41 | 5.60
	Step-Audio-chat	2.82 | 4.74
	Qwen2.5-Omni	1.53 | 2.68
	Kimi-Audio	1.42 | 2.44

音频理解

数据集	模型	性能↑
MMAU 音乐 | 声音 | 语音	Qwen2-Audio-base	58.98 | 69.07 | 52.55
	Baichuan-chat	49.10 | 59.46 | 42.47
	GLM-4-Voice	38.92 | 43.54 | 32.43
	Step-Audio-chat	49.40 | 53.75 | 47.75
	Qwen2.5-Omni	62.16 | 67.57 | 53.92
	Kimi-Audio	61.68 | 73.27 | 60.66
ClothoAQA 测试集 | 开发集	Qwen2-Audio-base	71.73 | 72.63
	Baichuan-chat	48.02 | 48.16
	Step-Audio-chat	45.84 | 44.98
	Qwen2.5-Omni	72.86 | 73.12
	Kimi-Audio	71.24 | 73.18
VocalSound	Qwen2-Audio-base	93.82
	Baichuan-base	58.17
	Step-Audio-chat	28.58
	Qwen2.5-Omni	93.73
	Kimi-Audio	94.85
Nonspeech7k	Qwen2-Audio-base	87.17
	Baichuan-chat	59.03
	Step-Audio-chat	21.38
	Qwen2.5-Omni	69.89
	Kimi-Audio	93.93
MELD	Qwen2-Audio-base	51.23
	Baichuan-chat	23.59
	Step-Audio-chat	33.54
	Qwen2.5-Omni	49.83
	Kimi-Audio	59.13
TUT2017	Qwen2-Audio-base	33.83
	Baichuan-base	27.9
	Step-Audio-chat	7.41
	Qwen2.5-Omni	43.27
	Kimi-Audio	65.25
CochlScene 测试集 | 开发集	Qwen2-Audio-base	52.69 | 50.96
	Baichuan-base	34.93 | 34.56
	Step-Audio-chat	10.06 | 10.42
	Qwen2.5-Omni	63.82 | 63.82
	Kimi-Audio	79.84 | 80.99

音频转文本对话

数据集	模型	性能↑
OpenAudioBench AlpacaEval | Llama Questions | 推理问答 | TriviaQA | 网页问答	Qwen2-Audio-chat	57.19 | 69.67 | 42.77 | 40.30 | 45.20
	Baichuan-chat	59.65 | 74.33 | 46.73 | 55.40 | 58.70
	GLM-4-Voice	57.89 | 76.00 | 47.43 | 51.80 | 55.40
	StepAudio-chat	56.53 | 72.33 | 60.00 | 56.80 | 73.00
	Qwen2.5-Omni	72.76 | 75.33 | 63.76 | 57.06 | 62.80
	Kimi-Audio	75.73 | 79.33 | 58.02 | 62.10 | 70.20
VoiceBench AlpacaEval | CommonEval | SD-QA | MMSU	Qwen2-Audio-chat	3.69 | 3.40 | 35.35 | 35.43
	Baichuan-chat	4.00 | 3.39 | 49.64 | 48.80
	GLM-4-Voice	4.06 | 3.48 | 43.31 | 40.11
	StepAudio-chat	3.99 | 2.99 | 46.84 | 28.72
	Qwen2.5-Omni	4.33 | 3.84 | 57.41 | 56.38
	Kimi-Audio	4.46 | 3.97 | 63.12 | 62.17
VoiceBench OpenBookQA | IFEval | AdvBench | 平均	Qwen2-Audio-chat	49.01 | 22.57 | 98.85 | 54.72
	Baichuan-chat	63.30 | 41.32 | 86.73 | 62.51
	GLM-4-Voice	52.97 | 24.91 | 88.08 | 57.17
	StepAudio-chat	31.87 | 29.19 | 65.77 | 48.86
	Qwen2.5-Omni	79.12 | 53.88 | 99.62 | 72.83
	Kimi-Audio	83.52 | 61.10 | 100.00 | 76.93

语音对话

Kimi-Audio 与基线模型在语音对话上的性能表现。

模型	能力
	语速控制	口音控制	情感控制	共情能力	风格控制	平均分
GPT-4o	4.21	3.65	4.05	3.87	4.54	4.06
Step-Audio-chat	3.25	2.87	3.33	3.05	4.14	3.33
GLM-4-Voice	3.83	3.51	3.77	3.07	4.04	3.65
GPT-4o-mini	3.15	2.71	4.24	3.16	4.01	3.45
Kimi-Audio	4.30	3.45	4.27	3.39	4.09	3.90

微调

我们发布了预训练模型和轻量级的微调代码。更多详情请参阅 finetune_codes/README.md。

评估工具包

由于指标不一致、推理配置各异以及缺乏标准化的生成评估，评估和比较音频基础模型具有挑战性。为此，我们开发并开源了一个评估工具包。

主要特点：

• 集成了 Kimi-Audio 和其他最新的音频大语言模型。
• 实现了标准化指标计算，并集成了大语言模型进行智能评判（例如，用于 AQA）。
• 提供了一个统一的平台，用于并排比较，并带有可共享的推理“配方”以确保可复现性。
• 包含一个用于评估语音对话能力（控制、共情、风格）的基准测试。

我们鼓励社区使用并为该工具包做出贡献，以促进更可靠和可比较的基准测试。请在此处查找：Kimi-Audio-Evalkit。

生成测试集

我们收集并发布了 Kimi-Audio-Generation-Testset，该数据集旨在对基于音频的对话模型的对话能力进行基准测试和评估。它包含一系列包含各种指令和对话提示的音频文件。主要目标是评估模型生成不仅相关，而且风格恰当的音频响应的能力。数据集中的语言为中文。

许可证

该模型基于并修改自 Qwen 2.5-7B。源自 Qwen2.5-7B 的代码遵循 Apache 2.0 许可证。代码的其他部分遵循 MIT 许可证。

致谢

我们要感谢以下项目和个人对 Kimi-Audio 开发的贡献：

• Whisper
• Transformers
• BigVGAN
• GLM-4-Voice
• Qwen

感谢所有开源项目对本项目的贡献！

引用

如果您在研究中或应用中觉得 Kimi-Audio 有用，请引用我们的技术报告：

@misc{kimiteam2025kimiaudiotechnicalreport,
      title={Kimi-Audio Technical Report}, 
      author={KimiTeam and Ding Ding and Zeqian Ju and Yichong Leng and Songxiang Liu and Tong Liu and Zeyu Shang and Kai Shen and Wei Song and Xu Tan and Heyi Tang and Zhengtao Wang and Chu Wei and Yifei Xin and Xinran Xu and Jianwei Yu and Yutao Zhang and Xinyu Zhou and Y. Charles and Jun Chen and Yanru Chen and Yulun Du and Weiran He and Zhenxing Hu and Guokun Lai and Qingcheng Li and Yangyang Liu and Weidong Sun and Jianzhou Wang and Yuzhi Wang and Yuefeng Wu and Yuxin Wu and Dongchao Yang and Hao Yang and Ying Yang and Zhilin Yang and Aoxiong Yin and Ruibin Yuan and Yutong Zhang and Zaida Zhou},
      year={2025},
      eprint={2504.18425},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      url={https://arxiv.org/abs/2504.18425}, 
}

联系我们

如有问题、疑问或合作咨询，请在 GitHub 上提交 issue。

Kimi-Audio 快速上手指南

环境准备

系统要求

• 操作系统: Ubuntu 20.04 或更高版本（推荐），也支持 macOS 和 Windows（WSL2）
• Python: 3.9 或更高版本
• GPU: 至少 16GB 显存（用于 7B 模型推理）
• 内存: 至少 16GB RAM

前置依赖

• CUDA: 11.8 或更高版本（GPU 推理必需）
• PyTorch: 2.0 或更高版本
• Git: 用于克隆代码仓库

安装步骤

方式一：从源码安装（推荐）

1. 克隆仓库并初始化子模块

git clone https://github.com/MoonshotAI/Kimi-Audio.git
cd Kimi-Audio
git submodule update --init --recursive

2. 安装 Python 依赖

pip install -r requirements.txt

方式二：通过 pip 直接安装

pip install torch  # 先安装 PyTorch
pip install git+https://github.com/MoonshotAI/Kimi-Audio.git

国内加速方案（可选）

如果下载速度慢，可以使用国内镜像源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

快速开始示例

以下是一个最简单的语音识别（ASR）示例：

import soundfile as sf
from kimia_infer.api.kimia import KimiAudio

# 1. 加载模型
model_path = "moonshotai/Kimi-Audio-7B-Instruct" 
model = KimiAudio(model_path=model_path, load_detokenizer=True)

# 2. 设置采样参数
sampling_params = {
    "audio_temperature": 0.8,
    "audio_top_k": 10,
    "text_temperature": 0.0,
    "text_top_k": 5,
    "audio_repetition_penalty": 1.0,
    "audio_repetition_window_size": 64,
    "text_repetition_penalty": 1.0,
    "text_repetition_window_size": 16,
}

# 3. 语音识别示例
messages_asr = [
    {"role": "user", "message_type": "text", "content": "请转录以下音频："},
    {"role": "user", "message_type": "audio", "content": "test_audios/asr_example.wav"}
]

# 生成文本输出
_, text_output = model.generate(messages_asr, **sampling_params, output_type="text")
print("语音识别结果：", text_output)

音频对话示例

# 4. 音频对话示例
messages_conversation = [
    {"role": "user", "message_type": "audio", "content": "test_audios/qa_example.wav"}
]

# 生成音频和文本输出
wav_output, text_output = model.generate(messages_conversation, **sampling_params, output_type="both")

# 保存生成的音频
output_audio_path = "output_audio.wav"
sf.write(output_audio_path, wav_output.detach().cpu().view(-1).numpy(), 24000)
print(f"生成的音频已保存至：{output_audio_path}")
print("对话文本：", text_output)

模型下载说明

首次运行时会自动从 Hugging Face 下载模型权重。如需手动下载或使用国内镜像：

1. 手动下载模型：

   • 基础模型：https://huggingface.co/moonshotai/Kimi-Audio-7B
   • 指令微调模型：https://huggingface.co/moonshotai/Kimi-Audio-7B-Instruct

2. 指定本地模型路径：

model = KimiAudio(model_path="/path/to/local/model", load_detokenizer=True)

下一步

• 查看完整文档了解高级功能
• 访问 Kimi-Audio-Evalkit 复现评测结果
• 参考 finetune_codes 进行模型微调