Step-Audio-EditX

🔥🔥🔥 新闻！！！

• 2026年1月29日:
  • 🧩 新模型发布:
    • 性能更优，整体提升超过4%。
    • 增加了更多超语言学标签，包括**呼气、嗅鼻声、吸气、轻笑、清嗓、咯咯笑**。
    • 欢迎前往StepFun音频工作室试用。
  • 💻 我们发布了SFT、DPO和GRPO的训练代码。
  • 🌟 现已支持使用vLLM进行训练和推理。感谢vLLM团队！
• 2025年11月28日: 🚀 新模型发布：现已支持日语和韩语。
• 2025年11月23日: 📊 Step-Audio-Edit-Benchmark 发布！
• 2025年11月19日: ⚙️ 我们发布了模型的新版本，该版本支持多音字发音控制，并提升了情感、说话风格和超语言学编辑的表现。
• 2025年11月12日: 📦 我们发布了Step-Audio-EditX（HuggingFace；ModelScope）和Step-Audio-Tokenizer（HuggingFace；ModelScope）的优化推理代码和模型权重。
• 2025年11月7日: ✨ 演示页面；🎮 HF Space Playground
• 2025年11月6日: 👋 我们发布了[Step-Audio-EditX]的技术报告（arXiv）。

简介

我们开源了Step-Audio-EditX，这是一个基于3B参数大语言模型的强化学习音频模型，专长于富有表现力的迭代式音频编辑。它在情感、说话风格和超语言学特征的编辑方面表现出色，同时还具备强大的零样本文本转语音（TTS）能力。

微信开发者群

📑 开源计划

• 推理代码
• 在线演示（Gradio）
• Step-Audio-Edit-Benchmark
• 模型检查点
  • Step-Audio-Tokenizer
  • Step-Audio-EditX
  • Step-Audio-EditX-Int4
• 训练代码
  • SFT训练
  • DPO训练
  • GRPO训练
  • PPO训练
• ⏳ 功能支持计划
  • 编辑功能
    • 多音字发音控制
    • 更多超语言学标签（如咳嗽、哭泣、紧张等）
    • 填充词去除
  • 其他语言
    • 日语、韩语
    • 阿拉伯语、法语、俄语、西班牙语等

特性

• 零样本TTS

  • 对普通话、英语、四川话和粤语具有出色的零样本TTS克隆效果。
  • 如果需要使用方言或其他语言，只需在文本前加上**[四川话]** / [粤语] / [日语] / **[韩语]**标签即可。
  • 🔥 支持多音字发音控制，只需将多音字替换为拼音即可。
    • [我也想过过过儿过过的生活] -> [我也想guo4guo4guo1儿guo4guo4的生活]

• 情感与说话风格编辑

  • 对情感和风格的迭代控制效果显著，支持数十种选项进行编辑。
    • 情感编辑：[愤怒、快乐、悲伤、兴奋、恐惧、惊讶、厌恶等]
    • 说话风格编辑：[娇嗔、年长、孩童、低语、严肃、慷慨、夸张等]
    • 更多情感和说话风格的编辑功能正在开发中。敬请期待！ 🚀

• 超语言学编辑

  • 可精确控制10种超语言学特征，使合成音频更加自然、人性化且富有表现力。
  • 支持的标签包括：
    • [呼吸、笑声、惊讶—哦、确认—嗯、嗯、惊讶—啊、惊讶—哇、叹息、疑问—诶、不满—哼]

• 可用标签

情绪

happy

表达快乐

angry

表达愤怒

sad

表达悲伤

fear

表达恐惧

surprised

表达惊讶

confusion

表达困惑

empathy

表达共情与理解

embarrass

表达尴尬

excited

表达兴奋和热情

depressed

表达沮丧或灰心的情绪

admiration

表达钦佩或尊敬

coldness

表达冷淡和漠不关心

disgusted

表达厌恶或反感

humour

表达幽默或俏皮

说话风格

serious

以严肃或庄重的方式说话

arrogant

以傲慢的方式说话

child

以孩子般的方式说话

older

以老年人的声音说话

girl

以轻快、青春的女性化方式说话

pure

以纯洁、天真的方式说话

sister

以成熟、自信的女性化方式说话

sweet

以甜美、可爱的方式说话

exaggerated

以夸张、戏剧化的方式说话

ethereal

以柔和、空灵、梦幻的方式说话

whisper

以低语、非常轻柔的方式说话

generous

以豪爽、外向、直率的方式说话

recite

以清晰、节奏感强、朗诵诗歌的方式说话

act_coy

以甜美、俏皮、惹人喜爱的方式说话

warm

以温暖、友好的方式说话

shy

以害羞、胆怯的方式说话

comfort

以安慰、令人安心的方式说话

authority

以权威、命令式的方式说话

chat

以随意、聊天般的方式说话

radio

以广播节目般的方式说话

soulful

以真挚、深情的方式说话

gentle

story

以叙述性、有声书风格的方式说话

vivid

program

news

advertising

roar

murmur

shout

deeply

loudly

副语言

[sigh]

[inhale]

[laugh]

[chuckle]

[exhale]

[clears throat]

[snort]

[giggle]

[cough]

[breath]

[uhm]

[Confirmation-en]

[Surprise-oh]

表达惊讶：“哦”

[Surprise-ah]

表达惊讶：“啊”

[Surprise-wa]

表达惊讶：“哇”

[Surprise-yo]

表达惊讶：“哟”

[Dissatisfaction-hnn]

不满的声音：“哼”

[Question-ei]

疑问：“诶”

[Question-ah]

疑问：“啊”

[Question-en]

疑问：“嗯”

[Question-yi]

疑问：“咦”

[Question-oh]

疑问：“哦”

功能请求与愿望清单

💡 我们欢迎所有关于新功能的想法！如果您希望在项目中添加某项功能，请在我们的讨论区发起讨论。

我们将在此处收集社区反馈，并将受欢迎的建议纳入未来的开发计划。感谢您的贡献！

演示

任务	文本	原始音频	编辑后音频
情感-恐惧	我总觉得，有人在跟着我，我能听到奇怪的脚步声。	fear_zh_female_prompt.webm	fear_zh_female_output.webm
风格-耳语	比如在工作间隙，做一些简单的伸展运动，放松一下身体，这样，会让你更有精力。	whisper_prompt.webm	whisper_output.webm
风格-娇羞	我今天想喝奶茶，可是不知道喝什么口味，你帮我选一下嘛，你选的都好喝～	act_coy_prompt.webm	act_coy_output.webm
言语副语言特征	你这次又忘记带钥匙了 [Dissatisfaction-hnn]，真是拿你没办法。	paralingustic_prompt.webm	paralingustic_output.webm
去噪	此类立法随后不时得到澄清和延长。不，那人并没有喝醉，他只是纳闷我们怎么会和这个陌生人扯上关系。突然间，我的反应变得迟钝了。不用糖烹饪更健康。	denoising_prompt.webm	denoising_output.webm
语速-加快	上次你说鞋子有点磨脚，我给你买了一双软软的鞋垫。	speed_faster_prompt.webm	speed_faster_output.webm

更多示例，请参阅演示页面。

模型下载

模型	🤗 Hugging Face	ModelScope
Step-Audio-EditX	stepfun-ai/Step-Audio-EditX	stepfun-ai/Step-Audio-EditX
Step-Audio-EditX	stepfun-ai/Step-Audio-EditX-AWQ-4bit	stepfun-ai/Step-Audio-EditX-AWQ-4bit
Step-Audio-Tokenizer	stepfun-ai/Step-Audio-Tokenizer	stepfun-ai/Step-Audio-Tokenizer

模型使用

📜 要求

下表列出了运行 Step-Audio-EditX 模型所需的要求（批量大小 = 1）：

模型	参数量	设置 (采样频率)	GPU 最佳显存
Step-Audio-EditX	3B	41.6Hz	12 GB

• 需要支持 CUDA 的 NVIDIA 显卡。
  • 该模型已在单个 L40S 显卡上测试过。
  • 12GB 只是一个临界值，而 16GB 显存会更加安全。
• 测试的操作系统：Linux

🔧 依赖与安装

• Python >= 3.12
• PyTorch >= 2.9.1
• CUDA 工具包

git clone https://github.com/stepfun-ai/Step-Audio-EditX.git

cd Step-Audio-EditX
uv sync --refresh
source .venv/bin/activate

git lfs install
git clone https://huggingface.co/stepfun-ai/Step-Audio-Tokenizer
git clone https://huggingface.co/stepfun-ai/Step-Audio-EditX
git clone https://huggingface.co/stepfun-ai/Step-Audio-EditX-AWQ-4bit/

下载完模型后，您存放文件的目录应具有如下结构：

where_you_download_dir
├── Step-Audio-Tokenizer
├── Step-Audio-EditX

使用 Docker 运行

您可以使用提供的 Dockerfile 来设置运行 Step-Audio-EditX 所需的环境。

# 构建 Docker 镜像
docker build . -t step-audio-editx

# 运行 Docker 容器
docker run --rm --gpus all \
    -v /your/code/path:/app \
    -v /your/model/path:/model \
    -p 7860:7860 \
    step-audio-editx

本地推理演示

[!提示] 为获得最佳性能，每次推理的音频长度应控制在 30 秒以内。

# 零样本克隆
# 生成的音频文件路径为 output/fear_zh_female_prompt_cloned.wav
python3 tts_infer.py \
    --model-path where_you_download_dir \
    --tokenizer-path where_you_download_dir \
    --prompt-text "我总觉得，有人在跟着我，我能听到奇怪的脚步声。" \
    --prompt-audio "examples/fear_zh_female_prompt.wav" \
    --generated-text "可惜没有如果，已经发生的事情终究是发生了。" \
    --edit-type "clone" \
    --output-dir ./output 

python3 tts_infer.py \
    --model-path where_you_download_dir \
    --tokenizer-path where_you_download_dir \
    --prompt-text "His political stance was conservative, and he was particularly close to margaret thatcher." \
    --prompt-audio "examples/zero_shot_en_prompt.wav" \
    --generated-text "Underneath the courtyard is a large underground exhibition room which connects the two buildings.	" \
    --edit-type "clone" \
    --output-dir ./output 

# 编辑
# 每次编辑迭代都会生成一个或多个波形文件，例如：output/fear_zh_female_prompt_edited_iter1.wav、output/fear_zh_female_prompt_edited_iter2.wav，等等。
# 情感；恐惧
python3 tts_infer.py \
    --model-path where_you_download_dir \
    --tokenizer-path where_you_download_dir \
    --prompt-text "我总觉得，有人在跟着我，我能听到奇怪的脚步声。" \
    --prompt-audio "examples/fear_zh_female_prompt.wav" \
    --edit-type "emotion" \
    --edit-info "fear" \
    --output-dir ./output 

# 情感；快乐
python3 tts_infer.py \
    --model-path where_you_download_dir \
    --tokenizer-path where_you_download_dir \
    --prompt-text "You know, I just finished that big project and feel so relieved. Everything seems easier and more colorful, what a wonderful feeling!" \
    --prompt-audio "examples/en_happy_prompt.wav" \
    --edit-type "emotion" \
    --edit-info "happy" \
    --output-dir ./output 

# 风格；耳语
# 对于耳语风格的编辑，建议将迭代次数设置为大于1，以获得更好的效果。
python3 tts_infer.py \
    --model-path where_you_download_dir \
    --tokenizer-path where_you_download_dir \
    --prompt-text "比如在工作间隙，做一些简单的伸展运动，放松一下身体，这样，会让你更有精力." \
    --prompt-audio "examples/whisper_prompt.wav" \
    --edit-type "style" \
    --edit-info "whisper" \
    --output-dir ./output 

# 言语副语言特征
# 支持的标签包括：呼吸、笑声、惊讶-哦、确认-英、嗯、惊讶-啊、惊讶-哇、叹息、疑问-哎、不满-哼
python3 tts_infer.py \
    --model-path where_you_download_dir \
    --tokenizer-path where_you_download_dir \
    --prompt-text "我觉得这个计划大概是可行的，不过还需要再仔细考虑一下。" \
    --prompt-audio "examples/paralingustic_prompt.wav" \
    --generated-text "我觉得这个计划大概是可行的，[Uhm]不过还需要再仔细考虑一下。" \
    --edit-type "paralinguistic" \
    --output-dir ./output 

# 去噪
# 不需要提示文本。
python3 tts_infer.py \
    --model-path where_you_download_dir \
    --tokenizer-path where_you_download_dir \
    --prompt-audio "examples/denoise_prompt.wav"\
    --edit-type "denoise" \
    --output-dir ./output 

# VAD（语音活动检测）
# 不需要提示文本。
python3 tts_infer.py \
    --model-path where_you_download_dir \
    --tokenizer-path where_you_download_dir \
    --prompt-audio "examples/vad_prompt.wav" \
    --edit-type "vad" \
    --output-dir ./output 

# 语速
# 支持的编辑信息包括：更快、更慢、更快一些、更慢一些
python3 tts_infer.py \
    --model-path where_you_download_dir \
    --tokenizer-path where_you_download_dir \
    --prompt-text "上次你说鞋子有点磨脚，我给你买了一双软软的鞋垫。" \
    --prompt-audio "examples/speed_prompt.wav" \
    --edit-type "speed" \
    --edit-info "more faster" \
    --output-dir ./output 

启动Web演示

启动本地服务器进行在线推理。 假设您有一块至少有12GB显存的GPU，并且已经下载了所有模型。

# 标准启动
python app.py --model-path where_you_download_dir --tokenizer-path where_you_download_dir --model-source local

# 使用预量化AWQ 4位模型，内存高效模式（适用于显存有限的情况，约6-8GB使用）
python app.py \
    --model-path path/to/quantized/model \
    --tokenizer-path where_you_download_dir \
    --model-source local \
    --gpu-memory-utilization 0.1 \
    --enforce-eager \
    --max-num-seqs 1 \
    --cosyvoice-dtype bfloat16 \
    --no-cosyvoice-cuda-graph

可用参数

参数	默认值	描述
--model-path	（必填）	模型目录路径
--model-source	auto	模型来源：auto、local、modelscope、huggingface
--gpu-memory-utilization	0.5	vLLM KV缓存使用的显存比例（0.0-1.0）
--max-model-len	3072	最大序列长度，影响KV缓存大小
--enforce-eager	True	禁用vLLM CUDA图（节省约0.5GB显存）
--max-num-seqs	1	最大并发序列数（vLLM默认：256，越小占用显存越少）
--dtype	bfloat16	模型数据类型：float16、bfloat16
--quantization	None	量化方法：awq、gptq、fp8
--cosyvoice-dtype	bfloat16	CosyVoice声码器数据类型：float32、bfloat16、float16
--no-cosyvoice-cuda-graph	False	禁用CosyVoice CUDA图（节省显存）
--enable-auto-transcribe	False	启用自动音频转录

显存使用指南

配置	估计显存用量	使用场景
标准（默认）	~12-15 GB	最佳质量和速度
内存高效	~6-8 GB	显存有限，质量略有牺牲
AWQ 4位量化	~8-10 GB	质量和显存的良好平衡

训练

请参考script/ReadMe.md

🔄 模型量化（可选）

对于显存有限的用户，可以创建模型的量化版本以降低内存需求：

# 创建AWQ 4位量化模型
python quantization/awq_quantize.py --model_path path/to/Step-Audio-EditX

# 高级量化选项
python quantization/awq_quantize.py

有关详细的量化选项和参数，请参阅quantization/README.md。

技术细节

Step-Audio-EditX由三个主要组件组成：

• 一个双码本音频分词器，用于将参考或输入音频转换成离散的标记。
• 一个音频LLM，用于生成双码本标记序列。
• 一个音频解码器，通过流匹配方法将音频LLM预测的双码本标记序列重新转换回音频波形。

Audio-Edit能够在所有语音中实现对情感和说话风格的迭代控制，这得益于在SFT和PPO训练过程中使用的大规模数据集。

评估

Step-Audio-EditX 与闭源模型的对比。

• 在零样本克隆和情感控制方面，Step-Audio-EditX 的表现均优于 Minimax 和 Doubao。
• 仅经过一轮迭代，Step-Audio-EditX 的情感编辑便显著提升了三款模型的情感可控音频输出质量。随着迭代次数的增加，其整体性能持续提升。

对闭源模型的泛化能力。

• 在情感和语调风格编辑方面，主流闭源系统的内置音色具备较强的上下文理解能力，能够在一定程度上传达文本中的情感。使用 Step-Audio-EditX 进行一轮编辑后，所有语音模型在情感和风格准确性上的表现均得到显著提升。随后的两轮迭代进一步优化了效果，充分证明了我们模型强大的泛化能力。
• 对于超语言特征编辑，经 Step-Audio-EditX 编辑后，其超语言特征的还原效果已可与闭源模型的内置音色直接合成原生超语言内容时的效果相媲美。（“sub” 表示用原生词汇替换超语言标记）

致谢

本项目部分代码和数据来源于：

• CosyVoice
• transformers
• FunASR
• NVSpeech
• vllm

感谢所有开源项目对本项目的贡献！

许可协议

• 本开源仓库中的代码采用 Apache 2.0 许可证授权。

引用

@misc{yan2025stepaudioeditxtechnicalreport,
      title={Step-Audio-EditX 技术报告}, 
      author={Chao Yan 和 Boyong Wu 和 Peng Yang 和 Pengfei Tan 和 Guoqiang Hu 和 Yuxin Zhang 和 Xiangyu 和 Zhang 和 Fei Tian 和 Xuerui Yang 和 Xiangyu Zhang 和 Daxin Jiang 和 Gang Yu},
      year={2025},
      eprint={2511.03601},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2511.03601}, 
}

⚠️ 使用声明

• 请勿将本模型用于任何未经授权的活动，包括但不限于：
  • 未经许可的语音克隆
  • 冒充他人身份
  • 欺诈行为
  • 制作深度伪造内容或其他非法用途
• 使用本模型时，请确保遵守当地法律法规，并遵循相关伦理准则。
• 模型开发者对任何滥用或误用该技术的行为不承担任何责任。

我们倡导负责任的生成式人工智能研究，并呼吁社区在人工智能的开发与应用中坚持安全与伦理标准。如果您对使用本模型有任何疑虑，请随时与我们联系。

星标历史

Step-Audio-EditX 快速上手指南

Step-Audio-EditX 是一个基于 30 亿参数大语言模型（LLM）和强化学习技术的音频编辑模型。它擅长进行情感、说话风格及副语言特征（如呼吸、笑声）的精细化编辑，并具备强大的零样本语音克隆（Zero-Shot TTS）能力，支持中文、英文、日语、韩语及多种方言。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python 版本: 3.10 或更高
• GPU: 推荐使用 NVIDIA GPU (显存建议 16GB 以上以运行全精度模型，8GB+ 可尝试 Int4 量化版本)
• 依赖管理: 建议使用 conda 创建独立虚拟环境

安装步骤

1. 创建并激活虚拟环境

conda create -n step-audio python=3.10 -y
conda activate step-audio

2. 安装 PyTorch

请根据您的 CUDA 版本安装对应的 PyTorch。以下为通用安装命令（CUDA 11.8）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

注：国内用户可使用清华源加速：pip install torch ... -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 克隆项目代码

git clone https://github.com/stepfun-ai/Step-Audio-EditX.git
cd Step-Audio-EditX

4. 安装项目依赖

pip install -r requirements.txt

如果 requirements.txt 未包含 vLLM 支持，且您需要高性能推理，可额外安装：

pip install vllm

5. 下载模型权重

您可以从 HuggingFace 或 ModelScope（国内推荐）下载模型。

方式 A：使用 ModelScope (国内加速推荐)

pip install modelscope
python -c "from modelscope import snapshot_download; snapshot_download('stepfun-ai/Step-Audio-EditX', local_dir='./models/Step-Audio-EditX')"
python -c "from modelscope import snapshot_download; snapshot_download('stepfun-ai/Step-Audio-Tokenizer', local_dir='./models/Step-Audio-Tokenizer')"

方式 B：使用 HuggingFace

pip install huggingface_hub
huggingface-cli download stepfun-ai/Step-Audio-EditX --local-dir ./models/Step-Audio-EditX
huggingface-cli download stepfun-ai/Step-Audio-Tokenizer --local-dir ./models/Step-Audio-Tokenizer

提示：若显存有限，可下载 Step-Audio-EditX-Int4 量化版本。

基本使用

以下是最简单的 Python 推理示例，展示如何进行带情感控制的语音生成/编辑。

简单推理示例

创建一个名为 demo_inference.py 的文件：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
# 假设项目提供了标准的 inference 工具类，实际使用时请参考 repo 中的 infer.py 结构
# 此处为伪代码逻辑，展示核心标签用法

# 1. 加载分词器和模型 (路径需替换为您实际下载的本地路径)
model_path = "./models/Step-Audio-EditX"
tokenizer_path = "./models/Step-Audio-Tokenizer"

# 初始化逻辑 (具体类名请参考源码 infer.py)
# model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True)
# tokenizer = AutoTokenizer.from_pretrained(tokenizer_path, trust_remote_code=True)

# 2. 构建输入提示 (Prompt)
# 格式：[语言/方言标签] [情感标签] [说话风格标签] [副语言标签] 文本内容

input_text = (
    "[Mandarin] "
    "[happy] "
    "[act_coy] "
    "[laugh] "
    "今天天气真好，我们一起去公园玩吧！"
)

# 多音字控制示例 (将多音字替换为拼音)
polyphone_text = (
    "[Mandarin] "
    "[serious] "
    "我也想 guo4guo4guo1 儿 guo4guo4 的生活" 
)

# 3. 执行推理
# audio_output = model.generate(
#     input_text=input_text, 
#     reference_audio="path/to/reference.wav", # 如果是编辑任务，需提供参考音频
#     max_new_tokens=2048
# )

# 4. 保存结果
# save_audio(audio_output, "output.wav")

print("提示构建示例:")
print(f"普通情感控制: {input_text}")
print(f"多音字控制：{polyphone_text}")
print("\n请根据 repo 中 infer.py 的具体接口调用模型进行生成。")

核心标签速查

在使用时，只需在文本前添加对应的标签即可控制输出效果：

• 语言/方言: [Mandarin], [English], [Sichuanese], [Cantonese], [Japanese], [Korean]
• 情感 (Emotion): [happy], [angry], [sad], [fear], [surprised], [excited] 等。
• 说话风格 (Style): [child] (童声), [older] (老年), [whisper] (耳语), [news] (新闻播报), [act_coy] (撒娇) 等。
• 副语言 (Paralinguistic): [laugh] (大笑), [chuckle] (轻笑), [sigh] (叹气), [inhale] (吸气), [cough] (咳嗽) 等。

启动 Web Demo (可选)

如果您希望使用图形界面进行测试，可以运行官方提供的 Gradio 服务：

python app.py

启动后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器中打开即可上传音频并进行可视化编辑。