ACE-Step

迈向音乐生成基础模型的一步

项目 | Hugging Face | ModelScope | Space Demo | Discord | 技术报告 | ACE-Step v1.5

目录

• ✨ 特性
• 📦 安装
• 🚀 使用
• 📱 用户界面指南
• 🔨 训练

📝 摘要

我们推出了ACE-Step，这是一种新颖的开源音乐生成基础模型，它克服了现有方法的关键局限性，并通过整体架构设计实现了最先进的性能。当前的方法在生成速度、音乐连贯性和可控性之间存在固有的权衡。例如，基于LLM的模型（如Yue、SongGen）在歌词对齐方面表现出色，但推理速度较慢且容易出现结构上的瑕疵。而扩散模型（如DiffRhythm）则能够实现更快的合成，但往往缺乏长距离的结构连贯性。

ACE-Step通过将基于扩散的生成与Sana的深度压缩自编码器（DCAE）以及轻量级线性Transformer相结合，弥合了这一差距。此外，它还利用MERT和m-hubert在训练过程中对齐语义表示（REPA），从而实现快速收敛。因此，我们的模型仅需20秒即可在A100 GPU上合成长达4分钟的音乐——比基于LLM的基线快15倍——同时在旋律、和声和节奏等指标上实现了更优的音乐连贯性和歌词对齐。更重要的是，ACE-Step能够保留精细的声学细节，从而支持高级控制机制，如语音克隆、歌词编辑、混音以及音轨生成（例如，lyric2vocal、singing2accompaniment）。

我们并非要构建又一个端到端的文本到音乐流水线，而是希望建立一个音乐AI的基础模型：一种快速、通用、高效且灵活的架构，便于在其之上训练子任务。这将为开发能够无缝融入音乐艺术家、制作人和内容创作者创作流程的强大工具铺平道路。简而言之，我们的目标是打造音乐领域的Stable Diffusion时刻。

📢 新闻与更新

• 🎉 2026.01.28: 发布了ACE-Step v1.5 - 我们的最新、最先进的模型现已上线！

• 📃 2025.06.02: 发布了ACE-Step技术报告（PDF）。

• 🎮 2025.05.14: 添加了Stable Audio Open Small采样器pingpong。使用SDE来实现更好的音乐一致性和质量，包括歌词对齐和风格对齐。采用更好的方法重新实现了Audio2Audio。

• 🎤 2025.05.12: 发布了RapMachine并修复了LoRA训练问题

  • 详情请参阅ZH_RAP_LORA.md。音频示例：https://ace-step.github.io/#RapMachine
  • 详细训练说明请参阅TRAIN_INSTRUCTION.md。

• 🔥 2025.05.10: 内存优化更新
  • 最大显存需求降低至8GB，使其更兼容消费级设备
  • 推荐启动选项：

    acestep --torch_compile true --cpu_offload true --overlapped_decode true
    

    Windows用户需要安装triton：

    pip install triton-windows
    

• 📢 2025.05.09: Graidio演示支持Audio2Audio。ComfyUI：Ace_Step_4x_a2a.json

• 🚀 2025.05.08: ComfyUI_ACE-Step节点现已可用！在ComfyUI中探索ACE-Step的强大功能。🎉

• 🚀 2025.05.06: 开源演示代码和模型

✨ 特性

🎯 基线质量

🌈 多样化风格与流派

• 🎸 支持所有主流音乐风格，提供多种描述格式，包括简短标签、描述性文字或具体使用场景
• 🎷 能够根据不同流派生成具有适当乐器编配和风格特征的音乐

🌍 多语言支持

• 🗣️ 支持19种语言，其中表现最佳的前10种语言包括：
  • 🇺🇸 英语、🇨🇳 中文、🇷🇺 俄语、🇪🇸 西班牙语、🇯🇵 日语、🇩🇪 德语、🇫🇷 法语、🇵🇹 葡萄牙语、🇮🇹 意大利语、🇰🇷 韩语
• ⚠️ 由于数据不平衡，较少使用的语言可能表现欠佳

🎻 乐器风格

• 🎹 支持不同流派和风格下的各种乐器音乐生成
• 🎺 能够生成逼真的乐器音轨，为每种乐器赋予恰当的音色和表现力
• 🎼 可以生成包含多种乐器的复杂编曲，同时保持音乐的连贯性

🎤 人声技巧

• 🎙️ 能够高质量地呈现各种人声风格和技巧
• 🗣️ 支持不同的人声表达方式，包括多种演唱技巧和风格

🎛️ 可控性

🔄 变体生成

• ⚙️ 采用无需训练、仅在推理时优化的技术实现
• 🌊 流匹配模型生成初始噪声，随后使用 trigFlow 的噪声公式添加额外的高斯噪声
• 🎚️ 可调节原始初始噪声与新高斯噪声之间的混合比例，以控制变体的程度

🎨 重绘

• 🖌️ 通过向目标音频输入添加噪声，并在 ODE 过程中施加掩码约束来实现
• 🔍 当输入条件不同于原始生成内容时，可以仅修改特定部分，同时保留其余内容
• 🔀 可与变体生成技术结合，创造出风格、歌词或人声的局部变化

✏️ 歌词编辑

• 💡 创新性地应用流编辑技术，实现在保留旋律、人声和伴奏的同时对歌词进行局部修改
• 🔄 既适用于生成内容，也适用于上传的音频，极大地提升了创作可能性
• ℹ️ 目前的限制是每次只能修改小段歌词以避免失真，但可以通过多次编辑逐步完成

🚀 应用场景

🎤 Lyric2Vocal (LoRA)

• 🔊 基于纯人声数据微调的 LoRA 模型，可以直接从歌词生成人声音轨
• 🛠️ 具有众多实用场景，如人声演示、指导音轨、歌曲创作辅助以及人声编排实验
• ⏱️ 提供了一种快速测试歌词演唱效果的方式，帮助创作者更快地迭代

📝 Text2Samples (LoRA)

• 🎛️ 类似于 Lyric2Vocal，但基于纯乐器和采样数据进行微调
• 🎵 能够根据文本描述生成概念性的音乐制作样本
• 🧰 对于快速创建乐器循环、音效及制作所需的音乐元素非常有用

🔮 即将推出

🎤 RapMachine

• 🔥 基于纯说唱数据微调，打造专门用于说唱生成的 AI 系统
• 🏆 预期功能包括 AI 说唱对决以及通过说唱进行叙事表达
• 📚 说唱具有卓越的叙事和表现力，拥有非凡的应用潜力

🎛️ StemGen

• 🎚️ 基于多轨数据训练的 ControlNet-LORA，用于生成独立的乐器音轨
• 🎯 输入为参考音轨及指定乐器（或乐器参考音频）
• 🎹 输出与参考音轨相辅相成的乐器音轨，例如为长笛旋律创作钢琴伴奏，或为吉他主音添加爵士鼓点

🎤 Singing2Accompaniment

• 🔄 是 StemGen 的逆过程，从单一人声音轨生成混音母带
• 🎵 输入为人声音轨及指定风格，输出完整的伴奏音轨
• 🎸 生成能够完美衬托输入人声的完整乐器伴奏，轻松为任何人声录音添加专业级伴奏

📋 路线图

• 发布训练代码 🔥
• 发布 LoRA 训练代码 🔥
• 发布 RapMachine LoRA 🎤
• 发布评估性能与技术报告 📄
• 训练并发布 ACE-Step V1.5
• 发布 ControlNet 训练代码 🔥
• 发布 Singing2Accompaniment ControlNet 🎮

🖥️ 硬件性能

我们已在不同硬件配置上对 ACE-Step 进行了评估，得出以下吞吐量结果：

设备	RTF (27 步)	渲染 1 分钟音频所需时间 (27 步)	RTF (60 步)	渲染 1 分钟音频所需时间 (60 步)
NVIDIA RTX 4090	34.48 ×	1.74 s	15.63 ×	3.84 s
NVIDIA A100	27.27 ×	2.20 s	12.27 ×	4.89 s
NVIDIA RTX 3090	12.76 ×	4.70 s	6.48 ×	9.26 s
MacBook M2 Max	2.27 ×	26.43 s	1.03 ×	58.25 s

我们使用 RTF（实时因子）来衡量 ACE-Step 的性能。数值越高，表示生成速度越快。例如，27.27×意味着生成1分钟音乐只需2.2秒（60/27.27）。性能是在单个 GPU 上，批次大小为1，步数为27的情况下测得的。

📦 安装

1. 克隆仓库

首先，将 ACE-Step 仓库克隆到本地，并进入项目目录：

git clone https://github.com/ace-step/ACE-Step.git
cd ACE-Step

2. 前置条件

请确保已安装以下内容：

• Python：建议使用 3.10 或更高版本。可从 python.org 下载。
• Conda 或 venv：用于创建虚拟环境（推荐使用 Conda）。

3. 设置虚拟环境

强烈建议使用虚拟环境来管理项目依赖，避免冲突。您可以选择以下任一方法：

选项 A：使用 Conda

1. 创建名为 ace_step 的环境，使用 Python 3.10：

   conda create -n ace_step python=3.10 -y
   

2. 激活环境：

   conda activate ace_step
   

选项 B：使用 venv

1. 进入克隆的 ACE-Step 目录。

2. 创建虚拟环境（通常命名为 venv）：

   python -m venv venv 
   

3. 激活环境：

   • Windows (cmd.exe)：

     venv\Scripts\activate.bat
     

   • Windows (PowerShell)：

     .\venv\Scripts\Activate.ps1 
     

     (如果遇到执行策略错误，可能需要先运行 Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope Process)
   • Linux / macOS (bash/zsh)：

     source venv/bin/activate
     

4. 安装依赖

虚拟环境激活后： a. （仅限 Windows）如果您使用的是 NVIDIA 显卡，请先安装支持 CUDA 的 PyTorch：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

（请根据您的 CUDA 版本调整 cu126。更多 PyTorch 安装选项，请参阅 PyTorch 官方网站）。

b. 安装 ACE-Step 及其核心依赖：

pip install -e .

至此，ACE-Step 应用程序已成功安装。GUI 支持 Windows、macOS 和 Linux。有关如何运行的说明，请参阅 使用指南 部分。

🚀 使用指南

🔍 基本使用

acestep --port 7865

⚙️ 高级用法

acestep --checkpoint_path /path/to/checkpoint --port 7865 --device_id 0 --share true --bf16 true

• 如果设置了 --checkpoint_path 并且该路径下存在模型，则从 checkpoint_path 加载模型。
• 如果设置了 --checkpoint_path 但该路径下不存在模型，则会自动下载模型到 checkpoint_path。
• 如果未设置 --checkpoint_path，则会自动下载模型到默认路径 ~/.cache/ace-step/checkpoints。

如果您使用的是 macOS，请使用 --bf16 false 以避免出现错误。

🔍 API 使用

如果您打算将 ACE-Step 作为库集成到您自己的 Python 项目中，可以通过以下 pip 命令直接从 GitHub 安装最新版本。

通过 pip 直接安装：

1. 确保已安装 Git： 此方法需要在您的系统上安装 Git，并且 Git 能够在系统的 PATH 中被访问。
2. 执行安装命令：

   pip install git+https://github.com/ace-step/ACE-Step.git
   

   建议在虚拟环境中使用此命令，以避免与其他包发生冲突。

🛠️ 命令行参数

• --checkpoint_path: 模型检查点的路径（默认：自动下载）
• --server_name: Gradio 服务器绑定的 IP 地址或主机名（默认：'127.0.0.1'）。使用 '0.0.0.0' 可使网络中的其他设备访问。
• --port: 运行 Gradio 服务器的端口（默认：7865）
• --device_id: 要使用的 GPU 设备 ID（默认：0）
• --share: 启用 Gradio 分享链接（默认：False）
• --bf16: 使用 bfloat16 精度以加快推理速度（默认：True）
• --torch_compile: 使用 torch.compile() 优化模型，从而加速推理（默认：False）。
  • Windows 需要安装 triton：

    pip install triton-windows
    

• --cpu_offload: 将模型权重卸载到 CPU 以节省 GPU 内存（默认：False）
• --overlapped_decode: 使用重叠解码以加快推理速度（默认：False）

📱 用户界面指南

ACE-Step 的界面提供了多个选项卡，用于不同的音乐生成和编辑任务：

📝 Text2Music 选项卡

1. 📋 输入字段：

   • 🏷️ 标签: 输入描述性标签、流派或场景描述，用逗号分隔。
   • 📜 歌词: 输入带有结构标记的歌词，如 [verse]、[chorus] 和 [bridge]。
   • ⏱️ 音频时长: 设置生成音频的期望时长（-1 表示随机）。

2. ⚙️ 设置：

   • 🔧 基本设置: 调整推理步数、引导尺度和种子。
   • 🔬 高级设置: 微调调度器类型、CFG 类型、ERG 设置等。

3. 🚀 生成: 点击“生成”按钮，根据您的输入创建音乐。

🔄 重做 选项卡

• 🎲 使用不同的种子重新生成略有变化的音乐。
• 🎚️ 调整方差以控制重做与原作品的差异程度。

🎨 重绘 选项卡

• 🖌️ 选择性地重新生成音乐的特定部分。
• ⏱️ 指定要重绘部分的开始和结束时间。
• 🔍 选择源音频（Text2Music 输出、上次重绘或上传的音频）。

✏️ 编辑 选项卡

• 🔄 修改现有音乐，更改标签或歌词。
• 🎛️ 选择“only_lyrics”模式（保留旋律）或“remix”模式（改变旋律）。
• 🎚️ 调整编辑参数以控制保留原始内容的程度。

📏 扩展 选项卡

• ➕ 在现有作品的开头或结尾添加音乐。
• 📐 指定左右扩展的长度。
• 🔍 选择要扩展的源音频。

📂 示例

examples/input_params 目录包含示例输入参数，可作为生成音乐的参考。

🏗️ 架构

🔨 训练

详细的训练说明请参阅 TRAIN_INSTRUCTION.md。

📜 许可与免责声明

本项目采用 Apache License 2.0 许可。

ACE-Step 能够生成涵盖多种流派的原创音乐，适用于创意制作、教育和娱乐等领域。尽管设计初衷是支持积极和艺术性的应用场景，但我们承认可能存在一些潜在风险，例如由于风格相似而导致的无意版权侵权、文化元素的不当融合以及被滥用于生成有害内容等。为确保负责任地使用，我们鼓励用户验证生成作品的原创性，明确披露人工智能的参与，并在改编受保护的风格或素材时获得相应许可。使用 ACE-Step 即表示您同意遵守这些原则，尊重艺术完整性、文化多样性和法律合规性。作者对任何滥用该模型的行为不承担任何责任，包括但不限于版权侵权、文化敏感性问题或生成有害内容等。

🔔 重要提示
ACE-Step 项目的唯一官方网站是我们 GitHub Pages 网站。
我们并未运营任何其他网站。
🚫 仿冒域名包括但不限于： ac**p.com, a**p.org, a***c.org
⚠️ 请务必谨慎，切勿访问、信任或向这些网站进行任何支付。

🙏 致谢

本项目由 ACE Studio 和 StepFun 共同领导。

📖 引用

如果您认为本项目对您的研究有所帮助，请考虑引用：

@misc{gong2025acestep,
	title={ACE-Step: A Step Towards Music Generation Foundation Model},
	author={Junmin Gong, Wenxiao Zhao, Sen Wang, Shengyuan Xu, Jing Guo}, 
	howpublished={\url{https://github.com/ace-step/ACE-Step}},
	year={2025},
	note={GitHub repository}
}

ACE-Step 快速上手指南

ACE-Step 是一款开源的音乐生成基础模型，旨在实现快速、高质量且可控的音乐合成。它结合了扩散模型与轻量级线性 Transformer，能在 A100 GPU 上仅用 20 秒生成 4 分钟音乐，支持歌词对齐、风格控制及多种语言（含中文）。

环境准备

系统要求

• 操作系统: Linux, macOS, Windows
• Python: 3.10 或更高版本
• GPU: 推荐 NVIDIA 显卡 (显存建议 8GB 以上，已优化至最低 8GB 可用)
  • 高性能推荐：RTX 4090, A100
  • 入门可用：RTX 3090 (需开启显存优化)
• 磁盘空间: 建议预留 20GB+ 用于存放模型权重和依赖

前置依赖

• Conda (强烈推荐) 或 venv
• Git
• Windows 用户额外注意: 若使用 torch_compile 加速，需安装 triton-windows。

安装步骤

1. 克隆项目

git clone https://github.com/ace-step/ACE-Step.git
cd ACE-Step

💡 国内加速提示: 如果 GitHub 克隆速度慢，可使用国内镜像源： git clone https://gitee.com/mirrors/ACE-Step.git (如有对应镜像) 或使用代理。

2. 创建并激活虚拟环境 (推荐 Conda)

conda create -n ace_step python=3.10 -y
conda activate ace_step

3. 安装依赖

激活环境后，安装项目所需包。

pip install -r requirements.txt

💡 国内 pip 加速: 建议使用清华或阿里源加速下载：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

Windows 用户特别步骤: 如果需要启用编译加速 (--torch_compile true)，请先安装 Triton：

pip install triton-windows

4. 下载模型

模型托管在 Hugging Face 和 ModelScope (魔搭)。国内用户强烈推荐使用 ModelScope 下载以获得更快速度。

方式 A: 使用 ModelScope (推荐)

# 确保已安装 modelscope: pip install modelscope
python scripts/download_model.py --source modelscope

(注：若官方脚本未直接支持 modelsource 参数，可手动从 ModelScope 页面 下载文件至 checkpoints 目录)

方式 B: 使用 Hugging Face

python scripts/download_model.py --source huggingface

基本使用

命令行快速生成

以下命令演示了如何生成一段带歌词的音乐，并开启了显存优化选项（适合消费级显卡）。

acestep \
  --prompt "A cheerful pop song about sunshine and hope, female vocals" \
  --lyrics "Sunshine in the sky, hope never dies..." \
  --output_dir ./outputs \
  --duration 30 \
  --torch_compile true \
  --cpu_offload true \
  --overlapped_decode true

参数说明：

• --prompt: 音乐风格描述（支持中文，如“欢快的流行歌曲，女声”）。
• --lyrics: 可选，输入歌词以实现歌词对齐。
• --duration: 生成时长（秒）。
• --torch_compile, --cpu_offload, --overlapped_decode: 性能优化开关，建议在显存有限（如 8GB-12GB）时开启。

启动 Web UI (可视化界面)

ACE-Step 提供了友好的 Web 界面，方便调整参数和试听。

acestep --ui

启动后，在浏览器访问显示的本地地址（通常为 http://127.0.0.1:7860），即可在界面中输入提示词、上传音频进行重绘 (Repainting) 或编辑歌词。

进阶功能示例

歌词编辑 (Lyric Editing): 保留原有旋律，仅修改部分歌词。

acestep \
  --input_audio ./original_song.wav \
  --edit_lyrics "New lyrics to replace specific line..." \
  --mode lyric_edit \
  --output_dir ./edited_outputs

变体生成 (Variations): 基于现有音频生成风格相似但细节不同的新版本。

acestep \
  --input_audio ./reference_song.wav \
  --mode variation \
  --variation_strength 0.3 \
  --output_dir ./variations

---

更多高级用法（如 LoRA 训练、ComfyUI 集成）请参考项目仓库中的详细文档。