[!IMPORTANT] 许可声明
本代码库及其关联的模型权重均根据 FISH AUDIO RESEARCH LICENSE 发布。有关更多详细信息，请参阅 LICENSE。我们将对任何违反许可证的行为采取行动。

[!WARNING] 法律免责声明
我们对代码库的任何非法使用不承担任何责任。请参照您当地关于 DMCA 和其他相关法律的规定。

快速开始

面向人类用户

以下是 Fish Audio S2 的官方文档，请按照说明轻松上手。

• 安装
• 命令行推理
• WebUI 推理
• 服务器推理
• Docker 设置

[!IMPORTANT] 对于 SGLang 服务器，请阅读 SGLang-Omni README。

面向 LLM 智能体

Install and configure Fish-Audio S2 by following the instructions here: https://speech.fish.audio/install/

Fish Audio S2 Pro

最先进的多语言文本转语音 (TTS) 系统，重新定义了语音生成的边界。

Fish Audio S2 Pro 是由 Fish Audio 开发的最先进的多模态模型。该模型在超过 1000 万小时 的音频数据上进行了训练，涵盖 80 多种语言。S2 Pro 结合了 双自回归 (Dual-AR) 架构与强化学习 (RL) 对齐，以生成极其自然、逼真且情感丰富的语音，在开源和闭源系统中均处于领先地位。

S2 Pro 的核心优势在于其支持使用自然语言标签（例如 [whisper]、[excited]、[angry]）进行 子词级别 的韵律和情感细粒度控制，同时原生支持多说话人和多轮对话生成。

访问 Fish Audio 网站 体验在线演示，或阅读我们的 技术报告 和 博客文章 了解更多详情。

模型变体

模型	大小	可用性	描述
S2-Pro	4B 参数	HuggingFace	全功能旗舰模型，具备最高质量和稳定性

有关模型的更多详细信息，请参阅 技术报告。

基准测试结果

基准测试	Fish Audio S2
Seed-TTS 评估 — WER（中文）	0.54% （整体最佳）
Seed-TTS 评估 — WER（英文）	0.99% （整体最佳）
音频图灵测试（带指令）	0.515 后验均值
EmergentTTS-Eval — 胜率	81.88% （整体最高）
Fish 指令基准测试 — TAR	93.3%
Fish 指令基准测试 — 质量	4.51 / 5.0
多语言（MiniMax 测试集）— 最佳 WER	24 种语言中的 11 种
多语言（MiniMax 测试集）— 最佳 SIM	24 种语言中的 17 种

在 Seed-TTS 评估中，S2 在所有评估模型（包括闭源系统）中实现了最低的 WER：Qwen3-TTS (0.77/1.24)、MiniMax Speech-02 (0.99/1.90)、Seed-TTS (1.12/2.25)。在音频图灵测试中，0.515 比 Seed-TTS (0.417) 高出 24%，比 MiniMax-Speech (0.387) 高出 33%。在 EmergentTTS-Eval 中，S2 在副语言特征（91.61% 胜率）、问答（84.41%）和句法复杂度（83.39%）方面取得了特别强的结果。

亮点

通过自然语言实现细粒度内联控制

S2 Pro 为语音带来了前所未有的“灵魂”。使用简单的 [tag] 语法，您可以在文本的任何位置精确嵌入情感指令。

• 支持 15,000+ 个唯一标签：不限于固定预设；S2 支持自由形式的文本描述。尝试 [whisper in small voice]、[professional broadcast tone] 或 [pitch up]。
• 丰富的情感库： [pause] [emphasis] [laughing] [inhale] [chuckle] [tsk] [singing] [excited] [laughing tone] [interrupting] [chuckling] [excited tone] [volume up] [echo] [angry] [low volume] [sigh] [low voice] [whisper] [screaming] [shouting] [loud] [surprised] [short pause] [exhale] [delight] [panting] [audience laughter] [with strong accent] [volume down] [clearing throat] [sad] [moaning] [shocked]

创新的双自回归（Dual-AR）架构

S2 Pro 采用了主从式 Dual-AR（双自回归）架构，由仅解码器 Transformer（Decoder-only Transformer）和 RVQ（残差矢量量化）音频编解码器组成（10 个码本，~21 Hz）：

• 慢速 AR（4B 参数）：沿时间轴运行，预测主要的语义码本。
• 快速 AR（4 亿参数）：在每个时间步生成剩余的 9 个残差码本，重建精细的声学细节。

这种非对称设计在显著提升推理速度的同时实现了最高的音频保真度。

强化学习（RL）对齐

S2 Pro 利用**组相对策略优化（GRPO）**进行后训练对齐。我们直接使用相同的模型套件进行数据清洗和标注作为 Reward Models（奖励模型），完美解决了预训练数据与后训练目标之间的分布不匹配问题。

• 多维奖励信号：综合评估语义准确性、指令遵循度、声学偏好评分和音色相似度，确保生成的每一秒语音对人类来说都感觉直观自然。

极致的流式性能（由 SGLang 驱动）

由于 Dual-AR 架构在结构上与标准大语言模型（LLMs）同构，S2 Pro 原生支持所有 SGLang 推理加速功能，包括连续批处理（Continuous Batching）、分页 KV 缓存（Paged KV Cache）、CUDA 图（CUDA Graph）以及基于 RadixAttention 的前缀缓存（Prefix Caching）。

单张 NVIDIA H200 GPU 上的性能：

• 实时因子（RTF）：0.195
• 首帧音频延迟（TTFA）：~100 毫秒
• 极高吞吐量：3,000+ 声学 Token/秒，同时保持 RTF < 0.5

强大的多语言支持

S2 Pro 支持超过 80 种语言，无需音素或特定语言的预处理：

• 第一梯队：日语 (ja)、英语 (en)、中文 (zh)
• 第二梯队：韩语 (ko)、西班牙语 (es)、葡萄牙语 (pt)、阿拉伯语 (ar)、俄语 (ru)、法语 (fr)、德语 (de)
• 全球覆盖：sv, it, tr, no, nl, cy, eu, ca, da, gl, ta, hu, fi, pl, et, hi, la, ur, th, vi, jw, bn, yo, xsl, cs, sw, nn, he, ms, uk, id, kk, bg, lv, my, tl, sk, ne, fa, af, el, bo, hr, ro, sn, mi, yi, am, be, km, is, az, sd, br, sq, ps, mn, ht, ml, sr, sa, te, ka, bs, pa, lt, kn, si, hy, mr, as, gu, fo, 等。

原生多说话人生成

Fish Audio S2 允许用户上传包含多个说话人的参考音频，模型通过 <|speaker:i|> Token（令牌）处理每个说话人的特征。随后，您可以通过说话人 ID 令牌控制模型的表现，从而实现单次生成包含多个说话人。不再需要为每个单独的说话人上传单独的参考音频。

多轮对话生成

得益于模型上下文的扩展，我们的模型现在可以利用先前的信息来提高后续生成内容的表现力，从而增加对话的自然度。

快速声音克隆

Fish Audio S2 支持使用短参考样本（通常为 10-30 秒）进行准确的声音克隆。该模型捕捉音色、说话风格和情感倾向，无需额外微调即可生成逼真且一致克隆的声音。 关于 SGLang Server 的使用，请参阅 SGLang-Omni README。

---

致谢

• VITS2 (daniilrobnikov)
• Bert-VITS2
• GPT VITS
• MQTTS
• GPT Fast
• GPT-SoVITS
• Qwen3

技术报告

@misc{fish-speech-v1.4,
      title={Fish-Speech: Leveraging Large Language Models for Advanced Multilingual Text-to-Speech Synthesis},
      author={Shijia Liao and Yuxuan Wang and Tianyu Li and Yifan Cheng and Ruoyi Zhang and Rongzhi Zhou and Yijin Xing},
      year={2024},
      eprint={2411.01156},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2411.01156},
}

@misc{liao2026fishaudios2technical,
      title={Fish Audio S2 Technical Report}, 
      author={Shijia Liao and Yuxuan Wang and Songting Liu and Yifan Cheng and Ruoyi Zhang and Tianyu Li and Shidong Li and Yisheng Zheng and Xingwei Liu and Qingzheng Wang and Zhizhuo Zhou and Jiahua Liu and Xin Chen and Dawei Han},
      year={2026},
      eprint={2603.08823},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2603.08823}, 
}

Fish Speech 快速上手指南

Fish Speech（Fish Audio S2 Pro）是由 Fish Audio 开发的最先进的多语言文本转语音（TTS）系统。它支持超过 80 种语言，具备强大的情感控制、多说话人生成及极速流式推理能力。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / Windows / macOS
• 硬件要求：推荐使用 NVIDIA GPU（支持 CUDA），显存建议 8GB 以上以获得最佳性能。
• 软件依赖：Python 3.x, Git。
• 网络环境：由于模型托管在 HuggingFace，建议配置稳定的网络连接或使用国内加速方案。

2. 安装步骤

方式一：Docker 部署（推荐）

使用官方提供的 Docker 镜像可以快速完成环境配置，避免依赖冲突。

docker pull fishaudio/fish-speech

详细配置请参考官方文档：Docker Setup

方式二：源码安装

如果您需要自定义环境，可克隆仓库并遵循官方安装指南。

git clone https://github.com/fishaudio/fish-speech.git
cd fish-speech

具体依赖安装与配置命令，请务必参考官方文档：Installation

3. 基本使用

获取模型权重

核心模型 S2-Pro 托管于 HuggingFace，下载前请确认符合许可协议。

• 模型地址：HuggingFace Model

命令行推理 (CLI)

适用于脚本化调用或服务器端集成。

• 操作指引：Command Line Inference

WebUI 推理

适用于本地测试与交互式体验。

• 操作指引：WebUI Inference

服务端部署 (Server)

针对高并发场景，支持 SGLang 加速。

• 操作指引：Server Inference
• 注意：若使用 SGLang 服务，请阅读 SGLang-Omni README。

4. 重要提示

• 许可证声明：本代码库及相关模型权重基于 [FISH AUDIO RESEARCH LICENSE] 发布。请严格遵守 LICENSE 文件中的条款，违者将追究责任。
• 法律免责声明：使用者需遵守当地关于 DMCA 及其他相关法律法规，项目方不对任何非法使用承担法律责任。
• 功能亮点：支持通过自然语言标签（如 [whisper], [excited]）进行细粒度的情感与语调控制，无需额外微调即可实现快速声音克隆。