F5 TTS — MLX

基于 MLX 框架实现的 F5-TTS。

F5 TTS 是一种非自回归、零样本的文本到语音系统，它使用基于扩散变换器 (DiT) 的流匹配梅尔频谱生成器。

你可以在 这里 听到一个示例音频，该音频是在 M3 Max MacBook Pro 上大约 4 秒内生成的。

F5 是 E2 TTS 的演进版本，并通过在学习到的文本对齐中引入 ConvNeXT v2 块来提升性能。本仓库基于原始的 PyTorch 实现，可在 这里 找到。

安装

pip install f5-tts-mlx

基本用法

python -m f5_tts_mlx.generate --text "The quick brown fox jumped over the lazy dog."

你也可以通过管道将其他进程（例如语言模型）的输出直接传递给语音生成：

mlx_lm.generate --model mlx-community/Llama-3.2-1B-Instruct-4bit --verbose false \
 --temp 0 --max-tokens 512 --prompt "Write a concise paragraph explaining wavelets." \
| python -m f5_tts_mlx.generate

音色匹配

如果你想使用自己的参考音频，请确保它是单声道、采样率为 24kHz、时长约 5–10 秒的 WAV 文件：

python -m f5_tts_mlx.generate \
--text "The quick brown fox jumped over the lazy dog." \
--ref-audio /path/to/audio.wav \
--ref-text "This is the caption for the reference audio."

你可以使用 ffmpeg 将音频文件转换为正确格式，如下所示：

ffmpeg -i /path/to/audio.wav -ac 1 -ar 24000 -sample_fmt s16 -t 10 /path/to/output_audio.wav

更多自定义生成选项请参阅 这里。

量化模型

如果你的环境带宽或内存有限，可以使用 --q 选项加载模型的量化版本。支持 4 位和 8 位两种量化方式。

python -m f5_tts_mlx.generate --text "The quick brown fox jumped over the lazy dog." --q 4

从 Python 调用

你也可以从 Python 中加载预训练模型：

from f5_tts_mlx.generate import generate

audio = generate(text = "Hello world.", ...)

预训练模型权重也可在 Hugging Face 上找到。

致谢

感谢 Yushen Chen 提供的 F5 TTS 原始 PyTorch 实现及预训练模型。

同时感谢 Phil Wang 提供的 E2 TTS 实现，本模型正是基于此构建的。

引用

@article{chen-etal-2024-f5tts,
      title={F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching}, 
      author={Yushen Chen and Zhikang Niu and Ziyang Ma and Keqi Deng and Chunhui Wang and Jian Zhao and Kai Yu and Xie Chen},
      journal={arXiv preprint arXiv:2410.06885},
      year={2024},
}

@inproceedings{Eskimez2024E2TE,
    title   = {E2 TTS: Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TTS},
    author  = {Sefik Emre Eskimez and Xiaofei Wang and Manthan Thakker and Canrun Li and Chung-Hsien Tsai and Zhen Xiao and Hemin Yang and Zirun Zhu and Min Tang and Xu Tan and Yanqing Liu and Sheng Zhao and Naoyuki Kanda},
    year    = {2024},
    url     = {https://api.semanticscholar.org/CorpusID:270738197}
}

许可证

本仓库中的代码采用 MIT 许可证发布，具体条款见 LICENSE 文件。

F5-TTS-MLX 快速上手指南

F5-TTS-MLX 是基于 Apple MLX 框架实现的 F5-TTS 语音合成工具。它采用非自回归架构，支持零样本（Zero-shot）语音克隆，能够生成流畅且高保真的语音。该版本针对 Apple Silicon (M1/M2/M3 等) 芯片进行了优化，推理速度极快。

环境准备

• 操作系统：macOS (必须运行在 Apple Silicon 芯片上，如 M1, M2, M3 系列)。
• Python 版本：建议 Python 3.9 或更高版本。
• 前置依赖：
  • 确保已安装 pip。
  • 推荐配置国内镜像源以加速依赖下载（可选）：

    pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
    

安装步骤

通过 pip 直接安装预编译包：

pip install f5-tts-mlx

注意：如果安装过程中提示缺少 mlx 相关依赖，请手动安装：pip install mlx mlx-audio。

基本使用

1. 命令行快速生成

使用默认音色生成语音，只需提供文本内容：

python -m f5_tts_mlx.generate --text "The quick brown fox jumped over the lazy dog."

2. 自定义音色（语音克隆）

若需模仿特定人的声音，需提供参考音频文件（.wav 格式，单声道，24kHz，时长约 5-10 秒）及其对应的文本转录。

第一步：转换参考音频格式 使用 ffmpeg 将任意音频转换为符合要求的格式：

ffmpeg -i /path/to/audio.wav -ac 1 -ar 24000 -sample_fmt s16 -t 10 /path/to/output_audio.wav

第二步：生成语音

python -m f5_tts_mlx.generate \
--text "The quick brown fox jumped over the lazy dog." \
--ref-audio /path/to/output_audio.wav \
--ref-text "This is the caption for the reference audio."

3. 低显存模式（量化模型）

在内存受限的环境下，可加载 4-bit 或 8-bit 量化模型：

python -m f5_tts_mlx.generate --text "The quick brown fox jumped over the lazy dog." --q 4

4. Python 代码调用

也可以在 Python 脚本中直接调用：

from f5_tts_mlx.generate import generate

audio = generate(text="Hello world.", ...)