🔥🔥🔥 Kokoro Rust

Zonos Rust 即将推出?

Spark-TTS 即将推出?

Orpheus-TTS 即将推出?

ASMR（自主感官经络反应）

https://github.com/user-attachments/assets/1043dfd3-969f-4e10-8b56-daf8285e7420

（视频中的拼写错误，请忽略）

数字人

https://github.com/user-attachments/assets/9f5e8fe9-d352-47a9-b4a1-418ec1769567

如果喜欢的话，请给个星标 ⭐！

Kokoro 是 Hugging Face 上排名前 2 的热门 TTS（Text-to-Speech，文本转语音）模型。 本项目提供了极快的 Kokoro Rust 推理实现，您可以基于 Kokoro 构建自己的 TTS 引擎，只需输入 koko 命令即可快速合成语音。

kokoros 是一个 rust crate（Rust 语言的包管理单元），提供易于使用的 TTS 功能。 您可以直接在终端调用 koko 来合成音频。

kokoros 使用相对较小的模型（87M 参数），但能产生极佳质量的语音结果。

语言支持：

• 英语；
• 中文（部分支持）；
• 日语（部分支持）；
• 德语（部分支持）；

🔥🔥🔥🔥🔥🔥🔥🔥🔥 Kokoros Rust 版本目前受到了广泛关注。如果您也对极快推理、嵌入式构建、WASM 支持等感兴趣，请给本项目加星标！我们会持续更新。

新的 Discord 社区：https://discord.gg/E566zfDWqD，如果您对 Rust Kokoro 感兴趣，请加入我们！

更新日志

• 2025.07.12: 🔥🔥🔥 HTTP API 流式传输和并行处理基础设施。 OpenAI 兼容服务器支持流式音频生成（使用 "stream": true 实现 1-2 秒的首音频响应时间），正在开发中的并行 TTS 处理（支持 --instances 标志），改进的日志系统（带 Unix 时间戳），以及通过高级分块实现自然语音生成；
• 2025.01.22: 🔥🔥🔥 CLI 流式模式支持。 现在您可以使用 --stream 来体验流式模式，感谢 mroigo；
• 2025.01.17: 🔥🔥🔥 风格混合支持！现在，只需指定风格即可聆听 ASMR 效果：af_sky.4+af_nicole.5；
• 2025.01.15: OpenAI 兼容服务器支持，OpenAI 格式仍在完善中！
• 2025.01.15: 音素器（Phonemizer）支持！现在 Kokoros 可以端到端推理，无需任何其他依赖。感谢 @tstm；
• 2025.01.13: 支持 Espeak-ng 分词器和音素器！感谢 @mindreframer；
• 2025.01.12: 发布 Kokoros；

前提条件

要在本地构建此项目，您需要以下系统依赖：

macOS

brew install pkg-config opus

Linux（Ubuntu/Debian）

sudo apt-get install pkg-config libopus-dev

安装

1. 下载所需的模型和语音数据文件：

bash download_all.sh

这将下载：

• Kokoro ONNX 模型（checkpoints/kokoro-v1.0.onnx）
• 语音数据文件（data/voices-v1.0.bin）

或者，您也可以分别下载：

bash scripts/download_models.sh
bash scripts/download_voices.sh

2. 构建项目：

cargo build --release

3. （可选）安装 Python 依赖以运行 OpenAI 客户端示例：

pip install -r scripts/requirements.txt

4. （可选）将二进制文件和语音数据安装到系统范围：

bash install.sh

这会将 koko 二进制文件复制到 /usr/local/bin（使其作为系统范围内的 koko 可用），并将语音数据复制到 $HOME/.cache/kokoros/。

使用方法

查看可用选项

./target/release/koko -h

为文本生成语音

mkdir -p tmp
./target/release/koko text "Hello, this is a TTS test"

生成的音频默认保存到 tmp/output.wav。您可以使用 --output 或 -o 选项自定义保存位置：

./target/release/koko text "I hope you're having a great day today!" --output greeting.wav

为文件中的每一行生成语音

./target/release/koko file poem.txt

对于包含 3 行文本的文件，默认会输出语音音频文件 tmp/output_0.wav、tmp/output_1.wav、tmp/output_2.wav。您可以使用 --output 或 -o 选项自定义保存位置，使用 {line} 作为行号：

./target/release/koko file lyrics.txt -o "song/lyric_{line}.wav"

词级时间戳（TSV 伴随文件）

添加 --timestamps 以生成包含每个词时间信息的 .tsv 文件，同时输出 WAV 文件。TSV 包含三列：word（词）、start_sec（开始秒数）、end_sec（结束秒数）。

文本模式示例：

./target/release/koko text \
  --output tmp/output.wav \
  --timestamps \
  "Hello from the timestamped model"

这将创建：

• tmp/output.wav
• tmp/output.tsv

文件模式示例（每行一对）：

./target/release/koko file input.txt \
  --output tmp/line_{line}.wav \
  --timestamps

对于每一行 N，这会创建 tmp/line_N.wav 和 tmp/line_N.tsv。

注意：

• 伴随文件路径会自动派生，将 .wav 扩展名替换为 .tsv。
• 默认采样率为 24 kHz；时间单位为秒，保留 3 位小数。

使用 Hugging Face 带时间戳模型的快速开始（复制粘贴）

复制并粘贴以下内容，使用托管在 Hugging Face 上的带时间戳的 Kokoro ONNX 模型运行端到端示例。这将把模型和语音数据下载到预期路径，并生成 output.wav 和 output.tsv。

mkdir -p checkpoints data tmp

# 1) 从 Hugging Face 下载带时间戳的 ONNX 模型
curl -L \
  "https://huggingface.co/onnx-community/Kokoro-82M-v1.0-ONNX-timestamped/resolve/main/onnx/model.onnx" \
  -o checkpoints/kokoro-v1.0.onnx

# 2) 下载语音数据（现有模型使用的单个二进制文件）
curl -L \
  "https://github.com/thewh1teagle/kokoro-onnx/releases/download/model-files-v1.0/voices-v1.0.bin" \
  -o data/voices-v1.0.bin

# 3) 构建二进制文件
cargo build --release

# 4) 运行：生成 tmp/output.wav 和 tmp/output.tsv
./target/release/koko text \
  --output tmp/output.wav \
  --timestamps \
  "Hello from the timestamped model"

注意：

• 我们继续使用统一的 voices-v1.0.bin，它与带时间戳的模型兼容。
• 如果 checkpoints/ 和 data/ 中已存在这些文件，CLI 将直接使用它们。

并行处理配置

根据您的性能偏好，为 OpenAI 兼容服务器配置并行 TTS 实例：

# 最佳 0.5-2 秒首音频响应时间（最低延迟）
./target/release/koko openai --instances 1

# 平衡性能（默认，2 个实例，通常是 CPU 处理最佳吞吐量）
./target/release/koko openai

最佳总处理时间（在 Mac M2 上观察到 CPU 处理收益递减）

./target/release/koko openai --instances 4

如何确定系统配置的最佳实例数量？

根据使用场景选择您的配置：

• 单实例适用于需要即时音频响应的实时应用程序，与系统配置无关。
• 多实例适用于批处理，总完成时间比初始延迟更重要。
  • 这是在配备 8 核和 24GB RAM 的 Mac M2 上进行基准测试的。
  • 使用以下消息进行测试：

    Welcome to our comprehensive technology demonstration session. Today we will explore advanced parallel processing systems thoroughly. These systems utilize multiple computational instances simultaneously for efficiency. Each instance processes different segments concurrently without interference. The coordination between instances ensures seamless output delivery consistently. Modern algorithms optimize resource utilization effectively across all components. Performance improvements are measurable and significant in real scenarios. Quality assurance validates each processing stage thoroughly before deployment. Integration testing confirms system reliability consistently under various conditions. User experience remains smooth throughout operation regardless of complexity. Advanced monitoring tracks system performance metrics continuously during execution.

  • 基准测试结果（5 次平均）

    实例数量	TTFA	总时间
    1	1.44s	19.0s
    2	2.44s	16.1s
    4	4.98s	16.6s

  • 如果您使用 CPU，内存带宽通常是瓶颈。您需要通过实验找到实例数量的最佳平衡点，以在您的系统配置下获得最佳吞吐量。
  • 如果您使用 NVIDIA GPU，可以尝试增加实例数量。预计吞吐量会进一步提升。
  • 尝试使其在 CoreML 上运行，可能需要将 ONNX 模型转换为 CoreML 或 ORT。

注意：--instances 标志目前仅在 API 服务器模式下支持。CLI 文本命令将在未来版本中支持并行处理。

OpenAI 兼容服务器

1. 启动服务器：

./target/release/koko openai

2. 使用 curl 或 Python 发起 API 请求：

使用 curl：

# 标准音频生成
curl -X POST http://localhost:3000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "tts-1",
    "input": "Hello, this is a test of the Kokoro TTS system!",
    "voice": "af_sky"
  }' \
  --output sky-says-hello.wav

# 流式音频生成（仅支持 PCM 格式）
curl -X POST http://localhost:3000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "tts-1",
    "input": "This is a streaming test with real-time audio generation.",
    "voice": "af_sky",
    "stream": true
  }' \
  --output streaming-audio.pcm

# 实时流式播放（需要 ffplay）
curl -s -X POST http://localhost:3000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "tts-1",
    "input": "Hello streaming world!",
    "voice": "af_sky",
    "stream": true
  }' | \
  ffplay -f s16le -ar 24000 -nodisp -autoexit -loglevel quiet -

使用 Python：

python scripts/run_openai.py

流式处理

stream 选项将启动程序，从标准输入读取文本行，并将 WAV 音频输出到标准输出。

可与管道配合使用。

手动输入

./target/release/koko stream > live-audio.wav
# 开始输入要生成语音的文本，然后按回车提交
# 生成的语音将追加到 live-audio.wav
# 按 Ctrl D 退出

从其他来源输入

echo "Suppose some other program was outputting lines of text" | ./target/release/koko stream > programmatic-audio.wav

使用 Docker

1. 构建或拉取 Docker 镜像

您可以在本地构建 Docker 镜像，也可以从 GitHub Container Registry (GHCR) 拉取预构建镜像。

# 本地构建
docker build -t kokoros .

# 或从 GHCR 拉取预构建镜像
docker pull ghcr.io/lucasjinreal/kokoros:main

2. 运行镜像，传递如上所述的选项

# 基础文本转语音
docker run -v ./tmp:/app/tmp kokoros text "Hello from docker!" -o tmp/hello.wav

# OpenAI 服务器（绑定相应端口）
docker run -p 3000:3000 kokoros openai

路线图

由于 Kokoro 的功能尚未最终确定，本项目将持续跟踪 Kokoro 的状态，并有望支持包括英语、普通话、日语、德语、法语等多种语言。

版权

版权所有 © Lucas Jin，遵循 Apache 许可证。

Kokoro 快速上手指南

Kokoro 是一个基于 ONNX 的轻量级 TTS（文本转语音）模型，仅 87M 参数即可生成高质量语音。支持英语、中文（部分）、日语（部分）和德语（部分）。

环境准备

系统要求

• Rust 1.70+ 已安装
• 支持 macOS、Linux（Ubuntu/Debian）

安装系统依赖

macOS：

brew install pkg-config opus

Linux（Ubuntu/Debian）：

sudo apt-get install pkg-config libopus-dev

安装步骤

1. 克隆项目

git clone https://github.com/thewh1teagle/kokoro-onnx.git
cd kokoro-onnx

2. 下载模型和语音数据

bash download_all.sh

这将下载：

• checkpoints/kokoro-v1.0.onnx — ONNX 模型
• data/voices-v1.0.bin — 语音数据

3. 构建项目

cargo build --release

构建完成后，可执行文件位于 ./target/release/koko。

4.（可选）安装到系统

bash install.sh

这会将 koko 安装到 /usr/local/bin，并将语音数据复制到 $HOME/.cache/kokoros/。

基本使用

查看帮助

./target/release/koko -h

文本转语音

./target/release/koko text "Hello, this is a TTS test"

默认输出到 tmp/output.wav，可用 -o 自定义路径：

./target/release/koko text "你好！" -o greeting.wav

文件转语音

./target/release/koko file poem.txt

每行文本生成一个音频文件，默认输出 tmp/output_0.wav、tmp/output_1.wav 等。

启动 OpenAI 兼容 API 服务

./target/release/koko openai

服务默认在 http://localhost:3000 运行。

流式音频生成

./target/release/koko text "Hello world" --stream

或使用管道：

echo "Hello from pipe" | ./target/release/koko stream > output.wav

常用选项

选项	说明
-o, --output	指定输出文件路径
--voice	选择语音（如 af_sky、af_nicole）
--timestamps	生成词级时间戳 TSV 文件
--stream	启用流式输出模式

查看所有可用语音：

./target/release/koko voices