注意：Bark 是 Suno 的开源文本转音频模型。如果您正在寻找我们的文本转音乐模型，请访问我们的网页并在Discord上加入我们的社区。

🐶 Bark

🔗 示例 • Suno Studio 等待名单 • 更新 • 使用方法 • 安装 • 常见问题解答

Bark 是由 Suno 开发的基于 Transformer 的文本转音频模型。Bark 能够生成高度逼真的多语言语音以及其他音频内容，包括音乐、背景噪音和简单的音效。该模型还能模拟非语言交流，如笑声、叹息和哭泣。为了支持研究社区，我们提供了预训练模型检查点的访问权限，这些检查点已准备好用于推理，并可用于商业用途。

⚠ 免责声明

Bark 是为研究目的而开发的。它并非传统的文本转语音模型，而是一个完全生成式的文本转音频模型，可能会以意想不到的方式偏离所提供的提示。Suno 对任何生成的输出不承担任何责任。请自行承担风险并负责任地使用。

📖 快速索引

• 🚀 更新
• 💻 安装
• 🐍 使用
• 🌀 实时示例
• ❓ 常见问题解答

🎧 演示

🚀 更新

2023年5月1日

• ©️ Bark 现在采用 MIT 许可证授权，这意味着它现在可以用于商业用途！

• ⚡ GPU 上的速度提升 2 倍。CPU 上的速度提升 10 倍。我们还增加了一个较小版本的 Bark 选项，虽然质量稍低，但速度更快。

• 📕 长文本生成、语音一致性增强以及其他示例现已记录在一个新的 notebooks 部分中。

• 👥 我们创建了一个 语音提示库。我们希望这个资源能帮助您找到适合自己用例的有用提示！您也可以加入我们的 Discord，社区成员会在 #audio-prompts 频道中积极分享有用的提示。

• 💬 不断增长的社区支持以及新功能的访问权限：

  

• 💾 现在您可以将 Bark 与显存较低（<4GB）的 GPU 一起使用。

2023年4月20日

• 🐶 Bark 正式发布！

🐍 在 Python 中的使用

from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
from IPython.display import Audio

# 下载并加载所有模型
preload_models()

# 根据文本生成音频
text_prompt = """
     你好，我叫 Sune。嗯——我喜欢披萨。[笑] 
     不过我也对玩井字棋之类的活动很感兴趣。
"""
audio_array = generate_audio(text_prompt)

# 将音频保存到磁盘
write_wav("bark_generation.wav", SAMPLE_RATE, audio_array)

# 在笔记本中播放文本
音频(音频数组, 采样率=采样速率)

text_prompt = """
    中秋节是我最喜欢的节日。我可以休息几天，和朋友及家人一起度过时光。
"""
audio_array = generate_audio(text_prompt)

text_prompt = """
    三十年战争（1618-1648）是一场对欧洲影响深远的毁灭性冲突。
    这是历史的开端。如果想听更多，请继续。
"""
audio_array = generate_audio(text_prompt)

text_prompt = """
    ♪ 在丛林里，那雄伟的丛林，今晚狮子在咆哮 ♪
"""
audio_array = generate_audio(text_prompt)

text_prompt = """
    我的声音非常柔和顺滑，今天我要跟大家聊聊普通树懒的锻炼计划。
"""
audio_array = generate_audio(text_prompt, history_prompt="v2/en_speaker_1")

📃 生成更长的音频

默认情况下，generate_audio 对于大约13秒的口语文本效果较好。如需了解如何进行长篇生成，请参阅 👉 Notebook 👈

命令行

python -m bark --text "你好，我叫Suno." --output_filename "example.wav"

💻 安装

‼️ 注意 ‼️ 请勿使用 pip install bark。这会安装一个由Suno未维护的其他软件包。

pip install git+https://github.com/suno-ai/bark.git

或者

git clone https://github.com/suno-ai/bark
cd bark && pip install . 

🤗 Transformers 使用

从版本4.31.0开始，Bark 已集成到🤗 Transformers 库中，所需依赖和额外包极少。入门步骤如下：

1. 首先从主仓库安装🤗 Transformers库：

pip install git+https://github.com/huggingface/transformers.git

2. 运行以下Python代码生成语音样本：

from transformers import AutoProcessor, BarkModel

processor = AutoProcessor.from_pretrained("suno/bark")
model = BarkModel.from_pretrained("suno/bark")

voice_preset = "v2/en_speaker_6"

inputs = processor("你好，我的狗很可爱", voice_preset=voice_preset)

audio_array = model.generate(**inputs)
audio_array = audio_array.cpu().numpy().squeeze()

3. 可以在ipynb笔记本中直接收听音频样本：

from IPython.display import Audio

sample_rate = model.generation_config.sample_rate
Audio(audio_array, rate=sample_rate)

或者使用第三方库（如scipy）将其保存为.wav文件：

import scipy

sample_rate = model.generation_config.sample_rate
scipy.io.wavfile.write("bark_out.wav", rate=sample_rate, data=audio_array)

有关如何使用🤗 Transformers库进行Bark模型推理的更多信息，请参阅Bark文档或动手实践的Google Colab。

🛠️ 硬件与推理速度

Bark 已在CPU和GPU上进行了测试并正常运行（pytorch 2.0+，CUDA 11.7和CUDA 12.0）。

在企业级GPU和PyTorch nightly版本上，Bark 可以实现近实时的音频生成。而在较旧的GPU、默认Colab环境或CPU上，推理时间可能会显著变慢。对于老式GPU或CPU，建议使用较小的模型。详细信息可在我们的教程部分找到。

完整版Bark需要约12GB显存才能同时将所有内容加载到GPU上。若要使用更适合8GB显存的小型模型，请设置环境变量 SUNO_USE_SMALL_MODELS=True。

如果你没有可用的硬件，或想体验更大版本的模型，也可以在此处注册以提前访问我们的模型试用平台这里。

⚙️ 详情

Bark 是一款完全生成式的文本到音频模型，专为研究和演示目的而开发。它采用类似 GPT 的架构，与 AudioLM 和 Vall-E 类似，并使用来自 EnCodec 的量化音频表示。它并非传统的 TTS 模型，而是一个完全生成式的文本到音频模型，能够以意想不到的方式偏离给定的文本内容。与以往的方法不同，输入的文本提示会直接转换为音频，无需中间的音素步骤。因此，它可以泛化到语音之外的任意指令，例如音乐歌词、音效或其他非语音声音。

以下是一些已知的非语音声音示例，但我们每天都在发现更多。如果您在 Discord 上发现了特别有效的模式，请告诉我们！

• [laughter]
• [laughs]
• [sighs]
• [music]
• [gasps]
• [clears throat]
• — 或 ... 表示停顿
• ♪ 表示歌曲歌词
• 大写字母用于强调某个词
• [MAN] 和 [WOMAN] 分别用于将 Bark 的输出偏向男性或女性说话者

支持的语言

如需未来支持其他语言，请在此处提交请求 这里，或在 Discord 的 #forums 频道中提出。

🙏 致谢

• nanoGPT，感谢其简单高效且速度极快的 GPT 样式模型实现。
• EnCodec，感谢其先进的音频编解码器实现。
• AudioLM，感谢其相关的训练和推理代码。
• Vall-E、AudioLM 以及其他许多开创性的论文，它们共同促成了 Bark 的开发。

© 许可证

Bark 采用 MIT 许可证授权。

📱 社区

• Twitter
• Discord

🎧 Suno Studio（抢先体验）

我们正在开发一个用于测试我们模型的平台，其中包括 Bark。

如果您感兴趣，可以在此处注册抢先体验 这里。

❓ 常见问题解答

如何指定模型的下载和缓存位置？

• Bark 使用 Hugging Face 来下载和存储模型。您可以在此处找到更多信息 这里。

Bark 的生成结果有时与我的提示不符。这是为什么？

• Bark 是一种 GPT 样式的模型。因此，它在生成时可能会加入一些创造性的自由发挥，导致输出结果比传统文本到语音方法更具多样性。

Bark 支持哪些语音？

• Bark 在所有 支持的语言 中支持 100 多种预设语音。您可以在此处浏览语音预设库 这里。社区成员也会在 Discord 上分享预设。此外，Bark 还支持根据输入文本生成独特的随机语音。目前，Bark 尚不支持自定义语音克隆。

为什么输出长度被限制在约 13–14 秒？

• Bark 是一种 GPT 样式的模型，其架构和上下文窗口经过优化，适合生成大约这个长度的内容。

我需要多少显存？

• Bark 的完整版本需要大约 12GB 显存才能将所有数据同时加载到 GPU 上。不过，即使是显存较小的显卡，最低至约 2GB，也可以通过一些额外设置来运行。只需在生成前添加以下代码片段：

import os
os.environ["SUNO_OFFLOAD_CPU"] = "True"
os.environ["SUNO_USE_SMALL_MODELS"] = "True"

我生成的音频听起来像 20 世纪 80 年代的电话通话。这是怎么回事？

• Bark 是从零开始生成音频的，它并不旨在只生成高保真、录音室级别的语音。相反，它的输出可能从完美的语音，到用劣质麦克风录制的棒球比赛现场多人争吵的声音，各种情况都有可能。

Bark 快速上手指南

Bark 是由 Suno 开发的开源文本转音频（Text-to-Audio）模型。它不仅能生成逼真的多语言语音，还能创作音乐、背景音效以及笑声、叹息等非语言声音。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS, 或 Windows
• Python 版本: Python 3.8 - 3.10 (推荐 3.9)
• 硬件要求:
  • GPU (推荐): 需要 NVIDIA 显卡，显存建议 8GB 以上以获得最佳体验。若显存小于 4GB，需启用小模型模式。
  • CPU: 支持运行，但生成速度较慢。
• 前置依赖:
  • PyTorch 2.0+
  • CUDA 11.7 或 12.0 (仅限 GPU 用户)

注意: 首次运行时会自动下载模型权重文件（约 2-3GB），请确保网络连接通畅。国内用户若下载缓慢，可尝试配置代理或使用支持断点续传的网络环境。

2. 安装步骤

⚠️ 重要提示: 请勿直接运行 pip install bark，这会安装一个无关的第三方包。请务必使用以下官方源进行安装。

方法一：直接通过 Git 安装（推荐）

pip install git+https://github.com/suno-ai/bark.git

方法二：克隆仓库后安装

git clone https://github.com/suno-ai/bark.git
cd bark && pip install . 

可选：启用小模型模式（针对低显存设备）

如果您的 GPU 显存小于 8GB，建议在运行代码前设置环境变量以加载精简版模型：

export SUNO_USE_SMALL_MODELS=True

(Windows PowerShell 用户请使用: $env:SUNO_USE_SMALL_MODELS="True")

3. 基本使用

以下是最简单的 Python 使用示例，包含模型加载、音频生成及保存。

基础代码示例

from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
from IPython.display import Audio

# 1. 下载并加载所有模型 (首次运行时会下载)
preload_models()

# 2. 定义文本提示
# Bark 支持自然语言描述，如 [laughs] 表示笑声，♪ 表示音乐
text_prompt = """
     Hello, my name is Suno. And, uh — and I like pizza. [laughs] 
     But I also have other interests such as playing tic tac toe.
"""

# 3. 生成音频
audio_array = generate_audio(text_prompt)

# 4. 保存音频到磁盘
write_wav("bark_generation.wav", SAMPLE_RATE, audio_array)
  
# 5. (可选) 在 Jupyter Notebook 中直接播放
# Audio(audio_array, rate=SAMPLE_RATE)

进阶技巧简述

• 多语言支持: 模型会自动识别输入文本的语言（支持中文、日文、韩文、德文等），无需额外配置。
• 音色预设: 可以通过 history_prompt 参数指定音色。例如：generate_audio(text, history_prompt="v2/zh_speaker_0") (具体预设名称需参考官方库)。
• 非语言声音: 在文本中使用 [laughter], [sighs], [music] 等标签可控制情感和非语音输出。
• 长文本生成: 默认单次生成适合约 13 秒的文本。如需生成长篇内容，建议分段生成后拼接，或参考官方提供的长文本生成 Notebook 示例。