:loud_sound: AudioSeal：高效局部音频水印技术

本仓库包含 AudioSeal 的官方实现，这是一种高效的音频水印方法，具有最先进的鲁棒性和检测速度。

:rocket: 快速链接：

[arXiv] [🤗Hugging Face] [Colab 笔记本] [网页] [博客] [新闻]

:sparkles: 主要更新：

• 2024-12-12：AudioSeal 0.2 发布，新增流式支持及其他改进
• 2024-06-17：训练代码现已开放。请查看 说明！！！
• 2024-05-31：我们的论文已被 ICML'24 接受 :)
• 2024-04-02：我们已将许可证更新为完整的 MIT 许可证（包括模型权重的许可证）！现在您也可以在商业应用中使用 AudioSeal！
• 2024-02-29：AudioSeal 0.1.2 发布，修复了更多关于重采样音频的 bug，并更新了笔记本示例

:book: 摘要

AudioSeal 引入了一种新颖的音频水印技术，采用 局部水印 和一种新型感知损失函数。它联合训练两个组件：一个 生成器，用于将不可察觉的水印嵌入音频中；以及一个 检测器，用于识别长音频或经过编辑的音频文件中的水印片段。

• 主要特性：
  • 样本级别的 局部水印（1/16,000 秒）。AudioSeal 同样适用于其他采样率（24 kHz、44.5 kHz、48 kHz）
  • 对音频质量的影响极小。
  • 对各种音频编辑操作（如压缩、重新编码和添加噪声）具有 鲁棒性。
  • 快速单次检测，设计目标是显著超越现有模型的速度——检测速度可达 快两个数量级，非常适合大规模和实时应用。

:mate: 安装

要求：

• Python >= 3.8（流式支持需 >= 3.10）
• PyTorch >= 1.13.0
• Omegaconf
• Numpy
• einops（用于流式支持）

从 PyPI 安装：

pip install audioseal

从源码安装：克隆本仓库并以可编辑模式安装：

git clone https://github.com/facebookresearch/audioseal
cd audioseal
pip install -e .

:gear: 模型

您可以在 Hugging Face Hub 上找到所有模型检查点。我们提供了以下模型的检查点：

• AudioSeal 生成器： 接收音频信号（波形形式），输出与输入大小相同的水印，可将其添加到输入中以完成水印嵌入。此外，还可以选择性地输入一段 16 位秘密消息，将其嵌入水印中。
• AudioSeal 检测器： 接收音频信号（波形形式），输出每个样本（每 1/16k 秒）处输入是否含有水印的概率。此外，还可选择性输出水印中编码的秘密消息。

请注意，消息是可选的，不会影响检测结果。例如，它可以用来标识模型版本（最多有 $2^{16}=65536$ 种可能的选择）。

:abacus: 使用方法

以下是一个快速示例，展示如何使用 AudioSeal 的 API 嵌入和检测水印：

from audioseal import AudioSeal

# 模型名称对应于 audioseal/cards 中的 YAML 卡片文件名
model = AudioSeal.load_generator("audioseal_wm_16bits")
model.eval()

# 另一种方式是从检查点直接加载
# model =  Watermarker.from_pretrained(checkpoint_path, device = wav.device)

# 一个形状为 (batch, channels, samples) 的 torch 张量及采样率
# 重要的是将音频处理成与模型期望相同的采样率。默认的 AudioSeal 应该能很好地处理 16kHz 和 24kHz 的音频，
# 而对于 48 kHz 的音频，对于大多数语音音频也能良好工作
wav = [将音频 wav 加载为 BatchxChannelxTime 的张量]

watermark = model.get_watermark(wav)

# 可选：可以添加一段 16 位消息嵌入水印中
# msg = torch.randint(0, 2, (wav.shape(0), model.msg_processor.nbits), device=wav.device)
# watermark = model.get_watermark(wav, message = msg)

watermarked_audio = wav + watermark

detector = AudioSeal.load_detector("audioseal_detector_16bits")

# 在高层检测消息。
result, message = detector.detect_watermark(watermarked_audio)

print(result) # 结果是一个浮点数，表示音频被水印化的概率，
print(message)  # 消息是一个 16 位的二进制向量


# 在低层检测消息。
result, message = detector(watermarked_audio)

# 结果是一个 batch x 2 x frames 的张量，表示每一帧水印化的正负概率。
# 如果音频被水印化，应有 result[:, 1, :] > 0.5
print(result[:, 1 , :])  

# 消息是一个 batch x 16 的张量，表示每一位为 1 的概率。
# 如果检测器未检测到水印，则消息将是一个随机张量
print(message)  

:abacus: 流式支持

自 AudioSeal 0.2 起，您可以对音频信号流进行水印处理。API 为 model.streaming(batch_size)，这将在水印生成过程中启用卷积缓存。请确保将其置于上下文中，以便在会话结束后安全地清除缓存：

model = AudioSeal.load_generator("audioseal_wm_streaming")
model.eval()

audio = [音频分块]
streaming_watermarked_audio = []

with model.streaming(batch_size=1):
    
    # 对接收到的每一部分流式音频进行水印处理
    for chunk in audio:
        watermarked_chunk = model(chunk，sample_rate=sr，message=secret_mesage，alpha=1)
        streaming_watermarked_audio.append(watermarked_chunk)
  
streaming_watermarked_audio = torch.cat(streaming_watermarked_audio，dim=1)

# 你可以检测带有水印的音频片段，也可以检测整个音频：

detector = AudioSeal.load_detector("audioseal_detector_streaming")
detector.eval()

wm_chunk = 100
partial_result, _ = detector.detect_watermark(streaming_watermarked_audio[:, :, :wm_chunk])


full_result, _ = detector.detect_watermark(streaming_watermarked_audio)

完整详情请参阅示例笔记本。

:brain: 训练你自己的水印模型

有关如何训练你自己的水印模型的详细信息，请参阅此处。

另请参阅

该团队还开发了其他开源水印解决方案：

• WMAR：用于图像的自回归水印模型
• Video Seal：开放且高效的视频水印技术
• WAM：可定位的任意图像水印技术

🎮 故障排除

• 如果遇到错误 ValueError: not enough values to unpack (expected 3, got 2)，这是因为我们期望输入是一个批次的音频张量。请在你的输入中添加一个虚拟的批次维度（例如 wav.unsqueeze(0)，详见入门示例笔记本）。

• 在 Windows 系统中，如果遇到错误 KeyError raised while resolving interpolation: "Environmen variable 'USER' not found"：这是由于上传到模型仓库的一个旧检查点与 Windows 不兼容所致。请尝试通过删除 C:\Users\<USER>\.cache\audioseal 中的文件来清除缓存，然后重新运行。

• 如果你使用 torchaudio 处理音频时遇到错误 Couldn't find appropriate backend to handle uri ...，这是因为较新版本的 torchaudio 对默认后端支持不佳。你可以将 torchaudio 降级到 2.1.0 或更早版本，或者安装 soundfile 作为你的音频后端。

:heart: 致谢

我们在以下仓库的基础上进行了一些改编并借用了部分代码：

• AudioCraft 的 libs/audiocraft/ 目录。
• Moshi 的 libs/moshi/ 目录。

:handshake: 贡献

我们欢迎包含改进或建议的拉取请求。如果你希望报告问题或提出改进建议，但不确定如何实现，可以创建一个 GitHub 问题。

🧾 许可证

• 本仓库中的代码根据 LICENSE 文件 中的规定，采用 MIT 许可证发布。

✍️ 引用

如果你觉得本仓库对你有所帮助，请考虑给它一颗星 :star:，并按以下方式引用：

@article{sanroman2024proactive,
  title={Proactive Detection of Voice Cloning with Localized Watermarking},
  author={San Roman, Robin and Fernandez, Pierre and Elsahar, Hady and D´efossez, Alexandre and Furon, Teddy and Tran, Tuan},
  journal={ICML},
  year={2024}
}

AudioSeal 快速上手指南

AudioSeal 是一个高效的局部音频水印工具，具备业界领先的鲁棒性和检测速度。它能在几乎不影响音质的前提下，将水印嵌入音频样本级（1/16000 秒），并能快速检测长音频或经过编辑的音频中的水印片段。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本:
  • 基础功能：>= 3.8
  • 流式处理支持：>= 3.10
• 核心依赖:
  • PyTorch >= 1.13.0
  • Omegaconf
  • Numpy
  • einops (仅流式处理需要)

提示：国内用户建议使用清华源或阿里源加速 Python 包的安装。

安装步骤

您可以通过 PyPI 直接安装，也可以从源码安装以获取最新功能。

方式一：通过 PyPI 安装（推荐）

pip install audioseal

国内加速安装:

pip install audioseal -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装

如果您需要修改代码或使用开发版功能：

git clone https://github.com/facebookresearch/audioseal
cd audioseal
pip install -e .

国内加速克隆:

git clone https://gitee.com/mirrors/audioseal.git  # 如果存在镜像
# 或者使用 git 代理
git clone https://github.com/facebookresearch/audioseal
cd audioseal
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是最简单的嵌入和检测水印的代码示例。

1. 嵌入水印

加载生成器模型，将水印信号添加到原始音频中。

import torch
from audioseal import AudioSeal

# 加载生成器模型 (对应 audioseal/cards 中的 YAML 配置文件名)
model = AudioSeal.load_generator("audioseal_wm_16bits")
model.eval()

# 准备音频数据
# 注意：输入必须是形状为 (batch, channels, samples) 的 torch tensor
# 采样率需与模型预期一致（默认支持 16kHz, 24kHz, 48kHz）
# 假设 wav 已经加载并转换为正确的 tensor 格式
# wav = [load audio wav into a tensor of BatchxChannelxTime] 
wav = torch.randn(1, 1, 16000) # 示例：1 秒长的随机噪声作为占位符

# 生成水印
watermark = model.get_watermark(wav)

# (可选) 嵌入 16 位秘密消息
# msg = torch.randint(0, 2, (wav.shape[0], model.msg_processor.nbits), device=wav.device)
# watermark = model.get_watermark(wav, message=msg)

# 生成带水印的音频
watermarked_audio = wav + watermark

2. 检测水印

加载检测器模型，判断音频是否包含水印并提取消息。

from audioseal import AudioSeal

# 加载检测器模型
detector = AudioSeal.load_detector("audioseal_detector_16bits")
detector.eval()

# 高层检测：返回整体概率和消息
result, message = detector.detect_watermark(watermarked_audio)

print(f"水印存在概率: {result}") 
# result 是一个浮点数，表示音频被嵌入水印的概率

print(f"提取的消息 (16 位): {message}") 
# message 是一个包含 16 位的二进制向量

# 底层检测：返回每一帧的概率分布
# result 形状: batch x 2 x frames (第 1 维 > 0.5 表示该帧有水印)
# message 形状: batch x 16 (每位为 1 的概率)
frame_result, frame_message = detector(watermarked_audio)

print(f"逐帧水印概率: {frame_result[:, 1, :]}")