自动同步与翻译配音

基于字幕文件，自动将视频文本翻译成所选语言，并使用 AI 语音为视频配音，同时利用字幕的时间码确保配音与原视频保持正确同步。

工作原理

如果你已经有一个视频的人工制作 SRT 字幕文件，它将执行以下操作：

1. 使用 Google Cloud/DeepL 自动翻译文本，并创建新的翻译后的 SRT 文件
2. 利用字幕行的时间码计算每个语音音频片段的正确时长
3. 为翻译后的文本创建文本转语音 (Text-to-Speech, TTS) 音频片段（使用更逼真的神经语音）
4. 拉伸或缩短翻译后的音频片段，使其长度与原语音完全一致。
   • 可选（默认开启）：与其拉伸音频片段，不如通过 API 对每个片段进行第二遍合成，使用第一遍计算出的正确语速。这会略微提高音频质量。
   • 如果使用 Azure TTS，则不需要此步骤，因为它允许在合成前指定所需的语音时长
5. 通过在正确时间点插入新音频片段来构建音频轨道。因此，翻译后的语音将与原视频保持完美同步。

更多关键功能

• 创建 SRT 字幕文件的翻译版本
• 按顺序批量处理多种语言
• 配置文件用于保存翻译、合成和语言设置以便重复使用
• 允许详细控制文本的翻译和合成方式
  • 包括：“不翻译”短语列表、手动翻译列表、音素发音列表等

额外包含的工具

• TrackAdder.py：将所有语言音频轨道添加到视频文件中
  • 能够将音效轨道合并到每个语言轨道中
• TitleTranslator.py：将 YouTube 视频标题和描述翻译成多种语言
• TitleDescriptionUpdater.py：使用 YouTube API，利用 TitleTranslator.py 的输出更新 YouTube 视频的本地化标题和描述
• SubtitleTrackRemover.py：使用 YouTube API 从 YouTube 视频中移除特定的音频轨道
• TranscriptTranslator.py：翻译整段文本转录文稿
• TranscriptAutoSyncUploader.py：使用 YouTube API，允许你上传视频的字幕文稿，然后让 YouTube 将文本与视频同步
  • 你也可以上传多个预先翻译好的文稿，让 YouTube 进行同步（前提是支持该语言）
• YouTube_Synced_Translations_Downloader.py：使用 YouTube API，将视频的字幕翻译成指定语言，然后下载由 YouTube 创建的自动同步字幕文件

---

使用说明

外部依赖项：

• 必须安装 ffmpeg (https://ffmpeg.org/download.html)

可选的外部工具：

• 可选：如果不使用 ffmpeg 进行音频拉伸，可以使用程序 'rubberband'
  • 实际上我发现 ffmpeg 效果更好，但我仍然保留 rubberband 选项供你选择。
  • 如果使用 Rubberband，你需要 rubberband 的二进制文件。具体来说，在 此页面 上，找到 "Rubber Band Library v3.3.0 command-line utility" 的下载链接（根据情况选择 Windows 或 MacOS 版本）。然后解压归档文件以查找：
    • 在 Windows 上：rubberband.exe, rubberband-r3.exe, 和 sndfile.dll
    • 在 MacOS 上：rubberband, rubberband-r3
  • 无需安装，只需将上述文件放在与 main.py 相同的目录中

设置与配置

1. 下载或克隆仓库，并使用 pip install -r requirements.txt 安装依赖项
   • 我是用 Python 3.9 编写的，但它可能也能兼容更早的版本
2. 安装上述“外部依赖项”中提到的程序。
3. 设置你的 Google Cloud（参见 Wiki）、Microsoft Azure API 访问权限和/或 DeepL API Token，并在 cloud_service_settings.ini 中设置变量。
   • 我推荐 Azure 用于 TTS 语音合成，因为在我看来他们的声音更新更好，且质量更高（Azure 支持高达 48KHz 的采样率，而 Google 为 24KHz）。
   • Google Cloud 更快、更便宜且支持更多语言的文本翻译，但你也可以使用 DeepL。
4. 在 config.ini 中设置配置参数。默认设置通常在大多数情况下都能工作，但请阅读一遍，特别是如果你使用 Azure 进行 TTS，因为那里有更多适用的选项你可能想要自定义。
   • 此配置包括跳过文本翻译、设置格式和采样率以及使用两遍语音合成等功能选项。
5. 最后打开 batch.ini 设置每次运行将使用的语言和语音设置。
   • 在顶部的 [SETTINGS] 部分，你将输入原始视频文件的路径（用于获取正确的音频长度）和原始字幕文件路径。
   • 你还可以使用 enabled_languages 变量列出所有将一次性翻译和合成的语言。数字将对应同一配置文件中的 [LANGUAGE-#] 部分。程序将仅处理此变量中列出的语言。
   • 这允许你添加任意数量的语言预设（例如每种语言的偏好语音），并可以选择在任何给定运行中使用（或不使用）哪些语言。
   • 请务必在各服务的相应文档中检查支持的语言和语音。

使用说明

• 如何运行： 配置好配置文件后，只需使用 python main.py 运行 main.py 脚本，并让其运行至完成。
  • 生成的翻译字幕文件和配音音频轨道将放置在名为 'output' 的文件夹中。
• 可选： 你可以使用单独的 TrackAdder.py 脚本自动将生成的语言轨道添加到 mp4 视频文件中。需要安装 ffmpeg。
  • 用文本编辑器打开脚本文件，并更改顶部“用户设置”部分中的值。
  • 这将标记轨道，使视频文件准备好上传到 YouTube。但是，多音频轨道功能仅适用于有限数量的频道。你很可能需要联系 YouTube 创作者支持以申请访问权限，但不能保证他们会批准。
• 可选： 如果上传到 YouTube，你可以使用单独的 TitleTranslator.py 脚本，允许你输入视频的标题和描述，文本将被翻译成 batch.ini 中启用的所有语言。它们将一起放置在一个位于 "output" 文件夹中的文本文件中。

补充说明：

• 此工具在处理保留句子和行间停顿的字幕时效果最佳。
• 目前该流程仅假设有一个说话人。不过，如果你能为每个说话人生成单独的 SRT 文件，你可以使用不同的声音分别生成每个 TTS（文本转语音）轨道，然后再将它们合并。
• 它支持 Google Translate API 和 DeepL 进行文本翻译，并支持 Google、Azure 和 Eleven Labs 提供带有神经语音的 Text-To-Speech（TTS）。
• 此脚本是围绕我个人的工作流程编写的。具体如下：
  • 我使用 OpenAI Whisper 在本地转录视频，然后使用 Descript 同步该转录内容并进行修正润色。
  • 然后我通过 Descript 导出 SRT 文件，这非常理想，因为它不会简单地将每行字幕的开始和结束时间紧挨着排列。这意味着生成的配音将保留原声中的句子间停顿。如果你使用其他程序的字幕，可能会发现行之间的停顿太短。
  • 在 Descript 中似乎适合配音的 SRT 导出设置是 每行最多 150 个字符，以及 每张卡片最多 1 行。
• “双遍”合成功能（可在配置中启用）将显著提高最终结果的质量，但需要为每个片段合成两次，因此会将任何 API 成本加倍。

当前支持的文本转语音服务：

• Microsoft Azure
• Google Cloud
• Eleven Labs

当前支持的翻译服务：

• Google Translate
• DeepL

关于各服务支持语言的更多信息：

• Google Cloud 翻译支持的语言
• Google Cloud 文本转语音支持的语言
• Azure 文本转语音支持的语言
• DeepL 支持的语言

---

查看结果示例请见：示例 Wiki 页面

查看计划功能请见：计划功能 Wiki 页面

查看 Google Cloud 项目设置说明请见：说明 Wiki 页面

查看 Microsoft Azure 设置说明请见：Azure 说明 Wiki 页面

Auto-Synced-Translated-Dubs 快速上手指南

环境准备

系统要求

• Python 3.9+
• 操作系统：Windows / macOS / Linux

前置依赖

1. FFmpeg: 必须安装，用于音频处理。
   • 下载地址：https://ffmpeg.org/download.html
   • 注：也可使用 rubberband 替代音频拉伸功能，但 FFmpeg 效果更佳。
2. API 密钥: 需申请并配置以下服务的访问凭证（至少选择一种组合）：
   • 文本翻译：Google Cloud Translation 或 DeepL
   • 语音合成 (TTS)：Microsoft Azure, Google Cloud 或 Eleven Labs
   • 建议：Azure TTS 音质较好，Google Cloud 翻译速度快且支持语言多。

安装步骤

1. 克隆仓库

   git clone <repository_url>
   cd Auto-Synced-Translated-Dubs
   

2. 安装 Python 依赖 建议使用国内镜像加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 配置服务密钥 编辑 cloud_service_settings.ini，填入你的 API Token、Project ID 等凭据。

4. 配置通用设置 编辑 config.ini，调整默认参数（如采样率、是否开启双遍合成等）。

   • 提示：开启“双遍合成”可显著提升音质，但会加倍 API 调用成本。

5. 配置批处理任务 编辑 batch.ini：

   • 在 [SETTINGS] 中指定原视频路径和原字幕文件路径。
   • 在 enabled_languages 变量中列出需要翻译的语言编号。
   • 在对应的 [LANGUAGE-#] 部分配置目标语言和语音预设。

基本使用

运行主程序

完成上述配置后，直接运行脚本：

python main.py

程序将自动执行翻译、AI 配音及时间轴同步操作。生成的翻译字幕和配音音频将保存在 output 文件夹中。

可选：合并音轨

如需将生成的多语言音轨合并到 MP4 视频中，可使用辅助脚本：

python TrackAdder.py

注意：需在脚本顶部修改"User Settings"中的文件路径。YouTube 多音轨功能可能需要联系创作者支持获取权限。

可选：翻译标题与描述

若计划上传至 YouTube，可先批量翻译视频标题和描述：

python TitleTranslator.py

---

提示：该工具对字幕格式敏感，推荐使用 Descript 导出的 SRT 字幕，以保留原始语速停顿。