Pandrator：一款支持语音克隆与翻译的多语言GUI有声书、字幕及配音生成工具

[!TIP] 简而言之：

• Pandrator本身并非AI模型，而是一个用于文本转语音、字幕生成和翻译项目的GUI框架。它能够借助多种AI工具、自定义工作流和算法来生成有声书以及字幕或配音。该软件在Windows系统上开箱即用。虽然也能在Linux上运行，但目前仍需手动安装。
• 使用它的最简单方式是下载其中一个预编译的**压缩包——只需解压并使用其中的启动器即可。其内容与大小请参见此表格**。
• 您可以在Discord服务器上与我交流，或分享技巧、工作流程与创意。

快速演示

本视频展示了启动Pandrator、选择源文件、开始生成、停止生成并预览保存文件的过程。视频未加速，旨在展示实际运行效果（您可跳过前35秒XTTS服务器启动的部分，并请务必打开声音）。

https://github.com/user-attachments/assets/7cab141a-e043-4057-8166-72cb29281c50

接下来的视频则演示了从YouTube视频到转录、翻译、语音合成再到同步的配音工作流。

https://github.com/user-attachments/assets/dfd4b6e8-3eda-49e4-bff4-f1683ec4cf21

关于Pandrator

Pandrator致力于易用性和易安装性——提供一键安装程序和图形化用户界面。它是一款专为两项任务设计的工具：

• 将文本、PDF（包括透明裁剪）、EPUB和SRT文件转换为多语言的语音输出，主要基于本地运行的开源软件，包含预处理步骤，以尽可能使生成的语音听起来自然，例如将文本拆分为段落、句子及更小的逻辑文本块（从句），以便TTS模型在处理时产生较少的人工痕迹。如果首次尝试不满意，每个句子都可以重新生成；在回听生成结果时，可通过鼠标或键盘操作标记需要重做的部分。对于支持语音克隆的模型，还可以进行语音克隆；此外，还可利用LLM对文本进行进一步预处理（如去除OCR伪影，或将罗马数字、缩写等TTS模型难以处理的内容逐字读出）。
• 直接从视频文件生成配音，包括转录（使用WhisperX）或从.SRT文件开始。它涵盖了从视频文件到带字幕的配音视频的完整工作流程——包括使用多种API和技巧来提升翻译质量。为此开发的配套应用Subdub也可单独使用。您还可以在不生成音频的情况下直接校对或翻译字幕。

目前，Pandrator主要利用XTTS的强大多语言能力、优良品质及易于微调的特点，同时结合Silero进行文本转语音和语音克隆，并通过RVC_CLI进一步提升音质与语音克隆效果，以及NISQA来进行音频质量评估。此外，它还集成了Text Generation Webui的API，用于本地LLM驱动的文本预处理，从而在音频生成之前实现多样化的文本操作。

支持的语言

• XTTS支持英语（en）、西班牙语（es）、法语（fr）、德语（de）、意大利语（it）、葡萄牙语（pt）、波兰语（pl）、土耳其语（tr）、俄语（ru）、荷兰语（nl）、捷克语（cs）、阿拉伯语（ar）、中文（zh-cn）、日语（ja）、匈牙利语（hu）和韩语（ko）。

• Silero支持英语、德语、俄语、西班牙语、法语、印地语、鞑靼语、乌克兰语、乌兹别克语和卡尔梅克语。

[!NOTE] 请注意，Pandrator目前仍处于Alpha阶段，而我并非经验丰富的开发者（实际上是个新手），因此代码在优化、功能和可靠性方面都远未完善。请理解这一点，并欢迎为改进这款工具贡献力量。

示例

这些示例均采用最低设置生成——未使用LLM文本处理、RVC或TTS评估，也未对任何句子进行重做。XTTS和Silero的生成速度均快于播放速度，且Silero仅使用了一个CPU核心。

https://github.com/user-attachments/assets/1c763c94-c66b-4c22-a698-6c4bcf3e875d

https://github.com/lukaszliniewicz/Pandrator/assets/75737665/118f5b9c-641b-4edd-8ef6-178dd924a883

配音示例，含翻译（视频来源）：

https://github.com/user-attachments/assets/1ba8068d-986e-4dec-a162-3b7cc49052f4

系统要求

硬件要求

TTS模型	CPU要求	GPU要求
XTTS	至少具备4核的较新CPU（仅使用CPU进行生成）	NVIDIA显卡，显存4GB以上，以获得良好性能
Silero	在大多数CPU上表现良好，无论核心数量多少	无

依赖项

本项目依赖于多个 API 和服务（本地运行）以及库，其中主要包括：

必需

• XTTS API 服务器（由 daswer123 提供），用于基于 Coqui XTTSv2 的文本转语音 (TTS) 生成；或 Silero API 服务器（由 ouoertheo 提供），用于基于 Silero 模型 的 TTS 生成。
• FFmpeg，用于音频编码。
• Sentence Splitter（由 mediacloud 提供），用于将 .txt 文件按句子分割；customtkinter（由 TomSchimansky 提供）、num2words（由 savoirfairelinux 提供） 等。完整列表请参阅 requirements.txt。

可选

• Subdub（由 lukaszliniewicz 提供），一款命令行应用程序，可对视频文件进行转录、翻译字幕，并将生成的语音与视频同步，专为 Pandrator 打造。
• WhisperX（由 m-bain 提供），OpenAI Whisper 模型的增强版，具有更优的对齐效果，用于配音和 XTTS 训练。
• Easy XTTS Trainer（由 lukaszliniewicz 提供），一款命令行应用程序，允许使用一个或多个音频文件对 XTTS 进行微调，专为 Pandrator 设计。
• RVC Python（由 daswer123 提供），用于通过 基于检索的语音转换 提升语音质量和克隆效果。
• Text Generation Webui API（由 oobabooga 提供），用于基于大语言模型的文本预处理。
• NISQA（由 gabrielmittag 提供），用于评估 TTS 生成结果（采用 FastAPI 实现)。

安装说明

自包含软件包

我已准备好可以直接解压使用的软件包（压缩文件），其中所有内容均已预先安装在独立的便携式 conda 环境中。您可从 此处 下载。

您可以使用启动器来启动 Pandrator、更新程序并安装新功能。

软件包	内容	解压后大小
1	Pandrator 和 Silero	4GB
2	Pandrator 和 XTTS	14GB
3	Pandrator、XTTS、RVC、WhisperX（用于配音）及 XTTS 微调工具	36GB

GUI 安装程序与启动器（Windows）

请以管理员权限运行 pandrator_installer_launcher.exe。该文件位于 Releases 页面。此可执行文件是使用 pyinstaller 从仓库中的 pandrator_installer_launcher.py 编译而成。

该文件可能会被杀毒软件标记为威胁，因此您可能需要将其添加到白名单；如果您对此不放心，可以手动安装 C++ Build Tools 和 Calibre，或者进行完全手动安装。

您可以选择要安装的 TTS 引擎，以及是否安装支持 RVC 语音克隆（RVC Python）、配音（WhisperX）和 XTTS 微调（Easy XTTS Trainer）的软件。后续也可再安装其他组件。

安装程序/启动器将执行以下操作：

1. 创建 Pandrator 文件夹
2. 如果尚未安装，则安装必要的工具：
   • C++ Build Tools
   • Calibre
3. 安装 Miniconda（仅限本地环境，而非系统全局）
4. 克隆以下仓库：
   • Pandrator
   • Subdub
   • PyPDFCropper
   • XTTS API 服务器（如已选择）
   • Silero API 服务器（如已选择）
5. 创建 conda 环境（pandrator_installer、xtta_api_server_installer、whisperx_installer、easy_xtts_training_installer）。 若需在这些环境中执行某些操作，例如调试、故障排除或自定义，请进入 Pandrator 文件夹并运行：

conda/Scripts/conda.exe -p conda/envs/env_name run no-capture-output python [command]

7. 安装所有必要的依赖项。

注意： 您可以随时使用安装程序/启动器来启动 Pandrator 及所有相关工具。

如需重新进行设置，请删除安装程序创建的 Pandrator 文件夹。初始设置过程中需要下载模型并安装依赖项，因此请预留至少几分钟时间；根据您选择的选项，整个过程可能需要长达 30 分钟。

对于安装程序尚未包含的附加功能：

• 安装 Text Generation Webui，并确保启用 API（在启动 Webui 前，将 --api 添加到主目录下的 CMD_FLAGS.txt 文件中）。
• 配置 NISQA API，以实现对生成结果的自动评估。

有关详细的安装说明，请参阅 依赖项 部分所链接的各个仓库。请注意，XTTS 和 Silero 的 API 服务器必须处于运行状态，才能使用其提供的功能。

手动安装

先决条件

• Git
• Miniconda 或 Anaconda
• Microsoft Visual C++ 构建工具
• Calibre

安装步骤

1. 安装依赖：

   • Calibre：从 https://calibre-ebook.com/download_windows 下载并安装。
   • Microsoft Visual C++ 构建工具：

     winget install --id Microsoft.VisualStudio.2022.BuildTools --override "--quiet --wait --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended" --accept-package-agreements --accept-source-agreements
     

2. 克隆仓库：

   mkdir Pandrator
   cd Pandrator
   git clone https://github.com/lukaszliniewicz/Pandrator.git
   git clone https://github.com/lukaszliniewicz/Subdub.git
   

3. 创建并激活 Conda 环境：

   conda create -n pandrator_installer python=3.10 -y
   conda activate pandrator_installer
   

4. 安装 Pandrator 和 Subdub 的依赖：

   cd Pandrator
   pip install -r requirements.txt
   cd ../Subdub
   pip install -r requirements.txt
   cd ..
   

5. （可选）安装 XTTS：

   git clone https://github.com/daswer123/xtts-api-server.git
   conda create -n xtts_api_server_installer python=3.10 -y
   conda activate xtts_api_server_installer
   pip install torch==2.1.1+cu118 torchaudio==2.1.1+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
   pip install xtts-api-server
   

6. （可选）安装 Silero：

   conda create -n silero_api_server_installer python=3.10 -y
   conda activate silero_api_server_installer
   pip install silero-api-server
   

7. （可选）安装 RVC（基于检索的语音转换）：

   conda activate pandrator_installer
   pip install pip==24
   pip install rvc-python
   pip install torch==2.1.1+cu118 torchaudio==2.1.1+cu118 --index-url https://download.pytorch.org/whl/cu118
   

8. （可选）安装 WhisperX：

   conda create -n whisperx_installer python=3.10 -y
   conda activate whisperx_installer
   conda install git -c conda-forge -y
   pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118
   conda install cudnn=8.9.7.29 -c conda-forge -y
   conda install ffmpeg -c conda-forge -y
   pip install git+https://github.com/m-bain/whisperx.git
   

9. （可选）安装 XTTS 微调工具：

   git clone https://github.com/lukaszliniewicz/easy_xtts_trainer.git
   conda create -n easy_xtts_trainer python=3.10 -y
   conda activate easy_xtts_trainer
   cd easy_xtts_trainer
   pip install -r requirements.txt
   pip install torch==2.1.1+cu118 torchaudio==2.1.1+cu118 --index-url https://download.pytorch.org/whl/cu118
   cd ..
   

运行组件

1. 运行 Pandrator：

   conda activate pandrator_installer
   cd Pandrator
   python pandrator.py
   

2. 运行 XTTS API 服务器（如果已安装）：

   conda activate xtts_api_server_installer
   python -m xtts_api_server
   

   额外选项：

   • 仅使用 CPU：添加 --device cpu
   • 低显存模式：添加 --lowvram（适用于 4GB 及以下显存）
   • 使用 DeepSpeed：添加 --deepspeed

3. 运行 Silero API 服务器（如果已安装）：

   conda activate silero_api_server_installer
   python -m silero_api_server
   

文件夹结构

安装完成后，您的文件夹结构应如下所示：

Pandrator/
├── Pandrator/
├── Subdub/
├── xtts-api-server/ (如果安装了 XTTS)
├── easy_xtts_trainer/ (如果安装了 XTTS 微调工具)

有关特定组件的使用或故障排除的更详细信息，请参阅各个仓库的文档。

快速入门指南

基本用法：有声书

如果您不想使用 RVC 等附加功能，那么在 “会话”选项卡 中就已经具备了所需的一切。

会话

您可以创建一个新的会话，也可以加载一个已有的会话（在 Outputs 文件夹中选择一个文件夹即可）。

文件选择与预处理

选择 .txt、.srt、.pdf、.epub、.mobi 或 .docx 文件。如果选择 PDF 或 EPUB 文件，将会打开一个预览窗口，显示提取出的文本。对于 PDF 文件，您可以通过半透明页面对文档进行裁剪，以移除页眉、页脚或特定页面。您可以编辑提取出的文本（例如，OCR 识别的书籍通常在扉页等位置存在识别错误），并检查或添加段落和章节标记（EPUB 文件会自动创建这些标记）。无论格式如何，包含大量文本的文件在开始生成之前可能需要一些时间完成预处理。此时界面可能会卡住，但只要 CPU 仍在运行，就说明程序正在正常工作。

选择 TTS 引擎和语音

1. 从下拉菜单中选择要使用的 TTS 服务器——XTTS 或 Silero——以及语言。推荐使用 XTTS。
2. 选择您想要使用的语音。
   1. XTTS 的语音是短小的 6–12 秒 .wav 文件（采样率为 22050Hz，单声道），存储在 tts_voices 目录中（Pandrator/Pandrator/tts_voices）。您可以通过 GUI 上传并选择这些语音。XTTS 模型会利用音频来克隆语音。样本的语言并不重要，您可以在所有支持的语言中生成语音，但如果提供目标语言的样本，效果会更好。您可以使用仓库中的示例文件，也可以上传自己的文件。请确保音频长度在 6 到 12 秒之间，为单声道，且采样率为 22050Hz。可以使用 Audacity 等工具准备文件。噪音越少越好。您还可以使用 Resemble AI 等工具，在 Hugging Face 上对样本进行降噪和/或增强。您可以将多个样本放入 tts_voices 目录下的一个文件夹中，模型会同时使用所有样本（通常最多 4 个），这样可以提升质量。
   2. Silero 为其支持的每种语言提供了多种语音选项。它不支持语音克隆功能。只需在选择语言后，从下拉菜单中选择一种语音即可。

输出选项

默认输出格式为 .m4b。您也可以选择 opus、mp3 或 wav 格式，选择封面图片并添加元数据。

生成

点击“开始生成”即可开始。您可以随时停止并稍后再继续，或者关闭程序并在以后重新加载会话。

已生成的句子

您可以播放已生成的句子，也可以将其作为播放列表播放；还可以编辑这些句子（即用于重新生成的文本）、重新生成或删除个别句子。您也可以将它们标记为待重新生成。这在您不想中断聆听，而希望稍后再处理有问题的句子时非常有用。您可以使用 m 键标记当前正在播放的句子，或使用鼠标右键同时标记当前句和上一句（如果您是在听输出而不是看屏幕，这种方式会更方便）。 “保存输出”会将迄今为止生成的所有句子拼接在一起，并编码为一个文件。

配音

Pandrator 提供了一个全面的工作流程，用于从视频文件或现有字幕文件生成配音视频。该流程包括转录、翻译、语音合成和同步：

1. 选择视频或 SRT 文件：
   • 视频文件： 选择一个视频文件。系统会自动提取音频，并使用 WhisperX 进行转录。
   • SRT 文件： 选择一个现有的 SRT 字幕文件。在这种情况下，您还需要指定对应的视频文件（除非您只想翻译字幕）。
2. 转录（如果使用视频文件）：
   • 语言： 选择原视频中使用的语言。
   • 模型： 选择用于转录的 WhisperX 模型。较小的模型速度更快，而较大的模型则提供更高的准确性。“large-v3”模型的效果最佳。
   • Pandrator 会自动运行 WhisperX，生成包含转录内容的 SRT 文件。
3. 翻译（可选）：
   • 启用翻译： 打开此选项以翻译字幕。
   • 原文与目标语言： 选择字幕的原文语言以及您希望翻译成的目标语言。
   • 翻译模型： 选择一个翻译模型（例如，“haiku”、“sonnet”、“sonnet thinking”、“gemini-flash”、“gemini-flash-thinking”、“gpt-4o-mini”、“gpt-4o”、“deepl”、“local”）。除“local”选项外，您需要在 API 密钥 选项卡中设置 API 密钥。Sonnet 的效果最好，但价格也最贵。Gemini-flash-thinking 效果不错且免费（需从 Google AI Studio 获取 API 密钥）。通过 DeepL，您可以免费翻译 50 万字符。对于本地翻译，您需要安装并运行 Text Generation Webui，同时加载您希望使用的模型。
   • 思维链（可选）： 启用此选项以使用思维链提示，这可能会提高非思考型模型的质量——请勿与思考型模型一起使用（仅适用于 LLM，不适用于 DeepL）。
4. 为了生成语音，点击 生成配音音频。您可以像在有声书流程中一样编辑或重新生成句子。您也可以选择只转录所选视频文件，或只翻译字幕文件。
5. 同步： 当您对生成的音频满意时，点击 将配音添加到视频。配音将与视频同步，生成带有嵌入字幕的配音视频。

通用音频设置

1. 您可以调整在句子和段落末尾添加的静音时长。
2. 您可以启用淡入淡出效果，并设置持续时间。
3. 您可以启用 RVC。要使 RVC 正常工作，您需要安装 RVC_Python。您可以在安装程序/启动器中随时完成安装。您需要选择一个模型——RVC 模型由两个文件组成：一个 .pth 文件和一个 .index 文件。这两个文件必须同名（例如 voicex.pth 和 voicex.index）。为了获得最佳效果，建议为 XTTS 使用相同的语音。您还可以微调 RVC 的参数，例如音高。

文本预处理通用设置

1. 您可以禁用/启用长句拆分功能，并设置发送至TTS生成的文本片段的最大长度（默认启用；当句子长度超过最大长度值时，系统会尝试拆分句子。它会寻找标点符号（, ; : -），并选择最接近句子中点的标点进行分割；如果没有标点符号，则会寻找“and”等连词。此操作会执行两次，因为一次拆分后某些句子片段可能仍然过长）。
2. 您可以禁用/启用短句拼接功能（将短句拼接到前一句或后一句；默认禁用，这可能会使文本流更加顺畅，因为发送给模型的文本片段长度更为均匀）。
3. 去除变音符号（在生成包含大量外来词或来自外文字母的音译文本时非常有用，例如日语）。如果您使用需要变音符号的语言（如德语或波兰语）进行生成，请勿启用此功能！否则发音将会错误。

LLM 预处理

• 启用LLM处理功能，以便在将文本发送至TTS API之前，利用语言模型对其进行预处理。例如，您可以要求LLM去除OCR产生的噪声、展开缩写、修正标点符号等。
• 您最多可以定义三个用于文本优化的提示。每个提示会单独发送至LLM API，最终由最后一个提示的输出用于TTS生成。
• 对于每个提示，您可以启用或禁用它、设置提示文本、选择要使用的LLM模型，并启用或禁用评估功能（若启用，LLM API会对每个提示调用两次，随后再调用一次以让模型选出更好的结果）。
• 使用“会话”选项卡中的“加载LLM模型”按钮，加载可用的LLM模型。

RVC 质量增强与语音克隆

• 启用RVC功能，以提升生成音频的质量并应用语音克隆技术。
• 在“音频处理”选项卡中，使用“选择RVC模型”和“选择RVC索引”按钮，分别选择RVC模型文件（.pth）和对应的索引文件。
• 当RVC功能启用时，生成的音频将在保存之前，使用选定的RVC模型和索引进行处理。

NISQA TTS 评估

• 启用TTS评估功能，以使用NISQA（非侵入式语音质量评估）模型评估生成音频的质量。
• 设置目标MOS（平均意见得分）值以及每句话的最大尝试次数。
• 当TTS评估功能启用时，生成的音频将使用NISQA模型进行评估，并为每句话选择MOS得分最高的音频。
• 如果在最大尝试次数内未能达到目标MOS值，则将使用迄今为止生成的最佳音频。

贡献

我们非常欢迎您的贡献、改进建议以及错误报告！

小贴士

• 您可以在此处找到一些语音样本集：这里。这些样本专为ElevenLabs设计，因此您需要从中选取一段8至12秒的音频，并使用Audacity等工具将其保存为22050kHz的单声道.wav格式。
• 您也可以在此处找到一些RVC模型集：这里。

待办事项

• 添加对Surya的支持，用于PDF的OCR、版面及阅读顺序检测，以及章节、页眉、页脚、脚注和表格的预处理。
• 添加对StyleTTS2的支持。
• 添加设置的导入导出功能。
• 添加对专有API的支持，用于文本预处理和TTS生成。
• 包含PDF的OCR功能。
• 添加对更高质量本地TTS模型Tortoise的支持。
• 添加录制语音样本并通过GUI直接用于TTS的功能。
• 添加对章节分割的支持。
• 将所有API服务器加入安装脚本。
• 添加对自定义XTTS模型的支持。
• 添加从.srt字幕文件制作配音的工作流程。
• 包含对PDF文件的支持。
• 在UI中集成已处理句子的编辑功能。
• 添加对低质量但运行速度更快、可在CPU上轻松运行的本地TTS模型的支持，例如Silero或Piper。
• 添加对EPUB的支持。

Pandrator 快速上手指南

Pandrator 是一个多语言图形界面（GUI）工具，用于生成有声书、字幕和配音。它集成了语音克隆、翻译及多种 AI 模型（如 XTTS、Silero），支持本地运行，旨在让文本转语音和视频配音流程变得简单高效。

1. 环境准备

系统要求

• 操作系统:
  • Windows: 推荐，支持一键安装器。
  • Linux: 支持，但需手动安装配置。
• 硬件配置:
  • CPU: 现代处理器，至少 4 核心（若仅使用 CPU 运行 XTTS）。
  • GPU (可选但推荐): NVIDIA 显卡，显存 4GB+（用于加速 XTTS 生成和提升质量）。Silero 模型在普通 CPU 上即可良好运行。

前置依赖

无论采用哪种安装方式，以下基础工具是必须的：

• Git: 用于代码克隆。
• Miniconda / Anaconda: 用于管理 Python 环境。
• Microsoft Visual C++ Build Tools: Windows 编译环境。
• Calibre: 用于处理 EPUB/PDF 等电子书格式。

提示: 国内用户建议配置 Conda 和 Pip 的国内镜像源（如清华源、阿里源）以加速依赖下载。

2. 安装步骤

方案 A：Windows 一键安装包（推荐）

这是最简单的方式，所有依赖已预装在独立的便携环境中。

1. 下载压缩包: 访问官方提供的归档链接下载预设包（注意网络环境）：

   • 基础版 (Pandrator + Silero): 约 4GB
   • 进阶版 (Pandrator + XTTS): 约 14GB
   • 完整版 (含 RVC, WhisperX, 微调工具): 约 36GB

   下载地址参考：OneDrive 归档链接

2. 解压与运行:

   • 解压下载的压缩包。
   • 运行文件夹内的启动器（Launcher）即可直接使用。

方案 B：Windows 安装器安装

如果你希望自定义组件（如只装 XTTS 或包含配音功能），可使用官方安装器。

1. 下载安装器: 从 Releases 页面 下载 pandrator_installer_launcher.exe。

   • 注意: 该文件可能被杀毒软件误报，需添加例外信任。

2. 运行安装: 右键以管理员身份运行 pandrator_installer_launcher.exe。

   • 按照界面提示选择需要安装的 TTS 引擎（XTTS/Silero）。
   • 勾选额外功能：RVC (声音克隆增强), WhisperX (视频配音/转录), Easy XTTS Trainer (模型微调)。
   • 安装程序会自动处理 C++ 工具、Calibre、Miniconda 环境创建及仓库克隆。
   • 首次运行可能需要 5-30 分钟（取决于网速和所选组件）。

方案 C：手动安装 (适用于 Linux 或高级用户)

1. 安装基础依赖:

   # 安装 Calibre (以 Ubuntu/Debian 为例)
   sudo apt install calibre
   
   # 安装构建工具 (Windows PowerShell 管理员模式)
   winget install --id Microsoft.VisualStudio.2022.BuildTools --override "--quiet --wait --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended" --accept-package-agreements --accept-source-agreements
   

2. 克隆仓库与环境配置:

   mkdir Pandrator
   cd Pandrator
   
   # 克隆主程序及相关子模块 (根据需求选择)
   git clone https://github.com/lukaszliniewicz/Pandrator.git
   git clone https://github.com/lukaszliniewicz/Subdub.git
   git clone https://github.com/daswer123/xtts-api-server.git
   # 如需 Silero
   git clone https://github.com/ouoertheo/silero-api-server.git
   
   # 创建并激活 Conda 环境 (示例)
   conda create -n pandrator python=3.10
   conda activate pandrator
   
   # 安装 Python 依赖
   cd Pandrator
   pip install -r requirements.txt
   

3. 启动后端服务: Pandrator 依赖外部 API 服务器运行，使用前需单独启动它们：

   # 启动 XTTS 服务 (在 xtts-api-server 目录)
   python server.py --port 8020
   
   # 或在另一个终端启动 Silero 服务
   python server.py --port 8000
   

3. 基本使用

启动程序

• 安装包用户: 直接运行解压目录下的启动器。
• 手动安装用户: 在激活的 conda 环境中运行主脚本：

  python main.py
  

核心功能操作流程

场景一：制作有声书 (文本/EPUB/PDF -> 音频)

1. 加载文件: 在 GUI 中选择源文件（支持 .txt, .pdf, .epub, .srt）。
2. 配置参数:
   • 选择 TTS 模型 (XTTS 或 Silero)。
   • 选择目标语言 (XTTS 支持中、英、日、韩等 16 种语言)。
   • (可选) 上传参考音频进行声音克隆。
   • (可选) 启用 LLM 预处理以优化数字、缩写朗读效果。
3. 生成与预览: 点击生成。生成过程中可试听单句，若不满意可标记并重生成特定句子。
4. 导出: 完成后保存为音频文件。

场景二：视频配音 (视频 -> 转录 -> 翻译 -> 配音 -> 合成)

1. 输入视频: 选择本地视频文件或 YouTube 链接。
2. 工作流设置:
   • 转录: 自动调用 WhisperX 提取字幕。
   • 翻译: 选择目标语言，系统将翻译字幕内容。
   • 配音: 使用选定的 TTS 模型生成对应语音。
   • 同步: 自动调整语音节奏以匹配视频口型/时长。
3. 执行: 点击开始，等待全流程完成。
4. 结果: 获得带有新配音和新字幕的视频文件。

提示: 更多高级用法、工作流分享及社区支持，可加入官方 Discord 服务器进行交流。