Recall.ai - 会议转录 API

如果您正在寻找会议转录 API，不妨看看 Recall.ai，这是一款能够录制 Zoom、Google Meet、Microsoft Teams 以及线下会议等多种形式会议的 API。

🎥 SoniTranslate 🈷️

🎬 带同步音频的视频翻译 🌐

SonyTranslate 是一款功能强大且易于使用的 Web 应用程序，可让您轻松地将视频翻译成不同语言。本仓库托管的是 SonyTranslate 的 Web UI 代码，该界面基于 Gradio 库构建，旨在提供流畅且交互式的用户体验。

描述	链接
📙 Colab 笔记本
🎉 仓库
🚀 在线演示

SonyTranslate 的 Web UI，采用 Gradio 库构建的浏览器界面。

项目使用说明：视频指南

为了全面了解该项目，我们强烈建议您观看由 DEV-MalletteS 制作的视频教程。您可以通过点击下方缩略图在 YouTube 上观看：

支持的翻译语言

语言代码	语言
en	英语
fr	法语
de	德语
es	西班牙语
it	意大利语
ja	日语
nl	荷兰语
uk	乌克兰语
pt	葡萄牙语
ar	阿拉伯语
zh	中文（简体）
zh-TW	中文（繁体）
cs	捷克语
da	丹麦语
fi	芬兰语
el	希腊语
he	希伯来语
hu	匈牙利语
ko	韩语
fa	波斯语
pl	波兰语
ru	俄语
tr	土耳其语
ur	乌尔都语
hi	印地语
vi	越南语
id	印度尼西亚语
bn	孟加拉语
te	泰卢固语
mr	马拉地语
ta	泰米尔语
jw (或 jv)	爪哇语
ca	加泰罗尼亚语
ne	尼泊尔语
th	泰语
sv	瑞典语
am	阿姆哈拉语
cy	威尔士语
hr	克罗地亚语
is	冰岛语
ka	格鲁吉亚语
km	高棉语
sk	斯洛伐克语
sq	阿尔巴尼亚语
sr	塞尔维亚语
az	阿塞拜疆语
bg	保加利亚语
gl	加利西亚语
gu	古吉拉特语
kk	哈萨克语
kn	卡纳达语
lt	立陶宛语
lv	拉脱维亚语
ml	马拉雅拉姆语
ro	罗马尼亚语
si	僧伽罗语
su	巽他语
et	爱沙尼亚语
mk	马其顿语
sw	斯瓦希里语
af	非洲语
bs	波斯尼亚语
la	拉丁语
my	缅甸语 Burmese
no	挪威语
as	阿萨姆语
eu	巴斯克语
ha	豪萨语
ht	海地克里奥尔语
hy	亚美尼亚语
lo	老挝语
mg	马达加斯加语
mn	蒙古语
mt	马耳他语
pa	旁遮普语
ps	普什图语
sl	斯洛文尼亚语
sn	绍纳语
so	索马里语
tg	塔吉克语
tk	土库曼语
tt	鞑靼语
uz	乌兹别克语
yo	约鲁巴语

非转录语言

语言代码	语言
ay	阿伊马拉语
bm	巴姆巴拉语
ceb	宿务语
ny	奇切瓦语
dv	迪维希语
doi	多格里语
ee	埃韦语
gn	瓜拉尼语
ilo	伊洛科语
rw	基尼亚尔万达语
kri	克里奥语
ku	库尔德语
ky	吉尔吉斯语
lg	甘达语
mai	迈蒂利语
or	奥里亚语
om	奥罗莫语
qu	克丘亚语
sm	萨摩亚语
ti	提格里尼亚语
ts	松加语
ak	阿坎语
ug	维吾尔语

示例：

原始音频

https://github.com/R3gm/SoniTranslate/assets/114810545/db9e78c0-b228-4e81-9704-e62d5cc407a3

翻译后的音频

https://github.com/R3gm/SoniTranslate/assets/114810545/6a8ddc65-a46f-4653-9726-6df2615f0ef9

Colab 运行环境

要使用 Colab 运行环境运行 SoniTranslate：

本地安装（已在 Linux 系统上测试过）

开始之前

在开始安装和使用 SoniTranslate 之前，您需要完成以下几项准备工作：

1. 安装适用于 CUDA 11.8.0 的 NVIDIA 驱动程序。NVIDIA CUDA 是一个并行计算平台和编程模型，使开发者能够利用 NVIDIA 图形处理单元（GPU）的强大性能来加速计算密集型任务。您可以从 这里 获取驱动程序，并按照网站上的说明下载和安装。

2. 接受 Pyannote 的使用许可协议。您需要在 Hugging Face 上拥有账户，并“接受使用这些模型的许可”：https://huggingface.co/pyannote/speaker-diarization 和 https://huggingface.co/pyannote/segmentation。

3. 创建一个 Hugging Face 令牌。Hugging Face 是一个自然语言处理平台，提供最先进的模型和工具。为了使用 SoniTranslate 中的一些自动模型下载功能，您需要创建一个令牌。请按照 Hugging Face 官网上的说明创建令牌。在 Hugging Face 中创建新的访问令牌时，请确保勾选“对您可访问的所有公共 gated repo 内容的读取权限”。

4. 安装 Anaconda 或 Miniconda。Anaconda 是一个免费且开源的 Python 和 R 发行版。它包含一个名为 conda 的包管理器，可以轻松安装和管理 Python 环境及软件包。请按照 Anaconda 官网上的说明下载并安装 Anaconda。

5. 为您的系统安装 Git。Git 是一个版本控制系统，可以帮助您跟踪代码变更并与他人协作。您可以通过 Anaconda 在终端中运行 conda install -c anaconda git -y 来安装 Git（请在下文第 1 步之后执行）。如果您通过 Anaconda 安装 Git 时遇到问题，可以使用以下链接：

   • Linux 版 Git

完成以上步骤后，您就可以准备安装 SoniTranslate 了。

开始使用

要安装 SoniTranslate，请按照以下步骤操作：

1. 为 SoniTranslate 创建一个合适的 Anaconda 环境并激活它：

conda create -n sonitr python=3.10 -y
conda activate sonitr
python -m pip install pip==23.1.2 Setuptools==80.6.0
conda install pytorch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 pytorch-cuda=11.8 -c pytorch -c nvidia

2. 克隆此 GitHub 仓库并进入该目录：

git clone https://github.com/r3gm/SoniTranslate.git
cd SoniTranslate

3. 安装所需依赖包：

pip install -r requirements_base.txt -v
pip install -r requirements_extra.txt -v
pip install onnxruntime-gpu

4. 安装 FFmpeg。FFmpeg 是一个免费的软件项目，提供用于处理多媒体数据的库和程序。您将需要它来处理音频和视频文件。您可以通过 Anaconda 在终端中运行 conda install -y ffmpeg 来安装 FFmpeg（推荐）。如果通过 Anaconda 安装 FFmpeg 有困难，可以使用以下链接：[https://ffmpeg.org/ffmpeg.html]。安装完成后，请确保它已添加到您的 PATH 中，方法是在终端中运行 ffmpeg -h。如果没有出现错误信息，则表示安装成功。

5. 可选安装：

在安装 FFmpeg 后，您可以安装以下可选包。

Piper TTS 是一种快速、本地化的神经网络文本转语音系统，音质出色，并针对 Raspberry Pi 4 进行了优化。Piper 被广泛应用于各种项目中。其语音模型基于 VITS 训练，并导出为 ONNX 格式。

pip install -q piper-tts==1.2.0

Coqui XTTS 是一种文本转语音（TTS）模型，可以让您生成多种语言的逼真语音。只需一段简短的音频片段，即可克隆声音，甚至用不同语言进行朗读！它就像为您需要朗读的任何文本配备了一个私人语音模仿者。

pip install -q -r requirements_xtts.txt
pip install -q TTS==0.21.1 --no-deps

运行 SoniTranslate

要在本地运行 SoniTranslate，请确保 sonitr Conda 环境已激活：

conda activate sonitr

在 Linux 系统中，将您的 Hugging Face 令牌设置为环境变量：

export YOUR_HF_TOKEN="YOUR_HUGGING_FACE_TOKEN"

然后进入 SoniTranslate 文件夹，运行 app_rvc.py：

python app_rvc.py

当终端显示本地 URL http://127.0.0.1:7860 时，只需在浏览器中打开该网址即可访问 SoniTranslate 界面。

停止并关闭 SoniTranslate

在大多数环境中，您可以通过在运行 app_rvc.py 脚本的终端中按下 Ctrl+C 来停止程序。这将中断程序并关闭 Gradio 应用程序。

要退出 Conda 环境，可以使用以下命令：

conda deactivate

这将停用当前活动的 Conda 环境 sonitr，您将返回到基础环境或全局 Python 环境。

重新开始

如果您需要从头开始，可以删除 SoniTranslate 文件夹，并使用以下命令移除 sonitr Conda 环境：

conda deactivate
conda env remove -n sonitr

移除 sonitr 环境后，您可以重新开始全新的安装过程。

备注

• 您也可以将 Hugging Face 令牌设置为永久环境变量，方法如下：

conda activate sonitr
conda env config vars set YOUR_HF_TOKEN="YOUR_HUGGING_FACE_TOKEN_HERE"
conda deactivate

• 若要使用 OpenAI 的 GPT API 进行翻译、TTS 或转录，请将您的 OpenAI API 密钥以引号形式设置为环境变量：

conda activate sonitr
conda env config vars set OPENAI_API_KEY="your-api-key-here"
conda deactivate

命令行参数

app_rvc.py 脚本支持命令行参数来自定义其行为。以下是使用这些参数的简要指南：

参数命令	默认值	类型	描述
--theme	Taithrah/Minimal	字符串	设置界面的主题。主题可在 Theme Gallery 中找到。
--language	english	字符串	选择界面语言。可用选项：南非语、阿拉伯语、阿塞拜疆语、中文（简体）、英语、法语、德语、印地语、印尼语、意大利语、日语、韩语、马拉地语、波斯语、波兰语、葡萄牙语、俄语、西班牙语、瑞典语、土耳其语、乌克兰语、越南语。
--verbosity_level	info	字符串	设置日志记录器的详细程度：debug、info、warning、error 或 critical。
--public_url		布尔值	启用公开链接。
--cpu_mode		布尔值	启用 CPU 模式，以不使用 GPU 加速运行程序。
--logs_in_gui		布尔值	在日志中显示执行的操作（已弃用）。

示例用法：

python app_rvc.py --theme aliabid94/new-theme --language french

此命令将主题设置为自定义主题，并选择法语作为界面语言。 请根据您的偏好和需求自定义这些参数。

📖 新闻

🔥 2024年5月18日：新更新详情

• 添加了重叠减少选项
• 集成 OpenAI API 密钥用于转录、翻译和 TTS
• 更多输出类型：按说话人划分的字幕、单独的音频音轨，以及仅含字幕的视频
• 可在 Hugging Face Whisper 页面 上访问性能更优的 Whisper 版本进行语音转录。复制仓库 ID 并将其粘贴到“高级设置”中的“Whisper ASR 模型”部分；例如，kotoba-tech/kotoba-whisper-v1.1 用于日语转录 可在此处获取
• 支持 ASS 字幕和带字幕的批量处理
• 转录前的人声增强
• 添加了 CPU 模式，可通过 app_rvc.py --cpu_mode 启用
• TTS 现在最多支持 12 位说话人
• 集成 OpenVoiceV2 进行语音模仿
• PDF 转视频书（显示 PDF 中的图片）
• GUI 语言翻译新增波斯语和南非语
• 新增语言支持：
  • 完全支持：爱沙尼亚语、马其顿语、马来语、斯瓦希里语、南非语、波斯尼亚语、拉丁语、缅甸语、挪威语、繁体中文、阿萨姆语、巴斯克语、豪萨语、海地克里奥尔语、亚美尼亚语、老挝语、马达加斯加语、蒙古语、马耳他语、旁遮普语、普什图语、斯洛文尼亚语、绍纳语、索马里语、塔吉克语、土库曼语、鞑靼语、乌兹别克语和约鲁巴语
  • 非转录类：艾马拉语、班巴拉语、宿务语、奇切瓦语、迪维希语、多格里语、埃韦语、瓜拉尼语、伊洛卡诺语、基尼亚卢旺达语、克里奥尔语、库尔德语、吉尔吉斯语、干达语、迈蒂利语、奥里亚语、奥罗莫语、克丘亚语、萨摩亚语、提格雷语、松加语、阿坎语和维吾尔语

🔥 2024年3月2日：保留输出文件名。现在可以通过逗号分隔的路径、目录或 URL 同时提交多个压缩包。支持处理完整的 YouTube 播放列表。关于 支持的网站 URL，请注意并非所有网站都能最佳运行。新增了禁用说话人分离的选项。实现了软字幕功能。支持多种输出格式（MP3、MP4、MKV、WAV 和 OGG），并解决了文件读取和说话人分离相关的问题。

🔥 2024年2月22日：新增 freevc 用于语音模仿，修复了无声轨道问题，并可分割片段。新增语言支持（瑞典语、阿姆哈拉语、威尔士语、克罗地亚语、冰岛语、格鲁吉亚语、高棉语、斯洛伐克语、阿尔巴尼亚语、塞尔维亚语、阿塞拜疆语、保加利亚语、加利西亚语、古吉拉特语、哈萨克语、坎纳达语、立陶宛语、拉脱维亚语、马拉雅拉姆语、罗马尼亚语、僧伽罗语和巽他语）。GUI 新增翻译版本（西班牙语、法语、德语、意大利语、日语、简体中文、乌克兰语、阿拉伯语、俄语、土耳其语、印尼语、葡萄牙语、印地语、越南语、波兰语、瑞典语、韩语、马拉地语和阿塞拜疆语）。使用字幕文件时无需对齐，且处理 SRT 文件也不需要媒体文件。可将字幕刻录到视频中。队列可同时接受多项任务。提供声音警报通知。可从上次检查点继续处理。支持加速速率调节。

🔥 2024年1月16日：扩展语言支持（泰语、尼泊尔语、加泰罗尼亚语、爪哇语、泰米尔语、马拉地语、泰卢固语、孟加拉语和印尼语），引入 whisper large v3，可配置的 GUI 选项，集成 BARK、Facebook-mms、Coqui XTTS 和 Piper-TTS。新增音频分离工具、XTTS WAV 创建功能，允许以 SRT 文件为基础进行翻译，支持文档翻译、手动编辑说话人信息，以及灵活的输出选项（视频、音频、字幕）。

🔥 2023年10月29日：可编辑翻译后的字幕，下载字幕，并调整音量和速度选项。

🔥 2023年8月3日：更改了默认选项，并增加了下载目录视图。

🔥 2023年8月2日：新增对阿拉伯语、捷克语、丹麦语、芬兰语、希腊语、希伯来语、匈牙利语、韩语、波斯语、波兰语、俄语、土耳其语、乌尔都语、印地语和越南语的支持。🌐

🔥 2023年8月1日：新增使用 RVC 模型的选项。

🔥 2023年7月27日：修复了视频和音频处理中的一些 bug。

🔥 2023年7月26日：全新 UI 并增加混合选项。

贡献

欢迎社区贡献！如果您有任何想法、错误报告或功能请求，请提交问题或拉取请求。更多信息请参阅贡献指南。

致谢

本项目利用了多个开源项目。我们谨向以下仓库的贡献者表示感谢：

• PyTorch
• yt-dlp
• Gradio
• edge-tts
• deep-translator
• pyannote-audio
• WhisperX
• faster-whisper
• CTranslate2
• Transformers
• FFmpeg
• Piper
• Coqui TTS
• pypdf
• OpenVoice

许可证

尽管代码采用 Apache 2 许可证，但模型或权重可能存在商业限制，例如 pyannote 的说话人分离功能。

SoniTranslate 快速上手指南

SoniTranslate 是一个强大的视频翻译工具，支持将视频中的语音翻译成多种语言，并生成同步的口型与音频。本指南帮助中国开发者快速在本地部署并使用该工具。

环境准备

系统要求

• 操作系统：推荐 Linux（安装已在 Linux 上测试通过）
• GPU：NVIDIA 显卡，需支持 CUDA 11.8.0
• Python 版本：3.10

前置依赖

1. 安装 NVIDIA 驱动与 CUDA 11.8 访问 NVIDIA CUDA Toolkit Archive 下载并安装对应驱动。

2. 获取 Hugging Face Token

   • 注册/登录 Hugging Face
   • 接受以下模型的许可协议：
     • https://huggingface.co/pyannote/speaker-diarization
     • https://huggingface.co/pyannote/segmentation
   • 创建 Access Token，勾选 "Read access to contents of all public gated repos you can access"。

3. 安装 Conda 与 Git 推荐安装 Miniconda 或 Anaconda。 Git 可通过 Conda 安装：

   conda install -c anaconda git -y
   

4. 安装 FFmpeg 推荐使用 Conda 安装：

   conda install -y ffmpeg
   

   验证安装：ffmpeg -h（无报错即成功）。

---

安装步骤

1. 创建并激活 Conda 环境

conda create -n sonitr python=3.10 -y
conda activate sonitr
python -m pip install pip==23.1.2 Setuptools==80.6.0
conda install pytorch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 pytorch-cuda=11.8 -c pytorch -c nvidia

国内加速建议：若下载 PyTorch 缓慢，可尝试使用清华镜像源：

conda install pytorch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 pytorch-cuda=11.8 -c pytorch -c nvidia --override-channels -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

2. 克隆项目代码

git clone https://github.com/r3gm/SoniTranslate.git
cd SoniTranslate

国内加速建议：若 GitHub 克隆失败，可使用镜像：

git clone https://ghp.ci/https://github.com/r3gm/SoniTranslate.git
cd SoniTranslate

3. 安装依赖包

pip install -r requirements_base.txt -v
pip install -r requirements_extra.txt -v
pip install onnxruntime-gpu

国内加速建议：使用清华或阿里镜像加速 pip 安装：

pip install -r requirements_base.txt -v -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r requirements_extra.txt -v -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install onnxruntime-gpu -i https://pypi.tuna.tsinghua.edu.cn/simple

4. （可选）安装增强语音模型

如需使用更高质量的语音合成（如声音克隆），可安装以下组件：

Piper TTS（轻量快速）：

pip install -q piper-tts==1.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

Coqui XTTS（支持多语言声音克隆）：

pip install -q -r requirements_xtts.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -q TTS==0.21.1 --no-deps -i https://pypi.tuna.tsinghua.edu.cn/simple

---

基本使用

1. 配置环境变量

设置你的 Hugging Face Token（替换 YOUR_HUGGING_FACE_TOKEN）：

export YOUR_HF_TOKEN="YOUR_HUGGING_FACE_TOKEN"

若需永久配置，可执行：

conda env config vars set YOUR_HF_TOKEN="YOUR_HUGGING_FACE_TOKEN"

如需使用 OpenAI 接口（翻译/转录），同样配置 API Key：

conda env config vars set OPENAI_API_KEY="your-api-key-here"

2. 启动应用

确保在 sonitr 环境中，进入项目目录并运行：

conda activate sonitr
cd SoniTranslate
python app_rvc.py

3. 访问界面

终端显示 local URL http://127.0.0.1:7860 后，在浏览器打开该地址即可使用图形界面上传视频、选择目标语言并进行翻译。

4. 停止服务

• 终止运行：在终端按 Ctrl+C
• 退出环境：

  conda deactivate
  

---

✅ 现在你已成功部署 SoniTranslate，可开始体验视频自动翻译与配音功能！