SmartSub

GitHub
3.7k 253 简单 1 次阅读 今天MIT音频语言模型
AI 解读 由 AI 自动生成,仅供参考

妙幕(SmartSub)是一款跨平台的智能字幕生成与翻译工具,旨在帮助用户轻松为视频或音频文件批量创建高质量字幕,并支持多语言翻译。无论是制作教学视频、影视剪辑,还是处理会议录音,妙幕都能自动识别语音内容并生成准确字幕,同时提供便捷的翻译功能,让内容跨越语言障碍。

它解决了传统字幕制作耗时费力、依赖人工听写以及隐私泄露风险高等痛点。通过本地化处理技术,妙幕无需上传音视频文件到云端,既保护了用户隐私,又显著提升了处理速度。此外,它集成了多种主流翻译服务,包括百度、火山引擎、微软、DeepLX 以及本地 AI 模型(如 Ollama),满足不同场景下的多样化需求。

妙幕适合广泛的用户群体:普通创作者可以快速为短视频添加字幕;研究人员能高效整理访谈或实验录音;设计师和开发者则可利用其开放架构进行二次开发或集成到自己的工作流中。基于 Electron 和 Next.js 构建,妙幕不仅界面友好,还充分利用硬件加速(如 NVIDIA CUDA 和 Apple CoreML),确保在 Windows、macOS 和 Linux 上均能流畅运行。如果你希望以更低成本、更高效率完成字幕相关工作,妙幕将是一个值得信赖的选择。

使用场景

某独立知识博主每周需将录制的 3 小时英文技术讲座视频,快速转化为带中文字幕的版本发布到国内平台。

没有 SmartSub 时

  • 流程割裂效率低:需要先用命令行工具提取字幕,再手动复制内容到网页翻译器,最后重新合成时间轴,处理单个视频耗时超过 4 小时。
  • 隐私与成本风险:在线转录服务要求上传原始视频文件,不仅泄露未公开内容,且长视频的高额 API 费用让个人创作者难以承受。
  • 多语言适配困难:若想同时发布中日双语版本,需重复上述繁琐流程,极易出现字幕时间轴错位或人工校对遗漏。
  • 硬件资源闲置:本地高性能显卡仅用于游戏或渲染,无法利用其算力加速语音识别过程,只能依赖缓慢的云端排队。

使用 SmartSub 后

  • 一键批量自动化:直接拖入多个视频文件,SmartSub 自动调用本地 Whisper 模型生成字幕并衔接翻译接口,3 小时视频仅需 40 分钟即可完成全流程。
  • 纯本地隐私保护:音视频数据完全在本地处理,无需上传任何素材,既保障了课程内容的机密性,又省去了昂贵的云端转录费用。
  • 多模型灵活切换:利用内置的 Ollama 或 DeepSeek 接口,可一次性生成中文、日文等多版本字幕文件,且时间轴精准对齐,支持即时预览校对。
  • 硬件加速最大化:自动识别并调用 NVIDIA CUDA 或 Apple CoreML 加速,将本地显卡算力转化为处理速度,大幅缩短等待时间。

SmartSub 通过“本地化 + 自动化”的一站式工作流,将原本需要半天的人工字幕制作压缩至一顿饭的时间,让创作者能专注于内容本身而非技术琐事。

运行环境要求

操作系统
  • Windows
  • macOS
  • Linux
GPU
  • 非必需
  • 支持 NVIDIA GPU (CUDA 11.8, 12.x, 13.x) 用于 Windows/Linux
  • 支持 Apple Core ML (M 系列芯片) 用于 macOS
  • Intel Mac 不支持 GPU 加速
  • 软件内置包管理器自动下载加速包,无需手动安装 CUDA Toolkit
内存

未说明(建议根据所选 Whisper 模型大小调整,大型模型如 'large' 需要更高显存和内存)

依赖
notes1. macOS M 系列芯片用户请下载 mac-arm64 版本以自动启用 Core ML 加速,Intel Mac 无 GPU 加速。2. 首次使用需在应用内下载 Whisper 模型(推荐根据硬件选择 tiny/base/small/large 等版本),也可手动从镜像站下载导入。3. 若使用苹果芯片且非量化模型,需额外下载并放置 encoder.mlmodelc 文件。4. 支持多种翻译服务 API(如火山、百度、DeepLX、Ollama、OpenAI 风格接口等),需自行配置密钥。5. 如遇 macOS 提示应用损坏,需执行命令移除隔离属性。
python未说明(基于 Electron/Next.js 桌面应用,用户通常无需直接配置 Python 环境,底层依赖 whisper.cpp)
Electron 30
Next.js 14
TypeScript 5.4
React 18
TailwindCSS 3.4
whisper.cpp
SmartSub hero image

快速开始

🚀 妙幕 / SmartSub

让每一帧画面都能美妙地表达

智能音视频字幕生成与多语言翻译批量化解决方案

preview

proofread

💥特性

它保留了之前 VideoSubtitleGenerator 这个命令行工具的全部特性,并新增了以下功能:

  • 支持多种视频/音频格式生成字幕
  • 支持对生成的字幕,或者导入的字幕进行翻译
  • 本地化处理,无须上传视频,保护隐私的同时也拥有更快的处理速度
  • 支持多种翻译服务:
    • 火山引擎翻译
    • 百度翻译
    • 微软翻译器
    • DeepLX 翻译 (批量翻译容易存在被限流的情况)
    • 本地模型 Ollama 翻译
    • AI聚合平台 DeerAPI
    • 支持 OpenAI 风格 API 翻译,如 deepseek, azure
  • 🎯 自定义参数配置: 无需代码修改,直接在界面配置 AI 模型参数 v2.5.3-release-brief.md
    • 支持自定义请求头和请求体参数
    • 支持多种参数类型(文本、数字、开关、JSON对象等)
    • 实时参数验证和错误提示
    • 参数配置导出导入功能
  • 自定义字幕文件名,方便兼容不同的播放器挂载字幕识别
  • 自定义翻译后的字幕文件内容,支持纯翻译结果或原字幕+翻译结果
  • 支持硬件加速
    • NVIDIA CUDA(Windows/Linux)
    • Apple Core ML(macOS M系列芯片)
  • 支持运行本地安装的 whisper 命令
  • 支持自定义并发任务数量

关于 CUDA 的支持

软件已内置 GPU 加速包管理功能,无须手动安装 CUDA Toolkit。

  • 安装软件后,在「设置 → GPU 加速」中,软件会自动检测你的显卡并推荐合适的加速包版本
  • 点击下载对应的加速包即可启用 GPU 加速,支持 CUDA 11.8.0 / 12.2.0 / 12.4.0 / 13.0.2
  • 如果启用加速后出现闪退,请尝试切换其他版本的加速包或关闭 GPU 加速

关于 Core ML 的支持

从 1.20.0 版本开始,在苹果芯片上,支持使用 Core ML 加速语音识别。如果是苹果芯片,请下载 mac arm64 版本的 release 包。将会自动启动 Core ML 加速。

翻译服务

本项目支持多种翻译服务,包括百度翻译、火山引擎翻译、DeepLX、Ollama 本地模型、 DeepSeek 以及 OpenAI 风格的 API。使用这些服务需要相应的 API 密钥或配置。

对于百度翻译、火山引擎等服务的 API 申请方法,可以参考 https://bobtranslate.com/service/ ,感谢 Bob 这款优秀的软件提供的信息。

对于 AI 翻译,翻译结果受模型和提示词的影响比较大,你可以尝试不同的模型和提示词,找到适合自己的组合。推荐可以尝试 AI 聚合平台 DeerAPI, 支持多个平台近 500 种模型,选择合适自己的模型进行翻译。

自定义参数配置 (v2.5.3)

SmartSub 现在支持为每个 AI 翻译服务配置自定义参数,让您能够精确控制模型行为:

  • 灵活参数配置: 直接在界面添加和管理自定义参数,无需修改代码
  • 参数类型支持: String、Float、Boolean、Array、Object、Integer 参数类型
  • 实时验证: 参数修改时实时验证,防止无效配置
  • 配置管理: 支持导出导入配置,方便团队共享和备份
  • 自动保存:沿用系统设计,自动保存任何修改

模型的选择

从视频或者音频里面,生成字幕文件,需要使用到 whisper 的模型。 whisper 的模型有多种,不同的模型,生成字幕的准确性不同,处理速度也不同。

  • 模型越大,准确性越高,对显卡要求也高,处理速度越慢
  • 低端设备或者显卡,推荐 tiny 或者 base 系列的模型,准确性虽然不如 large 系列,但是处理速度快,占用显存小
  • 普通电脑设备,建议从 small 或者 base 开始,平衡精度与资源消耗
  • 对于高性能显卡/工作站,推荐使用 large 系列的模型,准确性高
  • 如果原始音视频是英文,推荐使用带 en 的模型,专为英语优化,减少多语言干扰
  • 如果在乎模型大小,可以考虑使用 q5 或者 q8 系列的模型,相对于非量化版本,牺牲少量精度换取更小体积

🔦使用 (普通用户)

请根据自己的电脑系统和芯片,选择下载对应安装包。GPU 加速包无须在下载安装包时选择,安装软件后可在应用内下载。

系统 芯片 下载安装包 说明
Windows x64 windows-x64 NVIDIA 用户安装后可在应用内下载加速包
Mac Apple mac-arm64 自动启用 Core ML 加速
Mac Intel mac-x64 不支持 GPU 加速
Linux x64 linux-x64 NVIDIA 用户安装后可在应用内下载加速包

macOS 用户通过 Homebrew 安装(推荐)

macOS 用户可以通过 Homebrew 快速安装,会自动根据芯片类型(Intel/Apple Silicon)下载对应版本:

# 添加 tap(只需执行一次)
brew tap buxuku/tap

# 安装
brew install --cask smartsub

升级和卸载:

# 升级到最新版本
brew upgrade --cask smartsub

# 卸载
brew uninstall --cask smartsub

手动下载安装

  1. 前往 release 页面根据自己的操作系统下载安装包
  2. 或者使用网盘 夸克 选择对应的版本进行下载
  3. 安装并运行程序
  4. 下载模型
  5. 在程序中配置所需的翻译服务
  6. 选择要处理的音视频文件或字幕文件
  7. 设置相关参数(如源语言、目标语言、模型等)
  8. 开始处理任务

🔦使用 (开发用户)

1️⃣ 克隆本项目在本地

git clone https://github.com/buxuku/SmartSub.git

2️⃣ 在项目中执行 yarn install 或者 npm install

cd SmartSub
yarn install

如果是 windows / linux 平台,或者 Mac intel 平台,请前往 https://github.com/buxuku/whisper.cpp/releases/tag/latest 下载对应的 node 文件,并重命名为 addon.node , 覆盖放在 extraResources/addons/ 目录下。

3️⃣ 依赖包安装好之后,执行 yarn dev 或者 npm run dev 启动项目

yarn dev

手动下载和导入模型

因为模型文件比较大,如果通过该软件下载模型会存在难以下载的情况,可以手动下载模型并导入到应用中。以下是两个可用于下载模型的链接:

  1. 国内镜像源(下载速度较快): https://hf-mirror.com/ggerganov/whisper.cpp/tree/main

  2. Hugging Face 官方源: https://huggingface.co/ggerganov/whisper.cpp/tree/main

如果是苹果芯片,需要同时下载模型对应的 encoder.mlmodelc 文件。并解压出来放在模型相同目录下。(如果是 q5 或者 q8 系列的模型,无须下载该文件)

下载完成后,您可以通过应用的"模型管理"页面中的"导入模型"功能将下载的模型文件导入到应用中。或者直接复制到模型目录里面即可。

导入步骤:

  1. 在"模型管理"页面中,点击"导入模型"按钮。
  2. 在弹出的文件选择器中,选择您下载的模型文件。
  3. 确认导入后,模型将被添加到您的已安装模型列表中。

常见问题

1.提示应用程序已损坏,无法打开。

在终端中执行以下命令:

sudo xattr -dr com.apple.quarantine /Applications/SmartSub.app

然后再次运行应用程序。

贡献

👏🏻 欢迎提交 Issue 和 Pull Request 来帮助改进这个项目!

支持

⭐ 如果您觉得这个项目对您有帮助,欢迎给我一个 star,或者请我喝一杯咖啡(请备注你的 github 账号)。

👨‍👨‍👦‍👦 如果您有任何使用问题,欢迎加入微信交流群,一起交流学习。

支付宝收款码 微信赞赏码 微信交流群
支付宝收款码 微信赞赏码 微信交流群

许可证

本项目采用 MIT 许可证。详情请见 LICENSE 文件。

Star History

Star History Chart

版本历史

v2.15.02026/03/17
v2.14.02026/02/14
v2.11.12026/01/28
v2.11.02026/01/23
v2.10.22026/01/15
v2.10.12026/01/09
v2.10.02026/01/04
v2.9.02025/12/24
v2.8.22025/12/16
v2.8.12025/12/15
v2.8.02025/12/12
v2.7.02025/09/26
v2.6.02025/08/18
v2.5.22025/07/02
v2.5.12025/07/02
v2.4.12025/06/19
v2.4.02025/06/04
v2.3.72025/05/16
v2.2.02025/05/07
v2.1.02025/04/14

常见问题

相似工具推荐

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

156.8k|★★☆☆☆|今天
开发框架Agent语言模型

LLMs-from-scratch

LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目,旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型(LLM)。它不仅是同名技术著作的官方代码库,更提供了一套完整的实践方案,涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型,却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码,用户能够透彻掌握 Transformer 架构、注意力机制等关键原理,从而真正理解大模型是如何“思考”的。此外,项目还包含了加载大型预训练权重进行微调的代码,帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API,而是渴望探究模型构建细节的技术人员而言,这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计:将复杂的系统工程拆解为清晰的步骤,配合详细的图表与示例,让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础,还是为未来研发更大规模的模型做准备

90.1k|★★★☆☆|1周前
语言模型图像Agent

NextChat

NextChat 是一款轻量且极速的 AI 助手,旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性,以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发,NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言,它也提供了便捷的自托管方案,支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性,原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型,让用户在一个界面即可自由切换不同 AI 能力。此外,它还率先支持 MCP(Model Context Protocol)协议,增强了上下文处理能力。针对企业用户,NextChat 提供专业版解决方案,具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能,满足公司对数据隐私和个性化管理的高标准要求。

87.6k|★★☆☆☆|1周前
开发框架语言模型

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程,旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周,包含 26 节精炼课程和 52 道配套测验,内容涵盖从基础概念到实际应用的完整流程,有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员,还是对人工智能充满好奇的普通爱好者,都能从中受益。课程不仅提供了清晰的理论讲解,还强调动手实践,让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持,通过自动化机制提供了包括简体中文在内的 50 多种语言版本,极大地降低了全球不同背景用户的学习门槛。此外,项目采用开源协作模式,社区活跃且内容持续更新,确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路,ML-For-Beginners 将是理想的起点。

85.1k|★★☆☆☆|5天前
图像数据工具视频

funNLP

funNLP 是一个专为中文自然语言处理(NLP)打造的超级资源库,被誉为"NLP 民工的乐园”。它并非单一的软件工具,而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。 面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点,funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具,还独特地收录了丰富的垂直领域资源,如法律、医疗、金融行业的专用词库与数据集,甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性,从基础的字典词典到前沿的 BERT、GPT-2 模型代码,再到高质量的标注数据和竞赛方案,应有尽有。 无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师,还是从事人工智能研究的学者,都能在这里找到急需的“武器弹药”。对于开发者而言,它能大幅减少寻找数据和复现模型的时间;对于研究者,它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神,极大地降低了中文自然语言处理的开发与研究成本,是中文 AI 社区不可或缺的宝藏仓库。

79.9k|★☆☆☆☆|1周前
语言模型数据工具其他

gpt4all

GPT4All 是一款让普通电脑也能轻松运行大型语言模型(LLM)的开源工具。它的核心目标是打破算力壁垒,让用户无需依赖昂贵的显卡(GPU)或云端 API,即可在普通的笔记本电脑和台式机上私密、离线地部署和使用大模型。 对于担心数据隐私、希望完全掌控本地数据的企业用户、研究人员以及技术爱好者来说,GPT4All 提供了理想的解决方案。它解决了传统大模型必须联网调用或需要高端硬件才能运行的痛点,让日常设备也能成为强大的 AI 助手。无论是希望构建本地知识库的开发者,还是单纯想体验私有化 AI 聊天的普通用户,都能从中受益。 技术上,GPT4All 基于高效的 `llama.cpp` 后端,支持多种主流模型架构(包括最新的 DeepSeek R1 蒸馏模型),并采用 GGUF 格式优化推理速度。它不仅提供界面友好的桌面客户端,支持 Windows、macOS 和 Linux 等多平台一键安装,还为开发者提供了便捷的 Python 库,可轻松集成到 LangChain 等生态中。通过简单的下载和配置,用户即可立即开始探索本地大模型的无限可能。

77.3k|★☆☆☆☆|4天前
语言模型开发框架