AI-Media2Doc

GitHub
3.7k 493 简单 1 次阅读 今天MIT开发框架语言模型Agent图像
AI 解读 由 AI 自动生成,仅供参考

AI-Media2Doc 是一款开源的音视频内容创作助手,旨在帮助用户一键将视频或音频文件转化为小红书笔记、公众号文章、知识总结、思维导图及字幕等多种风格的文档。它主要解决了用户在面对海量音视频内容时,难以高效提取核心信息并整理成可读文本的痛点,同时避免了传统工具强制登录注册、付费高昂以及隐私数据上传第三方平台的风险。

这款工具非常适合希望提升内容消费效率的普通用户、自媒体创作者、知识管理者以及注重数据隐私的开发者使用。其独特的技术亮点在于完全基于本地部署,利用 FFmpeg WASM 技术在前端直接处理媒体文件,无需安装额外软件;结合 AI 大模型实现智能内容生成与二次问答,并能依据字幕信息自动截取关键画面插入文中,实现真正的“图文并茂”,且无需依赖昂贵的视觉大模型。此外,AI-Media2Doc 支持 Docker 一键部署和自定义提示词配置,让用户能以极低的成本在本地搭建专属的私密内容转化工作站,轻松将视听语言转化为结构化的知识资产。

使用场景

知识博主“小林”每周需观看大量行业访谈视频,并将其转化为公众号深度文章和小红书图文笔记,以维持高频内容更新。

没有 AI-Media2Doc 时

  • 人工转录耗时极长:面对 1 小时的视频素材,需手动听写或依赖不准确的免费字幕工具,整理逐字稿往往耗费整个下午。
  • 多平台改写繁琐:将同一份草稿改写成“小红书风”(带表情、短句)和“公众号风”(深度、逻辑强)需要反复调整语调和排版,容易出错。
  • 配图查找困难:为了图文并茂,必须暂停视频手动截图,再插入文档对应位置,打断创作心流,且图片与文字内容常不匹配。
  • 隐私与安全顾虑:担心将未发布的独家访谈内容上传至第三方在线转换平台,导致内容泄露或被平台滥用。

使用 AI-Media2Doc 后

  • 一键生成多风格文档:上传视频后,直接选择“公众号”和“小红书”模板,AI-Media2Doc 在几分钟内自动输出两份风格迥异、结构完整的初稿。
  • 智能截图自动配图:开启智能截图功能,工具基于字幕语义自动截取关键画面并精准插入文中,实现了真正的“文图对应”,无需人工干预。
  • 本地部署保障隐私:通过 Docker 在本地服务器一键部署,所有音视频处理和数据记录均留在本地,彻底杜绝了内容外泄风险。
  • 二次交互深化内容:利用内置的 AI 对话功能,针对视频中模糊的观点进行追问,快速补充背景信息,让文章深度远超普通转录。

AI-Media2Doc 将原本需要一整天的“观看 - 转录 - 改写 - 配图”工作流压缩至分钟级,让创作者能专注于内容思考而非机械劳动。

运行环境要求

操作系统
  • Linux
  • macOS
  • Windows
GPU

未说明 (主要依赖云端 API 或本地 CPU,前端使用 ffmpeg wasm,未来计划支持本地 fast-whisper)

内存

未说明

依赖
notes该项目采用前后端分离架构,推荐通过 Docker Compose 一键部署。前端利用 ffmpeg wasm 技术在浏览器中处理音视频,无需在操作系统层面安装 ffmpeg。后端主要作为代理调用大模型 API(如火山引擎),因此对本地 GPU 无强制要求。Windows 用户建议使用 WSL 运行 Docker。需自行配置环境变量文件 (variables.env) 以连接 AI 服务。
python未说明
Docker
docker-compose
ffmpeg (通过 wasm 在浏览器端运行,无需本地安装)
AI-Media2Doc hero image

快速开始

logo

Featured|HelloGitHub

MIT License Web Platform Docker Support

📖 简介

AI 视频图文创作助手是一款 Web 工具, 基于 AI 大模型, 一键将视频和音频转化为各种风格的文档, 无需登录注册, 前后端本地部署,以极低的成本体验 AI 视频/音频转风格文档服务。

✨ 核心功能

  • 完全开源:MIT 协议授权,支持本地部署。
  • 🔒 隐私保护:无需登录注册,任务记录保存在本地
  • 💻 前端处理:采用 ffmpeg wasm 技术,无需本地安装 ffmpeg
  • 🎯 多种风格支持:支持小红书/公众号/知识笔记/思维导图/内容总结等多种文档风格支持。
  • 🤖 AI 对话:支持针对视频内容进行 AI 二次问答。
  • 🎬 支持字幕导出: 结果一键导出为字幕文件。
  • 🖼️ 智能截图: 基于字幕信息智能截图并插入文章, 无需视觉大模型, 实现真正的图文并茂。
  • 🎨 支持自定义 Prompt:支持在前端自定义配置 prompt。
  • 🐳 一键部署:支持 Docker 一键部署。
  • 🔒 支持设置访问密码: 后端设置访问密码之后, 前端用户需要填写该密码才可以正常使用。

🔜 未来计划

  • 🎙️ 音频识别支持使用 fast-whisper 本地大模型处理,进一步降低成本

👾 开发者的废话

AI 视频创作助手源于我年初的一个想法, 作为一个喜欢阅读的人, 我更希望将一些视频内容转化为文字, 方便我进行二次阅读思考和总结记录笔记, 但市面上并没有一个好的工具来实现这个想法, 大多数工具都需要登录和付费, 我不太想在互联网上注册过多的账号, 同时也不想将自己想要总结的内容上传至除了云厂商之外的第三方平台,因此我开发了这个小应用,MIT 协议, 任何人都可以以极低的成本去体验音视频转文本。

💬 哪里可以找到我

公众号(韩数同学)

index

或者首页置顶 issue 加入微信交流群. 如果部署遇到问题,我下班之后看到后一般会回复。

项目截图

全新设计的首页, 尽力之作

index

全新功能: 支持智能截图并插入到文中对应位置(本地方案, 无需视觉大模型, 0成本)

开启方式, 点击自定义设置->智能截图 选择打开。

task details

全新设计的结果页, 支持一键导出为字幕。

task details

支持自定义 prompt

task details

📦 docker 本地一键部署

0️⃣:安装 docker, 这个网上有教程, Windows 玩家建议使用 wsl 启动该项目。

1️⃣:下载项目首页的 docker-compose.yaml 文件

2️⃣:参考variables_template.env 在项目根目录下生成 variables.env 文件。 请根据 后端部署指引 / 配置项说明 完善 variables.env 文件中的环境变量。 variables.env 必须与 docker-compose.yaml 在同一目录下, 建议建个新的文件夹单独存放这两个文件。

3️⃣:运行, 在 docker-compose.yaml 所在目录下运行:

$ docker-compose -f docker-compose.yaml up -d

🔧 本地开发指南

🤝 赞助


天工超级智能体 1.0
调用海量工具完成各种任务

🔄 处理流程

architecture

🌵 支持开发者

你可以关注我的小红书:

韩数同学: 致力于分享 Github 上那些好玩、有趣、免费、实用的高质量项目

微信公众号: 韩数同学

或者请我吃一包辣条 , 作为一个超级喜欢吃辣条的人, 很多晚上维护开源项目都是边吃辣条边写代码的 🤪。如果你有很喜欢吃的辣条, 你可以投喂我吃一包辣条, 5毛一包的也可以, 我将直接开启代码狂暴模式(化身八爪鱼: 🐙)。

请留下你要赞助作者的辣条名称 (🤩❤️‍🔥): 支持卫龙/麻辣王子/博士牛筋/臭干子,禁止投喂(🥵😵😵‍💫🤧🥴): 缺牙齿/霸王丝等有损本人生命值的辣条。

同时请备注你的 github 名称, 方便我整理展示在项目主页。🙌

赞助作者: 我的爱发电主页

赞助名单

🙌 致谢

感谢这些朋友对本项目做出的贡献:


crayon

chen_jx

LMseventeen

感谢以下自媒体对本项目的关注和转发(以下排名不分先后), 大家感兴趣的话可以关注下他们 ~

HelloGithub 开源AI项目落地 阮一峰的网络日志 一飞开源 胖氪笔记 逛逛Github 小红书: 摸鱼的小李

小红书: AI-GitHub | 逛逛Github

推特: | Geek | AIGCLINK | ilovelife | ahhhhfs

📄 许可证

本项目采用 MIT 许可证

🔗 相关链接

其他 AI 工具:

Owl 猫头鹰小红书/公众号敏感词检测工具: 支持小红书、公众号敏感词检测,提交检测后自动识别文本中的敏感词并高亮显示,避免笔记违规, 免费使用。

🌟 Star History

Star History Chart

版本历史

v0.8.02025/11/23
v0.8.0-beta.22025/11/23
v0.8.0-beta.12025/11/23
v0.7.02025/11/09
v0.6.62025/10/26
v0.6.52025/10/26
v0.6.42025/10/12
v0.6.32025/09/16
v0.6.22025/09/09
v0.6.12025/09/07
v0.6.02025/09/02
v0.5.22025/08/24
v0.5.12025/08/03
v0.5.02025/07/22
v0.4.02025/07/11
v0.3.22025/06/19
v0.3.12025/06/15
v0.3.02025/06/05
v0.2.02025/05/31
v0.1.12025/05/24

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

349.3k|★★★☆☆|1周前
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|1周前
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

153.6k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

108.3k|★★☆☆☆|3天前
开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具,它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言,它提供了一条从输入提示词到获取模型响应的最短路径,无需切换窗口即可享受智能辅助。 这款工具主要解决了开发过程中频繁上下文切换的痛点,让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用,还是执行复杂的 Git 操作,gemini-cli 都能通过自然语言指令高效处理。 它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口,具备出色的逻辑推理能力;内置 Google 搜索、文件操作及 Shell 命令执行等实用工具;更独特的是,它支持 MCP(模型上下文协议),允许用户灵活扩展自定义集成,连接如图像生成等外部能力。此外,个人谷歌账号即可享受免费的额度支持,且项目基于 Apache 2.0 协议完全开源,是提升终端工作效率的理想助手。

100.8k|★★☆☆☆|4天前
插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器

93.4k|★★☆☆☆|1周前
插件开发框架