「简体中文 | English」

⚡ 开源、精准、易用的视频剪辑工具

🧠 探索基于大语言模型（LLM）的智能视频剪辑

FunClip 是一款完全开源、本地部署的自动化视频剪辑工具。它借助阿里通义实验室开源的 FunASR Paraformer 系列模型对视频进行语音识别。随后，用户可以自由选择识别结果中的文本片段或发言人，点击剪辑按钮即可获取选中片段对应的视频片段（快速体验 Modelscope⭐ HuggingFace🤗）。

亮点功能🎨

• 🔥 立即在 FunClip 中尝试使用大语言模型（LLM）进行 AI 智能剪辑。
• FunClip 集成了阿里巴巴开源的工业级模型 Paraformer-Large，它是目前性能最好的开源中文 ASR（自动语音识别）模型之一，在 Modelscope 上的下载量已超过 1300 万次，并且能够以一体化方式精准预测时间戳。
• FunClip 集成了 SeACo-Paraformer 的热词定制功能，用户可以在 ASR 过程中将某些实体词、名称等指定为热词，以提升识别效果。
• FunClip 集成了 CAM++ 说话人识别模型，用户可以使用自动识别出的说话人 ID 作为剪辑目标，从而剪辑出特定发言人的片段。
• 功能通过 Gradio 交互界面实现，安装简单，易于使用。也可以部署在服务器上，通过浏览器访问。
• FunClip 支持多片段自由剪辑，并自动返回完整视频的 SRT 字幕文件和目标片段的 SRT 字幕文件，提供简单便捷的用户体验。

最新动态🚀

• 2024/06/12 FunClip 现已支持识别和剪辑英文音频文件。运行 python funclip/launch.py -l en 即可尝试。
• 🔥 2024/05/13 FunClip v2.0.0 现已支持基于大语言模型的智能剪辑，集成了 qwen 系列、GPT 系列等模型，提供默认提示词。你也可以探索和分享提示词设置技巧，使用方法如下：
  1. 识别完成后，选择大模型名称并配置你自己的 API 密钥；
  2. 点击“LLM 推理”按钮，FunClip 会自动将两个提示词与视频的 SRT 字幕组合；
  3. 点击“AI 剪辑”按钮，根据上一步大语言模型的输出结果，FunClip 将提取出用于剪辑的时间戳；
  4. 你可以尝试更改提示词，以利用大语言模型的能力来获得你想要的结果；
• 2024/05/09 FunClip 更新至 v1.1.0，包含以下更新和修复：
  • 支持配置输出文件目录，保存 ASR 中间结果和视频剪辑中间文件；
  • UI 升级（见下方示意图），视频和音频剪辑功能现已整合在同一页面，按钮位置调整；
  • 修复了由于 FunASR 接口升级引入的一个导致严重剪辑错误的 bug；
  • 支持为每个段落配置不同的开始和结束时间偏移量；
  • 代码更新等；
• 2024/03/06 修复了在命令行中使用 FunClip 的 bug。
• 2024/02/28 FunASR 更新至 1.0 版本，使用 FunASR1.0 和 SeACo-Paraformer 进行支持热词定制的 ASR。
• 2023/10/17 修复了选择多个时间段时，返回视频长度错误的 bug。
• 2023/10/10 FunClip 现在支持使用说话人日志（Speaker Diarization）能力进行识别，在“识别说话人”中选择“是”，即可获得带有每句话说话人 ID 的识别结果。然后，你可以使用 FunClip 剪辑出一个或多个说话人（例如“spk0”或“spk0#spk3”）的片段。

开发中🌵

• FunClip 将为英文用户支持 Whisper 模型，即将推出（使用 Whisper 进行带时间戳的 ASR 需要大量 GPU 内存，我们通过 FunASR 中的 Paraformer 原生时间戳预测来实现此功能）。
• FunClip 将进一步探索基于大语言模型的 AI 剪辑能力，欢迎讨论提示词设置和剪辑等话题。
• 剪辑时支持反向选择时间段。
• 移除静音片段。

安装🔨

Python 环境安装

FunClip 的基本功能仅依赖于 Python 环境。

# 克隆 funclip 仓库
git clone https://github.com/alibaba-damo-academy/FunClip.git
cd FunClip
# 安装 Python 依赖
pip install -r ./requirements.txt

imagemagick 安装（可选）

如果你想剪辑带有内嵌字幕的视频文件

1. 需要安装 ffmpeg 和 imagemagick

• 在 Ubuntu 上

apt-get -y update && apt-get -y install ffmpeg imagemagick
sed -i 's/none/read,write/g' /etc/ImageMagick-6/policy.xml

• 在 MacOS 上

brew install imagemagick
sed -i 's/none/read,write/g' /usr/local/Cellar/imagemagick/7.1.1-8_1/etc/ImageMagick-7/policy.xml 

• 在 Windows 上

下载并安装 imagemagick https://imagemagick.org/script/download.php#windows

找到你的 Python 安装路径，在文件 site-packages\moviepy\config_defaults.py 中将 IMAGEMAGICK_BINARY 修改为你的 imagemagick 安装路径。

2. 下载字体文件到 funclip/font 目录

wget https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ClipVideo/STHeitiMedium.ttc -O font/STHeitiMedium.ttc

使用 FunClip

A. 将 FunClip 作为本地 Gradio 服务使用

你可以按照以下方式建立自己的 FunClip 服务，其功能与 Modelscope Space 相同：

python funclip/launch.py
# '-l en' 用于识别英文音频

# FunClip：基于大语言模型（LLM）的视频剪辑工具

FunClip 是一款由阿里巴巴通义实验室开源的简易视频剪辑工具，它结合了阿里巴巴开源的语音识别（ASR）模型 [FunASR](https://github.com/alibaba-damo-academy/FunASR) 和大语言模型（LLM）的能力，旨在为用户提供一种全新的视频剪辑体验：用户只需通过自然语言描述，即可快速定位并裁剪视频中的特定片段。

## 主要特性🎨
- **🔍 高精度 ASR**：基于 FunASR 的高效语音识别模型，确保时间戳的精准性。
- **💬 大语言模型（LLM）驱动**：支持用户通过自然语言指令快速定位视频片段。
- **👏 用户友好**：提供 Gradio Web UI 和命令行交互界面。
- **🛠 多功能视频剪辑**：支持基于 SRT 字幕文件的多种剪辑模式。
- **🌐 中文优化**：针对中文语音和文本进行专门优化，同时支持其他语言。

## 近期更新🔥
- **2024.6.16** FunClip 现在支持使用最新的 [Qwen-Audio](https://github.com/QwenLM/Qwen-Audio) 模型进行自由对话式视频片段检索。
- **2024.5.9** FunClip 现在支持使用 [Gemini](https://deepmind.google/technologies/gemini/) 进行视频片段检索。
- **2024.4.12** FunClip 现在支持使用 [DeepSeek-VL](https://github.com/deepseek-ai/DeepSeek-VL) 进行视频片段检索。
- **2024.3.28** FunASR 已更新至 1.0 版本，使用更便捷，识别更精准，系统更稳定。
- **2024.1.16** 发布 FunClip 版本 v0.1.1，支持在 HuggingFace Space 上使用。

## 安装指南📖

### 系统要求
- Python >= 3.7

### 安装选项

#### A. 通过 pip 安装
```shell
pip install git+https://github.com/alibaba-damo-academy/FunClip.git

安装后，你可以直接使用 funclip 命令：

funclip --file "path/to/your/video.mp4"

B. 通过源码安装

git clone https://github.com/alibaba-damo-academy/FunClip.git
cd FunClip
pip install -e ./

环境要求

• 如果你想使用基于 LLM 的视频片段检索功能，需要配置相应的 LLM 服务。目前支持：
  • 本地模型：Qwen-Audio-Chat, DeepSeek-VL-Chat
  • 云端 API：Gemini, OpenAI GPT-4, 通义千问（Qwen）

使用方式🚀

A. 使用 FunClip Web UI（推荐）

我们推荐你使用 FunClip 的 Web 界面，它将引导你完成整个视频剪辑流程。

启动 FunClip Web UI：

funclip --file "path/to/your/video.mp4"

或者，如果你想自定义服务端口或允许公网访问，可以使用：

funclip --file "path/to/your/video.mp4" --port 8080 --share True

'-p xxx' 用于设置端口号

'-s True' 用于建立允许公网访问的服务

然后访问 ```localhost:7860```，你将看到一个如下所示的 Gradio 服务界面，你可以按照以下步骤使用 FunClip：

- 步骤1：上传你的视频文件（或尝试下面的示例视频）
- 步骤2：将你需要的文本片段复制到 'Text to Clip'
- 步骤3：调整字幕设置（如果需要）
- 步骤4：点击 'Clip' 或 'Clip and Generate Subtitles'

<img src="https://oss.gittoolsai.com/images/modelscope_FunClip_readme_4dff20f63a10.jpg"/>

按照以下指南探索基于 LLM 的视频剪辑：

<img src="https://oss.gittoolsai.com/images/modelscope_FunClip_readme_bdf4187753c1.png" width=360/>

### B. 在 Modelscope 上体验 FunClip

[FunClip@Modelscope Space⭐](https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary)

[FunClip@HuggingFace Space🤗](https://huggingface.co/spaces/R1ckShi/FunClip)

### C. 在命令行中使用 FunClip

FunClip 支持你通过命令进行识别和剪辑：
```shell
# 步骤1：识别
python funclip/videoclipper.py --stage 1 \
                       --file examples/2022云栖大会_片段.mp4 \
                       --output_dir ./output
# 现在你可以在 ./output/ 目录下找到识别结果和完整的 SRT 字幕文件
# 步骤2：剪辑
python funclip/videoclipper.py --stage 2 \
                       --file examples/2022云栖大会_片段.mp4 \
                       --output_dir ./output \
                       --dest_text '我们把它跟乡村振兴去结合起来，利用我们的设计的能力' \
                       --start_ost 0 \
                       --end_ost 100 \
                       --output_file './output/res.mp4'

社区交流🍟

FunClip 由 FunASR 团队首先开源，欢迎任何有用的 Pull Request。

你也可以扫描以下钉钉群或微信群二维码加入社区群进行交流。

钉钉群	微信群

在 FunASR 中寻找语音模型

FunASR 希望搭建起语音识别学术研究与工业应用之间的桥梁。通过支持对 ModelScope 上发布的工业级语音识别模型进行训练和微调，研究人员和开发者可以更方便地进行语音识别模型的研究和生产，促进语音识别生态的发展。让语音识别更有趣！

📚FunASR 论文:

📚SeACo-Paraformer 论文:

🌟支持 FunASR:

FunClip 快速上手指南

环境准备

FunClip 是一个开源、精准且易用的视频剪辑工具。它基于阿里巴巴达摩院开源的 FunASR Paraformer 系列模型，能够对视频进行语音识别，并允许用户根据识别出的文本片段或说话人进行自由剪辑。

系统要求：支持 Windows、macOS 和 Linux 系统。

主要依赖：

• Python 环境
• （可选）如需为输出视频嵌入字幕，需要安装 ImageMagick。

安装步骤

1. 克隆仓库并安装 Python 依赖 打开终端（命令行），执行以下命令：

   # 克隆 FunClip 仓库
   git clone https://github.com/alibaba-damo-academy/FunClip.git
   cd FunClip
   # 安装 Python 依赖包
   pip install -r ./requirements.txt
   

   建议使用国内 PyPI 镜像源（如清华源、阿里云源）以加速下载。

2. （可选）安装 ImageMagick 如果您需要在剪辑后的视频中嵌入字幕，则需要安装此工具。

   • Ubuntu/Debian:

     apt-get -y update && apt-get -y install ffmpeg imagemagick
     sed -i 's/none/read,write/g' /etc/ImageMagick-6/policy.xml
     

   • macOS:

     brew install imagemagick
     sed -i 's/none/read,write/g' /usr/local/Cellar/imagemagick/7.1.1-8_1/etc/ImageMagick-7/policy.xml
     

   • Windows: 从 ImageMagick 官网 下载并安装。安装后，需要找到您的 Python 安装路径下的 site-packages\moviepy\config_defaults.py 文件，修改其中的 IMAGEMAGICK_BINARY 变量为您的 ImageMagick 安装路径。

3. （可选）下载中文字体 如果您需要嵌入中文字幕，请下载字体文件：

   # 在 FunClip 项目根目录下运行
   wget https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ClipVideo/STHeitiMedium.ttc -O font/STHeitiMedium.ttc
   

基本使用

方式一：启动本地 Web 服务（推荐）

这是最直观的使用方式，会启动一个带图形界面的 Gradio 服务。

1. 在终端中，进入 FunClip 项目目录，运行：

   python funclip/launch.py
   

   可选参数：

   • -l en：指定识别英文音频。
   • -p xxx：指定服务端口号（默认为 7860）。
   • -s True：允许公网访问（默认仅本地可访问）。

2. 启动成功后，在浏览器中访问 http://localhost:7860（如果您修改了端口，请替换为相应的端口号）。

3. 按照界面指引操作：

   • 步骤1：上传您的视频文件。
   • 步骤2：工具会自动进行语音识别。您可以从识别结果中，复制想要剪辑的文本片段到“Text to Clip”区域。
   • 步骤3：（可选）调整字幕样式等设置。
   • 步骤4：点击“Clip”或“Clip and Generate Subtitles”按钮，即可完成剪辑。

方式二：使用命令行剪辑

如果您倾向于使用命令，FunClip 也提供了命令行接口。

1. 第一步：进行语音识别

   python funclip/videoclipper.py --stage 1 \
                                  --file /path/to/your/video.mp4 \
                                  --output_dir ./output
   

   执行后，识别结果和完整的 SRT 字幕文件将保存在 ./output 目录中。

2. 第二步：根据文本剪辑视频

   python funclip/videoclipper.py --stage 2 \
                                  --file /path/to/your/video.mp4 \
                                  --output_dir ./output \
                                  --dest_text '你想要剪辑出的视频片段对应的原文' \
                                  --start_ost 0 \ # 起始偏移（毫秒）
                                  --end_ost 100 \ # 结束偏移（毫秒）
                                  --output_file './output/clipped_video.mp4'
   

方式三：在线体验

您也可以直接在线体验 FunClip，无需安装：

• ModelScope 魔搭社区：FunClip在线体验
• HuggingFace Spaces：FunClip在线体验