---

📑 目录

• 🌟 系统概述
• 🔧 评估
• 🚀 快速入门
• 🔮 演示
• 💖 致谢

🔥 为什么选择VideoAgent？

🧠 易于使用	🚀 无限创意	🎨 高质量
单一提示生成视频	基于任何想法创作	人级质量的视频制作
将你的想法转化为专业视频	为你的独特创意生成工作流	提供符合专业标准的视频

---

🌟系统概述

我们的系统引入了三项关键创新，用于自动化视频处理。意图分析能够捕捉用户指令之外的显性和隐性子意图。自主工具使用与规划采用图结构驱动的工作流生成，并结合自适应反馈回路，实现自动化的智能体编排。多模态理解则将原始输入转化为语义对齐的视觉查询，以增强检索效果。

🧠 意图分析

• 🔍 VideoAgent能够智能地将用户指令分解为显性和隐性子意图，从而捕捉到用户可能未明确表达的细微需求。这种高级解析确保了对用户目标的全面理解，而不仅仅是表面命令。

• 🎯 通过意图到智能体的映射机制，系统能够精准识别多智能体框架中所需的特定能力。这种针对性的方法不仅实现了相关系统组件的高效激活，还避免了不必要的计算开销，从而达到最佳任务执行效果。

🔧 自主工具使用与规划

• ⚙️ 基于图结构的框架会自动将用户的意图转化为可执行的工作流。系统会动态选择合适的智能体，并构建最优的执行序列。节点代表工具能力，边则定义复杂视频任务中的工作流连接。

• 🔄 自适应反馈循环通过两步自我评估不断优化规划过程。这确保了强大的自动化决策和顺畅的执行。在整个任务生命周期中，系统会自我修正并持续优化性能。

🎬 多模态理解

• 📋 分镜代理会将原始用户输入转化为优化的视觉查询。它首先分析带有预设字幕的视频素材库，以了解可用资源。这一基础性分析确保系统能够准确掌握可用于查询处理的内容。

• 💡 随后，该代理会将用户输入分解为细粒度的子查询，这些子查询在视觉和语义上都高度匹配。这种精细的拆解方式能够通过将用户的意图与数据库中最为相关的视觉内容相匹配，从而实现更高效的视频检索。

---

🔧评估

我们从多个维度开展了大量实验，以验证VideoAgent在应对关键挑战方面的有效性。

通过工作流构建实现无限创意

为了评估VideoAgent通过自动构建工作流所展现的无限创意，我们在三种骨干模型下对比了五种广泛应用的代理。研究结果表明，VideoAgent在音频和视频数据集上显著优于其他基线方法，充分展示了其通过图结构引导及自我反思机制（基于专门的自我评估反馈）所具备的创造性工作流生成能力。此外，我们还观察到，在Claude 3.7骨干模型下，VideoAgent的创意表现不仅更为出色，而且更加稳定，相比之下，GPT-4o和Deepseek-v3等则在不同骨干之间表现出波动。这凸显了VideoAgent能够通过自动构建多样且高效的工作流来适应各类用户需求，从而释放无限创意；同时，功能更强大的大语言模型能够带来更深入的理解，并为复杂的图结构任务提供更为稳健的创意解决方案。

卓越的多模态理解能力

为验证我们的多模态理解能力，我们使用打乱顺序的字幕查询进行了文本到视频的检索实验。评估采用了三项指标来衡量模型检索对应视觉内容的能力：召回率用于比较检索到的视频片段中点与真实位置之间的差异，以此评估模型正确重新排序视频片段的能力；基于嵌入匹配的评分则用来评估生成的视频与高级别字幕摘要之间的粗粒度对齐程度；而交并比则通过计算检索到的片段与真实片段之间的时间重叠部分占总覆盖范围的比例，来量化片段级别的时序对齐精度。实验结果表明，我们的方法能够检索出更为精确的视频片段，从而充分展现了我们精准的多模态理解能力。

更多迭代，更好性能

我们通过分析反思轮次对性能的影响，来探究VideoAgent的迭代优化能力。通过对两个数据集上的工作流组合进行综合超参数实验，并采用三种大语言模型作为骨干，我们证明了VideoAgent具有显著的自我改进能力。结果显示，尽管早期迭代仅能产生基准水平的结果，但随着每一轮的推进，系统的自适应反思机制会带来显著的性能提升。VideoAgent在所有测试配置中均实现了0.95的稳定工作流组合成功率，这充分体现了其强大的自我修正能力以及无论底层大语言模型如何都能提供可靠高质量输出的特点。

---

🚀快速入门

🖥️ 环境要求

显存：8GB  
操作系统：Linux、Windows

📥 克隆与安装

git clone https://github.com/HKUDS/VideoAgent.git
conda create --name videoagent python=3.10
conda activate videoagent
conda install -y -c conda-forge pynini==2.1.5 ffmpeg
pip install -r requirements.txt

📦 模型下载

# 下载CosyVoice
cd tools/CosyVoice
huggingface-cli download PillowTa1k/CosyVoice --local-dir pretrained_models

# 下载fish-speech
cd tools/fish-speech
huggingface-cli download fishaudio/fish-speech-1.5 --local-dir checkpoints/fish-speech-1.5

# 下载seed-vc
cd tools/seed-vc
huggingface-cli download PillowTa1k/seed-vc --local-dir checkpoints

# 下载DiffSinger
cd tools/DiffSinger
huggingface-cli download PillowTa1k/DiffSinger --local-dir checkpoints

# 下载Whisper
cd tools
huggingface-cli download openai/whisper-large-v3-turbo --local-dir whisper-large-v3-turbo

# 确保已安装git-lfs (https://git-lfs.com)
git lfs install

# 下载ImageBind
cd tools
mkdir .checkpoints
cd .checkpoints
wget https://dl.fbaipublicfiles.com/imagebind/imagebind_huge.pth

🌟 为了方便起见，我们提供了多种模型供您选择；您可以根据项目需求仅下载相关模型。

功能类型	视频演示	所需模型
跨语言对话	英语脱口秀转中文相声	CosyVoice、Whisper、ImageBind
脱口秀	中文相声转英语脱口秀	CosyVoice、Whisper、ImageBind
MAD TTS	小明剑魔表情包	fish-speech
MAD SVC	AI音乐视频	DiffSinger、seed-vc、Whisper、ImageBind
节奏感	蜘蛛侠：纵横宇宙	Whisper、ImageBind
评论	解说视频	CosyVoice、Whisper、ImageBind
新闻	科技新闻：OpenAI发布GPT-4o图像生成功能	CosyVoice、Whisper、ImageBind
视频问答/总结	沙丘2电影演员阵容更新播客	Whisper

# VideoAgent\environment\config\config.yml
# 适用场景与大模型配置
# 需要使用 Claude，因为它为智能体图路由提供支持
llm:
  # 视频混剪/TTS/SVC/脱口秀/相声
  deepseek_api_key: ""  
  deepseek_base_url: ""  

  # 智能体图路由/TTS/SVC/脱口秀/相声
  claude_api_key: ""  
  claude_base_url: ""

  # 视频剪辑/概览/摘要/QA/解说视频
  gpt_api_key: ""  
  gpt_base_url: ""  

  # 用于字幕生成和细粒度视频理解的多模态大模型
  gemini_api_key: ""  
  gemini_base_url: ""  

# 配置完成后，请按照以下步骤运行：
python main.py
# 控制台将输出：
用户需求：...
# 需求示例：
# 1. 我需要制作一段现有视频的改写版本，其中语音内容经过修改，但仍保留原说话人的声音。视频的画面应与原版一致，但对话需根据我的具体要求进行更新。
# 2. 我有一份脱口秀剧本，希望将其制作成一部专业水准的视频作品。我需要演员以出色的喜剧节奏和观众反应来演绎这段剧本，并将其与相关视频素材匹配，最终形成完整的脱口秀特别节目。我已经准备好了参考剧本和部分可用于视频制作的素材。