用于构建视频智能体的框架，能够处理复杂的视频任务，如搜索、编辑、剪辑、生成等，并即时流式传输结果。

⭐️ 基于前沿的“视频即数据”基础设施——VideoDB 构建

⚡️观看智能体演示     ✨体验托管版本

📖 文档     👩‍💻 新增智能体请求

🧐 Director 是什么？

可以将 Director 看作是视频版的 ChatGPT。它是一个用于构建视频智能体的框架，这些智能体能够处理复杂的视频任务，例如搜索、编辑、剪辑、生成等，并立即流式传输结果。

例如，只需一句简单的自然语言指令：“上传这段视频，并将精彩片段发送到我的 Slack”，一切就会自动启动——Director 的推理引擎会智能地协调各个智能体，为你完成任务。

基于 VideoDB 的“视频即数据”基础设施，Director 让你能够：

• 在几秒钟内总结视频内容。
• 搜索特定时刻。
• 立即创建剪辑。
• 集成顶尖的生成式 AI 项目和 API，快速创作和编辑内容。
• 添加叠加层、提取帧等等。

Director 具备高度灵活性，非常适合开发者、创作者以及希望利用 AI 简化媒体工作流程、开拓全新可能性的团队使用。📺 观看：介绍视频

https://github.com/user-attachments/assets/33e0e7b4-9eb2-4a26-8274-f96c2c1c3a48

⭐️ 核心功能

🤖 20 多种预构建的视频智能体，可自定义以：

• 在几秒钟内总结视频。
• 根据剧本生成带旁白的完整电影。
• 搜索并索引你的媒体库。
• 轻松整理和剪辑内容。
• 轻松为音视频配音和编辑。
• 翻译并添加任意语言的字幕。
• ……还有更多 >>

🎨 全新的交互方式

体验简洁流畅的聊天式界面，内置视频播放和直观的操作控件。就像拥有一个专属的媒体助手一样。

🥣 汇聚各类生成式 AI API

与强大的 AI 工具（如大型语言模型、数据库和生成式 AI API）无缝连接，同时 VideoDB 确保你的视频基础设施可靠且可扩展，轻松实现云端存储、索引和内容流式传输。

🧩 可定制且灵活

你可以轻松地将新的智能体和工具添加到工作流中。无论你是想在本地运行还是部署到云端，Director 都能适应你的需求。

😎 智能体示例

1. 精彩片段创作者：链接
2. 文本转电影：链接
3. 视频搜索：链接

⚙️ 架构概览

Director 的架构由以下部分组成：

• 后端推理引擎：负责工作流管理和决策。请查看 Director 代码库中的 backend 文件夹。

• 基于聊天的 UI：让你以对话的方式与媒体库互动。源代码可在 videodb-chat 中找到。

• 视频播放器：提供先进的播放和交互工具。有关多平台视频播放器的详细信息，请参阅 videodb-player。

• 媒体库视图：帮助你轻松组织和浏览媒体内容。

  

🧠 推理引擎

Director 的核心是其推理引擎，这是一个强大的核心组件，驱动着智能决策和动态工作流。它充当智能体的大脑，使它们能够处理命令、与数据交互，并输出有意义的结果。

工作原理

• 上下文理解：引擎会分析用户的输入并保持上下文，确保与智能体的交互顺畅而连贯。
• 动态智能体编排：根据用户的需求，它会识别并激活合适的智能体，以高效地完成任务。
• 模块化处理：将任务分解为更小的步骤，使智能体能够协作并实时交付准确的结果。

关键能力

• 多智能体协同：无缝整合多个智能体来处理复杂的工作流，例如总结、编辑和搜索视频。
• 实时更新：在任务执行过程中提供实时进度和反馈。
• 可扩展设计：易于扩展，可加入自定义逻辑或连接外部 API，以获得更高级的功能。

亲眼看一看

推理引擎与基于聊天的用户界面协同工作，使视频交互变得直观高效。例如：

• 输入：“创建这段视频中最搞笑场景的片段，并在 Slack 上分享。”
• 输出：引擎会协调上传、场景检测、剪辑和分享等各个模块，无缝完成任务并交付结果。请观看视频 这里

如需更详细的了解，请查看下方的架构图：

🏃 开始使用

前置条件

• Python 3.9 或更高版本
• Node.js 22.8.0 或更高版本
• npm

安装步骤

1. 克隆仓库：

git clone https://github.com/video-db/Director.git
cd Director

2. 运行安装脚本：

./setup.sh

该脚本将：

• 使用 nvm 安装 Node.js 22.8.0
• 安装 Python 和 pip
• 为前端和后端分别设置虚拟环境。

3. 配置环境变量：

编辑 .env 文件，添加您的 API 密钥及其他配置选项。

支持的平台：

• Mac
• Linux
• Windows (WSL)

💬 运行应用

要同时启动后端和前端服务器：

make run

• 后端：http://127.0.0.1:8000

• 前端：http://127.0.0.1:8080

针对特定任务：

• 仅运行后端：make run-be

• 仅运行前端：make run-fe

📘 创建新代理

您可以访问托管文档：https://docs.director.videodb.io

要在 Director 中创建新代理，请按照以下步骤操作：

1. 复制模板：
   在 Director/backend/director/agents/ 目录下复制 sample_agent.py 并重命名。

2. 更新类信息：

   • 重命名类。
   • 更新 agent_name 和 description

3. 实现逻辑：

   • 更新参数和 docstring
   • 实现您代理的具体逻辑
   • 更新 run() 方法。

4. 处理输出和状态更新：

   • 使用适当的内容类型（TextContent、VideoContent、ImageContent、SearchResultContent）
   • 更新 self.output_message.actions 以显示进度指示器
   • 使用 push_update() 发送进度事件
   • 设置内容状态（进行中、成功、错误）及消息

5. 实现错误处理：

   • 如果出现问题，设置错误状态和消息

6. 最终响应：

   • 调用 self.output_message.publish() 发布最终状态并持久化会话
   • 返回包含结果、消息和数据的 AgentResponse

7. 注册代理：

   • 在 Director/backend/director/handler.py 中导入您的新代理类
   • 将其添加到 ChatHandler 的 self.agents 列表中

请记住，如果您的代理功能可以在多个代理之间共享，则应考虑创建可重用工具。

📖 文档

您可以访问托管文档：https://docs.director.videodb.io

本地运行

要在端口 9000 上提供文档服务：

source backend/venv/bin/activate  
make install-be
mkdocs serve -a localhost:9000

构建文档：

mkdocs build

🤝 参与贡献

我们欢迎能够简化视频工作流程并增强项目功能的集成。详情请查看 Issues 和 Discussions。

您的任何贡献都将受到 高度赞赏。以下是参与流程：

1. 分支项目
2. 创建特性分支 (git checkout -b feature/AmazingFeature)
3. 提交更改 (git commit -m 'Add some AmazingFeature')
4. 推送到分支 (git push origin feature/AmazingFeature)
5. 打开拉取请求

Director 快速上手指南

Director 是一个用于构建视频智能体（Video Agents）的框架，能够理解并执行搜索、剪辑、编译、生成等复杂视频任务，并实时流式传输结果。它基于 VideoDB 的“视频即数据”基础设施构建。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：macOS、Linux 或 Windows (需使用 WSL)
• Python：3.9 或更高版本
• Node.js：22.8.0 或更高版本
• 包管理器：npm

提示：如果您在中国大陆，建议在安装依赖前配置国内镜像源以加速下载：

• pip: pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
• npm: npm config set registry https://registry.npmmirror.com

安装步骤

1. 克隆项目

将 Director 仓库克隆到本地并进入目录：

git clone https://github.com/video-db/Director.git
cd Director

2. 运行设置脚本

执行官方提供的设置脚本，它将自动处理 Node.js 版本管理 (nvm)、Python 环境及虚拟环境的创建：

./setup.sh

3. 配置环境变量

在项目根目录下找到 .env 文件，编辑该文件以填入您的 API Keys（如 VideoDB、LLM 提供商等）及其他必要的配置选项。

基本使用

启动应用

使用 make 命令同时启动后端和前端服务：

make run

启动成功后，您将看到以下访问地址：

• 后端服务: http://127.0.0.1:8000
• 前端界面: http://127.0.0.1:8080

如果只需要单独启动某一部分，可以使用：

• 仅后端：make run-be
• 仅前端：make run-fe

体验功能

打开浏览器访问 http://127.0.0.1:8080，您将看到一个带有视频播放功能的聊天界面。您可以尝试输入自然语言指令来操作视频，例如：

• “总结这个视频的主要内容。”
• “搜索视频中提到‘人工智能’的片段并生成剪辑。”
• “为这段视频添加中文字幕。”

Director 的后端推理引擎会自动编排相应的智能体来完成这些任务，并在界面上实时反馈进度和结果。

开发自定义智能体

如需扩展功能，您可以参考 Director/backend/director/agents/sample_agent.py 模板创建新的智能体，并在 Director/backend/director/handler.py 中注册即可。详细开发文档请访问：https://docs.director.videodb.io