库布里克课程

嗨，戴夫...

---

学习构建能够理解图像、文本、音频和视频的AI智能体。

由 The Neural Maze 和 Neural Bits 联合 Pixeltable 与 Opik 共同推出的免费、开源课程。

---

📖 关于本课程

厌倦了那些只教你如何将现成的MCP服务器连接到Claude Desktop的教程吗？

是啊，我们也是。

这就是为什么我们打造了 Kubrick AI——一个用于视频处理任务的MCP多模态智能体。没错！你没看错。

💡 智能体 + 视频处理 ... 还有MCP！

本课程由The Neural Maze和Neural Bits（以下简称“神经兄弟”）联合推出，专为希望超越基础、构建真正可投入生产的AI系统的开发者而设计。具体来说，你将：

• 学习如何使用Pixeltable和FastMCP搭建用于视频处理的MCP服务器
• 设计一个基于Groq的自定义智能体，并通过专属的MCP客户端将其连接到你的MCP服务器
• 将你的智能体系统与Opik集成，实现全面可观测性和提示版本管理

🖊️ 你将学到什么

• 学会使用Pixeltable进行多模态数据处理及状态化智能体开发
• 利用FastMCP创建复杂的MCP服务器：暴露资源、提示和工具
• 将提示版本控制应用于你的MCP服务器（而非在智能体API中直接定义提示）
• 学习如何为你的智能体实现自定义MCP客户端
• 从零开始实现一个MCP工具型智能体，选用Llama 4 Scout和Maverick作为大语言模型
• 使用Opik进行MCP提示版本管理
• 学习如何借助Opik实现自定义追踪与监控

🚀 不走捷径。没有废话。让我们边做边学吧。

---

💻 你将完成什么：

完成本课程后，你将学会如何设计并使智能体具备理解多模态数据的能力，涵盖图像、视频、音频和文本输入，所有这些都整合在一个系统中。

具体而言，你将：

• 构建一条复杂的多模态处理流水线
• 打造一个视频搜索引擎，并通过MCP（模型上下文协议）将其功能暴露给智能体
• 构建一个可用于驱动智能体的生产级API
• 融合LLMOps原则与最佳软件工程实践
• 探索视频、嵌入表示、流式API、视觉语言模型（VLMs）等更多内容

完成本课程后，你将拥有自己的Kubrick智能体，并为其赋予HAL主题的衍生角色，让它扮演一双全新的“眼睛”和“耳朵”：

---

开始使用

Kubrick绝非简单的教程。因此，要让这个系统顺利运行起来，你需要先完成一些准备工作。

我们在 GETTING_STARTED.md 文件中详细列出了入门步骤。

💡 让Kubrick运行起来只是第一步！现在它已经启动了，接下来就是真正理解它的运作方式（参见课程大纲).

---

观看完整视频课程

---

🧑‍🎓 本课程适合哪些人？

要想从本课程中获得最大收益，最好是从头开始亲手构建整个系统。课程内容按模块组织，覆盖关键概念并演示如何在此基础上进一步扩展，最终打造出完整的AI系统。

目标受众	你将掌握的技能
机器学习/人工智能工程师	构建复杂的MCP服务器，学会将AI模型应用于视频、图像和语音处理。
软件工程师	学习如何通过API连接AI组件，构建端到端的智能体应用。
数据工程师/科学家	学习设计AI系统，管理视频/音频/图像数据的处理与结构。

无论你的经验或职位如何，本课程旨在以实用的方式拆解复杂话题，用你能够理解、学习并应用的概念来帮助你构建一个完整的AI系统。

🎓 先决条件

在这一部分，我们列出了一些要求以及有助于提升学习体验的加分项。

类别	标签	描述
编程技能（初级）	必需	对编程整体及Python语言语法有一定了解。
AI/ML概念（初级）	建议	了解AI、AI模型和AI系统的基本概念。
LLMs、MCP、智能体	建议	如果你熟悉这些内容当然更好，但不了解也没关系。我们会逐步讲解说明。
任意操作系统的笔记本电脑/台式电脑	必需	AI模型推理需要计算资源。不过，我们将主要使用基于API的模型来应对这一点。

本课程的整体难度属于初级到中级，但请放心，我们会针对更广泛的受众，逐层分解并详细解释每一个环节。

💰 费用是多少？

得益于我们的赞助商Pixeltable和Opik的支持，本课程及其相关资料均为开源且完全免费！

你可以在最低成本下运行Kubrick示例。这是因为我们将使用OpenAI和Groq来进行大语言模型和视觉语言模型的调用，它们都提供类似的免费试用计划：

提供方	免费额度
OpenAI	首次注册可获5美元
Groq	每日50万token

[!NOTE]
在这种配置下，仅凭这些免费试用计划就足以运行Kubrick智能体示例。

📚 课程大纲

Kubrick Agent 开源课程由五个全面的模块组成，涵盖概念、系统设计、工具链以及动手实践。

为了充分利用本课程，我们建议：

• 克隆此仓库。
• 按照每个模块的“入门”部分操作。
• 阅读模块文章以理解各个组件。
• 观看视频课程进行动手实践。
• 搭建代码环境并运行项目。

模块编号	深度课程（链接）	课程概要（3分钟）	描述	代码
0		获取概要	课程介绍与概述。概述基本组件	无
1		获取概要	深入探讨多模态处理流水线的核心组件，涵盖视频、图像、文本和音频数据。	kubrick-mcp
2		获取概要	使用 FastMCP 构建 Kubrick MCP 服务器。涵盖 MCP 协议（传输、通信）、能力、工具、资源和提示词。添加 Opik 集成和 MCP Inspector，以实现高效的调试和本地测试。	kubrick-mcp
3		获取概要	从零开始构建 Kubrick MCP 代理。使用 Pixeltable 实现记忆层，并使用 FastMCP 构建 MCP 客户端。了解如何将 MCP 工具转化为特定提供商的工具（Groq）。	kubrick-api
4		获取概要	构建 Groq 代理，涵盖 React UI 与 FastAPI API 的通信，并通过 Opik（由 Comet 提供）添加 LLMOps 可观测性和对话追踪功能。	kubrick-api
5		获取概要	免费开源的 Kubrick 课程完整总结。	无

赞助商

Pixeltable 是唯一一个提供多模态数据增量存储、转换、索引和编排的 Python 框架。	Opik LLM 评估平台帮助您构建、评估和优化 LLM 系统，使其运行得更好、更快、更便宜

作者

在这些平台关注我们

出版物	描述	订阅
Neural Bits	了解行业标准和可投入生产的 AI 工程技术。
The Neural Maze	学习如何构建真正可用的 AI 系统，从原理到生产部署。每周三更新。

Kubrick 多模态智能体课程快速上手指南

本指南旨在帮助开发者快速搭建 Kubrick，一个基于 MCP（Model Context Protocol）的多模态 AI 智能体系统。该系统能够理解并处理图像、文本、音频和视频数据。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

系统要求

• 操作系统：Windows、macOS 或 Linux 均可。
• 硬件：普通笔记本或台式机即可。本课程主要调用 API 模型（OpenAI/Groq），无需本地高性能 GPU。
• 编程语言：Python（建议 Python 3.9+）。

前置知识与依赖

• 基础技能：熟悉 Python 语法及基本编程概念。
• 概念了解（可选）：了解 LLM、Agent 或 MCP 概念更佳，但课程会逐步讲解。
• API Key：
  • OpenAI：注册即可获得 $5 免费额度。
  • Groq：注册即可获得每日 50 万 Token 免费额度。

  注意：请将你的 API Key 配置在环境变量或 .env 文件中。

推荐国内加速方案

由于部分依赖包托管在海外，建议配置国内镜像源以提升安装速度：

# 临时使用清华源安装依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

本项目并非简单的脚本教程，而是一个完整的系统工程。请按照以下步骤克隆并初始化项目：

1. 克隆仓库 获取源代码到本地：

   git clone https://github.com/TheNeuralMaze/multimodal-agents-course.git
   cd multimodal-agents-course
   

2. 创建虚拟环境 建议使用 venv 或 conda 隔离环境：

   python -m venv venv
   # Windows
   venv\Scripts\activate
   # macOS/Linux
   source venv/bin/activate
   

3. 安装核心依赖 根据项目结构，分别安装各模块所需的依赖（具体文件名请参考根目录或子目录下的 requirements.txt）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：如果根目录无统一 requirements.txt，请进入 kubrick-mcp 和 kubrick-api 目录分别安装。

4. 详细启动配置 由于系统包含 MCP Server、Agent 客户端及前端 UI，完整的启动流程较为复杂。请务必阅读项目根目录下的详细指引文件：

   # 查看详细的启动步骤说明
   cat GETTING_STARTED.md
   

   在该文件中，你将找到关于配置 Pixeltable 数据库、设置 FastMCP 服务器以及连接 Groq 客户端的具体指令。

基本使用

成功启动系统后，你将拥有一个名为 Kubrick Agent 的多模态助手（致敬 HAL 9000）。以下是核心功能的使用场景：

1. 构建多模态处理流水线

系统将自动处理视频、图像、音频和文本数据。你可以通过代码调用 kubrick-mcp 模块中的工具来索引媒体文件：

# 示例：使用 Pixeltable 存储和索引视频数据
# (具体代码实现请参考 kubrick-mcp 模块文档)
import pixeltable as pt

# 初始化数据表并插入视频路径
tbl = pt.create_table('media_store', schema={'video_path': pt.String()})
tbl.insert({'video_path': './sample_video.mp4'})

2. 通过 MCP 进行视频搜索

Kubrick 暴露了 MCP 工具，允许 Agent 自然语言搜索视频内容。在连接到 MCP 客户端后，你可以发送如下指令：

"Find the scene in the video where a person is opening a door." （查找视频中有人开门的场景。）

系统底层将调用嵌入模型（Embeddings）和视觉语言模型（VLM）进行检索。

3. 运行完整智能体系统

完成所有模块（Module 0-4）的配置后，启动前端 UI 与后端 API：

# 启动 FastAPI 后端 (示例命令，具体参考 kubrick-api 目录)
uvicorn main:app --reload

# 启动 React 前端 (示例命令)
npm start

此时，你可以在浏览器中访问本地服务，与 Kubrick Agent 进行交互，体验包含记忆层、工具调用和全链路监控（Opik）的生产级 AI 系统。

---

提示：本指南仅涵盖最基础的启动流程。为了深入理解 MCP 协议、Prompt 版本控制及 LLMOps 实践，强烈建议配合官方视频教程及 Course Syllabus 中的五个模块逐步学习。