[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-the-ai-merge--multimodal-agents-course":3,"tool-the-ai-merge--multimodal-agents-course":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",157379,2,"2026-04-15T23:32:42",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":78,"owner_twitter":77,"owner_website":79,"owner_url":80,"languages":81,"stars":114,"forks":115,"last_commit_at":116,"license":117,"difficulty_score":118,"env_os":119,"env_gpu":120,"env_ram":119,"env_deps":121,"category_tags":129,"github_topics":131,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":142,"updated_at":143,"faqs":144,"releases":145},7869,"the-ai-merge\u002Fmultimodal-agents-course","multimodal-agents-course","An MCP Multimodal AI Agent with eyes and ears!","multimodal-agents-course（又名 Kubrick Course）是一套免费的开源实战教程，旨在指导开发者构建具备“眼”和“耳”的多模态 AI 智能体。它解决了当前许多教程仅停留在简单连接现有服务、缺乏深度系统构建指导的痛点，帮助学习者从零开始打造可处理图像、视频、音频及文本的生产级 AI 系统。\n\n这套课程特别适合希望超越基础应用、深入掌握 AI 系统工程化的机器学习工程师和高级开发者。通过本教程，你将亲手搭建一个基于 Model Context Protocol (MCP) 的视频处理智能体，其灵感源自经典的 HAL 9000。课程的核心技术亮点在于深度融合了 Pixeltable 进行多模态数据管理、利用 FastMCP 构建复杂的自定义服务器，并集成 Opik 实现完整的可观测性与提示词版本控制。此外，你还将学习如何结合 Groq 加速推理、使用 Llama 4 等模型开发定制客户端，以及实施专业的 LLMOps 最佳实践。这不仅是一次工具使用的教学，更是一场关于如何设计健壮、可扩展多模态架构的深度演练，让你真正掌握让 AI 理解现实世界多媒体数据的核心能力","multimodal-agents-course（又名 Kubrick Course）是一套免费的开源实战教程，旨在指导开发者构建具备“眼”和“耳”的多模态 AI 智能体。它解决了当前许多教程仅停留在简单连接现有服务、缺乏深度系统构建指导的痛点，帮助学习者从零开始打造可处理图像、视频、音频及文本的生产级 AI 系统。\n\n这套课程特别适合希望超越基础应用、深入掌握 AI 系统工程化的机器学习工程师和高级开发者。通过本教程，你将亲手搭建一个基于 Model Context Protocol (MCP) 的视频处理智能体，其灵感源自经典的 HAL 9000。课程的核心技术亮点在于深度融合了 Pixeltable 进行多模态数据管理、利用 FastMCP 构建复杂的自定义服务器，并集成 Opik 实现完整的可观测性与提示词版本控制。此外，你还将学习如何结合 Groq 加速推理、使用 Llama 4 等模型开发定制客户端，以及实施专业的 LLMOps 最佳实践。这不仅是一次工具使用的教学，更是一场关于如何设计健壮、可扩展多模态架构的深度演练，让你真正掌握让 AI 理解现实世界多媒体数据的核心能力。","\u003Ch1 align=\"center\">Kubrick Course\u003C\u002Fh1>\n\u003Cp align=\"center\">\n    \u003Cimg alt=\"logo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_6f367ec4c055.png\" width=100 \u002F>\n    \u003Ch4 align=\"center\" >Hi Dave...\u003C\u002Fh4>\n\u003C\u002Fp>\n\u003Chr>\n\u003Cp align=\"center\">\n    \u003Ch4 align=\"center\">Learn to build AI Agents that can understand images, text, audio and videos.\u003C\u002Fh3>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\"> A \u003Cb>free, Open-source\u003C\u002Fb> course by \u003Ca href=\"https:\u002F\u002Ftheneuralmaze.substack.com\"> The Neural Maze \u003C\u002Fa> and \u003Ca href=\"https:\u002F\u002Fneuralbits.substack.com\">Neural Bits\u003C\u002Fa> in collaboration with \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fpixeltable\">Pixeltable\u003C\u002Fa> and \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik\">Opik\u003C\u002Fa>\n\u003C\u002Fp>\n\u003C\u002Fbr>\n\u003Cimg alt=\"logo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_ddca6b95aaac.gif\" width=1000 \u002F>\n\u003C\u002Fbr>\n\n---\n\n## 📖 About This Course\nTired of tutorials that just walk you through connecting an existing MCP server to Claude Desktop? \n\nYeah, us too.\n\nThat's why we built **Kubrick AI**, an MCP Multimodal Agent for video processing tasks. Yes! You read that right. \n\n> 💡 Agents + Video Processing ... and MCP! \n\nThis course is a collaboration between The Neural Maze and Neural Bits (from now on, \"The Neural Bros\"), and it's built for developers who want to go beyond the basics and build serious, production-ready AI Systems. In particular, you'll:\n\n* Learn how to build an MCP server for video processing using Pixeltable and FastMCP\n\n* Design a custom, Groq-powered agent, connected to your MCP server with its own MCP client\n\n* Integrate your agentic system with Opik for full observability and prompt versioning\n\n\n## 🖊️ What you'll learn\n* Learn how to use Pixeltable for multimodal data processing and stateful agents\n\n* Create complex MCP servers using FastMCP: expose resources, prompts, and tools\n\n* Apply prompt versioning to your MCP server (instead of defining the prompts in the Agent API)\n\n* Learn how to implement custom MCP clients for your agents\n\n* Implement an MCP Tool Agent from scratch, using Llama 4 Scout and Maverick as the LLMs\n\n* Use Opik for MCP prompt versioning\n\n* Learn how to implement custom tracing and monitoring with Opik\n\n> 🚀 No shortcuts. No fluff. Let's learn by doing. \n\n---\n\n## 💻 What You'll Do:\n\nCompleting this course, you'll learn how to design and enable Agents to understand multimodal data, across images, video, audio, and text inputs, all within a single system. \n\nSpecifically, you'll get to:\n\n- Build a complex Multimodal Processing Pipeline\n- Build a Video Search Engine and expose its functionality to an Agent via MCP (Model Context Protocol)\n- Build a production-ready API to power the Agent.\n- Integrate LLMOps principles and best software engineering practices.\n- Learn about video, embeddings, streaming APIs, Vision Language Models (VLMs), and more.\n\nAfter completing this course, you'll have built your own Kubrick Agent with a HAL-themed spin-off, to play the role of a new set of eyes and ears:\n\n\u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fef77c2a9-1a77-4f14-b2dd-e759c3f6db72\"\u002F>\u003C\u002Fvideo>\n\n---\n\n## Getting Started\n\nKubrick is **not** a simple tutorial. So, to get this system up and running, there are a few things you need to do first.\n\nWe have detailed the steps to get you started in this [GETTING_STARTED.md](GETTING_STARTED.md) file.\n\n> 💡 Having Kubrick running is just the first step! Now that you have it up and running, it's time to actually understand how it works (see [Course Syllabus](#-course-syllabus)).\n\n\n---\n## Watch the Full Video Course\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=_iYB1z1_Xgs&t=316s\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_924c9dc31202.png\" alt=\"Kubrick Multimodal Agent\" width=\"500\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n---\n\n## 🧑‍🎓 Who is this course for?\nYou'll get the most out of this course by building it yourself, from the ground up. \nThe course components are structured to cover key concepts and demonstrate how to build upon them, ultimately leading to AI Systems.\n\n| Target Audience |\tSkills you'll get |\n| ----- | ------------------|\n| ML\u002FAI Engineers |\tBuild complex MCP Servers, learn to apply AI Models to Video, Images, and Speech.|\n| Software Engineers | Learn to connect AI Components with APIs, building end-to-end agentic applications.|\n| Data Engineers\u002FScientists | Learn to design an AI System, managing Video\u002FAudio\u002FImage data processing and structure.\n\nRegardless of your experience or title, this course aims to unpack complex topics in practical terms and concepts you could understand, learn, and apply - helping you to build a complete AI system.\n\n## 🎓 Prerequisites\nIn this section, we outlined a few requirements and nice-to-haves to improve your learning experience while taking this course.\n| Category | Label | Description |\n|----------| ----- | ----------- |\n| Programming Skills (Beginner) | Requirement | Understanding of Programming in general, and the Python language syntax.\n| AI\u002FML Concepts (Beginner) | Nice to Have | Understanding the basic concepts behind AI, AI Models, and AI Systems.\n| LLMs, MCP, Agents | Nice to Have | Perfect if you know about them, not a problem if you don't. We'll teach and explain it step by step.\n| Laptop\u002FPC with any OS | Requirement | AI Models inference requires compute. To overcome that, we'll mainly use API based models.|\n\nThe overall level of this course is Beginner\u002FIntermediate, but don't worry. We'll aim to explain every component step by step designed for a larger audience.\n\n## 💰 What's the cost?\nThis course and its materials are open-source and completely free, thanks to our sponsors, Pixeltable and Opik! \n\nYou'll be able to run Kubrick examples while staying at a minimum cost. That's because we'll use OpenAI and Groq for our LLM and VLM calls, which offer freemium plans as such:\n\n| Provider | Free Credits |\n| -------- |  ----------- |\n| OpenAI   |  $5 on first sign-up |\n| Groq | 500,000 tokens\u002Fday\n\n> [!NOTE]  \n> In this setup, for running the Kubrick Agent example, the freemium plans are enough.\n\n## 📚 Course Syllabus\nThe Kubrick Agent open-source course consists of five comprehensive modules, covering concepts, system design, tooling, and hands-on implementation.\n\nTo get the most out of this course, we recommend:\n\n- Clone this repository.\n- Follow the Get Started Sections of each module.\n- Read the module articles to understand each component.\n- Follow the Video Lessons for hands-on implementation.\n- Set up the code and run the project.\n\n| Module No. | In-depth Lesson (Link) | Lesson Summary (3min) | Description | Code |\n| - | -------------- | ------------ | -------- | ----------- |\n| 0 | \u003Ca href=\"https:\u002F\u002Fmultimodalai.substack.com\u002Fp\u002Fintroducing-kubrick-course-a-multimodal\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_fb3d7fc0f383.png\" width=300>\u003C\u002Fa> | [Get a Summary](https:\u002F\u002Ftheneuralmaze.substack.com\u002Fp\u002Fyour-first-video-agent-multimodality) | Course introduction and overview. Outlining the basic components  | N\u002FA \n| 1 | \u003Ca href=\"https:\u002F\u002Fmultimodalai.substack.com\u002Fp\u002Fcracking-the-code-of-multimodal-ai\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_4a01af4fc01b.png\" width=300>\u003C\u002Fa> | [Get a Summary](https:\u002F\u002Ftheneuralmaze.substack.com\u002Fp\u002Fthe-future-of-video-search-is-here) | Diving into the core components of the multimodal processing pipeline, covering video, images, text, and audio data. | [kubrick-mcp](kubrick-mcp)\n| 2 | \u003Ca href=\"https:\u002F\u002Fmultimodalai.substack.com\u002Fp\u002Fbuilding-mcp-servers-for-video-search\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_29822e704f72.png\" width=300>\u003C\u002Fa> | [Get a Summary](https:\u002F\u002Ftheneuralmaze.substack.com\u002Fp\u002Fhow-real-ai-engineers-build-mcp-servers)| Building the Kubrick MCP Server with FastMCP. Covering MCP protocol (transport, communication), capabilities, tools, resources, and prompts. Adding Opik Integration and MCP Inspector for efficient debugging and local testing. | [kubrick-mcp](kubrick-mcp)\n| 3 | \u003Ca href=\"https:\u002F\u002Fmultimodalai.substack.com\u002Fp\u002Fbuilding-tool-use-mcp-agents-from\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_afa804adeb86.png\" width=300>\u003C\u002Fa> | [Get a Summary](https:\u002F\u002Ftheneuralmaze.substack.com\u002Fp\u002Fhow-we-built-an-mcp-agent-from-scratch) | Building the Kubrick MCP Agent from scratch. Memory layer implementation with Pixeltable and MCP Client with FastMCP. Understanding how to translate MCP Tools into specific provider tools (Groq) | [kubrick-api](kubrick-api)\n| 4 | \u003Ca href=\"https:\u002F\u002Fmultimodalai.substack.com\u002Fp\u002Fbuilding-a-fullstack-befe-agent-ui\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_acccc120a556.png\" width=300>\u003C\u002Fa> | [Get a Summary](https:\u002F\u002Ftheneuralmaze.substack.com\u002Fp\u002Fif-you-cant-trace-it-monitor-it-or) | Building the Groq Agent, covering the React UI - FastAPI API communication and adding LLMOps observability and conversation tracing with Opik (by Comet) | [kubrick-api](kubrick-api)\n| 5 | \u003Ca href=\"https:\u002F\u002Fmultimodalai.substack.com\u002Fp\u002Fkubrick-course-final-round-up\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_ddca6b95aaac.gif\" width=300>\u003C\u002Fa> | [Get a Summary](https:\u002F\u002Ftheneuralmaze.substack.com\u002Fp\u002Fthe-ai-engineering-course-i-wish) | Complete Round-up of the free, open-source Kubrick Course. | N\u002FA\n\n\n## Sponsors\n|  |  |\n|:---:|:---:|\n| \u003Ca href=\"https:\u002F\u002Fwww.pixeltable.com\u002F\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_6ecb500ef620.png\" width=\"250\" alt=\"Pixeltable\">\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik\" target=\"_blank\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_93b63d28065c.png\" width=\"250\" alt=\"Opik\">\u003C\u002Fa>|\n| \u003Cp align=\"center\">**Pixeltable** \u003C\u002Fbr> is the only Python framework that provides incremental storage, transformation, indexing, and orchestration of your multimodal data.\u003C\u002Fp> | \u003Cp align=\"center\">**Opik** \u003C\u002Fbr>LLM Evaluation platform helps you build, evaluate, and optimize LLM systems that run better, faster, and cheaper\u003C\u002Fp> \n\n## Authors\n\u003Cdiv align=\"center\">\n  \u003Ctable>\n    \u003Ctr>\n      \u003Ctd align=\"center\">\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FMichaelisTrofficus\">\n          \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_beeb94265d28.png\" width=\"100px;\" alt=\"Miguel Otero Pedrido\"\u002F>\u003Cbr \u002F>\n          \u003Csub>\u003Cb>Miguel Otero Pedrido\u003C\u002Fb>\u003C\u002Fsub>\n        \u003C\u002Fa>\u003Cbr \u002F>\n        \u003Csub>AI \u002F ML Engineer\u003C\u002Fsub>\n        \u003Cp>\n        \u003C\u002Fbr>\n          \u003Ca href=\"https:\u002F\u002Flinkedin.com\u002Fin\u002Fmigueloteropedrido\" target=\"_blank\">\n            \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white\" alt=\"LinkedIn\">\n          \u003C\u002Fa>\n        \u003C\u002Fp>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\">\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Farazvant\">\n          \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_629c427a46b3.png\" width=\"100px;\" alt=\"Alex Razvant\"\u002F>\u003Cbr \u002F>\n          \u003Csub>\u003Cb>Alex Razvant\u003C\u002Fb>\u003C\u002Fsub>\n        \u003C\u002Fa>\u003Cbr \u002F>\n        \u003Csub>AI \u002F ML Engineer\u003C\u002Fsub>\n        \u003Cp>\n        \u003C\u002Fbr>\n          \u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Farazvant\" target=\"_blank\">\n            \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white\" alt=\"LinkedIn\">\n          \u003C\u002Fa>\n        \u003C\u002Fp>\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n  \u003C\u002Ftable>\n\u003C\u002Fdiv>\n\n\n## Find us on\n| Publication | Description | Subscribe |\n|:---:|---|:---:|\n| \u003Ca href=\"https:\u002F\u002Fneuralbits.substack.com\u002F\" aria-label=\"Neural Bits\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_19e63ce90ce9.png\" alt=\"Neural Bits Logo\" width=\"100\"\u002F>\u003Cbr\u002F>\u003Cp align=\"center\">**Neural Bits**\u003C\u002Fa>\u003C\u002Fp> | Learn about industry standards and production-ready AI Engineering. | \u003Ca href=\"https:\u002F\u002Fneuralbits.substack.com\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label&logo=substack&message=Subscribe%20Now&style=for-the-badge&color=black&scale=2\" alt=\"Subscribe Now\" height=\"30\">\u003C\u002Fa> |\n| \u003Ca href=\"https:\u002F\u002Ftheneuralmaze.substack.com\u002F\" aria-label=\"The Neural Maze\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_3a15abcc0487.png\" alt=\"The Neural Maze Logo\" width=\"100\"\u002F>\u003Cbr\u002F>\u003Cp align=\"center\">**The Neural Maze**\u003C\u002Fa> \u003C\u002Fa> | Learn to build AI Systems that actually work, from principles to production. Delivered every Wednesday. | \u003Ca href=\"https:\u002F\u002Ftheneuralmaze.substack.com\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label&logo=substack&message=Subscribe%20Now&style=for-the-badge&color=black&scale=2\" alt=\"Subscribe Now\" height=\"30\">\u003C\u002Fa> |\n\n\n","\u003Ch1 align=\"center\">库布里克课程\u003C\u002Fh1>\n\u003Cp align=\"center\">\n    \u003Cimg alt=\"logo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_6f367ec4c055.png\" width=100 \u002F>\n    \u003Ch4 align=\"center\" >嗨，戴夫...\u003C\u002Fh4>\n\u003C\u002Fp>\n\u003Chr>\n\u003Cp align=\"center\">\n    \u003Ch4 align=\"center\">学习构建能够理解图像、文本、音频和视频的AI智能体。\u003C\u002Fh3>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\"> 由 \u003Ca href=\"https:\u002F\u002Ftheneuralmaze.substack.com\"> The Neural Maze \u003C\u002Fa> 和 \u003Ca href=\"https:\u002F\u002Fneuralbits.substack.com\">Neural Bits\u003C\u002Fa> 联合 \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fpixeltable\">Pixeltable\u003C\u002Fa> 与 \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik\">Opik\u003C\u002Fa> 共同推出的\u003Cb>免费、开源\u003C\u002Fb>课程。\n\u003C\u002Fp>\n\u003C\u002Fbr>\n\u003Cimg alt=\"logo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_ddca6b95aaac.gif\" width=1000 \u002F>\n\u003C\u002Fbr>\n\n---\n\n## 📖 关于本课程\n厌倦了那些只教你如何将现成的MCP服务器连接到Claude Desktop的教程吗？\n\n是啊，我们也是。\n\n这就是为什么我们打造了 **Kubrick AI**——一个用于视频处理任务的MCP多模态智能体。没错！你没看错。\n\n> 💡 智能体 + 视频处理 ... 还有MCP！\n\n本课程由The Neural Maze和Neural Bits（以下简称“神经兄弟”）联合推出，专为希望超越基础、构建真正可投入生产的AI系统的开发者而设计。具体来说，你将：\n\n* 学习如何使用Pixeltable和FastMCP搭建用于视频处理的MCP服务器\n* 设计一个基于Groq的自定义智能体，并通过专属的MCP客户端将其连接到你的MCP服务器\n* 将你的智能体系统与Opik集成，实现全面可观测性和提示版本管理\n\n\n## 🖊️ 你将学到什么\n* 学会使用Pixeltable进行多模态数据处理及状态化智能体开发\n* 利用FastMCP创建复杂的MCP服务器：暴露资源、提示和工具\n* 将提示版本控制应用于你的MCP服务器（而非在智能体API中直接定义提示）\n* 学习如何为你的智能体实现自定义MCP客户端\n* 从零开始实现一个MCP工具型智能体，选用Llama 4 Scout和Maverick作为大语言模型\n* 使用Opik进行MCP提示版本管理\n* 学习如何借助Opik实现自定义追踪与监控\n\n> 🚀 不走捷径。没有废话。让我们边做边学吧。\n\n---\n\n## 💻 你将完成什么：\n完成本课程后，你将学会如何设计并使智能体具备理解多模态数据的能力，涵盖图像、视频、音频和文本输入，所有这些都整合在一个系统中。\n\n具体而言，你将：\n\n- 构建一条复杂的多模态处理流水线\n- 打造一个视频搜索引擎，并通过MCP（模型上下文协议）将其功能暴露给智能体\n- 构建一个可用于驱动智能体的生产级API\n- 融合LLMOps原则与最佳软件工程实践\n- 探索视频、嵌入表示、流式API、视觉语言模型（VLMs）等更多内容\n\n完成本课程后，你将拥有自己的Kubrick智能体，并为其赋予HAL主题的衍生角色，让它扮演一双全新的“眼睛”和“耳朵”：\n\n\u003Cvideo src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fef77c2a9-1a77-4f14-b2dd-e759c3f6db72\"\u002F>\u003C\u002Fvideo>\n\n---\n\n## 开始使用\n\nKubrick绝非简单的教程。因此，要让这个系统顺利运行起来，你需要先完成一些准备工作。\n\n我们在 [GETTING_STARTED.md](GETTING_STARTED.md) 文件中详细列出了入门步骤。\n\n> 💡 让Kubrick运行起来只是第一步！现在它已经启动了，接下来就是真正理解它的运作方式（参见[课程大纲](#-course-syllabus)).\n\n\n---\n## 观看完整视频课程\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=_iYB1z1_Xgs&t=316s\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_924c9dc31202.png\" alt=\"Kubrick多模态智能体\" width=\"500\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n---\n\n## 🧑‍🎓 本课程适合哪些人？\n要想从本课程中获得最大收益，最好是从头开始亲手构建整个系统。课程内容按模块组织，覆盖关键概念并演示如何在此基础上进一步扩展，最终打造出完整的AI系统。\n\n| 目标受众 | 你将掌握的技能 |\n| ----- | ------------------|\n| 机器学习\u002F人工智能工程师 | 构建复杂的MCP服务器，学会将AI模型应用于视频、图像和语音处理。|\n| 软件工程师 | 学习如何通过API连接AI组件，构建端到端的智能体应用。|\n| 数据工程师\u002F科学家 | 学习设计AI系统，管理视频\u002F音频\u002F图像数据的处理与结构。\n\n无论你的经验或职位如何，本课程旨在以实用的方式拆解复杂话题，用你能够理解、学习并应用的概念来帮助你构建一个完整的AI系统。\n\n## 🎓 先决条件\n在这一部分，我们列出了一些要求以及有助于提升学习体验的加分项。\n| 类别 | 标签 | 描述 |\n|----------| ----- | ----------- |\n| 编程技能（初级） | 必需 | 对编程整体及Python语言语法有一定了解。\n| AI\u002FML概念（初级） | 建议 | 了解AI、AI模型和AI系统的基本概念。\n| LLMs、MCP、智能体 | 建议 | 如果你熟悉这些内容当然更好，但不了解也没关系。我们会逐步讲解说明。\n| 任意操作系统的笔记本电脑\u002F台式电脑 | 必需 | AI模型推理需要计算资源。不过，我们将主要使用基于API的模型来应对这一点。\n\n本课程的整体难度属于初级到中级，但请放心，我们会针对更广泛的受众，逐层分解并详细解释每一个环节。\n\n## 💰 费用是多少？\n得益于我们的赞助商Pixeltable和Opik的支持，本课程及其相关资料均为开源且完全免费！\n\n你可以在最低成本下运行Kubrick示例。这是因为我们将使用OpenAI和Groq来进行大语言模型和视觉语言模型的调用，它们都提供类似的免费试用计划：\n\n| 提供方 | 免费额度 |\n| -------- |  ----------- |\n| OpenAI   | 首次注册可获5美元 |\n| Groq | 每日50万token\n\n> [!NOTE]  \n> 在这种配置下，仅凭这些免费试用计划就足以运行Kubrick智能体示例。\n\n## 📚 课程大纲\nKubrick Agent 开源课程由五个全面的模块组成，涵盖概念、系统设计、工具链以及动手实践。\n\n为了充分利用本课程，我们建议：\n\n- 克隆此仓库。\n- 按照每个模块的“入门”部分操作。\n- 阅读模块文章以理解各个组件。\n- 观看视频课程进行动手实践。\n- 搭建代码环境并运行项目。\n\n| 模块编号 | 深度课程（链接） | 课程概要（3分钟） | 描述 | 代码 |\n| - | -------------- | ------------ | -------- | ----------- |\n| 0 | \u003Ca href=\"https:\u002F\u002Fmultimodalai.substack.com\u002Fp\u002Fintroducing-kubrick-course-a-multimodal\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_fb3d7fc0f383.png\" width=300>\u003C\u002Fa> | [获取概要](https:\u002F\u002Ftheneuralmaze.substack.com\u002Fp\u002Fyour-first-video-agent-multimodality) | 课程介绍与概述。概述基本组件 | 无 \n| 1 | \u003Ca href=\"https:\u002F\u002Fmultimodalai.substack.com\u002Fp\u002Fcracking-the-code-of-multimodal-ai\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_4a01af4fc01b.png\" width=300>\u003C\u002Fa> | [获取概要](https:\u002F\u002Ftheneuralmaze.substack.com\u002Fp\u002Fthe-future-of-video-search-is-here) | 深入探讨多模态处理流水线的核心组件，涵盖视频、图像、文本和音频数据。 | [kubrick-mcp](kubrick-mcp)\n| 2 | \u003Ca href=\"https:\u002F\u002Fmultimodalai.substack.com\u002Fp\u002Fbuilding-mcp-servers-for-video-search\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_29822e704f72.png\" width=300>\u003C\u002Fa> | [获取概要](https:\u002F\u002Ftheneuralmaze.substack.com\u002Fp\u002Fhow-real-ai-engineers-build-mcp-servers)| 使用 FastMCP 构建 Kubrick MCP 服务器。涵盖 MCP 协议（传输、通信）、能力、工具、资源和提示词。添加 Opik 集成和 MCP Inspector，以实现高效的调试和本地测试。 | [kubrick-mcp](kubrick-mcp)\n| 3 | \u003Ca href=\"https:\u002F\u002Fmultimodalai.substack.com\u002Fp\u002Fbuilding-tool-use-mcp-agents-from\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_afa804adeb86.png\" width=300>\u003C\u002Fa> | [获取概要](https:\u002F\u002Ftheneuralmaze.substack.com\u002Fp\u002Fhow-we-built-an-mcp-agent-from-scratch) | 从零开始构建 Kubrick MCP 代理。使用 Pixeltable 实现记忆层，并使用 FastMCP 构建 MCP 客户端。了解如何将 MCP 工具转化为特定提供商的工具（Groq）。 | [kubrick-api](kubrick-api)\n| 4 | \u003Ca href=\"https:\u002F\u002Fmultimodalai.substack.com\u002Fp\u002Fbuilding-a-fullstack-befe-agent-ui\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_acccc120a556.png\" width=300>\u003C\u002Fa> | [获取概要](https:\u002F\u002Ftheneuralmaze.substack.com\u002Fp\u002Fif-you-cant-trace-it-monitor-it-or) | 构建 Groq 代理，涵盖 React UI 与 FastAPI API 的通信，并通过 Opik（由 Comet 提供）添加 LLMOps 可观测性和对话追踪功能。 | [kubrick-api](kubrick-api)\n| 5 | \u003Ca href=\"https:\u002F\u002Fmultimodalai.substack.com\u002Fp\u002Fkubrick-course-final-round-up\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_ddca6b95aaac.gif\" width=300>\u003C\u002Fa> | [获取概要](https:\u002F\u002Ftheneuralmaze.substack.com\u002Fp\u002Fthe-ai-engineering-course-i-wish) | 免费开源的 Kubrick 课程完整总结。 | 无\n\n\n## 赞助商\n|  |  |\n|:---:|:---:|\n| \u003Ca href=\"https:\u002F\u002Fwww.pixeltable.com\u002F\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_6ecb500ef620.png\" width=\"250\" alt=\"Pixeltable\">\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik\" target=\"_blank\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_93b63d28065c.png\" width=\"250\" alt=\"Opik\">\u003C\u002Fa>|\n| \u003Cp align=\"center\">**Pixeltable** \u003C\u002Fbr> 是唯一一个提供多模态数据增量存储、转换、索引和编排的 Python 框架。\u003C\u002Fp> | \u003Cp align=\"center\">**Opik** \u003C\u002Fbr>LLM 评估平台帮助您构建、评估和优化 LLM 系统，使其运行得更好、更快、更便宜\u003C\u002Fp> \n\n## 作者\n\u003Cdiv align=\"center\">\n  \u003Ctable>\n    \u003Ctr>\n      \u003Ctd align=\"center\">\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FMichaelisTrofficus\">\n          \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_beeb94265d28.png\" width=\"100px;\" alt=\"Miguel Otero Pedrido\"\u002F>\u003Cbr \u002F>\n          \u003Csub>\u003Cb>Miguel Otero Pedrido\u003C\u002Fb>\u003C\u002Fsub>\n        \u003C\u002Fa>\u003Cbr \u002F>\n        \u003Csub>AI \u002F ML 工程师\u003C\u002Fsub>\n        \u003Cp>\n        \u003C\u002Fbr>\n          \u003Ca href=\"https:\u002F\u002Flinkedin.com\u002Fin\u002Fmigueloteropedrido\" target=\"_blank\">\n            \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white\" alt=\"LinkedIn\">\n          \u003C\u002Fa>\n        \u003C\u002Fp>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\">\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Farazvant\">\n          \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_629c427a46b3.png\" width=\"100px;\" alt=\"Alex Razvant\"\u002F>\u003Cbr \u002F>\n          \u003Csub>\u003Cb>Alex Razvant\u003C\u002Fb>\u003C\u002Fsub>\n        \u003C\u002Fa>\u003Cbr \u002F>\n        \u003Csub>AI \u002F ML 工程师\u003C\u002Fsub>\n        \u003Cp>\n        \u003C\u002Fbr>\n          \u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Farazvant\" target=\"_blank\">\n            \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white\" alt=\"LinkedIn\">\n          \u003C\u002Fa>\n        \u003C\u002Fp>\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n  \u003C\u002Ftable>\n\u003C\u002Fdiv>\n\n\n## 在这些平台关注我们\n| 出版物 | 描述 | 订阅 |\n|:---:|---|:---:|\n| \u003Ca href=\"https:\u002F\u002Fneuralbits.substack.com\u002F\" aria-label=\"Neural Bits\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_19e63ce90ce9.png\" alt=\"Neural Bits Logo\" width=\"100\"\u002F>\u003Cbr\u002F>\u003Cp align=\"center\">**Neural Bits**\u003C\u002Fa>\u003C\u002Fp> | 了解行业标准和可投入生产的 AI 工程技术。 | \u003Ca href=\"https:\u002F\u002Fneuralbits.substack.com\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label&logo=substack&message=Subscribe%20Now&style=for-the-badge&color=black&scale=2\" alt=\"立即订阅\" height=\"30\">\u003C\u002Fa> |\n| \u003Ca href=\"https:\u002F\u002Ftheneuralmaze.substack.com\u002F\" aria-label=\"The Neural Maze\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_readme_3a15abcc0487.png\" alt=\"The Neural Maze Logo\" width=\"100\"\u002F>\u003Cbr\u002F>\u003Cp align=\"center\">**The Neural Maze**\u003C\u002Fa> \u003C\u002Fa> | 学习如何构建真正可用的 AI 系统，从原理到生产部署。每周三更新。 | \u003Ca href=\"https:\u002F\u002Ftheneuralmaze.substack.com\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label&logo=substack&message=Subscribe%20Now&style=for-the-badge&color=black&scale=2\" alt=\"立即订阅\" height=\"30\">\u003C\u002Fa> |","# Kubrick 多模态智能体课程快速上手指南\n\n本指南旨在帮助开发者快速搭建 **Kubrick**，一个基于 MCP（Model Context Protocol）的多模态 AI 智能体系统。该系统能够理解并处理图像、文本、音频和视频数据。\n\n## 环境准备\n\n在开始之前，请确保你的开发环境满足以下要求：\n\n### 系统要求\n- **操作系统**：Windows、macOS 或 Linux 均可。\n- **硬件**：普通笔记本或台式机即可。本课程主要调用 API 模型（OpenAI\u002FGroq），无需本地高性能 GPU。\n- **编程语言**：Python（建议 Python 3.9+）。\n\n### 前置知识与依赖\n- **基础技能**：熟悉 Python 语法及基本编程概念。\n- **概念了解**（可选）：了解 LLM、Agent 或 MCP 概念更佳，但课程会逐步讲解。\n- **API Key**：\n  - **OpenAI**：注册即可获得 $5 免费额度。\n  - **Groq**：注册即可获得每日 50 万 Token 免费额度。\n  > 注意：请将你的 API Key 配置在环境变量或 `.env` 文件中。\n\n### 推荐国内加速方案\n由于部分依赖包托管在海外，建议配置国内镜像源以提升安装速度：\n```bash\n# 临时使用清华源安装依赖\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 安装步骤\n\n本项目并非简单的脚本教程，而是一个完整的系统工程。请按照以下步骤克隆并初始化项目：\n\n1. **克隆仓库**\n   获取源代码到本地：\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002FTheNeuralMaze\u002Fmultimodal-agents-course.git\n   cd multimodal-agents-course\n   ```\n\n2. **创建虚拟环境**\n   建议使用 `venv` 或 `conda` 隔离环境：\n   ```bash\n   python -m venv venv\n   # Windows\n   venv\\Scripts\\activate\n   # macOS\u002FLinux\n   source venv\u002Fbin\u002Factivate\n   ```\n\n3. **安装核心依赖**\n   根据项目结构，分别安装各模块所需的依赖（具体文件名请参考根目录或子目录下的 `requirements.txt`）：\n   ```bash\n   pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n   ```\n   *注：如果根目录无统一 requirements.txt，请进入 `kubrick-mcp` 和 `kubrick-api` 目录分别安装。*\n\n4. **详细启动配置**\n   由于系统包含 MCP Server、Agent 客户端及前端 UI，完整的启动流程较为复杂。请务必阅读项目根目录下的详细指引文件：\n   ```bash\n   # 查看详细的启动步骤说明\n   cat GETTING_STARTED.md\n   ```\n   在该文件中，你将找到关于配置 Pixeltable 数据库、设置 FastMCP 服务器以及连接 Groq 客户端的具体指令。\n\n## 基本使用\n\n成功启动系统后，你将拥有一个名为 **Kubrick Agent** 的多模态助手（致敬 HAL 9000）。以下是核心功能的使用场景：\n\n### 1. 构建多模态处理流水线\n系统将自动处理视频、图像、音频和文本数据。你可以通过代码调用 `kubrick-mcp` 模块中的工具来索引媒体文件：\n\n```python\n# 示例：使用 Pixeltable 存储和索引视频数据\n# (具体代码实现请参考 kubrick-mcp 模块文档)\nimport pixeltable as pt\n\n# 初始化数据表并插入视频路径\ntbl = pt.create_table('media_store', schema={'video_path': pt.String()})\ntbl.insert({'video_path': '.\u002Fsample_video.mp4'})\n```\n\n### 2. 通过 MCP 进行视频搜索\nKubrick 暴露了 MCP 工具，允许 Agent 自然语言搜索视频内容。在连接到 MCP 客户端后，你可以发送如下指令：\n\n> \"Find the scene in the video where a person is opening a door.\"\n> （查找视频中有人开门的场景。）\n\n系统底层将调用嵌入模型（Embeddings）和视觉语言模型（VLM）进行检索。\n\n### 3. 运行完整智能体系统\n完成所有模块（Module 0-4）的配置后，启动前端 UI 与后端 API：\n\n```bash\n# 启动 FastAPI 后端 (示例命令，具体参考 kubrick-api 目录)\nuvicorn main:app --reload\n\n# 启动 React 前端 (示例命令)\nnpm start\n```\n\n此时，你可以在浏览器中访问本地服务，与 Kubrick Agent 进行交互，体验包含记忆层、工具调用和全链路监控（Opik）的生产级 AI 系统。\n\n---\n*提示：本指南仅涵盖最基础的启动流程。为了深入理解 MCP 协议、Prompt 版本控制及 LLMOps 实践，强烈建议配合官方视频教程及 `Course Syllabus` 中的五个模块逐步学习。*","某视频内容平台的算法团队需要构建一个能深度理解视频语义（画面、语音、字幕）的智能检索系统，以替代传统的关键词匹配搜索。\n\n### 没有 multimodal-agents-course 时\n- 开发者只能分别处理图像、音频和文本数据，难以构建统一的多模态状态管理管道，导致代码碎片化严重。\n- 缺乏标准的 MCP 服务端架构经验，暴露视频处理功能给 AI Agent 时需重复造轮子，且无法动态更新提示词。\n- 系统黑盒运行，缺少针对多模态推理链路的追踪与监控，出现误检时无法定位是视觉模型还是语音识别出了问题。\n- 仅能实现简单的元数据搜索，无法让 Agent 真正“看懂”视频情节或“听懂”对话语境，检索精度低。\n\n### 使用 multimodal-agents-course 后\n- 基于 Pixeltable 和 FastMCP 搭建起标准化的多模态处理流水线，统一管理视频、音频及文本的状态与嵌入向量。\n- 学会设计自定义 MCP 客户端与服务端，将复杂的视频搜索引擎无缝对接给 Agent，并实现提示词的版本控制与热更新。\n- 集成 Opik 建立全链路可观测性，清晰追踪 Agent 从接收视频流到输出结论的每一步，快速优化模型表现。\n- 成功部署具备“眼耳”能力的 Kubrick Agent，能直接理解自然语言指令（如“找出主角哭泣的片段”），大幅提升检索准确率。\n\nmultimodal-agents-course 帮助开发者从零构建生产级的多模态 AI 系统，将分散的媒体处理能力转化为真正懂视频的智能代理。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fthe-ai-merge_multimodal-agents-course_6f367ec4.png","the-ai-merge","The AI Merge","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fthe-ai-merge_11229e56.png","For engineers designing, building, and deploying production AI systems.",null,"a.b.razvant@gmail.com","theaimerge.com","https:\u002F\u002Fgithub.com\u002Fthe-ai-merge",[82,86,90,94,98,102,106,110],{"name":83,"color":84,"percentage":85},"Python","#3572A5",42.2,{"name":87,"color":88,"percentage":89},"TypeScript","#3178c6",31.9,{"name":91,"color":92,"percentage":93},"Jupyter Notebook","#DA5B0B",21.1,{"name":95,"color":96,"percentage":97},"CSS","#663399",1.8,{"name":99,"color":100,"percentage":101},"Makefile","#427819",1.1,{"name":103,"color":104,"percentage":105},"Dockerfile","#384d54",0.8,{"name":107,"color":108,"percentage":109},"HTML","#e34c26",0.6,{"name":111,"color":112,"percentage":113},"JavaScript","#f1e05a",0.5,550,143,"2026-04-12T13:18:36","Apache-2.0",4,"未说明","非必需（课程主要使用基于 API 的模型如 OpenAI 和 Groq 进行推理，以降低本地计算需求）",{"notes":122,"python":119,"dependencies":123},"该项目是一个开源课程，旨在构建多模态 AI Agent。运行示例主要依赖云端 API（OpenAI 提供$5 免费额度，Groq 提供每日 50 万 token 免费额度），因此对本地硬件要求较低。具体环境配置步骤需参考项目中的 GETTING_STARTED.md 文件。核心功能涉及视频处理、MCP 服务器构建及 LLMOps 监控。",[124,125,126,127,128],"Pixeltable","FastMCP","Opik","FastAPI","React",[14,13,130,52],"其他",[132,133,134,135,136,137,138,139,140,141],"agent","embeddings","groq","mcp","mcp-client","mcp-server","multimodal","openai","opik","pixeltable","2026-03-27T02:49:30.150509","2026-04-16T08:13:22.438015",[],[]]