Stream 开放的视觉智能体

多模态 AI 智能体，能够观看、聆听并理解视频。

Vision Agents 为您提供构建智能化、低延迟视频体验所需的基石，这些体验由您的模型、基础设施和应用场景驱动。

核心亮点

• 视频 AI： 专为实时视频 AI 打造。可将 YOLO、Roboflow 等与 Gemini/OpenAI 实时结合。
• 低延迟： 快速加入（500 毫秒），并通过 Stream 的边缘网络 将音视频延迟保持在 30 毫秒以内。
• 开放： 由 Stream 构建，但可与任何视频边缘网络配合使用。
• 原生 API： 提供来自 OpenAI (create response)、Gemini (generate) 和 Claude (create message) 的原生 SDK 方法——始终访问最新的 LLM 能力。
• SDK： 面向 React、Android、iOS、Flutter、React Native 和 Unity 的 SDK，由 Stream 的超低延迟网络提供支持。

开始使用

步骤 1：通过 uv 安装

uv add vision-agents

步骤 2：（可选）安装包含额外集成的版本

uv add "vision-agents[getstream, openai, elevenlabs, deepgram]"

步骤 3：获取您的 Stream API 凭证

从 Stream 获取免费的 API 密钥。开发者每月可获得 333,000 分钟参与者时长，并通过 Maker 计划获得更多积分。

按照 快速入门指南 构建您的第一个智能体。

实际演示

https://github.com/user-attachments/assets/d1258ac2-ca98-4019-80e4-41ec5530117e

此示例展示了如何使用 YOLO 和 Gemini Live 构建高尔夫教练 AI。将快速目标检测模型（如 YOLO）与完整的实时 AI 结合，适用于多种不同的视频 AI 应用场景。例如：无人机火灾检测、体育/电子游戏指导、物理治疗、健身教练、Just Dance 类型的游戏等。

# 部分示例，完整示例请参见 examples/02_golf_coach_example/golf_coach_example.py
agent = Agent(
    edge=getstream.Edge(),
    agent_user=agent_user,
    instructions="阅读 @golf_coach.md",
    llm=gemini.Realtime(fps=10),
    processors=[ultralytics.YOLOPoseProcessor(model_path="yolo11n-pose.pt", device="cuda")],
)

功能特性

功能	描述
实时 WebRTC	直接将视频流传输至模型提供商，实现即时视觉理解。
视频处理	可插拔的处理器流水线，用于 YOLO、Roboflow 或自定义 PyTorch/ONNX 模型，在 LLM 调用前后进行处理。
轮次检测	通过 VAD、说话人分离和智能轮次管理，实现自然的对话流程。
工具调用 & MCP	在对话过程中执行代码和 API —— 解决线性问题、查询天气、进行电话通信，或调用任何 MCP 服务器。
电话集成	通过 Twilio 实现呼入和呼出语音通话，并支持双向音频流。
RAG	基于 TurboPuffer 向量检索或 Gemini FileSearch 的增强型生成技术。
记忆	智能体可通过 Stream Chat 在不同轮次和会话中回忆上下文信息。
文本回传通道	在通话期间静默地向智能体发送消息——例如教练叠加层、静默指令等。
生产就绪	内置 HTTP 服务器、Prometheus 指标、水平扩展和 Kubernetes 部署。

即插即用的集成

LLMs： OpenAI · Gemini · xAI · OpenRouter · Hugging Face · Kimi AI

实时服务： OpenAI Realtime · Gemini Live · AWS Nova Sonic · Qwen

STT： Deepgram · AssemblyAI · Fast-Whisper · Fish Audio · Wizper · Mistral Voxtral

TTS： ElevenLabs · Cartesia · Deepgram · AWS Polly · Pocket · Kokoro · Inworld · Fish Audio

视觉： Ultralytics · Roboflow · Moondream · NVIDIA Cosmos · Decart

虚拟形象： LemonSlice

轮次检测： Vogent · Smart Turn

其他： Twilio · TurboPuffer

文档

请在 VisionAgents.ai 查看完整文档。

快速入门： 语音 AI · 视频 AI

指南： MCP 与函数调用 · 视频处理器 · 电话呼叫 · RAG · 测试

生产环境： HTTP 服务器 · 部署 · Kubernetes · 水平扩展 · Prometheus 指标

示例

🔮 演示应用
语音代理（低延迟 + RAG + 文件搜索） 构建能够基于知识进行推理、搜索文件并实时响应的高速语音代理。 • 低延迟语音交互 • 增强检索式响应 • 文件与知识搜索 >源代码与教程
实时教练与视频理解 利用实时姿态跟踪和逐帧理解的处理器流水线，赋能互动式教练流程。 • 实时姿态跟踪 • 可操作的教练反馈 • 视频处理器流水线支持 >源代码与教程
视频重制与虚拟形象 使用 Decart Lucy 等模型，构建虚拟试穿、风格化场景，或为您的代理赋予视觉形象。 • 实时视频重制 • 虚拟试穿体验 • 类似虚拟形象的视觉呈现 >源代码与教程
自定义视频模型（Roboflow、YOLO 等） 训练并运行自定义计算机视觉模型，用于安全监控、内容审核及其他领域特定的工作流。 • 使用您自己的 CV 模型 • 实时内容审核流水线 • 安全与检测应用场景 >源代码与教程
工具、MCP 与电话呼叫 连接外部 API 和服务，使代理能够在实时对话中验证数据并采取现实世界行动。 • 支持 MCP 和函数调用 • 基于 Twilio 的电话工作流 • 实时欺诈响应自动化 >电话 + RAG 示例 · >欺诈工作流示例

开发

请参阅 DEVELOPMENT.md

希望添加您的平台或提供商？请参阅 创建您自己的插件，或联系 nash@getstream.io。

当前限制

• 视频 AI 在处理小尺寸文本时表现不佳——模型可能会产生幻觉，例如误读分数、标志等。
• 对于连续视频理解，较长会话（约 30 秒以上）会导致上下文质量下降。
• 大多数用例需要将专用模型（如 YOLO、Roboflow）与大型 LLM 结合使用。
• 实时模型需要音频或文本触发响应——仅靠视频本身无法生成输出。

星级历史

Vision-Agents 快速上手指南

Vision-Agents 是一个由 Stream 开源的多模态 AI 代理框架，专为实时视频和语音交互设计。它支持低延迟（<30ms）的视频流处理，可轻松集成 YOLO、Roboflow 等视觉模型与 Gemini、OpenAI 等大语言模型，适用于体育教练、安防监控、虚拟化身等场景。

环境准备

在开始之前，请确保满足以下系统要求：

• 操作系统: Linux, macOS, 或 Windows (WSL 推荐)
• Python 版本: Python 3.9 - 3.12
• 包管理器: 推荐使用 uv (极速 Python 包安装器)，也可使用 pip
• API 凭证:
  • Stream API Key (用于低延迟视频网络，新用户每月赠送 333,000 参与分钟数)
  • 对应的大模型 API Key (如 Google Gemini, OpenAI 等)
• 硬件加速 (可选): 若运行本地视觉模型 (如 YOLO)，建议配备 NVIDIA GPU 并安装 CUDA 驱动

安装步骤

1. 安装核心库

推荐使用 uv 进行安装，速度更快且依赖解析更精准：

uv add vision-agents

若使用 pip：

pip install vision-agents

2. 安装额外集成组件 (可选)

根据需求安装特定的服务商集成（如 Stream 视频网络、OpenAI、ElevenLabs 语音、Deepgram 转录等）：

uv add "vision-agents[getstream, openai, elevenlabs, deepgram]"

提示：国内开发者若遇到网络问题，可配置 uv/pip 使用国内镜像源（如清华源、阿里源）加速下载。

基本使用

以下是一个构建实时高尔夫教练 AI的最小化示例。该示例结合了 Ultralytics YOLO 进行姿态检测，并使用 Google Gemini Live 进行实时多模态交互。

代码示例

# 完整示例参考：examples/02_golf_coach_example/golf_coach_example.py
from vision_agents import Agent
from vision_agents.edge import getstream
from vision_agents.llm import gemini
from vision_agents.processors import ultralytics

# 初始化 Agent
agent = Agent(
    edge=getstream.Edge(),  # 使用 Stream 边缘网络实现低延迟传输
    agent_user=agent_user,  # 用户上下文对象
    instructions="Read @golf_coach.md", # 系统指令文件
    llm=gemini.Realtime(fps=10), # 使用 Gemini Realtime 模式，每秒处理 10 帧
    processors=[
        ultralytics.YOLOPoseProcessor(
            model_path="yolo11n-pose.pt", 
            device="cuda" # 指定使用 GPU 加速
        )
    ],
)

# 启动代理逻辑 (具体启动方式视应用场景而定，如 WebRTC 连接)
# await agent.run() 

核心流程说明

1. 配置 Edge: 通过 getstream.Edge() 接入低延迟视频网络，确保音视频延迟低于 30ms。
2. 选择 LLM: 使用 gemini.Realtime 或其他支持的实时模型（如 OpenAI Realtime），实现“边看边听边说”。
3. 挂载处理器: 在 processors 列表中注入计算机视觉模型（如 YOLO），可在发送给 LLM 前对视频帧进行预处理（如提取骨骼关键点、检测物体）。
4. 运行: 结合前端 SDK (React/iOS/Android 等) 建立 WebRTC 连接，即可开始实时互动。

更多详细用法、MCP 工具调用及电话集成示例，请访问 VisionAgents.ai 官方文档。