英特尔® 深度学习流媒体（Intel® DL Streamer）管道框架

DL Streamer 现已成为 Open Edge Platform 的一部分

概述

深度学习流媒体（DL Streamer）管道框架是一个开源的流媒体分析框架，基于 GStreamer* 多媒体框架，用于在云端或边缘端构建复杂的媒体分析管道。

媒体分析是对音频和视频流进行分析，以检测、分类、跟踪、识别和计数对象、事件和人员。分析结果可用于采取行动、协调事件、识别模式，并在多个领域中获得洞察：零售商店和活动场馆分析、仓库和停车场管理、工业检测、安全与法规遵从、安防监控等众多应用。

后端库

DL Streamer 管道框架针对性能以及基于不同后端库构建的 GStreamer* 插件之间的功能互操作性进行了优化：

• 推理插件使用 OpenVINO™ 推理引擎，该引擎针对英特尔 CPU、GPU 和 VPU 平台进行了优化。
• 视频解码和编码插件利用 基于 VA-API 的 GPU 加速。
• 图像处理插件基于 OpenCV 和 DPC++ 构建。
• 此外，还有数百个其他 GStreamer* 插件，它们基于各种开源库，用于媒体的输入输出、多路复用与解复用、解码与编码。

此页面包含本仓库提供的元素列表。

先决条件

详细信息请参阅 系统要求。

安装

安装选项请参阅 安装指南：

1. 安装 APT 包
2. 运行 Docker 镜像
3. 从源代码编译
4. 从源代码构建 Docker 镜像

要查看已安装组件的完整列表，请参阅适用于 Ubuntu 24 的 Dockerfile 内容。

示例

示例提供 C/C++ 和 Python 编程版本，以及 gst-launch 命令行和脚本形式。

模型

DL Streamer 支持 OpenVINO™ IR 和 ONNX* 格式的模型，涵盖视觉语言模型、目标检测、目标分类、人体姿态估计、声音分类、语义分割等多种应用场景，使用的骨干网络包括 SSD、MobileNet、YOLO、Tiny YOLO、EfficientDet、ResNet、FasterRCNN 等。

完整的 支持的模型列表请参见，其中包括使用 Intel® Geti™ 软件预训练的模型；您也可以在 OpenVINO™ 开放模型动物园中探索超过 70 种预训练模型，并参考相应的 model-proc 文件（预处理和后处理规范）。

其他实用链接

• 快速入门
• 开发者指南
• API 参考

---

* 其他名称和品牌可能属于其各自的所有者。

许可证

DL Streamer 项目采用 MIT 许可证授权。

Intel® DL Streamer 快速上手指南

Intel® Deep Learning Streamer (DL Streamer) 是一个基于 GStreamer 的开源流媒体分析框架，专为云端和边缘端的复杂媒体分析管道设计。它利用 OpenVINO™ 进行推理加速，支持对象检测、分类、跟踪等多种 AI 任务。

1. 环境准备

系统要求

• 操作系统: 推荐 Ubuntu 20.04, 22.04 或 24.04 (64 位)。
• 硬件平台: 兼容 Intel CPU、集成显卡 (iGPU)、独立显卡 (dGPU) 及 VPU (如 Movidius)。
• 驱动依赖:
  • 若使用 GPU 加速，需安装最新的 Intel GPU 驱动程序。
  • 确保已安装 libva-dev 和 gstreamer 相关基础库。

注意: 详细硬件兼容性列表请参考官方 System Requirements。

2. 安装步骤

DL Streamer 提供多种安装方式，推荐初学者使用 Docker 方式以快速体验，生产环境可选择 APT 包安装。

方式一：使用 Docker（推荐）

这是最快捷的方式，无需配置本地依赖，直接拉取预构建镜像运行。

# 拉取最新稳定版镜像
docker pull ghcr.io/open-edge-platform/dlstreamer:latest

# 运行容器（挂载当前目录并启用 GPU 权限）
docker run --rm -it --device=/dev/dri:/dev/dri \
  -v $(pwd):/home/user/work \
  ghcr.io/open-edge-platform/dlstreamer:latest

方式二：通过 APT 包安装 (Ubuntu)

适用于需要直接集成到本地系统的场景。

# 1. 添加 DL Streamer 仓库密钥
sudo apt install -y wget gnupg
wget -O - https://repositories.intel.com/gpu/intel-graphics.key | \
  sudo gpg --dearmor --output /usr/share/keyrings/intel-graphics.gpg

# 2. 添加仓库源 (以 Ubuntu 22.04 为例，请根据实际版本调整 codename)
echo "deb [arch=amd64 signed-by=/usr/share/keyrings/intel-graphics.gpg] \
  https://repositories.intel.com/gpu/ubuntu jammy/lts/2350 unified" | \
  sudo tee /etc/apt/sources.list.d/intel-gpu-jammy.list

# 3. 更新包列表并安装
sudo apt update
sudo apt install -y intel-dlstreamer

方式三：源码编译

如需自定义开发或修改底层代码，请参考 编译指南。

3. 基本使用

DL Streamer 的核心是通过 GStreamer 管道串联视频输入、AI 推理和视频输出。以下是一个最简单的示例，使用预训练模型对视频流中的人脸进行检测并绘制边框。

前置准备：下载模型

确保已下载 OpenVINO 格式的人脸检测模型（例如 face-detection-adas-0001）。你可以从 Open Model Zoo 获取，或使用 omz_downloader 工具：

omz_downloader --name face-detection-adas-0001

运行示例管道

以下命令使用 gst-launch-1.0 构建一个完整的分析管道：

1. 读取测试视频文件。
2. 解码视频。
3. 加载 OpenVINO 模型进行人脸检测。
4. 将检测结果绘制在视频帧上。
5. 显示输出窗口。

gst-launch-1.0 filesrc location=test_video.mp4 ! decodebin ! \
gvadetect model=models/intel/face-detection-adas-0001/FP32/face-detection-adas-0001.xml \
            model-proc=models/intel/face-detection-adas-0001/face-detection-adas-0001.json \
            name=detect ! gvawatermark name=draw ! fpsdisplaysink video-sink=xvimagesink sync=false

参数说明：

• gvadetect: DL Streamer 的核心推理插件，用于加载模型并执行检测。
• model: 指向 .xml 格式的 OpenVINO 模型文件路径。
• model-proc: 指向预处理和后处理配置文件（通常与模型配套提供）。
• gvawatermark: 将推理结果（边界框、标签）绘制到视频帧上。
• fpsdisplaysink: 显示视频并实时打印 FPS 性能数据。

Python 开发示例

除了命令行，DL Streamer 也支持 Python API 构建更复杂的逻辑。在 Docker 容器中，你可以参考 samples/python 目录下的脚本直接运行：

python3 samples/python/object_detection.py --input test_video.mp4

---

更多高级用法、自定义元素开发及完整 API 参考，请访问 Developer Guide。