(PAZ) 自主系统感知

Python 分层感知库。

精选示例：

PAZ 被用于以下示例中（链接指向 实时演示 和训练脚本）：

概率 2D 关键点	6D 头部姿态估计	目标检测

情感分类器	2D 关键点估计	Mask-RCNN (开发中)

语义分割	手部姿态估计	2D 人体姿态估计

3D 关键点发现	手部闭合检测	6D 姿态估计

隐式方向	注意力机制 (STNs)	Haar 级联检测器

特征脸	原型网络	3D 人体姿态估计

MAML

所有模型均可使用您自己的数据重新训练（Mask-RCNN 除外，我们正在此处进行开发）。

目录

• 示例
• 安装
• 文档
• 分层 API
  • 高级 | 中级 | 低级
• 附加功能
  • 已实现的模型
• 动机
• 引用
• 资助

安装

PAZ 仅包含 三个 依赖项：Tensorflow2.0、OpenCV 和 NumPy。

要通过 pypi 安装 PAZ，请运行：

pip install pypaz --user

文档

完整文档可在 https://oarriaga.github.io/paz/ 查看。

分层 API

PAZ 提供三个不同级别的 API，旨在满足用户特定的应用需求。

高级

开箱即用的简易预测功能。例如，为了检测目标，我们可以调用以下流水线：

from paz.applications import SSD512COCO

detect = SSD512COCO()

# apply directly to an image (numpy-array)
inferences = detect(image)

PAZ 中已经实现了多个高级函数，也称为 pipelines（流水线），可以在这里查看。这些函数是使用我们接下来要描述的中级 API 构建的。

Mid-level (中级 API)

虽然高级 API 对于快速应用非常有用，但可能不足以满足您的特定需求。因此，在 PAZ 中，我们可以使用中级 API 来构建高级函数。

Mid-level: Sequential (中级：顺序式)

如果您的函数是顺序执行的，可以使用 SequentialProcessor 构建顺序函数。在下面的示例中，我们创建了一个数据增强（data-augmentation）流水线：

from paz.abstract import SequentialProcessor
from paz import processors as pr

augment = SequentialProcessor()
augment.add(pr.RandomContrast())
augment.add(pr.RandomBrightness())
augment.add(pr.RandomSaturation())
augment.add(pr.RandomHue())

# you can now use this now as a normal function
image = augment(image)

您也可以添加 任何函数，而不仅仅是 processors 中的函数。例如，我们可以将一个 numpy 函数传递给我们原来的数据增强流水线：

augment.add(np.mean)

PAZ 中已经实现了多个函数，也称为 Processors（处理器），可以在这里查看。

使用这些处理器，我们可以构建更复杂的流水线，例如 用于目标检测的数据增强：pr.AugmentDetection

Mid-level: Explicit (中级：显式)

非顺序流水线也可以通过继承 Processor 来构建。在下面的示例中，我们使用高级和中级函数从头构建了一个情感分类器。

from paz.applications import HaarCascadeFrontalFace, MiniXceptionFER
import paz.processors as pr

class EmotionDetector(pr.Processor):
    def __init__(self):
        super(EmotionDetector, self).__init__()
        self.detect = HaarCascadeFrontalFace(draw=False)
        self.crop = pr.CropBoxes2D()
        self.classify = MiniXceptionFER()
        self.draw = pr.DrawBoxes2D(self.classify.class_names)

    def call(self, image):
        boxes2D = self.detect(image)['boxes2D']
        cropped_images = self.crop(image, boxes2D)
        for cropped_image, box2D in zip(cropped_images, boxes2D):
            box2D.class_name = self.classify(cropped_image)['class_name']
        return self.draw(image, boxes2D)
        
detect = EmotionDetector()
# you can now apply it to an image (numpy array)
predictions = detect(image)

Processors 允许我们轻松地组合、压缩和提取函数的参数。然而，大多数处理器是使用我们接下来展示的低级 API（后端）构建的。

Low-level (低级 API)

中级处理器主要由以下文件中的小型后端函数构建：boxes、cameras、images、keypoints 和 quaternions。

这些函数可以在 paz.backend 中找到：

from paz.backend import boxes, camera, image, keypoints, quaternion

例如，您可以在脚本中使用它们来加载或显示图像：

from paz.backend.image import load_image, show_image

image = load_image('my_image.png')
show_image(image)

Additional functionality (附加功能)

• PAZ 拥有内置消息，例如 Pose6D，以便于与其他框架（如 ROS（机器人操作系统））进行数据交换。

• 有自定义回调，例如在训练期间对目标检测器进行 MAP（平均精度均值）评估。

• PAZ 附带了多个数据集的数据加载器： OpenImages、VOC、YCB-Video、FAT、FERPlus、FER2013、CityScapes。

• 我们提供了自动的批次创建和调度包装器，以便在您的 pipelines 和 TensorFlow 生成器之间建立轻松连接。请查看教程了解更多信息。

模型

以下模型已在 PAZ 中实现，您可以使用自己的数据对其进行训练：

任务（链接到实现）	模型（链接到论文）
目标检测	SSD-300
目标检测	SSD-512
概率关键点估计	高斯混合 CNN
检测与分割	MaskRCNN（开发中）
关键点估计	HRNet
语义分割	U-NET
6D 姿态估计	Pix2Pose
隐式方向	自编码器
情绪分类	MiniXception
关键点发现	KeypointNet
关键点估计	KeypointNet2D
注意力机制	空间变换器
目标检测	HaarCascades
2D 人体姿态估计	HigherHRNet
3D 人体姿态估计	Simple Baseline
手部姿态估计	DetNet
手部闭合分类	IKNet
手部检测	SSD512
小样本分类	原型网络
小样本分类	模型无关元学习 (MAML)

动机

尽管在不同的深度学习框架中已有多个高级计算机视觉库，但我感觉在我选择的框架中，仍然缺乏一个用于机器人感知的综合性深度学习库。

作为最后的说明，我想提到的是，我们往往容易忘记每个（开源）项目背后所付出的巨大努力和情感投入。我觉得我们很容易将公司名称与其背后的个人工作混淆，从而忘记了正是某些人在感受着我们的批评和赞扬。因此，无论您在这里发现了什么优秀的代码，都归功于 Pytorch、Tensorflow 和 Keras 等开源项目的软件工程师和贡献者。你们将心血公之于众供我们所有人使用和欣赏，我们首先应当向你们表达由衷的感谢。

为什么叫 PAZ？

• PAZ 这个名字符合其理论定义，它是 Perception for Autonomous Systems（自主系统感知）的首字母缩写，其中字母 S 被 Z 替换，以表明“System”（系统）指的是几乎任何事物，即 Z 作为一个经典的代数变量来表示未知元素。

测试与覆盖率

持续集成通过 github actions 使用 pytest 进行管理。 您可以通过运行以下命令来检查测试：

pytest tests

测试覆盖率可以使用 coverage 进行检查。 您可以通过调用以下命令安装 coverage：pip install coverage --user 然后您可以通过运行以下命令来检查测试覆盖率：

coverage run -m pytest tests/
coverage report -m

引用

如果您使用 PAZ，请考虑引用它。您也可以在 https://arxiv.org/abs/2010.14541 找到我们的论文。

@misc{arriaga2020perception,
      title={Perception for Autonomous Systems (PAZ)}, 
      author={Octavio Arriaga and Matias Valdenegro-Toro and Mohandass Muthuraja and Sushma Devaramani and Frank Kirchner},
      year={2020},
      eprint={2010.14541},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

资助

PAZ 目前在 不莱梅大学 的 机器人小组 开发，并与位于 不莱梅 的 德国人工智能研究中心 (DFKI) 的 机器人创新中心 合作进行。 PAZ 由德国联邦经济事务和能源部以及 德国航空航天中心 (DLR) 资助。 PAZ 已在 TransFIT 和 KiMMI-SF 项目中被使用和/或开发。

PAZ 快速上手指南

环境准备

• 系统要求：支持 Python 3.6+ 的操作系统（Windows/Linux/macOS）
• 前置依赖：
  • TensorFlow 2.0
  • OpenCV
  • NumPy

安装步骤

1. 推荐使用国内镜像源安装（如清华大学镜像）：

   pip install pypaz -i https://pypi.tuna.tsinghua.edu.cn/simple --user
   

2. 验证安装：

   python -c "import paz; print(paz.__version__)"
   

基本使用（目标检测示例）

from paz.applications import SSD512COCO
from paz.backend.image import load_image, show_image

# 初始化预训练模型
detector = SSD512COCO()

# 加载测试图像（需替换为实际路径）
image = load_image("your_image.jpg")

# 执行推理
inferences = detector(image)

# 可视化结果
show_image(inferences)

运行说明

1. 将 your_image.jpg 替换为实际图像路径
2. 模型默认使用 COCO 数据集权重
3. 支持直接对 NumPy 数组格式的图像进行推理

示例效果：