TensorFlow Graphics

近年来，新型可微分图形层不断涌现，这些层可以嵌入到神经网络架构中。从空间变换器到可微分图形渲染器，这些新层利用多年来计算机视觉和图形学研究积累的知识，构建出全新且更高效的网络架构。通过将几何先验和约束显式地建模到神经网络中，我们可以设计出能够鲁棒、高效地训练，更重要的是以自监督方式训练的网络架构。

概述

从高层次来看，计算机图形管线需要对3D对象及其在场景中的绝对位置进行表示，还需要描述它们的材质、光源和相机。然后，渲染器会解释这一场景描述，生成合成图像。

相比之下，计算机视觉系统则从一张图像出发，尝试推断场景的参数。这使得系统能够预测场景中有哪些物体、它们由什么材质构成，以及它们的三维位置和姿态。

训练能够解决这些复杂3D视觉任务的机器学习系统通常需要大量数据。由于标注数据是一个成本高昂且复杂的过程，因此设计能够在较少监督下训练，同时又能理解三维世界的机器学习模型至关重要。结合计算机视觉和计算机图形技术，为我们提供了一个独特的机会，可以充分利用大量现成的未标注数据。如图所示，例如可以通过“分析合成”的方法实现：视觉系统提取场景参数，而图形系统则根据这些参数重新渲染图像。如果渲染结果与原始图像一致，则说明视觉系统准确地提取了场景参数。在这种设置下，计算机视觉和计算机图形学相辅相成，形成一个类似于自编码器的单一机器学习系统，可以以自监督的方式进行训练。

TensorFlow Graphics 正在开发中，旨在帮助应对这类挑战。为此，它提供了一系列可微分的图形和几何层（例如相机、反射率模型、空间变换、网格卷积）以及3D查看器功能（例如3D TensorBoard），可用于训练和调试您选择的机器学习模型。

安装 TensorFlow Graphics

请参阅 安装文档，了解如何安装 TensorFlow Graphics 的说明。

API 文档

您可以在此处找到 API 文档： API 文档。

兼容性

TensorFlow Graphics 与 TensorFlow 的最新稳定版、tf-nightly 以及 tf-nightly-2.0-preview 完全兼容。所有函数都兼容图模式和急切执行模式。

调试

TensorFlow Graphics 大量依赖于 L2 归一化的张量，并且要求特定函数的输入处于预定义范围内。检查这些内容会消耗计算资源，因此默认情况下并未启用。建议在训练的前几个周期内开启这些检查，以确保一切按预期运行。此 页面 提供了启用这些检查的说明。

Colab 教程

为了帮助您快速上手 TF Graphics 提供的一些功能，以下是一些按难度大致排序的 Colab 笔记本。这些 Colab 涉及广泛的主题，包括物体位姿估计、插值、物体材质、光照、非刚性表面变形、球面调和函数以及网格卷积等。

注意：这些教程会得到精心维护，但它们并不被视为 API 的一部分，可能会随时更改而不另行通知。不建议编写依赖于这些教程的代码。

初学者

中级

高级

TensorBoard 3D

可视化调试是评估实验是否朝着正确方向发展的好方法。为此，TensorFlow Graphics 提供了一个 TensorBoard 插件，用于交互式地可视化 3D 网格和点云。 这个示例 展示了如何使用该插件。请按照 这些说明 安装并配置 TensorBoard 3D。请注意，TensorBoard 3D 目前不兼容急切执行模式或 TensorFlow 2。

接下来...

在众多计划中，我们希望发布重采样器、额外的 3D 卷积和池化算子，以及可微分光栅化器！

请在 Twitter 上关注我们，以获取最新动态！

其他信息

您可以在 Apache 2.0 许可证 下使用本软件。

社区

作为 TensorFlow 的一部分，我们致力于营造开放且友好的环境。

• Stack Overflow: 提问或回答技术问题。
• GitHub: 报告错误或提出功能请求。
• TensorFlow 博客: 及时了解来自 TensorFlow 团队的内容及社区中的优秀文章。
• YouTube 频道: 关注 TensorFlow 的各类节目。

参考文献

如果您在研究中使用了 TensorFlow Graphics，请按以下方式引用：

@inproceedings{TensorflowGraphicsIO2019,
   author = {Oztireli, Cengiz and Valentin, Julien and Keskin, Cem and Pidlypenskyi, Pavel and Makadia, Ameesh and Sud, Avneesh and Bouaziz, Sofien},
   title = {TensorFlow Graphics: 计算机图形学与深度学习的结合},
   year = {2019}
}

联系方式

想联系我们吗？请发送邮件至 tf-graphics-contact@google.com！

贡献者（按字母顺序排列）

• Sofien Bouaziz (sofien@google.com)
• Jay Busch
• Forrester Cole
• Ambrus Csaszar
• Boyang Deng
• Ariel Gordon
• Christian Häne
• Cem Keskin
• Ameesh Makadia
• Cengiz Öztireli
• Rohit Pandey
• Romain Prévost
• Pavel Pidlypenskyi
• Stefan Popov
• Konstantinos Rematas
• Omar Sanseviero
• Aviv Segal
• Avneesh Sud
• Andrea Tagliasacchi
• Anastasia Tkach
• Julien Valentin
• He Wang
• Yinda Zhang

TensorFlow Graphics 快速上手指南

TensorFlow Graphics 提供了一套可微分的图形学和几何学层（如相机模型、反射模型、空间变换、网格卷积等），旨在将计算机视觉与计算机图形学相结合，帮助开发者构建能够理解三维世界的机器学习模型，并支持自监督学习。

环境准备

• Python 版本：支持 Python 3.x（具体支持版本请参考 PyPI 页面）。
• 核心依赖：
  • TensorFlow：完全兼容最新稳定版 TensorFlow、tf-nightly 以及 tf-nightly-2.0-preview。
  • 所有函数均兼容 Graph 模式和 Eager Execution 模式。
• 系统要求：支持 Linux、macOS 和 Windows。

安装步骤

推荐使用 pip 进行安装。为了获得更快的下载速度，国内用户可以使用清华源或阿里源。

1. 标准安装

pip install tensorflow-graphics

2. 使用国内镜像源加速（推荐）

pip install tensorflow-graphics -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：请确保已预先安装 compatible 版本的 TensorFlow。如果尚未安装，可以先执行 pip install tensorflow。

基本使用

TensorFlow Graphics 的核心在于其提供的可微分层。以下是一个简单的概念性示例，展示如何导入库并使用其中的几何工具（例如旋转矩阵）。

代码示例：使用旋转工具

import tensorflow as tf
from tensorflow_graphics.geometry.transformation import rotation_matrix_3d

# 创建一个简单的旋转角度 (弧度)
# 假设绕 Z 轴旋转 90 度
angle_z = tf.constant([3.14159 / 2.0])

# 生成 3D 旋转矩阵
rotation_mat = rotation_matrix_3d.from_euler_angles(
    eulerAngles=tf.constant([[0.0, 0.0, angle_z[0]]])
)

print("Rotation Matrix:\n", rotation_mat.numpy())

调试建议

TensorFlow Graphics 严重依赖 L2 归一化张量，并要求特定函数的输入在预定义范围内。由于检查这些条件会消耗计算资源，默认情况下是关闭的。

建议在训练的几个初始 epoch 中开启调试检查，以确保数据行为符合预期：

# 启用调试模式（具体配置请参考官方 debug_mode 文档）
import tensorflow_graphics
tensorflow_graphics.enable_debug_mode()

进阶学习与可视化

• Colab 教程：官方提供了从入门到高级的多个 Colab 笔记本，涵盖物体姿态估计、相机内参优化、插值、反射模型、非刚性表面变形、球谐函数渲染及网格分割等主题。建议从 Object pose estimation 开始。
• TensorBoard 3D：TF Graphics 包含一个 TensorBoard 插件，用于交互式可视化 3D 网格和点云。
  • 注意：TensorBoard 3D 目前不支持 Eager Execution 和 TensorFlow 2，主要用于基于 Graph 模式的调试。