Scenic

Scenic 是一个以研究基于注意力机制的计算机视觉模型为重点的代码库。Scenic 已成功用于开发针对多种模态（包括图像、视频、音频及其多模态组合）的分类、分割和检测模型。

更具体地说，Scenic 既是一组用于解决大规模（即多设备、多主机）视觉模型训练中常见任务的轻量级共享库，也是若干包含使用这些库构建的完整问题特定训练与评估循环的 项目。

Scenic 基于 JAX 开发，并使用 Flax。

目录

• 我们提供的内容
• Scenic 中的 SOTA 模型和基线
• 理念
• 快速入门
• Scenic 组件设计
• 引用 Scenic

我们提供的内容

Scenic 提供的内容包括：

• 用于启动实验、记录摘要、日志记录、性能分析等的样板代码；
• 优化的训练与评估循环、损失函数、指标、双向匹配器等；
• 针对流行视觉数据集的输入管道；
• 基线模型，其中包括强大的非注意力基线。

Scenic 中的 SOTA 模型和基线

Scenic 中包含一些 SOTA 模型和基线，它们或是使用 Scenic 开发的，或是被重新实现于 Scenic 中：

在 Scenic 中开发或使用 Scenic 进行实验的项目：

• ViViT：一种视频视觉 Transformer
• OmniNet：来自 Transformer 的全方位表示
• 用于多模态融合的注意力瓶颈
• TokenLearner：8 个学习到的 token 能为图像和视频做些什么？
• 探索大规模预训练的极限
• 效率的误解
• 离散表示增强视觉 Transformer 的鲁棒性
• 金字塔对抗训练提升 ViT 性能
• VUT：用于多模态多任务用户界面建模的通用 UI Transformer
• CLAY：学习去噪原始移动 UI 布局以大规模改进数据集
• 零样本文本引导的对象生成与 Dream Fields
• 多视角 Transformer 用于视频识别
• PolyViT：在图像、视频和音频上联合训练视觉 Transformer
• 使用视觉 Transformer 进行简单的开放词汇目标检测
• 利用邻居一致性学习处理噪声标签
• Token 图灵机
• Vid2Seq：用于密集视频字幕的大规模视觉语言模型预训练
• AVATAR：无约束的视听语音识别
• 自适应计算与弹性输入序列
• 位置感知自监督 Transformer 用于语义分割
• 物体如何帮助动作识别？
• 动作中的动词：改进视频-语言模型中的动词理解
• 使用视觉和语言模型进行统一的视觉关系检测
• UnLoc：用于视频定位任务的统一框架
• REVEAL：具有多源多模态知识记忆的检索增强视觉-语言预训练
• 视听掩码自编码器
• MatFormer：用于弹性推理的嵌套 Transformer
• 像素对齐的语言模型
• 一种生成式方法用于维基百科规模的视觉实体识别
• 流式密集视频字幕
• 从不连续监督中进行密集视频对象字幕生成

更多信息请参阅 项目列表。

在 Scenic 中复现的基线模型：

• (ViT) 一张图像胜过 16x16 个单词：用于大规模图像识别的 Transformer
• (DETR) 使用 Transformer 进行端到端目标检测
• 可变形 DETR：用于端到端目标检测的可变形 Transformer
• (CLIP) 从自然语言监督中学习可迁移的视觉模型
• MLP-Mixer：一种全 MLP 架构用于视觉
• BERT：用于语言理解的深度双向 Transformer 预训练
• 如何训练你的 ViT？数据、增强和正则化在视觉 Transformer 中的作用
• Big Transfer (BiT)：通用视觉表征学习
• 用于图像识别的深度残差学习
• U-Net：用于生物医学图像分割的卷积网络
• PCT：点云 Transformer
• 通用 Transformer
• PonderNet
• 掩码自编码器是可扩展的视觉学习者
• 用 Performers 重新思考注意力
• (CenterNet) 将物体视为点
• (SAM) Segment Anything

更多信息请参阅 基线模型。

哲学

Scenic 旨在促进大规模视觉模型的快速原型开发。为了保持代码简洁易懂且易于扩展，我们更倾向于 分叉和复制粘贴，而不是增加复杂性或提高抽象层次。只有当某项功能被证明在许多模型和任务中都具有广泛用途时，才会将其合并到 Scenic 的共享库中。

入门指南

• 请参阅 projects/baselines/README.md，其中提供了基准模型的介绍以及运行代码的说明。
• 如果您希望为 Scenic 做出贡献，请查看 哲学、代码结构 和 贡献指南 部分。如果您的贡献属于共享库的一部分，请向我们提交拉取请求！

快速入门

您需要 Python 3.9 或更高版本。从 GitHub 下载代码：

$ git clone https://github.com/google-research/scenic.git
$ cd scenic
$ pip install .

然后运行 ViT 在 ImageNet 数据集上的训练：

$ python scenic/main.py -- \
  --config=scenic/projects/baselines/configs/imagenet/imagenet_vit_config.py \
  --workdir=./

请注意，对于特定的项目和基准模型，您可能需要安装其 README.md 或 requirements.txt 文件中提到的额外依赖包。

这里 还提供了一个最小化的 Colab 笔记本，用于使用 Scenic 训练一个简单的前馈神经网络模型。

Scenic 组件设计

Scenic 的设计旨在提供不同层次的抽象，以支持从仅需通过定义配置文件来调整超参数的项目，到需要对输入流水线、模型架构、损失函数和评估指标以及训练循环进行自定义的项目。为此，Scenic 的代码被组织为 项目级 代码和 库级 代码：前者是针对特定项目或基准模型的定制代码，后者则是大多数项目都会使用的通用功能和通用模式。项目级代码位于 projects 目录中。

库级代码

我们的目标是保持库级代码尽可能简洁且经过充分测试，并避免引入不必要的抽象来支持少数用例。Scenic 提供的共享库分为：

• dataset_lib：实现用于加载和预处理常见计算机视觉任务及基准数据的 IO 流水线（详见“任务与数据集”部分）。所有流水线均设计为可扩展，支持多主机和多设备部署，能够妥善处理数据在多台主机间的分配、不完整批次、缓存、预取等问题。
• model_lib：提供
  • 多个抽象模型接口（如 model_lib.base_models 中的 ClassificationModel 或 SegmentationModel），并配备任务特定的损失函数和评估指标；
  • model_lib.layers 中的神经网络层，重点在于高效实现注意力机制和 Transformer 层；
  • model_lib.matchers 中的加速器友好型二部图匹配算法实现。
• train_lib：提供构建训练循环的工具，并实现了多个优化的训练器（分类训练器和分割训练器），可供用户分叉后进行自定义。
• common_lib：通用工具，例如日志记录和调试模块、原始数据处理功能等。

项目级代码

Scenic 通过“项目”的概念支持针对特定任务和数据的定制化解决方案的开发。关于一个项目应复用多少代码并没有统一的标准。项目可以仅包含配置文件，并直接使用库级代码中的通用模型、训练器、任务和数据；也可以简单地分叉上述任何功能，重新定义层、损失函数、评估指标、日志记录方法、任务、架构以及训练和评估循环。库级代码的高度模块化使得项目可以在“开箱即用”到“完全定制”的整个范围内灵活选择。

常见的基准模型，如 ResNet 和 Vision Transformer (ViT)，已在 projects/baselines 项目中实现。在这个目录中分叉现有模型是新项目的良好起点。

引用 Scenic

如果您使用了 Scenic，可以引用我们的 白皮书。以下是一个 BibTeX 条目示例：

@InProceedings{dehghani2021scenic,
    author    = {Dehghani, Mostafa and Gritsenko, Alexey and Arnab, Anurag and Minderer, Matthias and Tay, Yi},
    title     = {Scenic: A JAX Library for Computer Vision Research and Beyond},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    year      = {2022},
    pages     = {21393-21398}
}

免责声明：这不是 Google 的官方产品。

Scenic 快速上手指南

Scenic 是一个基于 JAX 和 Flax 构建的开源代码库，专注于计算机视觉领域中基于注意力机制（Attention-based）模型的研究。它提供了轻量级的共享库用于解决大规模（多设备、多主机）视觉模型训练中的常见任务，并包含多个完整的项目示例，涵盖分类、分割、检测等多种模态（图像、视频、音频及多模态组合）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux 环境（Windows 和 macOS 可能需要额外配置以支持 JAX GPU/TPU）。
• Python 版本：Python 3.9 或更高版本。
• 硬件加速：虽然可以在 CPU 上运行，但为了发挥 Scenic 在大规模模型训练上的优势，强烈建议配备 NVIDIA GPU 并安装对应的 CUDA 驱动，或使用 TPU 环境。
• 前置依赖：Scenic 强依赖 Google 的深度学习生态，核心依赖包括：
  • JAX
  • Flax

国内开发者提示：由于 JAX 及相关依赖包体积较大且源服务器位于海外，建议在安装时使用国内镜像源以加速下载。

安装步骤

1. 克隆代码仓库

从 GitHub 获取 Scenic 源代码：

git clone https://github.com/google-research/scenic.git
cd scenic

2. 安装依赖包

使用 pip 安装 Scenic 及其依赖。

推荐方式（使用国内镜像加速）：

pip install . -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：

• 如果您计划运行特定的项目（Projects）或基线模型（Baselines），可能需要安装额外的依赖包。请查阅对应项目目录下的 README.md 或 requirements.txt 文件。
• 若遇到 JAX 版本兼容性问题，可能需要手动指定安装带有 CUDA 支持的 JAX 版本（例如：pip install "jax[cuda]" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html）。

基本使用

Scenic 的核心设计理念是通过配置文件来驱动实验。以下是在 ImageNet 数据集上训练 Vision Transformer (ViT) 模型的最简示例。

运行训练任务

在项目根目录下，执行以下命令启动训练：

python scenic/main.py -- \
  --config=scenic/projects/baselines/configs/imagenet/imagenet_vit_config.py \
  --workdir=./

参数说明：

• --config：指定实验配置文件路径。Scenic 在 projects/baselines 中提供了大量预定义的配置文件，涵盖不同的数据集和模型架构。
• --workdir：指定工作目录，用于保存检查点（checkpoints）、日志（logs）和事件文件（events）。

其他资源

• 基线模型指南：更多关于如何运行 ResNet、DETR、CLIP 等基线模型的详细说明，请参阅 projects/baselines/README.md。
• 在线体验：您可以直接在 Google Colab 上尝试一个简单的前馈模型训练示例：Scenic Playground Colab。

开发建议

Scenic 鼓励“分叉与复制”（forking and copy-pasting）而非过度抽象。如果您需要自定义模型结构、损失函数或训练循环，建议直接从 projects/baselines 中复制相关代码进行修改，而不是试图修改底层库文件。只有当某个功能被证明在多个项目中广泛适用时，才考虑将其合并到共享库中。