关系网络的 PyTorch 实现 - 用于关系推理的简单神经网络模块

已在 Sort-of-CLEVR 任务上实现并测试。

Sort-of-CLEVR

Sort-of-CLEVR 是 CLEVR 的简化版本。它由 10000 张图像组成，每张图像配有 20 个问题（10 个关系型问题和 10 个非关系型问题）。6 种颜色（红、绿、蓝、橙、灰、黄）被随机分配给形状为正方形或圆形的对象，并放置在图像中。

非关系型问题分为 3 种子类型：

1. 某种颜色物体的形状
2. 某种颜色物体的水平位置：位于图像左侧还是右侧
3. 某种颜色物体的垂直位置：位于图像上方还是下方

这些问题被称为“非关系型”，因为智能体只需关注特定的物体即可。

关系型问题也分为 3 种子类型：

1. 距离某种颜色物体最近的物体的形状
2. 距离某种颜色物体最远的物体的形状
3. 与某种颜色物体具有相同形状的物体数量

这些问题被称为“关系型”，因为智能体需要考虑物体之间的相互关系。

问题被编码为一个大小为 11 的向量：6 个元素用于表示 6 种颜色中某一特定颜色的独热编码；2 个元素用于表示关系型或非关系型问题的独热编码；另外 3 个元素用于表示 3 种子类型的独热编码。

例如，对于示例图像，我们可以生成以下非关系型问题：

1. 红色物体的形状是什么？=> 圆形（尽管它看起来并不像“圆形”……）
2. 绿色物体是否位于图像的左侧？=> 是
3. 橙色物体是否位于图像的上方？=> 否

以及关系型问题：

1. 距离红色物体最近的物体的形状是什么？=> 正方形
2. 距离橙色物体最远的物体的形状是什么？=> 圆形
3. 与蓝色物体形状相同的物体有多少个？=> 3

设置

通过 environment.yml 文件创建 Conda 环境：

$ conda env create -f environment.yml

激活环境：

$ conda activate RN3

如果您不使用 Conda，请正常安装 Python 3，并使用 pip install 安装其余依赖项。依赖项列表可在 environment.yml 文件中找到。

使用方法

运行以下命令以生成 Sort-of-CLEVR 数据集：

$ ./run.sh

或

$ python sort_of_clevr_generator.py

然后运行以下命令以训练二元关系网络模型：

$ python main.py

或者，使用以下命令训练三元关系网络模型：

$ python main.py --relation-type=ternary

修改说明

在原始论文中，Sort-of-CLEVR 任务使用了与 CLEVR 任务不同的模型。然而，由于 CLEVR 任务所用的模型计算量更小（网络规模更小），因此本项目采用了该模型来处理 Sort-of-CLEVR 任务。

结果

	关系网络（第 20 轮）	CNN + MLP（无关系网络，第 100 轮）
非关系型问题	99%	66%
关系型问题	89%	66%

CNN + MLP 出现了对训练数据的过拟合现象。

相比之下，关系网络在关系型问题和非关系型问题上均表现出显著更好的性能。

贡献

@gngdb 将模型速度提升了 10 倍。

Relational Networks 快速上手指南

本指南基于 PyTorch 实现的 Relational Networks (RN)，专为关系推理任务设计。该项目在简化版 CLEVR (Sort-of-CLEVR) 数据集上进行了实现与测试，能有效解决涉及物体间空间关系（如最近、最远、同形状计数）的复杂问题。

环境准备

• 操作系统: Linux / macOS (Windows 需配置相应 Python 环境)
• 核心依赖: Python 3, PyTorch
• 推荐方式: 使用 Conda 管理环境（最简便）
• 国内加速: 建议使用清华或中科大镜像源加速 Conda 和 Pip 下载。

安装步骤

1. 创建并激活 Conda 环境

项目提供了 environment.yml 文件以自动安装所有依赖。

# 创建名为 RN3 的环境
conda env create -f environment.yml

# 激活环境
conda activate RN3

提示：若无法使用 Conda，可手动安装 Python 3，并根据 environment.yml 中的列表使用 pip install 安装剩余依赖（如 torch, numpy, pillow 等）。

2. 验证安装

确保当前终端已激活 RN3 环境，且无报错信息。

基本使用

本项目主要包含两个阶段：生成数据集 和 训练模型。

1. 生成 Sort-of-CLEVR 数据集

首先生成包含图像和问题标签的简化版 CLEVR 数据。

python sort_of_clevr_generator.py

2. 训练模型

运行脚本开始训练。默认训练二元关系模型（Binary RN），也可指定训练三元关系模型（Ternary RN）。

训练二元 RN 模型（默认）：

python main.py

训练三元 RN 模型：

python main.py --relation-type=ternary

或者，直接运行封装好的脚本一键执行：

./run.sh

预期效果

根据官方测试结果，训练至第 20 个 epoch 时：

• 非关系类问题准确率可达 99%
• 关系类问题准确率可达 89%
• 相比传统 CNN+MLP 架构，RN 在关系推理任务上表现显著更优，且不易过拟合。