深度信息最大化 (DIM)

这项工作已被 ICLR 2019 接受为口头报告。 我们正在逐步更新代码库，以反映最终定稿版本中的实验结果。

注意：我们发现使用不同版本的 PyTorch 时，性能存在一些差异，尤其是 0.4.1 和 1.0 版本之间。 我们通过另一套独立的代码库也发现了这些差异，这可能会影响使用 NCE 损失和 NDM 的实验结果。 如果您发现任何不一致之处，请及时告知我们，我们将努力解决这些问题。

通过互信息估计与最大化学习深度表示 仅局部目标的示例代码可在以下链接中找到： https://openreview.net/forum?id=Bklr3j0cKX https://arxiv.org/abs/1808.06670

已完成

[更新日期：2019年4月12日]

• 最新代码支持点积风格的评分函数，用于局部 DIM（单个或多个全局）。
• JSD / NCE / DV 损失（此外还包括 f-散度：KL 散度、反向 KL 散度、平方海林格距离、卡方散度）。
• 卷积神经网络及折叠卷积神经网络（步幅裁剪）架构。
• ResNet 及折叠 ResNet 架构。
• 固定编码器训练分类器（评估）。
• 全局 DIM 和先验匹配。
• 神经依赖度量（NDM，用于评估）。
• 多 GPU 加速训练。
• MS-SSIM 重建（评估）。
• 分类器的半监督学习。
• 坐标预测任务。

###待办事项

• MINE 和 SVM。
• 遮挡任务。
• 其他基线模型（VAE、AAE、BiGAN、NAT、CPC）。
• 添加最近邻分析。

安装 / 要求

Cortex

您必须从源码安装 cortex 的开发分支：https://github.com/rdevon/cortex，这需要 Python 3.5 或更高版本（未在 3.7 以上版本上测试过）。请注意，cortex 目前仍处于早期 Beta 阶段，但已可用于本演示。

cortex 可选地需要 visdom：https://github.com/pytorch/vision。

安装 cortex 后，您需要执行：

$ cortex setup

更多信息请参阅 cortex 的 README 文件，或发送电子邮件给我们（或提交关于合法错误的问题）。

然后使用 pip 安装本包：

$ pip install .

使用方法

要查看完整的命令列表，请尝试：

$ python scripts/main.py --help

对于 CIFAR10 数据集，在 DCGAN 架构下运行，可以尝试：

$ python scripts/main.py local classifier --d.source CIFAR10 -n DIM_CIFAR10 --t.epochs 1000

仅预训练阶段的准确率就应超过 71%-72%（此结果仅用于监控目的）。如需了解更多训练选项，请执行：

$ python scripts/main.py local classifier --help

若希望将编码器输出与先验分布对齐，并加入坐标预测任务，可执行如下命令（举例）：

$ python scripts/main.py local classifier prior coordinates --d.source CIFAR10 -n DIM_CIFAR10 --t.epochs 1000 --prior.scale 0.1

对于固定编码器进行分类评估（上述脚本中的分类准确率仅供监控），可执行：

$ python scripts/main.py classifier --eval --d.source CIFAR10 -n DIM_CIFAR10_cls --t.epochs 1000 -L <path to cortex outs>/DIM_CIFAR10/binaries/DIM_CIFAR10_final.t7

使用该模型应能获得 73%-74% 的准确率。请注意，此命令假设您已将模型训练至完成。若未完成，可直接使用同一目录下的任意检查点。

您还可以进行多种其他评估方法：

$ python scripts/main.py ndm msssim --eval --d.source CIFAR10 -n DIM_CIFAR10_cls --t.epochs 1000 -L <path to cortex outs>/DIM_CIFAR10/binaries/DIM_CIFAR10_final.t7

需要注意的是，此脚本中的学习率调度方案与论文中使用的并不完全一致。论文中不同分类器的学习率设置有所区别；若出现明显的分类器过拟合现象，可适当调整为更快的衰减速率。

对于折叠 ResNet（步幅裁剪）架构以及噪声对比估计（NCE）类型的损失，可以执行：

$ python scripts/main.py local classifier --d.source CIFAR10 --encoder_config foldresnet19_32x32 --local.mode nce --local.mi_units 1024 -n DIM_CIFAR10_FoldedResnet --t.epochs 1000

其中用于估计互信息的单元数与我们用于与 CPC 对比时所用的数量相同。对于 STL-10 数据集，在折叠 64x64 AlexNet 上使用多全局特征和 NCE 类型损失，可以尝试：

$ python scripts/main.py local classifier --d.sources STL10 --data_args.image_size 64 --data_args.flip --data_args.image_size_test 64 --d.n_workers 32 -n DIM_STL --t.epochs 200 --encoder_config foldmultialex64x64 --local.mode nce --output_units 0 --local.mi_units 1024

深度信息最大化

待办事项：深度信息最大化的可视化指南。

DIM (Deep InfoMax) 快速上手指南

DIM 是一种通过互信息估计与最大化来学习深度表示的开源工具，曾入选 ICLR 2019 口头报告。本指南将帮助你快速搭建环境并运行基础实验。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需自行配置兼容环境)
• Python 版本: 3.5+ (推荐 3.6 或 3.7，未测试更高版本)
• PyTorch: 建议注意版本差异。原文指出 PyTorch 0.4.1 与 1.0 在 NCE loss 和 NDM 评估上存在性能差异，请根据实验需求选择。
• 可选依赖: visdom (用于可视化监控)

注意：本项目依赖一个名为 cortex 的特定框架（早期 Beta 版），必须从源码安装其开发分支。

安装步骤

1. 安装 Cortex 框架

首先克隆 cortex 的开发分支并安装：

git clone -b dev https://github.com/rdevon/cortex.git
cd cortex
pip install .

安装完成后，初始化 cortex 环境：

cortex setup

2. 安装 DIM

返回到 DIM 项目根目录，使用 pip 安装当前包：

pip install .

国内加速提示：如果下载依赖较慢，建议在 pip 命令后添加国内镜像源，例如： pip install . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

安装完成后，你可以查看完整命令帮助：

python scripts/main.py --help

示例：在 CIFAR-10 上训练局部 DIM 模型

以下命令使用 DCGAN 架构在 CIFAR-10 数据集上进行预训练（包含分类器监控）：

python scripts/main.py local classifier --d.source CIFAR10 -n DIM_CIFAR10 --t.epochs 1000

预期结果：仅预训练阶段准确率应超过 71-72%。

示例：固定编码器进行评估

训练完成后，保持编码器固定，单独评估分类器性能：

python scripts/main.py classifier --eval --d.source CIFAR10 -n DIM_CIFAR10_cls --t.epochs 1000 -L <path to cortex outs>/DIM_CIFAR10/binaries/DIM_CIFAR10_final.t7

请将 <path to cortex outs> 替换为你实际的 cortex 输出路径。若模型未训练完成，可使用同目录下的检查点文件。 预期结果：该模型准确率通常在 73-74% 左右。

高级用法提示

• 添加先验匹配与坐标任务：

  python scripts/main.py local classifier prior coordinates --d.source CIFAR10 -n DIM_CIFAR10 --t.epochs 1000 --prior.scale 0.1
  

• 使用 Folded ResNet 和 NCE Loss：

  python scripts/main.py local classifier --d.source CIFAR10 --encoder_config foldresnet19_32x32 --local.mode nce --local.mi_units 1024 -n DIM_CIFAR10_FoldedResnet --t.epochs 1000