Keras 对抗模型

将多个模型组合成一个 Keras 模型。轻松构建 GAN！

AdversarialModel 模拟多玩家游戏。只需一次调用 model.fit，即可为每个玩家提供目标，并更新所有玩家的参数。使用 AdversarialOptimizer 可以完全控制更新是同时进行、交替进行，还是其他方式。再也不需要费心处理 Trainable 属性了！

安装

.. code:: shell

git clone https://github.com/bstriner/keras_adversarial.git
cd keras_adversarial
python setup.py install

用法

请查看 examples 文件夹中的示例代码以了解具体用法。

实例化对抗模型

-  分别为每个组件或玩家（如生成器和判别器）构建单独的模型。
-  构建一个组合模型。对于 GAN 来说，这个模型可能有一个图像输入、一个噪声输入，以及两个输出：D(fake) 和 D(real)。
-  将组合模型和各个单独的模型传递给 ``AdversarialModel`` 的构造函数。

.. code:: python

    adversarial_model = AdversarialModel(base_model=gan,
      player_params=[generator.trainable_weights, discriminator.trainable_weights],
      player_names=["generator", "discriminator"])

生成的模型将具有与 ``gan`` 相同的输入，但每个玩家会有独立的目标和指标。这是通过为每个玩家复制模型来实现的。如果每个玩家使用不同的模型，则应使用 ``player_models`` 参数（关于 dropout 的说明见下文）。

.. code:: python

    adversarial_model = AdversarialModel(player_models=[gan_g, gan_d],
      player_params=[generator.trainable_weights, discriminator.trainable_weights],
      player_names=["generator", "discriminator"])

编译对抗模型
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

使用 ``adversarial_compile`` 来编译模型。参数包括一个 ``AdversarialOptimizer`` 和一个包含每个玩家优化器的列表。损失函数会传递给每个子模型的 ``model.compile``，因此可以是一个字典或其他对象。``player_optimizers`` 的顺序应与 ``player_params`` 和 ``player_names`` 的顺序一致。

.. code:: python

    model.adversarial_compile(adversarial_optimizer=adversarial_optimizer,
      player_optimizers=[Adam(1e-4, decay=1e-4), Adam(1e-3, decay=1e-4)],
      loss='binary_crossentropy')

训练简单的对抗模型

对抗模型可以像任何其他 Keras 模型一样，使用 fit 和回调函数进行训练。只需确保按照正确的顺序提供正确的目标即可。

例如，假设有一个名为 gan 的简单 GAN：

• 输入：[x]
• 目标：[y_fake, y_real]
• 指标：[loss, loss_y_fake, loss_y_real]

那么 AdversarialModel(base_model=gan, player_names=['g', 'd']...) 将具有以下属性：

• 输入：[x]
• 目标：[g_y_fake, g_y_real, d_y_fake, d_y_real]
• 指标：[loss, g_loss, g_loss_y_fake, g_loss_y_real, d_loss, d_loss_y_fake, d_loss_y_real]

对抗优化器

在优化多玩家游戏时，有许多可能策略。AdversarialOptimizer 是一个基类，用于抽象这些策略，并负责创建训练函数。

• AdversarialOptimizerSimultaneous 在每个批次中同时更新每个玩家。
• AdversarialOptimizerAlternating 按照轮流转动的方式更新每个玩家。将每个批次依次通过所有模型，每个模型都会在这个批次上进行训练。
• AdversarialOptimizerScheduled 根据预设的时间表将每个批次分配给不同的玩家。例如，[1,1,0] 表示玩家 1 在第 0、1、3、4、6、7 等批次上训练，而玩家 0 在第 2、5、8 等批次上训练。
• UnrolledAdversarialOptimizer 通过展开更新步骤来稳定训练过程（目前仅在 Theano 中测试过；构建图的速度较慢，但运行速度尚可）。

示例

MNIST 生成对抗网络 (GAN)

`example\_gan.py <https://github.com/bstriner/keras_adversarial/blob/master/examples/example_gan.py>`__ 展示了如何在 Keras 中为 MNIST 数据集创建一个 GAN。

.. figure:: https://github.com/bstriner/keras_adversarial/raw/master/doc/images/gan-epoch-099.png
   :alt: 示例 GAN

   示例 GAN

CIFAR10 生成对抗网络 (GAN)

example\_gan\_cifar10.py <https://github.com/bstriner/keras_adversarial/blob/master/examples/example_gan_cifar10.py>__ 展示了如何在 Keras 中为 CIFAR10 数据集创建一个 GAN。

.. figure:: https://github.com/bstriner/keras_adversarial/raw/master/doc/images/gan-cifar10-epoch-099.png :alt: 示例 GAN

示例 GAN

MNIST 双向生成对抗网络 (BiGAN)

`example\_bigan.py <https://github.com/bstriner/keras_adversarial/blob/master/examples/example_bigan.py>`__ 展示了如何在 Keras 中创建一个 BiGAN。

.. figure:: https://github.com/bstriner/keras_adversarial/raw/master/doc/images/bigan-epoch-099.png
   :alt: 示例 BiGAN

   示例 BiGAN

MNIST 对抗自编码器 (AAE)
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

AAE 类似于 GAN 和变分自编码器 (VAE) 的结合体。
`example\_aae.py <https://github.com/bstriner/keras_adversarial/blob/master/examples/example_aae.py>`__ 展示了如何在 Keras 中创建一个 AAE。

.. figure:: https://github.com/bstriner/keras_adversarial/raw/master/doc/images/aae-epoch-099.png
   :alt: 示例 AAE

   示例 AAE

展开式生成对抗网络
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

`example\_gan\_unrolled.py <https://github.com/bstriner/keras_adversarial/blob/master/examples/example_gan_unrolled.py>`__ 展示了如何使用展开式优化器。

警告：在我的计算机上，将判别器展开 8 次大约需要 6 小时来构建函数，但完成一个 epoch 的训练只需要几分钟。请做好长时间运行的准备，或者将展开深度降低到约 4。

注释
-----

Dropout
~~~~~~~

在使用 dropout 训练对抗模型时，你可能希望为每个玩家创建单独的模型。

如果你想用 dropout 训练判别器，但让生成器在没有 dropout 的情况下与判别器对抗，就需要创建两个模型。\* 用于训练生成器的 GAN：``D(G(z, dropout=0.5), dropout=0)`` \* 用于训练判别器的 GAN：``D(G(z, dropout=0), dropout=0.5)``

如果你创建了单独的模型，则应使用 ``AdversarialModel`` 构造函数中的 ``player_models`` 参数。

如果你不使用 dropout，那么一个模型就足够了，此时应使用 ``AdversarialModel`` 构造函数中的 ``base_model`` 参数，它会为每个玩家复制 ``base_model``。

Theano 和 TensorFlow
~~~~~~~~~~~~~~~~~~~~~

我主要在 Theano 上进行开发，但如果有时间的话也会尝试在 TensorFlow 上测试。我们的目标是同时支持这两种后端。如果你在使用其中任一后端时遇到问题，请随时告诉我。

有问题吗？
~~~~~~~~~~

如果您遇到任何问题，或者想到一些可能有用的功能，请随时在此处或在 Keras 仓库中创建一个 issue 或 pull request。

Keras Adversarial 快速上手指南

keras-adversarial 是一个用于简化 Keras 中对抗模型（如 GAN、BiGAN、AAE）构建的开源库。它允许将多个模型（如生成器和判别器）组合成一个统一的 AdversarialModel，通过单次 model.fit 调用即可同时更新所有参与方，并支持灵活的控制策略（如同步更新、交替更新等）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.6+
• 核心依赖：
  • Keras (需配置好后端，支持 TensorFlow 或 Theano)
  • NumPy
  • SciPy
• 注意：虽然作者主要使用 Theano 开发，但该库旨在同时支持 TensorFlow 和 Theano 后端。

安装步骤

可以通过克隆 GitHub 仓库并进行本地安装来获取最新版本的工具。

git clone https://github.com/bstriner/keras_adversarial.git
cd keras_adversarial
python setup.py install

提示：如果下载速度较慢，可尝试使用国内代码托管平台镜像或配置 Git 代理加速克隆过程。

基本使用

以下是构建和训练一个简单对抗模型的核心流程。

1. 实例化对抗模型

首先，您需要分别构建各个组件（例如生成器 generator 和判别器 discriminator），然后将它们组合成一个基础模型（gan）。接着，使用 AdversarialModel 包装该模型。

from keras_adversarial import AdversarialModel

# 方式 A：如果各玩家共享同一个基础模型结构（不使用 Dropout 或 Dropout 设置一致）
adversarial_model = AdversarialModel(
    base_model=gan,
    player_params=[generator.trainable_weights, discriminator.trainable_weights],
    player_names=["generator", "discriminator"]
)

# 方式 B：如果各玩家需要独立的模型实例（例如为了处理不同的 Dropout 状态）
# gan_g: 用于训练生成器的模型
# gan_d: 用于训练判别器的模型
adversarial_model = AdversarialModel(
    player_models=[gan_g, gan_d],
    player_params=[generator.trainable_weights, discriminator.trainable_weights],
    player_names=["generator", "discriminator"]
)

2. 编译模型

使用 adversarial_compile 方法代替标准的 compile。您需要指定一个对抗优化器策略以及每个玩家对应的优化器。

from keras.optimizers import Adam
from keras_adversarial import AdversarialOptimizerSimultaneous

# 定义对抗优化器策略 (例如：同步更新)
adversarial_optimizer = AdversarialOptimizerSimultaneous()

# 编译模型
# player_optimizers 的顺序必须与 player_params 和 player_names 保持一致
adversarial_model.adversarial_compile(
    adversarial_optimizer=adversarial_optimizer,
    player_optimizers=[Adam(1e-4, decay=1e-4), Adam(1e-3, decay=1e-4)],
    loss='binary_crossentropy'
)

3. 训练模型

训练过程与普通 Keras 模型类似，使用 fit 方法。关键点在于 y (targets) 的顺序：必须按照 [玩家 1_目标 1, 玩家 1_目标 2, ..., 玩家 2_目标 1, ...] 的顺序排列。

假设一个简单的 GAN：

• 输入：[x] (噪声或图像)
• 逻辑目标：生成器希望判别器输出假标签，判别器希望区分真假。

# 假设 x_train 是输入数据
# y_fake: 判别器对生成图像的期望输出 (例如全 0)
# y_real: 判别器对真实图像的期望输出 (例如全 1)

# 构造 targets 列表：顺序必须是 [g_y_fake, g_y_real, d_y_fake, d_y_real]
# 注意：具体标签值取决于您的损失函数定义
targets = [y_fake, y_real, y_fake, y_real] 

# 开始训练
adversarial_model.fit(
    x=x_train,
    y=targets,
    batch_size=64,
    epochs=100
)

常用优化器策略

keras-adversarial 提供了多种内置策略来控制更新逻辑：

• AdversarialOptimizerSimultaneous: 每个批次同时更新所有玩家。
• AdversarialOptimizerAlternating: 轮流更新（轮询），每个批次都会遍历所有模型进行训练。
• AdversarialOptimizerScheduled: 根据预设调度表更新（例如 [1,1,0] 表示玩家 1 训练两次，玩家 0 训练一次，循环往复）。
• UnrolledAdversarialOptimizer: 展开更新以稳定训练（构建图较慢，仅建议在 Theano 后端尝试）。

更多复杂示例（如 MNIST GAN, CIFAR10 GAN, BiGAN, AAE）请参考项目源码中的 examples 文件夹。