对抗视频生成

本项目实现了一个生成对抗网络 (Generative Adversarial Network) 来预测视频的未来帧，详见 Mathieu, Couprie & LeCun 撰写的 "Deep Multi-Scale Video Prediction Beyond Mean Square Error"。他们的官方代码（使用 Torch）可以在 这里 找到。

对抗生成使用两个网络——生成器 (Generator) 和判别器 (Discriminator)——来提高生成图像的清晰度。给定视频的前四帧，生成器学习为下一帧生成准确的预测。给定生成的图像或真实世界的图像，判别器学习正确区分生成图像和真实图像。这两个网络相互“竞争”，生成器试图欺骗判别器，使其将输出分类为真实图像。这迫使生成器创建与领域内真实帧非常相似的帧。

结果与对比

我在 Ms. Pac-Man 的视频帧序列数据集上训练并测试了我的网络。为了比较对抗训练与非对抗训练，我分别在生成器和判别器上训练了对抗网络 500,000 步，并训练了非对抗网络 1,000,000 步（因为非对抗网络的运行速度大约快两倍）。每个网络的训练大约需要 24 小时，使用的是 GTX 980TI GPU。

在以下示例中，我递归地运行网络生成了 64 帧。（即：生成第一帧的输入是 [input1, input2, input3, input4]，生成第二帧的输入是 [input2, input3, input4, generated1]，以此类推）。由于网络没有接收来自原始游戏的动作输入，它们无法预测大部分真实运动（例如 Ms. Pac-Man 将向哪个方向转弯）。因此，目标不是与真实图像 (Ground Truth) 完美对齐，而是保持对世界清晰且可能的表示。

以下示例展示了非对抗网络变得模糊并失去精灵 (Sprites) 定义的速度有多快。对抗网络在一定程度上也表现出这种行为，但在整个序列中更好地保持了至少某些精灵的清晰表示：

此示例展示了对抗网络如何在多次转弯中保持 Ms. Pac-Man 的清晰表示，而非对抗网络则无法做到这一点：

虽然对抗网络在清晰度和随时间的一致性方面明显优于非对抗网络，但非对抗网络确实生成了一些有趣/壮观的失败案例：

使用论文中概述的误差测量（峰值信噪比 (Peak Signal to Noise Ratio) 和锐度差异 (Sharp Difference)）并未显示出对抗训练和非对抗训练之间的显著差异。我认为这是因为 Ms. Pac-Man 数据集中的连续帧在大多数像素上没有运动，而原始论文是在真实世界的视频上训练的，其中大部分帧都有运动。尽管如此，很明显对抗训练产生了生成帧清晰度的定性改进，特别是在长时间跨度上。你可以从该项目根目录运行 tensorboard --logdir=./Results/Summaries/ 来查看损失和错误统计信息。

使用方法

1. 克隆或下载此仓库。
2. 准备你的数据：

• 如果你想复现我的结果，可以 在此处下载 Ms. Pac-Man 数据集。将此文件放在项目根目录下的 Data/ 目录中以获得默认行为。否则，你将需要使用第 3 和第 4 部分概述的选项指定你的数据位置。
• 如果你想在自己的视频上训练，请预处理它们，使其成为如下结构的帧序列目录。（名称和图像扩展名无关紧要，只有结构重要）：

  - Test
    - Video 1
      - frame1.png
      - frame2.png
      - frame ...
      - frameN.png
    - Video ...
    - Video N
      - ...
  - Train
    - Video 1
      - frame ...
    - Video ...
    - Video N
      - frame ...

3. 处理训练数据：

• 网络在输入图像的随机 32x32 像素裁剪上进行训练，经过过滤以确保大多数片段包含一些运动。要将输入数据处理为此形式，请在 Code/ 目录下运行脚本 python process_data 并使用以下选项：

-n/--num_clips= <# clips to process for training> (Default = 5000000)
-t/--train_dir= <Directory of full training frames>
-c/--clips_dir= <Save directory for processed clips>
                (I suggest making this a hidden dir so the filesystem doesn't freeze
                 with so many files. DON'T `ls` THIS DIRECTORY!)
-o/--overwrite  (Overwrites the previous data in clips_dir)
-H/--help       (prints usage)

• 这可能需要几个小时才能完成，具体取决于你想要的片段数量。

4. 训练/测试：

• 如果你想针对 Ms. Pac-Man 数据集即插即用，可以 在此处下载我训练好的模型。使用 -l 选项加载它们。（例如 python avg_runner.py -l ./Models/Adversarial/model.ckpt-500000）。
• 通过在 Code/ 目录下运行 python avg_runner.py 来训练和测试你的网络，并使用以下选项：

-l/--load_path=    <Relative/path/to/saved/model>
-t/--test_dir=     <Directory of test images>
-r--recursions=    <# recursive predictions to make on test>
-a/--adversarial=  <{t/f}> (Whether to use adversarial training. Default=True)
-n/--name=         <Subdirectory of ../Data/Save/*/ in which to save output of this run>
-O/--overwrite     (Overwrites all previous data for the model with this save name)
-T/--test_only     (Only runs a test step -- no training)
-H/--help          (Prints usage)
--stats_freq=      <How often to print loss/train error stats, in # steps>
--summary_freq=    <How often to save loss/error summaries, in # steps>
--img_save_freq=   <How often to save generated images, in # steps>
--test_freq=       <How often to test the model on test data, in # steps>
--model_save_freq= <How often to save the model, in # steps>

常见问题

为什么不训练大于 32x32 的图块？为什么不训练整张图像？

内存占用。由于判别器在卷积层之后包含全连接层，最后一个卷积层的输出必须被展平以连接到第一个全连接层。该输出的大小取决于输入图像的大小，并且会迅速膨胀（例如：对于 64x64 的输入尺寸，从 128 个特征图到一个具有 512 个节点的全连接层，你需要一个包含 64 * 64 * 128 * 512 = 268,435,456 个权重的连接）。因此，在大于 32x32 的图块上训练会导致内存溢出错误（至少在我的机器上是如此）。

幸运的是，你只需要判别器进行训练，而生成器网络是全卷积的，因此你可以将在 32x32 图像上训练的权重应用于任何尺寸的图像进行测试（这就是为什么我能够为整个 Ms. Pac-Man 游戏板进行生成）。

Adversarial_Video_Generation 快速上手指南

本项目实现了基于生成对抗网络（GAN）的视频帧预测功能，能够根据过去四帧画面预测下一帧，相比传统方法能生成更清晰的图像。

环境准备

• 操作系统：Linux / Windows / macOS
• 编程语言：Python 3.x
• 深度学习框架：PyTorch (原名为 Torch)
• 硬件要求：推荐使用 NVIDIA GPU（如 GTX 980TI 及以上），显存需支持模型训练
• 其他依赖：TensorBoard (用于查看训练日志)

安装步骤

1. 克隆代码仓库

   git clone https://github.com/dyelax/Adversarial_Video_Generation.git
   cd Adversarial_Video_Generation
   

2. 安装依赖 确保已安装 PyTorch 及相关库。如有 requirements.txt 文件，请运行：

   pip install -r requirements.txt
   

   若无该文件，请手动安装 PyTorch：

   pip install torch torchvision
   

基本使用

方式一：使用预训练模型（最快体验）

此方式无需训练，直接加载作者提供的模型和数据集进行测试。

1. 下载数据集 将 Ms. Pac-Man 数据集 下载并放入项目根目录下的 Data/ 文件夹中。

2. 下载预训练模型 将 预训练模型 下载至 Models/Adversarial/ 目录。

3. 运行测试 进入 Code/ 目录，使用 -l 参数加载模型进行预测：

   cd Code
   python avg_runner.py -l ./Models/Adversarial/model.ckpt-500000
   

方式二：自定义数据训练

若需使用自己的视频数据进行训练，请按以下步骤操作：

1. 整理数据目录结构 在 Data/ 目录下创建 Train 和 Test 文件夹，并按如下结构存放图片序列：

   Data/
     - Train
       - Video 1
         - frame1.png
         - frame2.png
         ...
     - Test
       - Video 1
         - frame1.png
         ...
   

2. 处理训练数据 将原始视频裁剪为随机 32x32 像素片段，运行脚本：

   python process_data -t <训练帧目录> -c <处理后的保存目录> -n <处理数量>
   

   示例：

   python process_data -t ./Data/Train -c ./Data/clips -n 100000
   

3. 开始训练与测试 运行主程序，可根据需要调整参数：

   python avg_runner.py -t <测试目录> -r <递归预测帧数> --adversarial=t
   

   常用参数说明：

   • -l: 加载已有模型路径
   • -r: 递归预测次数
   • --test_only: 仅测试不训练
   • --model_save_freq: 模型保存频率

4. 查看训练日志 在项目根目录运行 TensorBoard 监控训练状态：

   tensorboard --logdir=./Results/Summaries/