TensorFlow 中的模拟+无监督（S+U）学习

通过对抗训练从模拟和无监督图像中学习 的 TensorFlow 实现。

要求

• Python 2.7
• TensorFlow 0.12.1
• SciPy
• pillow
• tqdm

使用方法

生成合成数据集：

1. 运行 UnityEyes，将 resolution 改为 640x480，并将 Camera parameters 设置为 [0, 0, 20, 40]。
2. 将生成的图像和 json 文件移动到 data/gaze/UnityEyes 目录下。

data 目录应如下所示：

data
├── gaze
│   ├── MPIIGaze
│   │   └── Data
│   │       └── Normalized
│   │           ├── p00
│   │           ├── p01
│   │           └── ...
│   └── UnityEyes # 包含 UnityEyes 的图像
│       ├── 1.jpg
│       ├── 1.json
│       ├── 2.jpg
│       ├── 2.json
│       └── ...
├── __init__.py
├── gaze_data.py
├── hand_data.py
└── utils.py

训练模型（样本将生成在 samples 目录中）：

$ python main.py
$ tensorboard --logdir=logs --host=0.0.0.0

使用预训练模型对所有合成图像进行精炼：

$ python main.py --is_train=False --synthetic_image_dir="./data/gaze/UnityEyes/"

训练结果

与论文的不同之处

• 使用了 Adam 和随机梯度下降优化器。
• 仅使用了来自 UnityEyes 的 83K 张（占论文中使用的 120 万张的 14%）合成图像。
• 手动选择了 B 和 lambda 的超参数，因为论文中并未明确指定这些参数。

实验 #1

对于这些合成图像，

lambda=1.0 且 optimizer=sgd，经过 8,000 步后的结果。

$ python main.py --reg_scale=1.0 --optimizer=sgd

lambda=0.5 且 optimizer=sgd，经过 8,000 步后的结果。

$ python main.py --reg_scale=0.5 --optimizer=sgd

当 lambda 分别为 1.0（绿色）和 0.5（黄色）时，判别器和精炼器的训练损失。

实验 #2

对于这些合成图像，

lambda=1.0 且 optimizer=adam，经过 4,000 步后的结果。

$ python main.py --reg_scale=1.0 --optimizer=adam

lambda=0.5 且 optimizer=adam，经过 4,000 步后的结果。

$ python main.py --reg_scale=0.5 --optimizer=adam

lambda=0.1 且 optimizer=adam，经过 4,000 步后的结果。

$ python main.py --reg_scale=0.1 --optimizer=adam

当 lambda 分别为 1.0（蓝色）、0.5（紫色）和 0.1（绿色）时，判别器和精炼器的训练损失。

作者

Taehoon Kim / @carpedm20

Simulated+Unsupervised (S+U) Learning 快速上手指南

本指南基于 simulated-unsupervised-tensorflow 项目，帮助开发者在 TensorFlow 环境下复现“通过对抗训练从模拟和无监督图像中学习”的算法。

环境准备

本项目依赖较旧版本的 Python 和 TensorFlow，请确保满足以下系统要求：

• 操作系统: Linux / macOS (Windows 需配置相应兼容环境)
• Python: 2.7
• 核心框架: TensorFlow 0.12.1
• 其他依赖:
  • SciPy
  • Pillow (PIL)
  • tqdm

注意：由于项目依赖 TensorFlow 0.12.1 和 Python 2.7，建议在独立的虚拟环境（如 virtualenv 或 conda）中运行，以免冲突。

安装步骤

1. 克隆项目代码

   git clone https://github.com/carpedm20/simulated-unsupervised-tensorflow.git
   cd simulated-unsupervised-tensorflow
   

2. 安装依赖包 推荐使用国内镜像源加速安装（以清华源为例）：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==0.12.1 scipy pillow tqdm
   

3. 准备数据集 本项目需要合成数据（UnityEyes）和真实数据（MPIIGaze）。

   • 生成合成数据：运行 UnityEyes，将 resolution 设为 640x480，Camera parameters 设为 [0, 0, 20, 40]。
   • 整理目录：将生成的图片 (.jpg) 和标注文件 (.json) 移至 data/gaze/UnityEyes 目录。
   • 真实数据：确保 MPIIGaze 数据位于 data/gaze/MPIIGaze/Data/Normalized/ 下。

   最终目录结构应如下所示：

   data
   ├── gaze
   │   ├── MPIIGaze
   │   │   └── Data
   │   │       └── Normalized
   │   │           ├── p00
   │   │           ├── p01
   │   │           └── ...
   │   └── UnityEyes
   │       ├── 1.jpg
   │       ├── 1.json
   │       ├── 2.jpg
   │       ├── 2.json
   │       └── ...
   ├── __init__.py
   ├── gaze_data.py
   ├── hand_data.py
   └── utils.py
   

基本使用

1. 训练模型

运行主脚本开始训练，生成的样本将保存在 samples 目录，日志保存在 logs 目录。

python main.py

启动 TensorBoard 可视化训练过程：

tensorboard --logdir=logs --host=0.0.0.0

2. 使用预训练模型优化图像

若已有预训练模型，可用于优化所有合成图像（不执行训练）：

python main.py --is_train=False --synthetic_image_dir="./data/gaze/UnityEyes/"

3. 调整超参数实验

根据原文实验，可通过调整 reg_scale (lambda) 和 optimizer 来观察效果：

• SGD 优化器 (lambda=1.0):

  python main.py --reg_scale=1.0 --optimizer=sgd
  

• Adam 优化器 (lambda=0.1):

  python main.py --reg_scale=0.1 --optimizer=adam