prednet

随附论文 Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning 的代码和模型，作者为 Bill Lotter、Gabriel Kreiman 和 David Cox。

PredNet 是一个深度循环卷积神经网络（deep recurrent convolutional neural network），其灵感来自神经科学中的预测编码（predictive coding）概念（Rao 和 Ballard，1999；Friston，2005）。 预测视频示例请见此处。

该架构以 Keras 自定义层¹的形式实现。代码和模型数据与 Keras 2.0 以及 Python 2.7 和 3.6 兼容。最新版本已在 Keras 2.2.4 和 Tensorflow 1.6 上测试通过。对于与 Keras 1.2.1 兼容的代码早期版本，请使用 fbcdc18 分支。要将旧的 PredNet 模型文件和权重转换为 Keras 2.0 兼容格式，请参阅 keras_utils.py 中的 convert_model_to_keras2。

KITTI 演示

代码包含用于在原始 KITTI 数据集上训练 PredNet 的功能。我们提供了数据下载和处理代码，以及模型训练和评估代码。预处理数据也可以直接通过执行 download_data.sh 下载，训练好的权重可以通过运行 download_models.sh 下载。模型下载包含用于 t+1 预测的原始权重、用于多时间步外推预测的微调权重，以及使用上层 0.1 损失权重训练的"L_all"权重（详见论文）。

步骤

1. 下载/处理数据

   python process_kitti.py
   

   这将从 KITTI 网站抓取城市、住宅和道路类别的原始数据（约 165 GB），然后处理图像（裁剪、降采样）。 或者，可以通过执行 download_data.sh 直接下载预处理数据（约 3 GB）

   
   
   

2. 训练模型

   python kitti_train.py
   

   这将训练一个用于 t+1 预测的 PredNet 模型。 有关如何使用 GPU 运行，请参阅 Keras FAQ。 要下载预训练权重，请运行 download_models.sh

   
   
   

3. 评估模型

   python kitti_evaluate.py
   

   这将输出预测的均方误差，并生成预测与真实值对比图。

特征提取

可以使用相应的 output_mode 参数提取 PredNet 某一层的中间特征。例如，要提取最低层 LSTM 的隐藏状态（"表示"单元），请使用 output_mode = 'R0'。更多详细信息请参阅 PredNet 文档字符串。

多步预测

PredNet 的 extrap_start_time 参数可用于强制进行多步预测。从这个时间步开始，前一个时间步的预测将被视为实际输入。例如，如果模型在 15 个时间步的序列上运行，且 extrap_start_time = 10，则最后一个输出将对应于 t+5 预测。在论文中，我们从原始 t+1 训练的权重开始在此设置中进行训练（参见 kitti_extrap_finetune.py），并在 download_models.sh 中包含 resulting fine-tuned weights。需要注意的是，当使用外推法训练时，"误差"不再与真实值绑定，因此损失应在像素预测本身上计算。这可以通过使用 output_mode = 'prediction' 来实现，如 kitti_extrap_finetune.py 中所示。

附加说明

在新数据集上训练时，由于循环的 2x2 最大池化和上采样操作，图像大小必须能被 2^(层数 - 1) 整除。

¹ 实现说明：PredNet 继承自循环层类，即它具有内部状态和步进函数。鉴于自上而下然后自下而上的更新序列，目前必须在 Keras 中实现为一个"超级"层，其中 PredNet 的所有层都包含在一个 PredNet"层"中。这不太理想，但似乎是目前最有效的方法。如果有人想到更好的实现方式，我们欢迎提出建议。

PredNet 快速上手指南

PredNet 是一个受神经科学预测编码启发的深度递归卷积神经网络，用于视频预测和无监督学习。

环境准备

• Python: 2.7 或 3.6
• Keras: 2.0+（推荐 2.2.4）
• TensorFlow: 1.6
• 其他依赖: numpy, scipy, h5py, matplotlib, pillow

安装步骤

# 1. 克隆仓库
git clone https://github.com/coxlab/prednet.git
cd prednet

# 2. 安装依赖
pip install numpy scipy h5py matplotlib pillow
pip install keras==2.2.4 tensorflow==1.6

基本使用

1. 简单示例

from prednet import PredNet
from keras.layers import Input
from keras.models import Model

# 定义输入形状 (timesteps, height, width, channels)
input_shape = (10, 160, 160, 3)
n_timesteps = 10

# 创建模型
inputs = Input(shape=input_shape)
prednet = PredNet(nt=n_timesteps, 
                  n_layers=4,
                  channel_sizes=[3, 48, 96, 192])
outputs = prednet(inputs)
model = Model(inputs=inputs, outputs=outputs)

# 编译模型
model.compile(optimizer='adam', loss='mean_squared_error')

# 训练模型（需要准备训练数据）
# model.fit(train_data, train_data, epochs=10, batch_size=8)

2. 使用预训练模型（KITTI 数据集）

# 下载预训练权重
bash download_models.sh

# 评估模型
python kitti_evaluate.py

3. 特征提取

# 提取指定层的隐藏状态（如 R0 表示最低层的表示单元）
from prednet import PredNet
prednet = PredNet(nt=10, n_layers=4, output_mode='R0')

4. 多步预测

# 设置外推起始时间，实现多步预测
prednet = PredNet(nt=15, n_layers=4, extrap_start_time=10)
# 输出将对应 t+5 的预测

训练自定义数据集

确保图像尺寸可被 2^(n_layers - 1) 整除。例如，4 层网络需要尺寸能被 8 整除。