深度复数神经网络

本仓库包含用于复现论文《深度复数神经网络》（Deep Complex Networks）中实验的代码。

要求

安装计算机视觉实验所需的依赖包：

pip install numpy Theano keras kerosene

对于音乐实验，则需安装：

pip install scipy sklearn intervaltree resampy
pip install git+git://github.com/bartvm/mimir.git

根据您的 Python 环境，您可能需要使用 Anaconda 或其他工具来管理环境。

安装

pip install .

实验

计算机视觉

1. 获取帮助：

   python scripts/run.py train --help
   

2. 运行模型：

   python scripts/run.py train -w WORKDIR --model {real,complex} --sf STARTFILTER --nb NUMBEROFBLOCKSPERSTAGE
   

   您还可以添加其他参数；请参考 run.py train --help 以了解以下内容：

   • 优化器设置
   • Dropout 概率
   • 梯度裁剪
   • ...

MusicNet

0. 从 官方页面 下载数据集：

   mkdir data/
   wget https://homes.cs.washington.edu/~thickstn/media/musicnet.npz -P data/
   

1. 使用以下命令对数据集进行重采样：

   resample.py data/musicnet.npz data/musicnet_11khz.npz 44100 11000
   

2. 运行浅层模型：

   train.py shallow_model --in-memory --model=shallow_convnet --local-data data/musicnet_11khz.npz
   train.py shallow_complex_model --in-memory --model=complex_shallow_convnet --complex --local-data data/musicnet_11khz.npz
   

3. 运行深层模型：

   train.py deep_model --in-memory --model=deep_convnet --fourier --local-data data/musicnet_11khz.npz
   train.py deep_complex_model --in-memory --model=complex_deep_convnet --fourier --complex --local-data data/musicnet_11khz.npz
   

4. 使用 Jupyter Notebook 可视化结果：

   运行笔记本 notebooks/visualize_musicnet.ipynb。

   

引用

请按以下格式引用我们的工作：

@ARTICLE {,
    author  = "Chiheb Trabelsi, Olexa Bilaniuk, Ying Zhang, Dmitriy Serdyuk, Sandeep Subramanian, João Felipe Santos, Soroush Mehri, Negar Rostamzadeh, Yoshua Bengio, Christopher J Pal",
    title   = "Deep Complex Networks",
    journal = "arXiv preprint arXiv:1705.09792",
    year    = "2017"
}

deep_complex_networks 快速上手指南

本指南帮助开发者快速复现论文《Deep Complex Networks》中的计算机视觉与音乐处理实验。

环境准备

系统要求

• Python 环境（推荐使用 Anaconda 管理环境）
• 支持 Theano 和 Keras 的 GPU 或 CPU 环境

前置依赖

根据实验类型安装相应依赖：

计算机视觉实验：

pip install numpy Theano keras kerosene

音乐处理实验（MusicNet）：

pip install scipy sklearn intervaltree resampy
pip install git+git://github.com/bartvm/mimir.git

提示：国内用户建议使用清华或阿里镜像源加速安装，例如： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy Theano keras kerosene

安装步骤

克隆或下载本项目后，在项目根目录执行以下命令完成安装：

pip install .

基本使用

1. 计算机视觉实验

查看训练脚本帮助信息：

python scripts/run.py train --help

运行模型训练（以复数网络为例）：

python scripts/run.py train -w WORKDIR --model complex --sf STARTFILTER --nb NUMBEROFBLOCKSPERSTAGE

注：可将 --model complex 替换为 --model real 以运行实数网络对比实验。其他参数如优化器设置、Dropout 率等请参考 help 信息。

2. MusicNet 音乐处理实验

第一步：下载并预处理数据

mkdir data/
wget https://homes.cs.washington.edu/~thickstn/media/musicnet.npz -P data/
resample.py data/musicnet.npz data/musicnet_11khz.npz 44100 11000

第二步：运行浅层模型

train.py shallow_model --in-memory --model=shallow_convnet --local-data data/musicnet_11khz.npz
train.py shallow_complex_model --in-memory --model=complex_shallow_convnet --complex --local-data data/musicnet_11khz.npz

第三步：运行深层模型

train.py deep_model --in-memory --model=deep_convnet --fourier --local-data data/musicnet_11khz.npz
train.py deep_complex_model --in-memory --model=complex_deep_convnet --fourier --complex --local-data data/musicnet_11khz.npz

第四步：结果可视化 启动 Jupyter Notebook 查看精度召回曲线及预测示例：

jupyter notebook notebooks/visualize_musicnet.ipynb