deepnet

若干深度学习算法的实现。

基于 GPU 的 Python 实现，包括：

1. 前馈神经网络
2. 受限玻尔兹曼机
3. 深度信念网络
4. 自编码器
5. 深度玻尔兹曼机
6. 卷积神经网络

该实现构建于 Vlad Mnih 开发的 cudamat 库以及 Alex Krizhevsky 开发的 cuda-convnet 库之上。

DeepNet 快速上手指南

DeepNet 是一个基于 GPU 加速的 Python 深度学习算法实现库，支持前馈神经网络、受限玻尔兹曼机（RBM）、深度信念网络（DBN）、自编码器、深度玻尔兹曼机及卷积神经网络（CNN）。该工具底层依赖 cudamat 和 cuda-convnet 库。

注意：本项目较早期，主要依赖旧版 CUDA 架构。建议仅在具备兼容环境（如旧版 Ubuntu + 特定版本 CUDA/cuDNN）的服务器上使用。

1. 环境准备

系统要求

• 操作系统：Linux (推荐 Ubuntu 14.04/16.04)
• GPU：支持 CUDA 的 NVIDIA 显卡
• CUDA Toolkit：需安装与 cudamat 兼容的版本（通常为 CUDA 5.5 - 7.5）
• Python：Python 2.7 (该项目主要基于 Python 2 开发)

前置依赖

在开始之前，请确保已安装以下基础依赖：

• gcc / g++
• git
• python-dev
• numpy
• scipy

若使用国内服务器，推荐配置 pip 国内镜像源以加速依赖下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy scipy

2. 安装步骤

由于 DeepNet 依赖特定的底层 CUDA 库，需按顺序安装 cudamat、cuda-convnet 和 deepnet 本身。

第一步：安装 cudamat

git clone https://github.com/vmnih/cudamat.git
cd cudamat
make
sudo python setup.py install
cd ..

第二步：安装 cuda-convnet

git clone https://github.com/akrizhevsky/cuda-convnet.git
cd cuda-convnet
# 根据实际 CUDA 路径调整 Makefile 中的 CUDA_DIR
make
sudo python setup.py install
cd ..

第三步：安装 deepnet

git clone https://github.com/nitishsrivastava/deepnet.git
cd deepnet
sudo python setup.py install

提示：如果在编译过程中遇到 nvcc 找不到或版本不匹配错误，请检查 PATH 环境变量是否包含 CUDA bin 目录，并确认 nvcc --version 输出版本符合库的要求。

3. 基本使用

以下是一个训练简单前馈神经网络（Feed-forward Neural Net）的最小示例。假设你已准备好训练数据文件 train_data.mat 和标签文件 train_labels.mat。

创建一个名为 run_example.py 的文件：

from deepnet import ffnet
import numpy as np
import scipy.io as sio

# 1. 加载数据 (假设数据已归一化并保存为 .mat 格式)
data = sio.loadmat('train_data.mat')['data']
labels = sio.loadmat('train_labels.mat')['labels']

# 转置以符合库的输入格式要求 (dim x num_cases)
data = data.T
labels = labels.T

# 2. 定义网络结构
# 例如：输入层 784 -> 隐藏层 500 -> 输出层 10
layer_sizes = [784, 500, 10]
model = ffnet.FFNet(layer_sizes)

# 3. 训练模型
# batch_size: 批次大小, momentum: 动量, learning_rate: 学习率
model.train(data, labels, batch_size=128, momentum=0.9, learning_rate=0.01, epochs=10)

# 4. 预测
predictions = model.predict(data)
print("Prediction shape:", predictions.shape)

运行脚本：

python run_example.py

如果一切配置正确，脚本将调用 GPU 进行矩阵运算并开始训练过程。