弃用通知。

该工具箱已过时，不再维护。

目前有比此工具箱更好的深度学习工具，例如 Theano、torch 或 tensorflow。

建议您使用上述工具之一，而不是继续使用本工具箱。

祝好，拉斯穆斯。

DeepLearnToolbox

用于深度学习的 MATLAB 工具箱。

深度学习是机器学习的一个新兴子领域，专注于学习数据的深层层次化模型。它受到人类大脑明显具有深度（分层、层次化）结构的启发。关于深度学习理论的一个很好的概述是 Learning Deep Architectures for AI。

如需更非正式的介绍，请观看 Geoffrey Hinton 和 Andrew Ng 的以下视频：

• 下一代神经网络（Hinton，2007年）
• 深度学习的最新进展（Hinton，2010年）
• 无监督特征学习与深度学习（Ng，2011年）

如果您在研究中使用本工具箱，请引用 预测作为学习数据深层层次化模型的一个候选方法。

@MASTERSTHESIS\{IMM2012-06284,
    author       = "R. B. Palm",
    title        = "Prediction as a candidate for learning deep hierarchical models of data",
    year         = "2012",
}

联系方式：rasmusbergpalm at gmail dot com

工具箱包含的目录

NN/ - 前馈反向传播神经网络库

CNN/ - 卷积神经网络库

DBN/ - 深度信念网络库

SAE/ - 堆叠自编码器库

CAE/ - 卷积自编码器库

util/ - 各库使用的实用函数

data/ - 示例中使用的数据

tests/ - 用于验证工具箱是否正常工作的单元测试

有关每个库的参考文献，请查看 REFS.md 文件。

设置

1. 下载。
2. 使用 addpath(genpath('DeepLearnToolbox')); 将工具箱添加到路径中。

示例：深度信念网络

function test_example_DBN
load mnist_uint8;

train_x = double(train_x) / 255;
test_x  = double(test_x)  / 255;
train_y = double(train_y);
test_y  = double(test_y);

%%  ex1 训练一个拥有100个隐藏单元的RBM，并可视化其权重
rand('state',0)
dbn.sizes = [100];
opts.numepochs =   1;
opts.batchsize = 100;
opts.momentum  =   0;
opts.alpha     =   1;
dbn = dbnsetup(dbn, train_x, opts);
dbn = dbntrain(dbn, train_x, opts);
figure; visualize(dbn.rbm{1}.W');   %  可视化RBM的权重

%%  ex2 训练一个100-100隐藏单元的DBN，并用其权重初始化一个前馈神经网络
rand('state',0)
%训练DBN
dbn.sizes = [100 100];
opts.numepochs =   1;
opts.batchsize = 100;
opts.momentum  =   0;
opts.alpha     =   1;
dbn = dbnsetup(dbn, train_x, opts);
dbn = dbntrain(dbn, train_x, opts);

%将DBN展开为前馈神经网络
nn = dbnunfoldtonn(dbn, 10);
nn.activation_function = 'sigm';

%训练前馈神经网络
opts.numepochs =  1;
opts.batchsize = 100;
nn = nntrain(nn, train_x, train_y, opts);
[er, bad] = nntest(nn, test_x, test_y);

assert(er < 0.10, '误差太大');

示例：堆叠自编码器

function test_example_SAE
load mnist_uint8;

train_x = double(train_x)/255;
test_x  = double(test_x)/255;
train_y = double(train_y);
test_y  = double(test_y);

%%  ex1 训练一个拥有100个隐藏单元的SDAE，并用其初始化一个前馈神经网络
%设置并训练一个堆叠去噪自编码器（SDAE）
rand('state',0)
sae = saesetup([784 100]);
sae.ae{1}.activation_function       = 'sigm';
sae.ae{1}.learningRate              = 1;
sae.ae{1}.inputZeroMaskedFraction   = 0.5;
opts.numepochs =   1;
opts.batchsize = 100;
sae = saetrain(sae, train_x, opts);
visualize(sae.ae{1}.W{1}(:,2:end)')

%用SDAE初始化一个前馈神经网络
nn = nnsetup([784 100 10]);
nn.activation_function              = 'sigm';
nn.learningRate                     = 1;
nn.W{1} = sae.ae{1}.W{1};

%训练前馈神经网络
opts.numepochs =   1;
opts.batchsize = 100;
nn = nntrain(nn, train_x, train_y, opts);
[er, bad] = nntest(nn, test_x, test_y);
assert(er < 0.16, '误差太大');

示例：卷积神经网络

function test_example_CNN
load mnist_uint8;

train_x = double(reshape(train_x',28,28,60000))/255;
test_x = double(reshape(test_x',28,28,10000))/255;
train_y = double(train_y');
test_y = double(test_y');

%% ex1 训练一个6c-2s-12c-2s的卷积神经网络 
%运行1个epoch大约需要200秒，误差约为11%。  
%如果运行100个epoch，误差可以降到约1.2%
rand('state',0)
cnn.layers = {
    struct('type', 'i') %输入层
    struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %卷积层
    struct('type', 's', 'scale', 2) %下采样层
    struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %卷积层
    struct('type', 's', 'scale', 2) %下采样层
};
cnn = cnnsetup(cnn, train_x, train_y);

opts.alpha = 1;
opts.batchsize = 50;
opts.numepochs = 1;

cnn = cnntrain(cnn, train_x, train_y, opts);

[er, bad] = cnntest(cnn, test_x, test_y);

%绘制均方误差曲线
figure; plot(cnn.rL);

assert(er<0.12, '误差太大');

示例：前馈神经网络

function test_example_NN
load mnist_uint8;

train_x = double(train_x) / 255;
test_x  = double(test_x)  / 255;
train_y = double(train_y);
test_y  = double(test_y);

%标准化
[train_x, mu, sigma] = zscore(train_x);
test_x = normalize(test_x, mu, sigma);

%% ex1 普通前馈神经网络
rand('state',0)
nn = nnsetup([784 100 10]);
opts.numepochs =  1;   %  完整遍历数据的次数
opts.batchsize = 100;  %  在这么多样本上取平均梯度步长
[nn, L] = nntrain(nn, train_x, train_y, opts);

[er, bad] = nntest(nn, test_x, test_y);

assert(er < 0.08, '误差太大');

%% ex2 带有L2权重衰减的前馈神经网络
rand('state',0)
nn = nnsetup([784 100 10]);

nn.weightPenaltyL2 = 1e-4;  %  L2权重衰减
opts.numepochs =  1;        %  完整遍历数据的次数
opts.batchsize = 100;       %  在这么多样本上取平均梯度步长

nn = nntrain(nn, train_x, train_y, opts);

[er, bad] = nntest(nn, test_x, test_y);
assert(er < 0.1, '误差太大');


%% ex3 带有dropout的前馈神经网络
rand('state',0)
nn = nnsetup([784 100 10]);

nn.dropoutFraction = 0.5;   %  Dropout比例 
opts.numepochs =  1;        %  完整遍历数据的次数
opts.batchsize = 100;       %  在这么多样本上取平均梯度步长

nn = nntrain(nn, train_x, train_y, opts);

[er, bad] = nntest(nn, test_x, test_y);
assert(er < 0.1, '误差太大');

%% ex4 带有sigmoid激活函数的前馈神经网络
rand('state',0)
nn = nnsetup([784 100 10]);

nn.activation_function = 'sigm';    %  Sigmoid激活函数
nn.learningRate = 1;                %  Sigm需要较低的学习率
opts.numepochs =  1;                %  对数据进行完整遍历的次数
opts.batchsize = 100;               %  在这么多样本上计算平均梯度并更新参数

nn = nntrain(nn, train_x, train_y, opts);

[er, bad] = nntest(nn, test_x, test_y);
assert(er < 0.1, '误差太大');

%% ex5 绘图功能
rand('state',0)
nn = nnsetup([784 20 10]);
opts.numepochs         = 5;            %  对数据进行完整遍历的次数
nn.output              = 'softmax';    %  使用softmax输出
opts.batchsize         = 1000;         %  在这么多样本上计算平均梯度并更新参数
opts.plot              = 1;            %  启用绘图功能

nn = nntrain(nn, train_x, train_y, opts);

[er, bad] = nntest(nn, test_x, test_y);
assert(er < 0.1, '误差太大');

%% ex6 带有Sigmoid激活函数的神经网络，并绘制验证集和训练集的误差曲线
% 将训练数据分为训练集和验证集
vx   = train_x(1:10000,:);
tx = train_x(10001:end,:);
vy   = train_y(1:10000,:);
ty = train_y(10001:end,:);

rand('state',0)
nn                      = nnsetup([784 20 10]);     
nn.output               = 'softmax';                   %  使用softmax输出
opts.numepochs          = 5;                           %  对数据进行完整遍历的次数
opts.batchsize          = 1000;                        %  在这么多样本上计算平均梯度并更新参数
opts.plot               = 1;                           %  启用绘图功能
nn = nntrain(nn, tx, ty, opts, vx, vy);                %  nntrain可选地将验证集作为最后两个参数传入

[er, bad] = nntest(nn, test_x, test_y);
assert(er < 0.1, '误差太大');

DeepLearnToolbox 快速上手指南

⚠️ 重要提示：项目已弃用

该工具箱已过时且不再维护。作者强烈建议使用更现代的深度学习框架，如 Theano、Torch 或 TensorFlow。本指南仅供学习历史代码或特定研究复现参考。

DeepLearnToolbox 是一个基于 MATLAB 的深度学习工具箱，支持前馈神经网络 (NN)、卷积神经网络 (CNN)、深度信念网络 (DBN) 和堆叠自编码器 (SAE) 等模型。

环境准备

• 操作系统: Windows, macOS 或 Linux
• 核心软件: MATLAB (推荐较新版本以确保兼容性，但需注意该工具箱主要面向旧版 MATLAB 语法)
• 前置依赖: 无额外第三方库依赖，仅需标准 MATLAB 环境。
• 数据准备: 示例代码依赖 mnist_uint8.mat 数据集，需自行下载并放置在路径中或修改加载逻辑。

安装步骤

1. 下载源码 从 GitHub 仓库下载源代码压缩包并解压到本地目录（例如：/path/to/DeepLearnToolbox）。

2. 添加路径 启动 MATLAB，在命令行窗口执行以下命令，将工具箱及其子目录添加到搜索路径：

   addpath(genpath('DeepLearnToolbox'));
   

   建议将上述命令添加到 startup.m 文件中，以便每次启动 MATLAB 时自动加载。

3. 验证安装 进入 tests/ 目录运行单元测试，或直接运行下文提供的示例代码。

基本使用

以下是最简单的前馈神经网络（Feedforward Neural Network）训练示例，基于 MNIST 数据集。

示例：训练一个简单的神经网络

function test_example_NN
% 1. 加载数据 (需确保工作区有 mnist_uint8.mat)
load mnist_uint8;

% 2. 数据预处理
train_x = double(train_x) / 255;
test_x  = double(test_x)  / 255;
train_y = double(train_y);
test_y  = double(test_y);

% 归一化
[train_x, mu, sigma] = zscore(train_x);
test_x = normalize(test_x, mu, sigma);

% 3. 构建网络结构: 输入层 784 -> 隐藏层 100 -> 输出层 10
rand('state',0)
nn = nnsetup([784 100 10]);

% 4. 配置训练参数
opts.numepochs =  1;   % 遍历数据的轮数
opts.batchsize = 100;  % 批次大小

% 5. 训练模型
[nn, L] = nntrain(nn, train_x, train_y, opts);

% 6. 测试模型
[er, bad] = nntest(nn, test_x, test_y);

fprintf('Error rate: %f\n', er);
end

其他可用模块

工具箱还包含以下模块，使用方法类似（初始化 -> 配置 -> 训练 -> 测试）：

• CNN: cnnsetup, cnntrain, cnntest (卷积神经网络)
• DBN: dbnsetup, dbntrain, dbnunfoldtonn (深度信念网络)
• SAE: saesetup, saetrain (堆叠自编码器)

具体用法可参考源码目录下的 test_example_*.m 文件。