带有GPU支持的深度神经网络

更新 这是我在ExB Research工作期间开发的框架的新版本。目前，项目可以成功构建，但部分测试尚未通过。如果您想访问旧版本，可以在旧分支中找到。

这是一个用Java实现的深度神经网络训练算法集合。通过OpenCL和Aparapi提供了GPU支持。 该架构的设计充分考虑了模块化、可扩展性和插拔性。

Git结构

我使用的是git-flow模型。最稳定（但较旧）的源代码位于master分支，而最新的代码则在develop分支中。

如果您想使用之前的兼容Java 7的版本，可以查看这个发布版本。

神经网络类型

• 多层感知器
• 卷积神经网络，支持最大池化、平均池化以及随机池化。
• 受限玻尔兹曼机
• 自编码器
• 深度信念网络
• 堆叠自编码器

训练算法

• 反向传播——支持多层感知器、卷积神经网络及dropout。
• 使用这些和这些指南实现的对比散度与持久对比散度。
• 针对深度网络的贪婪逐层训练——适用于堆叠自编码器和DBN，同时也支持任何类型的训练。

所有算法均支持GPU执行。

开箱即用的支持数据集包括MNIST、CIFAR-10/CIFAR-100、IRIS和XOR，但您也可以轻松实现自己的数据集。

实验性地支持RGB图像预处理操作——仿射变换、裁剪和颜色缩放（参见Generaltest.java -> testImageInputProvider）。

激活函数

• Sigmoid
• Tanh
• ReLU
• LRN
• Softplus
• Softmax

所有函数均支持GPU执行。它们可以应用于各类网络和所有训练算法。您也可以实现新的激活函数。

如何构建库

• Java 8。
• 构建该项目需要maven。
• 根据您的环境，可能需要从这里下载相应的aparapi .dll或 .so文件（位于每个压缩包的根目录），并将其路径添加到系统PATH变量中。（这篇文档）[https://code.google.com/p/aparapi/wiki/DevelopersGuideLinux]介绍了如何在Linux环境下设置OpenCL。

如何运行示例

示例以单元测试的形式组织。如果您想查看各种流行数据集的示例，可以前往nn-samples/src/test/java/com/github/neuralnetworks/samples/。

库结构

共有三个项目：

• nn-core — 包含完整的实现。
• nn-samples — 包含流行数据集的实现。
• nn-performance — 一些性能指标。
• nn-userinterface — 关于网络可视化表示的未完成工作。

软件设计采用分层架构，每一层都依赖于前一层。

网络架构

这是第一层。“层”的列表定义了整个网络。每层包含一组连接，将它与其他层相连，从而形成一个有向无环图。这种结构既可以容纳简单的前馈网络，也能适应更复杂的架构，例如http://www.cs.toronto.edu/~hinton/absps/imagenet.pdf。您可以构建自己的特定网络。

数据传播

这一层负责在网络中传播数据，并充分利用其图结构。主要有两个基础组件：

• LayerCalculator — 在图中传播数据。它接收目标层和被钳制到某一层的输入数据（该层被视为输入层）。它确保数据按正确的顺序在各层之间传播，并且图中的所有连接都被正确计算。例如，在反向传播的前向传播阶段，训练数据被钳制到输入层，然后传播至目标层（即网络的输出层）。而在反向传播阶段，输出误差的导数被作为“输入”钳制到某一层，权重则从输出层开始，通过广度优先遍历图来更新。本质上，LayerCalculator的作用就是确定网络各层的计算顺序。
• ConnectionCalculator — 所有神经元类型（Sigmoid、ReLU、卷积等）的基类。当LayerCalculator确定了各层的计算顺序后，ConnectionCalculator会计算出每层的输入连接列表。

GPU

大多数ConnectionCalculator的实现都针对GPU执行进行了优化。有两种实现方式——原生OpenCL和Aparapi。Aparapi对可在GPU上执行的代码施加了一些重要限制，其中最主要的包括：

• 只允许使用一维数组（以及变量）和基本数据类型。无法使用复杂对象。
• 仅允许从GPU可执行代码中调用Aparapi Kernel类本身的成员方法。

因此，在每次GPU计算之前，所有数据都会被转换为一维数组和基本数据类型的变量。正因如此，所有Aparapi神经元类型要么使用_AparapiWeightedSum_（用于全连接层和加权求和输入函数），要么使用_AparapiSubsampling2D_（用于下采样层），要么使用_AparapiConv2D_（用于卷积层）。默认情况下，大多数数据都以一维数组的形式表示（例如矩阵）。

而原生OpenCL实现则没有这些限制。

训练

所有训练器都基于_Trainer_基类。它们已针对GPU运行进行了优化，但您也可以插入其他实现和新的训练算法。训练过程分为训练和测试两个阶段。每个Trainer通过_Properties_（一个HashMap）接收参数（例如学习率、动量等）。有关每个训练器支持的属性，请查阅_TrainerFactory_类。

输入数据

训练数据由训练器通过 TrainingInputProvider 接口提供给神经网络。每个 TrainingInputProvider 以 TrainingInputData 的形式提供训练样本（默认实现为 TrainingInputDataImpl）。输入可以通过一系列修改器进行调整，例如 MeanInputFunction（用于减去均值）和 ScalingInputFunction（在一定范围内进行缩放）。目前实现了 MnistInputProvider 和 IrisInputProvider。

作者

伊万·瓦西列夫 (ivanvasilev [at] gmail (dot) com)

许可证

MIT 许可证

neuralnetworks 快速上手指南

neuralnetworks 是一个基于 Java 的深度学习框架，支持多层感知机、卷积神经网络（CNN）、受限玻尔兹曼机等多种网络结构。其核心特性是原生支持 GPU 加速（通过 OpenCL 和 Aparapi），并采用模块化设计以便扩展。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows, Linux 或 macOS（需支持 OpenCL）。
• JDK 版本：必须安装 Java 8。
  • 注：如需兼容 Java 7，请使用 v0.1.0-alpha 版本。
• 构建工具：Apache Maven。
• GPU 支持（可选但推荐）：
  • 显卡需支持 OpenCL。
  • Aparapi 依赖：若使用 Aparapi 后端进行 GPU 计算，需下载对应系统的 .dll (Windows) 或 .so (Linux) 文件，并将其路径添加到系统环境变量 PATH 中。
    • 下载地址：Aparapi Downloads
    • Linux 配置参考：Aparapi Linux Guide

安装步骤

该项目使用 Maven 进行构建管理。

1. 克隆项目代码 推荐使用稳定的 master 分支（包含较旧但稳定的代码），或使用 develop 分支获取最新功能（部分测试可能未通过）。

   git clone -b master https://github.com/ivan-vasilev/neuralnetworks.git
   cd neuralnetworks
   

2. 编译项目 在项目根目录下执行以下命令进行构建：

   mvn clean install
   

   注意：如果构建过程中出现与 Aparapi 相关的错误，请检查是否已正确配置 OpenCL 驱动及环境变量。

基本使用

该库将示例代码组织为单元测试。最快速的上手方式是查看并运行现有的数据集示例（如 MNIST, IRIS, XOR 等）。

1. 查看示例代码

示例位于 nn-samples 模块中。您可以直接浏览源码了解如何构建网络和训练模型：

• 路径：nn-samples/src/test/java/com/github/neuralnetworks/samples/test
• 关键类：查看 Generaltest.java 可了解图像预处理（仿射变换、裁剪等）及输入提供者的用法。

2. 运行示例（以单元测试形式）

您可以直接通过 Maven 运行特定的测试用例来观察网络训练过程。例如，运行包含 MNIST 数据集样本的测试：

mvn test -Dtest=com.github.neuralnetworks.samples.test.MnistTest

(请将 MnistTest 替换为您想要运行的具体测试类名)

3. 核心代码逻辑简述

若您要在自己的项目中集成，核心流程如下：

1. 定义网络架构：通过层（Layers）和连接（Connections）构建有向无环图。
2. 准备数据：实现 TrainingInputProvider 接口提供训练数据（支持内置的 MNIST, CIFAR, IRIS 等）。
3. 选择训练器：使用 Trainer 基类（如反向传播 Backpropagation），并通过 Properties 设置学习率、动量等参数。
4. 执行训练：调用训练器的 train 方法，框架会自动利用 GPU 加速计算（如果环境配置正确）。

// 伪代码示例：构建一个简单的训练流程
Properties params = new Properties();
params.setProperty("learningRate", "0.01");

Trainer trainer = TrainerFactory.createTrainer(TrainerType.BACKPROPAGATION, params);
trainer.train(inputProvider, networkArchitecture);

提示：所有算法（反向传播、对比散度等）和激活函数（Sigmoid, ReLU, Tanh 等）均默认支持 GPU 执行。如需自定义网络结构或激活函数，可利用其模块化架构进行扩展。