它是什么？

NeuralNetwork.NET 是一个基于 .NET Standard 2.0 的库，使用 C# 从头开始构建，实现了可自定义层的顺序神经网络和计算图神经网络。它提供了简单易用的 API，专为快速原型设计而设，可用于定义和训练采用随机梯度下降法的模型，同时还支持保存和加载网络模型及其元数据等功能。此外，该库还提供了 CUDA 加速的层，利用 GPU 和 cuDNN 工具包实现更高级的功能，在训练或使用神经网络时显著提升性能。

免责声明： 本库按“原样”提供，目前已不再积极维护。NeuralNetwork.NET 是在大学课程期间开发的，并非旨在替代其他知名机器学习框架。如果您正在寻找用于生产环境的 .NET 机器学习库，建议尝试 ML.NET 或者 TensorFlow.NET。

目录

• 通过 NuGet 安装
• 快速入门
  • 监督学习
  • GPU 加速
  • 计算图
  • 库设置
  • 序列化与反序列化
  • 内置数据集
• 要求

通过 NuGet 安装

要安装 NeuralNetwork.NET，请在 包管理器控制台 中运行以下命令：

Install-Package NeuralNetwork.NET

更多详情请参见 这里。

快速入门

NeuralNetwork.NET 库提供了易于使用的类和方法，用于创建新的神经网络、准备数据集并训练网络。这些 API 专为快速原型设计而设计，本节将概述开始使用所需的步骤。

监督学习

第一步是创建自定义的网络结构。以下是一个顺序网络（即层的堆叠）示例：

INeuralNetwork network = NetworkManager.NewSequential(TensorInfo.Image<Alpha8>(28, 28),
    NetworkLayers.Convolutional((5, 5), 20, ActivationType.Identity),
    NetworkLayers.Pooling(ActivationType.LeakyReLU),
    NetworkLayers.Convolutional((3, 3), 40, ActivationType.Identity),
    NetworkLayers.Pooling(ActivationType.LeakyReLU),
    NetworkLayers.FullyConnected(125, ActivationType.LeakyReLU),
    NetworkLayers.FullyConnected(64, ActivationType.LeakyReLU),
    NetworkLayers.Softmax(10));

下一步是通过 DatasetLoader 类中的 API 准备要使用的数据集：

// 一个批次大小为 100 的训练数据集
IEnumerable<(float[] x, float[] u)> data = ... // 您自己的数据集解析程序
ITrainingDataset dataset = DatasetLoader.Training(data, 100);

// 一个可选的测试数据集，并附带进度监控回调
ITestDataset test = DatasetLoader.Test(..., p =>
{
    Console.WriteLine($"第 {p.Iteration} 轮，损失：{p.Cost}, 准确率：{p.Accuracy}"); // 进度报告
});

训练神经网络非常简单——只需使用 NetworkManager 类中的方法即可：

// 使用 Adadelta 算法和 0.5 的丢弃概率训练网络
TrainingSessionResult result = NetworkManager.TrainNetwork(
    network,                                // 要训练的网络实例
    dataset,                                // ITrainingDataset 实例   
    TrainingAlgorithms.AdaDelta(),          // 要使用的训练算法
    60,                                     // 预期的训练轮数
    0.5f,                                   // 丢弃概率
    p => ...,                               // 可选的每轮训练进度回调
    null,                                   // 可选的监控训练数据集准确率的回调
    null,                                   // 可选的验证数据集
    test,                                   // 测试数据集
    token);                                 // 用于取消训练的取消令牌

注意： NetworkManager 中的方法也提供异步版本。

GPU 加速

在支持的框架（.NET Framework、Xamarin 或 Mono）上运行时，可以使用不同的层实现，该实现利用 cuDNN 工具包，并将大部分工作并行化到可用的 CUDA 启用 GPU 上。为此，在创建网络时只需使用 CuDnnNetworkLayers 类中的层即可。

部分由 cuDNN 提供支持的层比默认层支持更多选项。以下是一个示例：

// 一个 cuDNN 卷积层，具有自定义模式、填充和步幅
LayerFactory convolutional = CuDnnNetworkLayers.Convolutional(
    ConvolutionInfo.New(ConvolutionMode.CrossCorrelation, 3, 3, 2, 2),
    (7, 7), 20, ActivationType.ReLU);
    
// 一个 Inception 模块，源自 GoogLeNet 网络的设计
LayerFactory inception = CuDnnNetworkLayers.Inception(InceptionInfo.New(
    10,     // 1x1 卷积核
    20, 10, // 1x1 + 3x3 卷积流水线核
    20, 10, // 1x1 + 5x5 卷积流水线核
    PoolingMode.AverageExcludingPadding, 10)); // 池化模式和 1x1 卷积核

这些 LayerFactory 实例可以像 CPU 示例中一样用于创建新网络。

注意： 要使用此功能，必须在当前系统上安装 CUDA 和 cuDNN 工具包，并且需要有一块支持 CUDA 的 nVidia GeForce/Quadro GPU，同时还需要在使用 NeuralNetwork.NET 库的应用程序中安装 Alea NuGet 包。更多信息请参见 这里。

计算图

一些复杂的网络结构，例如残差网络或 Inception 模块，无法用简单的顺序网络结构来表示：这时计算图网络就派上用场了。与通过线性堆叠的层传递输入不同，计算图具有特定的空间结构，允许不同的节点相互连接。例如，可以在图中设置多个并行的管道，稍后将其合并；或者设置辅助分类器，在训练阶段参与梯度反向传播。

计算图网络可以通过 NetworkManager.NewGraph API 创建，以下是一个示例：

INeuralNetwork network = NetworkManager.NewGraph(TensorInfo.Image<Rgb24>(32,32), root =>
{
    var conv1 = root.Layer(CuDnnNetworkLayers.Convolutional((5, 5), 20, ActivationType.Identity));
    var pool1 = conv1.Layer(CuDnnNetworkLayers.Pooling(ActivationType.ReLU));

    var conv2 = pool1.Pipeline(
        CuDnnNetworkLayers.Convolutional((1, 1), 20, ActivationType.ReLU),
        CuDnnNetworkLayers.Convolutional(ConvolutionInfo.Same(), (5, 5), 40, ActivationType.ReLU),
        CuDnnNetworkLayers.Convolutional((1, 1), 20, ActivationType.ReLU));
    var sum = conv2 + pool1;

    var fc1 = sum.Layer(CuDnnNetworkLayers.FullyConnected(250, ActivationType.LeCunTanh));
    var fc2 = fc1.Layer(CuDnnNetworkLayers.FullyConnected(125, ActivationType.LeCunTanh));
    _ = fc2.Layer(CuDnnNetworkLayers.Softmax(10));
});

库设置

NeuralNetwork.NET 提供了多种共享设置，可通过 NetworkSettings 类访问。 该类充当容器，可随时快速检查和修改任何设置，这些设置将影响任何现有 INeuralNetwork 实例以及整个库的行为。

例如，可以自定义网络在训练过程中用于评估性能的标准：

NetworkSettings.AccuracyTester = AccuracyTesters.Argmax();       // 默认模式（互斥类别）
// 还有其他测试器可供选择
NetworkSettings.AccuracyTester = AccuracyTesters.Threshold();    // 适用于重叠类别
NetworkSettings.AccuracyTester = AccuracyTesters.Distance(0.2f); // 结果与预期输出之间的距离

当使用 CUDA 支持的网络时，有时所使用的 GPU 可能无法一次性处理完整的测试或验证数据集，而这是默认行为（这些数据集不会被分成批次）。 为避免内存问题，可以修改此行为：

NetworkSettings.MaximumBatchSize = 400;   // 这将应用于任何测试或验证数据集

序列化与反序列化

INeuralNetwork 接口公开了一个 Save 方法，可用于在任何时候序列化任何网络。 要从已保存的文件或流中获取新的网络实例，只需使用 NetworkLoader.TryLoad 方法即可。

由于不同类型的层在可用的不同库中可能有不同的实现，因此在加载已保存的网络时，可以指定要使用的层提供者。例如，以下是如何在可能的情况下使用 cuDNN 层加载网络的示例：

FileInfo file = new FileInfo(@"C:\...\MySavedNetwork.nnet");
INeuralNetwork network = NetworkLoader.TryLoad(file, ExecutionModePreference.Cuda);

注意： ExecutionModePreference 选项指示在可能的情况下希望反序列化的层类型。例如，使用 ExecutionModePreference.Cpu 时，如果支持，加载的网络将仅包含 CPU 驱动的层。

此外，还有一个 SaveMetadataAsJson 方法，用于导出 INeuralNetwork 实例的元数据。

内置数据集

NeuralNetworkNET.Datasets 命名空间包含静态类，可快速加载常用数据集，并获得可与新神经网络一起使用的 IDataset 实例。例如，以下是如何获取 MNIST 数据集的方法：

ITrainingDataset trainingData = await Mnist.GetTrainingDatasetAsync(400); // 每批 400 个样本
ITestDataset testData = await Mnist.GetTestDatasetAsync(p => ... /* 可选回调 */);

该命名空间中的每个 API 还支持可选的 CancellationToken，以停止数据集的加载，因为源数据是从互联网下载的，根据所使用的数据集，可能需要一些时间才能可用。

要求

NeuralNetwork.NET 库需要 .NET Standard 2.0 支持，因此适用于以下目标平台的应用程序：

• .NET Framework >= 4.6.1
• .NET Core >= 2.0
• UWP（从 SDK 10.0.16299 开始）
• Mono >= 5.4
• Xamarin.iOS 10.14、Xamarin.Mac 3.8、Xamarin.Android 8.0

除了上述框架外，您还需要一个支持 C# 7.3 的 IDE 来在您的 PC 上编译该库。

NeuralNetwork.NET 快速上手指南

环境准备

在开始使用之前，请确保您的开发环境满足以下要求：

• 运行时支持：需支持 .NET Standard 2.0 的平台，包括：
  • .NET Framework >= 4.6.1
  • .NET Core >= 2.0
  • UWP (SDK 10.0.16299+)
  • Mono >= 5.4
  • Xamarin (iOS 10.14, Mac 3.8, Android 8.0)
• 开发工具：支持 C# 7.3 语法的 IDE（如 Visual Studio 2017+ 或 VS Code）。
• GPU 加速（可选）：若需使用 CUDA 加速，需安装 NVIDIA CUDA Toolkit、cuDNN Toolkit，拥有支持的 NVIDIA GPU，并额外安装 Alea NuGet 包。

注意：本库主要用于快速原型设计和学习，不再积极维护。生产环境建议优先考虑 ML.NET 或 TensorFlow.NET。

安装步骤

通过 NuGet 包管理器控制台执行以下命令进行安装：

Install-Package NeuralNetwork.NET

如果您使用 .csproj 文件管理依赖，也可以直接添加以下引用：

<PackageReference Include="NeuralNetwork.NET" Version="最新版本号" />

(注：请将“最新版本号”替换为 NuGet 上的实际最新版本)

基本使用

以下是构建一个顺序神经网络并进行监督学习的最小化示例。

1. 定义网络结构

使用 NetworkManager.NewSequential 创建包含卷积层、池化层和全连接层的网络：

INeuralNetwork network = NetworkManager.NewSequential(TensorInfo.Image<Alpha8>(28, 28),
    NetworkLayers.Convolutional((5, 5), 20, ActivationType.Identity),
    NetworkLayers.Pooling(ActivationType.LeakyReLU),
    NetworkLayers.Convolutional((3, 3), 40, ActivationType.Identity),
    NetworkLayers.Pooling(ActivationType.LeakyReLU),
    NetworkLayers.FullyConnected(125, ActivationType.LeakyReLU),
    NetworkLayers.FullyConnected(64, ActivationType.LeakyReLU),
    NetworkLayers.Softmax(10));

2. 准备数据集

使用 DatasetLoader 加载训练数据和测试数据（此处以自定义数据解析为例）：

// 准备训练数据，批次大小设为 100
IEnumerable<(float[] x, float[] u)> data = ... // 您的数据解析逻辑
ITrainingDataset dataset = DatasetLoader.Training(data, 100);

// 准备测试数据，并设置进度回调
ITestDataset test = DatasetLoader.Test(..., p =>
{
    Console.WriteLine($"Epoch {p.Iteration}, cost: {p.Cost}, accuracy: {p.Accuracy}");
});

3. 训练模型

调用 NetworkManager.TrainNetwork 开始训练，指定优化算法（如 AdaDelta）、轮数（Epochs）和 Dropout 概率：

TrainingSessionResult result = NetworkManager.TrainNetwork(
    network,                                // 网络实例
    dataset,                                // 训练数据集
    TrainingAlgorithms.AdaDelta(),          // 训练算法
    60,                                     // 训练轮数
    0.5f,                                   // Dropout 概率
    p => ...,                               // 训练进度回调
    null,                                   // 训练集准确率监控回调
    null,                                   // 验证集
    test,                                   // 测试集
    token);                                 // 取消令牌

该库同样提供异步 API (TrainNetworkAsync) 以供非阻塞调用。