注意：nnabla目前处于维护阶段，我们不会进行积极的开发。

---

神经网络库

神经网络库是一个深度学习框架，旨在用于研究、开发和生产环境。我们的目标是让其能够在各种平台上运行：台式电脑、高性能计算集群、嵌入式设备以及生产服务器。

• 神经网络库 - CUDA扩展：神经网络库的一个扩展库，允许用户在支持CUDA的GPU上加速计算。
• 神经网络库 - 示例：从基础到最先进水平的神经网络库示例。
• 神经网络库 - C运行时：由神经网络库创建的用于推理的运行时库。
• 神经网络库 - NAS：面向硬件的神经架构搜索（NAS）工具，专为神经网络库设计。
• 神经网络库 - RL：基于神经网络库构建的深度强化学习（RL）库。
• 神经网络控制台：一款用于神经网络开发的Windows GUI应用程序。

安装

安装神经网络库非常简单：

pip install nnabla

这将安装神经网络库的CPU版本。若需GPU加速，可通过以下命令安装CUDA扩展：

pip install nnabla-ext-cuda116

上述命令适用于CUDA Toolkit 11.6版本。

其他支持的CUDA版本列表请参见这里。

目前不支持CUDA 10.x、9.x和8.x版本。

更多详细信息，请参阅文档中的安装部分。

从源码编译

请参阅编译手册。

在Docker中运行

有关在Docker中运行的详细信息，请参阅文档中的安装部分。

特性

简单、灵活且表达力强

基于神经网络库C++11核心构建的Python API为您提供了灵活性和高效的工作效率。例如，一个包含分类损失的两层神经网络可以用以下5行代码定义（超参数用<>括起）：

import nnabla as nn
import nnabla.functions as F
import nnabla.parametric_functions as PF

x = nn.Variable(<input_shape>)
t = nn.Variable(<target_shape>)
h = F.tanh(PF.affine(x, <hidden_size>, name='affine1'))
y = PF.affine(h, <target_size>, name='affine2')
loss = F.mean(F.softmax_cross_entropy(y, t))

训练过程可以这样进行：

import nnabla.solvers as S

# 创建优化器（参数更新器）
solver = S.Adam(<solver_params>)
solver.set_parameters(nn.get_parameters())

# 训练迭代
for n in range(<num_training_iterations>):
    # 从任何数据源设置数据
    x.d = <set data>
    t.d = <set label>
    # 初始化梯度
    solver.zero_grad()
    # 前向和反向传播
    loss.forward()
    loss.backward()
    # 根据计算出的梯度更新参数
    solver.update()

动态计算图使得在网络运行时能够灵活地构建网络结构。神经网络库同时支持静态和动态图两种范式，并且使用相同的API。

x.d = <set data>
t.d = <set label>
drop_depth = np.random.rand(<num_stochastic_layers>) < <layer_drop_ratio>
with nn.auto_forward():
    h = F.relu(PF.convolution(x, <hidden_size>, (3, 3), pad=(1, 1), name='conv0'))
    for i in range(<num_stochastic_layers>):
        if drop_depth[i]:
            continue  # 随机跳过某一层
        h2 = F.relu(PF.convolution(x, <hidden_size>, (3, 3), pad=(1, 1), 
                                   name='conv%d' % (i + 1)))
        h = F.add2(h, h2)
    y = PF.affine(h, <target_size>, name='classification')
    loss = F.mean(F.softmax_cross_entropy(y, t))
# 反向传播（也可在动态执行的图中完成）
loss.backward()

您可以使用nn.grad对任意阶导数进行求解。

import nnabla as nn
import nnabla.functions as F
import numpy as np

x = nn.Variable.from_numpy_array(np.random.randn(2, 2)).apply(need_grad=True)
x.grad.zero()
y = F.sin(x)
def grad(y, x, n=1):
    dx = [y]
    for _ in range(n):
        dx = nn.grad([dx[0]], [x])
    return dx[0]
dnx = grad(y, x, n=10)
dnx.forward()
print(np.allclose(-np.sin(x.d), dnx.d))
dnx.backward()
print(np.allclose(-np.cos(x.d), x.g))

# 显示注册表状态
from nnabla.backward_functions import show_registry
show_registry()

命令行工具

神经网络库提供了一个名为nnabla_cli的命令行工具，以方便使用NNL。

nnabla_cli提供了以下功能：

• 使用NNP文件进行训练、评估或推理。
• 数据集和参数操作。
• 文件格式转换器
  • 从ONNX转换为NNP，以及从NNP转换为ONNX。
  • 从TensorFlow转换为NNP，以及从NNP转换为TensorFlow。
  • 从NNP转换为TFLite。
  • 从ONNX或NNP转换为NNB或C源代码。

更多详细信息请参阅文档。

跨平台且可移植

• Python API可在Linux和Windows上使用。
• 大部分库代码使用C++14编写，可部署到嵌入式设备上。

可扩展性

• 可轻松添加新的模块，如神经网络算子和优化器。
• 该库允许开发者添加专用实现（例如针对FPGA等）。例如，我们提供了CUDA后端作为扩展，通过GPU加速计算来提升性能。

高效

• 在单个CUDA GPU上具有高速性能。
• 内存优化引擎。
• 支持多GPU。

文档

https://nnabla.readthedocs.org

入门指南

• 在tutorial文件夹中可以找到许多Jupyter Notebook教程。 我们建议从by_examples.ipynb开始，以获得神经网络库的第一个实际示例；从python_api.ipynb开始，则可以了解神经网络库的API。

• 我们还在nnabla-examples仓库中提供了一些更复杂的示例。

• C++ API示例可在examples/cpp中找到。

贡献指南

技术正在迅速发展，研究人员和开发者常常希望向深度学习框架中添加自定义功能。 NNabla 在这一点上非常出色。Neural Network Libraries 的架构简洁且相当简单。 此外，借助我们的代码模板生成系统，您可以非常轻松地添加新功能。 详情请参阅以下链接。

• 贡献指南

许可与声明

Neural Network Libraries 采用 Apache License Version 2.0 许可协议进行授权。

它还依赖于一些开源软件包。更多信息请参阅 LICENSES。

引用

@misc{hayakawa2021neural,
      title={Neural Network Libraries: 一款从工程师视角设计的深度学习框架}, 
      author={Takuya Narihira、Javier Alonsogarcia、Fabien Cardinaux、Akio Hayakawa
             、Masato Ishii、Kazunori Iwaki、Thomas Kemp、Yoshiyuki Kobayashi
             、Lukas Mauch、Akira Nakamura、Yukio Obuchi、Andrew Shin、Kenji Suzuki
             、Stephen Tiedmann、Stefan Uhlich、Takuya Yashima、Kazuki Yoshiyama},
      year={2021},
      eprint={2102.06725},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

NNabla 快速上手指南

注意：NNabla 目前处于维护阶段，官方不再进行活跃的功能开发，但现有功能仍可稳定用于研究、开发和生产部署。

环境准备

• 操作系统：Linux 或 Windows。
• Python 版本：建议 Python 3.6 及以上。
• 硬件要求：
  • CPU 模式：任意标准 x86 处理器。
  • GPU 模式：需要 NVIDIA GPU 及对应的 CUDA Toolkit。
    • 支持 CUDA 11.x (如 nnabla-ext-cuda116 对应 CUDA 11.6)。
    • 不支持 CUDA 10.x, 9.x, 8.x 等旧版本。
• 前置依赖：确保已安装 pip 和基础编译工具（若需从源码构建）。

安装步骤

1. 安装 CPU 版本

最基础的安装命令，适用于仅使用 CPU 进行推理或小型模型训练：

pip install nnabla

(国内用户建议使用清华源加速安装)

pip install nnabla -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装 GPU 加速版本

若需利用 NVIDIA GPU 加速，需额外安装对应的 CUDA 扩展包。以下以 CUDA 11.6 为例：

pip install nnabla-ext-cuda116

其他支持的 CUDA 版本请参考官方兼容性列表。安装完成后，NNabla 将自动检测并使用 GPU。

基本使用

NNabla 提供了简洁的 Python API，支持静态图和动态图混合编程。以下是一个定义简单神经网络并执行一次训练迭代的最小示例。

1. 定义网络与损失函数

import nnabla as nn
import nnabla.functions as F
import nnabla.parametric_functions as PF

# 定义输入变量 (占位符)
# <input_shape> 替换为实际形状，例如 (batch_size, channels, height, width)
x = nn.Variable(<input_shape>)
t = nn.Variable(<target_shape>)

# 构建两层神经网络
h = F.tanh(PF.affine(x, <hidden_size>, name='affine1'))
y = PF.affine(h, <target_size>, name='affine2')

# 定义分类损失函数
loss = F.mean(F.softmax_cross_entropy(y, t))

2. 执行训练迭代

import nnabla.solvers as S

# 创建优化器 (例如 Adam)
solver = S.Adam(<solver_params>)
solver.set_parameters(nn.get_parameters())

# 模拟训练循环
for n in range(<num_training_iterations>):
    # 1. 设置数据 (从数据加载器获取)
    x.d = <set data>
    t.d = <set label>
    
    # 2. 清零梯度
    solver.zero_grad()
    
    # 3. 前向传播与反向传播
    loss.forward()
    loss.backward()
    
    # 4. 更新参数
    solver.update()

3. 动态图特性示例

NNabla 支持在运行时动态构建计算图（例如随机丢弃层），同时保持高效的执行性能：

import numpy as np

# 假设数据已赋值
x.d = <set data>
t.d = <set label>

# 动态决定网络深度
drop_depth = np.random.rand(<num_stochastic_layers>) < <layer_drop_ratio>

with nn.auto_forward():
    h = F.relu(PF.convolution(x, <hidden_size>, (3, 3), pad=(1, 1), name='conv0'))
    for i in range(<num_stochastic_layers>):
        if drop_depth[i]:
            continue  # 随机跳过某一层
        h2 = F.relu(PF.convolution(x, <hidden_size>, (3, 3), pad=(1, 1), 
                                   name='conv%d' % (i + 1)))
        h = F.add2(h, h2)
    y = PF.affine(h, <target_size>, name='classification')
    loss = F.mean(F.softmax_cross_entropy(y, t))

# 执行反向传播
loss.backward()

更多详细教程可参考官方仓库中的 tutorial 文件夹或 nnabla-examples 项目。