手榴弹

首先你必须取出圣针，然后你要数到三，不多也不少。
三就是你要数的数字，而计数的次数也必须是三。
四你不能数，二也不能数，除非你接着数到三。
五绝对不行。

💣 可能会让你大吃一惊的机器学习 💣

Grenade 是一个可组合、依赖类型、实用且快速的循环神经网络库， 用于在 Haskell 中简洁而精确地定义复杂的神经网络。

例如，一个在 MNIST 数据集上能达到约 1.5% 错误率的网络， 只需几行代码即可用随机权重进行定义和初始化：

type MNIST
  = Network
    '[ Convolution 1 10 5 5 1 1, Pooling 2 2 2 2, Relu
     , Convolution 10 16 5 5 1 1, Pooling 2 2 2 2, Reshape, Relu
     , FullyConnected 256 80, Logit, FullyConnected 80 10, Logit]
    '[ 'D2 28 28
     , 'D3 24 24 10, 'D3 12 12 10 , 'D3 12 12 10
     , 'D3 8 8 16, 'D3 4 4 16, 'D1 256, 'D1 256
     , 'D1 80, 'D1 80, 'D1 10, 'D1 10]

randomMnist :: MonadRandom m => m MNIST
randomMnist = randomNetwork

仅此而已。由于类型非常丰富，无需特定的运行时代码来构造这个网络； 当然，也可以轻松地显式地构造和拆解网络及层。

如果你更喜欢循环神经网络，可以尝试定义一些“不合理有效”的东西：

type Shakespeare
  = RecurrentNetwork
    '[ R (LSTM 40 80), R (LSTM 80 40), F (FullyConnected 40 40), F Logit]
    '[ 'D1 40, 'D1 80, 'D1 40, 'D1 40, 'D1 40 ]

设计

Grenade 中的网络可以被视为由不同类型的层组成的异构列表， 其类型不仅包含网络的各层，还包含了层间传递的数据形状。

网络的定义非常简单：

data Network :: [*] -> [Shape] -> * where
    NNil  :: SingI i
          => Network '[] '[i]

    (:~>) :: (SingI i, SingI h, Layer x i h)
          => !x
          -> !(Network xs (h ': hs))
          -> Network (x ': xs) (i ': h ': hs)

Layer x i o 约束确保层 x 能够合理地在输入形状 i 和输出形状 o 之间进行变换。

提升后的数据种类 Shape 定义了我们的 1、2 和 3 维类型， 用于声明层间传递的数据形状。

在上面的 MNIST 示例中，输入层是一个二维（D2）图像，大小为 28×28 像素。 当第一个 卷积 层运行时，它会输出一个三维（D3）图像，大小为 24×24×10。 列表中的最后一项是一维（D1），包含 10 个值，代表 MNIST 数据的类别。

使用

为了执行反向传播，可以调用同名函数

backPropagate :: forall shapes layers.
                 Network layers shapes -> S (Head shapes) -> S (Last shapes) -> Gradients layers

该函数接受一个网络、适当的输入和目标数据，并返回网络的反向传播梯度。 梯度的形状与每一层相匹配，对于像 Relu 这样没有可学习参数的层来说，梯度可能是空的。

然而，这些梯度总是可以应用的，从而产生一个新的（希望更好的）层：

applyUpdate :: LearningParameters -> Network ls ss -> Gradients ls -> Network ls ss

Grenade 中的层以 Haskell 类的形式表示，因此在下游代码中很容易创建自定义层。 如果网络的形状指定不正确，导致某一层无法在两个形状之间合理地执行操作， 则会在编译时引发错误。

组合

Grenade 中的网络和层可以在类型级别轻松组合。由于 Network 是 Layer 的实例， 因此可以将训练好的网络作为大型网络中的一个小组件轻松使用。 此外，我们还提供了两种层，旨在并行运行多个层并将它们的输出合并起来 （可以通过在一个维度上连接它们，或通过逐点相加激活值来实现）。 这使得我们可以编写任何可以用 串并联图 表示的网络。

例如，残差网络层的定义可以写成：

type Residual net = Merge Trivial net

如果类型 net 是 Layer 的实例，那么 Residual net 也将是。它会运行该网络， 同时通过 Trivial 层保留输入，并将原始图像与输出合并。

请参阅 MNIST 示例， 该示例经过过度工程化，既包含了残差风格的学习，也包含了 inception 风格的卷积。

生成对抗网络

由于 Grenade 是纯函数式的，因此可以灵活地组合其训练函数。 GAN-MNIST 示例展示了一种有趣且类型安全的方式， 仅用 10 行代码就能写出一个生成对抗训练函数。

层动物园

Grenade 的层是普通的 Haskell 数据类型，同时也是 Layer 的实例， 因此很容易在下游代码中构建自己的层。不过，我们也提供了一系列不错的层， 包括卷积、反卷积、池化、填充、裁剪、logit、relu、elu、tanh 和全连接层。

构建说明

Grenade 最容易通过位于仓库中的 mafia 脚本进行构建。 你还需要 lapack 和 blas 库以及开发工具。准备好这些之后， 就可以使用以下命令构建 Grenade：

./mafia build

并使用以下命令运行测试：

./mafia test

Grenade 支持 ghc 7.10、8.0、8.2 和 8.4 版本。

致谢

编写这样的库一直在我脑海中酝酿已久，但我要特别感谢 Justin Le， 他的 依赖类型全连接网络 激励我开始动手，为我提供了许多关于所需类型级工具的想法， 并成为编写这个库的一个极佳起点。

性能

Grenade 后端使用 hmatrix、BLAS 和 LAPACK，并对关键函数进行了 C 语言优化。 借助 Caffe 推广的 im2col 技巧，它应该足以应对许多问题。

由于它纯粹是功能性的，因此也应该很容易并行运行批处理，这对于较大的网络来说是合适的。不过，我目前的示例仍然是单线程的。

在 Kaggle 的 41000 个样本 MNIST 训练集上，使用单核训练 15 代大约花了 12 分钟，在 1000 个样本的保留集中达到了 1.5% 的错误率。

贡献

欢迎贡献。

Grenade 快速上手指南

Grenade 是一个基于 Haskell 的组合式、依赖类型（dependently typed）循环神经网络库。它允许开发者通过类型系统精确地定义复杂的网络结构，并在编译期检查维度匹配，从而构建安全且高效的深度学习模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需通过 WSL 或类似环境)。
• Haskell 编译器: 支持 GHC 7.10, 8.0, 8.2 或 8.4 版本。
• 底层数学库: 必须安装 BLAS 和 LAPACK 库及其开发头文件。
  • Ubuntu/Debian: sudo apt-get install libblas-dev liblapack-dev
  • macOS (Homebrew): brew install openblas lapack
• 构建工具: 项目推荐使用仓库自带的 mafia 脚本进行构建管理。

提示：国内用户若遇到 Hackage 包下载缓慢的问题，建议配置清华大学或中国科学技术大学的 Haskell 镜像源以加速依赖安装。

安装步骤

Grenade 推荐通过源码并使用其内置的 mafia 脚本进行构建，以确保依赖版本的一致性。

1. 克隆仓库

   git clone https://github.com/HuwCampbell/grenade.git
   cd grenade
   

2. 构建项目 执行以下命令编译库：

   ./mafia build
   

3. 运行测试（可选） 验证安装是否成功：

   ./mafia test
   

基本使用

Grenade 的核心优势在于通过类型定义网络结构。以下是一个最简单的示例，展示如何定义并初始化一个用于 MNIST 手写数字识别的卷积神经网络。

1. 定义网络结构

在 Haskell 代码中，通过类型别名定义网络层序列和数据形状变化：

type MNIST
  = Network
    '[ Convolution 1 10 5 5 1 1, Pooling 2 2 2 2, Relu
     , Convolution 10 16 5 5 1 1, Pooling 2 2 2 2, Reshape, Relu
     , FullyConnected 256 80, Logit, FullyConnected 80 10, Logit]
    '[ 'D2 28 28
     , 'D3 24 24 10, 'D3 12 12 10 , 'D3 12 12 10
     , 'D3 8 8 16, 'D3 4 4 16, 'D1 256, 'D1 256
     , 'D1 80, 'D1 80, 'D1 10, 'D1 10]

• 第一行列表定义了层类型（如卷积、池化、全连接等）。
• 第二行列表定义了每一层输入/输出的数据维度（D2 为 2D 图像，D3 为 3D 张量，D1 为向量）。
• 如果层与层之间的维度不匹配，代码将无法通过编译。

2. 初始化网络

利用随机权重初始化网络实例：

randomMnist :: MonadRandom m => m MNIST
randomMnist = randomNetwork

3. 训练步骤

Grenade 提供了函数式的训练原语。典型的训练步骤包括计算梯度和应用更新：

• 反向传播：计算梯度

  backPropagate :: forall shapes layers.
                   Network layers shapes -> S (Head shapes) -> S (Last shapes) -> Gradients layers
  

  传入网络、输入数据和目标标签，返回各层的梯度。

• 应用更新：根据梯度更新网络权重

  applyUpdate :: LearningParameters -> Network ls ss -> Gradients ls -> Network ls ss
  

  传入学习率参数、当前网络和计算出的梯度，返回更新后的新网络。

由于 Grenade 是纯函数式的，网络更新不会修改原对象，而是返回一个新的网络状态，这使得组合复杂的训练逻辑（如 GAN 或残差网络）变得非常灵活且类型安全。