手榴弹

首先你要取出圣别的别针，然后你要数到三，不多不少。
数到三就是你需要数的数字，三就是要数的数字。
你不要数到四，也不要数到二，除非你接下来数到三。
五是绝对不行的。

💣 机器学习可能会在你脸上爆炸 💣

Grenade 是一个可组合的、依赖类型的、实用的、快速的循环神经网络库，用于在Haskell中简洁和精确地指定复杂的网络。

例如，可以用几行代码指定并初始化权重随机的一个能在MNIST达到约1.5％错误率的网络：

type MNIST
  = Network
    '[ Convolution 1 10 5 5 1 1, Pooling 2 2 2 2, Relu
     , Convolution 10 16 5 5 1 1, Pooling 2 2 2 2, Reshape, Relu
     , FullyConnected 256 80, Logit, FullyConnected 80 10, Logit]
    '[ 'D2 28 28
     , 'D3 24 24 10, 'D3 12 12 10 , 'D3 12 12 10
     , 'D3 8 8 16, 'D3 4 4 16, 'D1 256, 'D1 256
     , 'D1 80, 'D1 80, 'D1 10, 'D1 10]

randomMnist :: MonadRandom m => m MNIST
randomMnist = randomNetwork

就是这样。由于类型非常丰富，不需要特定的术语级代码来构建这个网络；尽管当然有可能且容易手动构建和分解网络与层。

如果你更喜欢循环神经网络，可以尝试定义一些"不可思议的有效" 用

type Shakespeare
  = RecurrentNetwork
    '[ R (LSTM 40 80), R (LSTM 80 40), F (FullyConnected 40 40), F Logit]
    '[ 'D1 40, 'D1 80, 'D1 40, 'D1 40, 'D1 40 ]

设计

Grenade中的网络可以被认为是层的异构列表，其中它们的类型不仅包括网络的层，还包括在层之间传递的数据的形状。

网络的定义出奇地简单：

data Network :: [*] -> [Shape] -> * where
    NNil  :: SingI i
          => Network '[] '[i]

    (:~>) :: (SingI i, SingI h, Layer x i h)
          => !x
          -> !(Network xs (h ': hs))
          -> Network (x ': xs) (i ': h ': hs)

Layer x i o 约束确保层 x 可以合理地在输入和输出形状 i 和 o 之间进行转换。

提升的数据种类 Shape 定义了我们的一维、二维和三维类型，用于声明在层之间传递的数据形状。

在上面的MNIST示例中，可以看到输入层是一个有28 x 28像素的二维（D2）图像。当第一个卷积层运行时，它输出一个三维（D3）24x24x10图像。列表中的最后一项是一维的（D1）具有10个值，代表MNIST数据的类别。

用法

要进行反向传播，可以调用同名函数

backPropagate :: forall shapes layers.
                 Network layers shapes -> S (Head shapes) -> S (Last shapes) -> Gradients layers

它接受一个网络、适当的输入和目标数据，并返回网络的反向传播梯度。梯度的形状对于每一层来说是适当的，对于如 Relu 等没有可学习参数的层可能是微不足道的。

然而这些梯度总是可以应用的，生成一个新的（希望更好的）层，通过

applyUpdate :: LearningParameters -> Network ls ss -> Gradients ls -> Network ls ss

Grenade中的层被表示为Haskell类，因此在下游代码中创建自己的层是很容易的。如果网络的形状指定得不正确且层不能合理地在两种形状之间进行操作，则会导致编译时错误。

组成

Grenade中的网络与层在类型级别上容易组成。由于 Network 是 Layer 的一个实例，可以很容易地将一个训练好的网络作为一个小组件在更大的网络中使用。此外，我们提供了2个旨在并行运行的层，并通过在一个维度上串联它们的输出或通过逐点累加它们的激活来合并它们的输出。这使得人们可以编写任何可以表示为串并联图的网络。

例如，残差网络层规范可以这样写：