论文《Network In Network》

Network In Network

1 MLP convolution layers

Mlpconv层可以看成每个卷积的局部感受野中还包含了一个微型的多层网络，如图所示CNN层的计算为：

线性卷积

Mlpconv利用多层MLP的微型网络，对每个局部感受野的神经元进行更加复杂的运算，如下图所示。

Mlp卷积

2 Global Average Pooling

传统的卷积神经网络在网络的底层进行卷积，对于分类问题，将最后一个卷积层铺展成一个向量，然后再输入给全连接层。这里，全连接层容易过拟合，从而影响整个网络的性能。
本文提出一种能够改善全连接层过拟合的策略，global average pooling，来代替全连接层。主要思想是对于分类任务的每一个类别生成一个feature map，然后计算每个feature map的均值，将得到的结果再进行softmax激活，得到最终的分类结果。

• GAP相对于全连接层的一个优点是，它能够通过增强特征映射和类别之间的对应关系，更适合于卷积结构，因此feature map能解释为类别的置信度。
• 另外一个优点是，没有需要优化的参数，从而可以防止过拟合。
• GAP是对空间信息的总和，因此对空间转移鲁邦。

3 NiN structure

network in network