abstract

边缘检测是计算机视觉中的基本问题。最近，卷积神经网络（CNN）已经显着推进了该领域。采用特定深层CNN层的现有方法可能无法捕获由尺度和纵横比的变化引起的复杂数据结构。在本文中，我们提出了一种使用更丰富的卷积特征（RCF）的精确边缘检测器。 RCF将所有卷积特征封装成更具辨别力的表示，这可以很好地利用丰富的特征层次结构，并且可以通过反向传播进行训练。 RCF充分利用对象的多尺度和多级信息来全面地执行图像到图像的预测。使用VGG16网络，我们在几个可用数据集上实现了最先进的性能。在对众所周知的BSDS500基准测试进行评估时，我们实现了0.811的ODS F测量，同时保持了快速（8 FPS）。此外，我们的快速版RCF实现了0.806的ODS F测量，30 FPS。我们还通过应用RCF边缘进行经典图像分割来证明所提出方法的多功能性。

1.introduction

1

如图1所示，我们使用带有HED架构的VGG16 [11]构建了一个简单的网络，以产生中间层的侧输出[16]。我们可以看到，不同卷积（即转换）层获得的信息逐渐变得更粗糙。更重要的是，中间转换层包含必要的精细细节。然而，先前的CNN架构仅在神经网络的池化层之前使用最终的转换层或层，但忽略中间层。另一方面，由于更丰富的卷积特征对于许多视觉任务非常有效，因此许多研究人员努力开发更深层次的网络[17]。然而，由于消失/爆炸的梯度和训练数据不足（例如，用于边缘检测），在深入时难以使网络收敛。那么为什么我们不充分利用我们现在拥有的CNN功能呢？基于这些观察，我们提出了更丰富的卷积特征（RCF），一种新的深层结构，充分利用来自所有转换层的CNN特征，来执行边缘的像素预测.

2 R ELATED W ORK

尽管上述基于CNN的模型在某种程度上达到了最新高度，但我们认为它们都缺乏，因为它们无法充分利用CNN的丰富特征层次结构。 这些方法通常仅从每个转换阶段的最后一层采用CNN特征。 为了解决这个问题，我们提出了一个完全卷积网络来有效地组合所有转换层的特征。

3 R ICHER C ONVOLUTIONAL F EATURES (RCF)

3.1 Network Architecture
我们从现有工作[12]，[16]中获取灵感，并着手实施VGG16网络[11]。 VGG16网络由13个转换层和3个完全连接的层组成。 其转换层分为五个阶段，其中在每个阶段之后连接汇集层。 每个转换层捕获的有用信息随着其接收字段大小的增加而变得更粗糙。 不同层的详细感受野大小可以在[16]中找到。 假设使用这种丰富的分层信息来帮助边缘检测。 我们网络设计的出发点就在于此。我们介绍的新型网络如图2所示。与VGG16相比，我们的修改可归纳如下：
1.我们剪切了所有完全连接的图层和pool5图层。 另一方面，我们移除完全连接的层以具有用于图像到图像预测的完全卷积网络。 另一方面，添加pool5层会使步幅增加两倍，这通常会导致边缘定位的退化。
2.VGG16中的每个转换层连接到内核大小为1×1和通道深度为21的转换层。并且使用eltwise层累积每个阶段中的结果特征映射以获得混合特征。
3.每个eltwise层跟随1×1 - 1转换层。 然后，使用deconv层对此要素图进行上采样。
4、交叉熵损失/ S形层在每个级中连接到上采样层。
5.所有上采样层都是连接在一起的。 然后使用1×1转换层来融合来自每个阶段的特征图。最后，遵循交叉熵损失/ sigmoid层以获得融合损失/输出。
在RCF中，来自所有转换层的特征被完全封装成整体方式的最终表示，其适合于通过反向传播进行训练。 由于VGG16中的conv层的接收场大小彼此不同，因此RCF允许
比现有的机制学习来自各级卷积特征的多尺度信息，我们认为这些信息都与边缘检测有关。 在RCF中，高级特征较粗糙，并且可以在较大的对象或对象部分边界处获得强响应，如图1所示，而CNN下部的特征仍然有益于提供互补的精细细节。

图片.png