ECCV2020 Oral | BorderDet用边界特征做检测

本文插图
本文解读的是ECCV 2020 论文《BorderDet: Border Feature for Dense Object Detection》，作者来自旷视、西安交通大学。本文首发于知乎：https://zhuanlan.zhihu.com/p/163044323 。
作者 | 马宇宸
编辑 | 丛末

本文插图
论文地址：https://arxiv.org/pdf/2007.11056.pdf
开源地址：https://github.com/Megvii-BaseDetection/BorderDet
加入旷厂科(ban)研(zhuan)已经1年多了，最近产出一篇目标检测方向的新工作， ''BorderDet: Border Feature for Dense Object Detection'' 。运气还算比较好，是ECCV2020 Oral的一篇工作，可以用于现在主流的dense object detector 。基于FCOS的baseline有2.8个点的提升，文章和源码已经release 。
1
概述
我们提出了一种非常简单、高效的操作来提取物体边界极限点的特征，叫做“BorderAlign” 。模型只增加很少的时间开销，可以在经典模型上FCOS(38.6 v.s. 41.4). FPN(37.1 v.s. 40.7) 。下面是我们的方法和这些经典模型的对比。

本文插图
2
背景
对于dense object detector(e.g. FCOS、FPN的RPN) ，都是使用simple point特征去预测框的分类和回归，但是发现只用一个点的特征是不够的，很难去捕捉到物体边界的信息来精准定位。这些年有很多研究通过级联的方式，希望通过引入更强的特征来增加simple point特征，主要包括GA-RPN、RepPoints等。但这些工作可能存在两个问题。

这些检测器使用一些操作(e.g. Deformable Conv)来增强特征，但这些操作可能是冗余的，甚至会引入“有害”的背景信息。
这些方法没有显示的提取边界特征，我们认为边界极限点特征对边界框的定位比较重要。

如下图，这个运动员中心的五角星位置即为anchor点，但是确定该物体边界框的主要是边界上的四个橘色圆点，这个运动员的边界框的位置主要由四个极限点来确定。用其他的方法可能会引入一些有害的信息，且不能直接有效的提取到真正有用的边界极限点。

本文插图
3
动机
基于上述两条“痛点” ，我们觉得提取物体的边界极限点的特征是不是能对物体精准定位有一些帮助？于是乎我们做了最基础的一些实验，我们基于FCOS的检测器，增加一些enhancement的特征来加强单点特征。主要有4组实验，分别来验证上面提到的两条问题。 (1) single point: 单点特征做增强；(2) region: 用ROIAlign提取框内所有特征来增强；(3)border使用边界上所有点的特征来增强 (4)只用边界中心点来增强。这四个实验的特征采样位置如下图，分别对应不同的采样点个数。
我们发现，提取边界的中心点的特征，能够达到和region feature同样的结果，且采样点个数少了很多。这意味着只需要更少的复杂度，能够高效的提取到有用的特征。且同时证明了，边界极限点特征对物体定位确实有非常重要的作用。