抛弃注意力,类Transformer新模型实现新SOTA( 四 )


抛弃注意力,类Transformer新模型实现新SOTA
本文插图
计算效率
在下表5和表6中 , 研究者发现构造 LambdaResNets 来提升大型 EfficientNets 的参数和 flops 效率也是有可能的 。
抛弃注意力,类Transformer新模型实现新SOTA
本文插图

抛弃注意力,类Transformer新模型实现新SOTA
本文插图
这样的结果表明 , lambda层可能非常适合在资源有限的场景中使用 , 例如嵌入式视觉应用 。
目标检测与实例分割
最后 , 研究人员评估了 LambdaResNets 使用 Mask-RCNN 架构在 COCO 数据集上进行目标检测和实力分割任务的效果 。 使用 lambda 层会在所有 IoU 阈值和所有对象比例(尤其是难以定位的小对象)上产生一致的增益 , 这表明 lambda 层容易在需要定位信息的更复杂的视觉任务中实现不错的效果 。


推荐阅读