科技壹零扒|微软亚研提出节省推理计算量的新范式,当随机采样遇见插值( 三 )


文章图片
在图像分类问题中与其他的方法进行比较
科技壹零扒|微软亚研提出节省推理计算量的新范式,当随机采样遇见插值
文章图片
Table.4展示了图像分类中该方法与其他方法的比较 。 总的来说 , 本文所提出的方法在图像分类中并无显著优势 。 作者猜测 , 这是因为图像分类专注于获取全局表示(GlobalFeatureRepresentation) , 因此仅需保留一部分重要的区域就可以获得良好的性能 , 重构整个特征图对分类任务并无必要 。 通过将插值模块移除 , 作者发现性能的确没有显著的变化 , 也验证了该猜想 。
CPU上的实际加速
作者还验证了该方法在CPU上的实际加速比 。 为了展示在不同硬件条件下的情况 , 作者使用了Workstation(E5-2650v2)以及Laptop(I7-6650U)两种不同的测试环境 , 结果如Table.5所示 。 可以看到 , 该方法的实际加速比与理论加速比仍然具有较大的差距 , 但是在Laptop下的加速比要好于Workstation , 这也说明该方法也许更适合在低资源情况下应用 , 如移动端以及边缘计算设备 。
科技壹零扒|微软亚研提出节省推理计算量的新范式,当随机采样遇见插值
文章图片
与ModelPruning的兼容性
科技壹零扒|微软亚研提出节省推理计算量的新范式,当随机采样遇见插值
文章图片
【科技壹零扒|微软亚研提出节省推理计算量的新范式,当随机采样遇见插值】本文所提出的方法利用了图像的空间冗余特性 , 其机制与现有基于模型结构化的加速方法正交 , 因此两类技术理论上应该相互兼容 , 作者也对此进行了验证 , 结果如Table6所示 。 可以看到 , 本文所提出的方法在不同的PruneRatio上的表现均好于Baseline , 证明了该方法与ModelPruning技术的兼容性 。


推荐阅读