江苏龙网

  1. 首页 > 资讯 > 科技 > >

##谷歌大脑重磅研究：快速可微分排序算法，速度快出一个数量级( 二 )


研究人员在CIFAR-10和CIFAR-100数据集上进行了实验 。
实验使用的CNN ， 包含4个具有2个最大池化层的Conv2D ， RelU激活 ， 2个完全连接层；ADAM优化器的步长恒定为10-4 ， k=1 。
与之比较的是O(Tn2)的OT方法 ， 以及O(n2)的All-pairs方法 。
##谷歌大脑重磅研究：快速可微分排序算法，速度快出一个数量级
文章图片

文章图片

△rQ及rE为新算法
结果表明 ， 在CIFAR-10和CIFAR-100上 ， 新算法都达到了与OT方法相当的精度 ， 并且速度明显更快 。
在CIFAR-100上训练600个epoch ， OT耗费的时间为29小时 ， rQ为21小时 ， rE为23小时 ， All-pairs为16小时 。在CIFAR-10上结果差不多 。
在验证输入尺寸对运行时间的影响时 ， 研究人员使用的是64GB RAM的6核Intel Xeon W-2135 ， 以及GeForce GTX 1080Ti 。
##谷歌大脑重磅研究：快速可微分排序算法，速度快出一个数量级
文章图片

文章图片

禁用反向传播的情况下 ， 进行1个batch的计算 ， OT和All-pairs分别在n=2000和n=3000的时候出现内存不足 。
启用反向传播时 ， OT和All-pairs分别在n=1000和n=2500的时候出现内存不足 。开启新的可能性
曾就职于谷歌、NASA的机器学习工程师Brad Neuberg认为 ， 从机器学习的角度来说 ， 快速可微分排序、排名算法看上去十分重要 。
##谷歌大脑重磅研究：快速可微分排序算法，速度快出一个数量级
文章图片

文章图片

而谷歌的这一新排序算法 ， 也在reddit和hacker news等平台上引起了热烈的讨论 。
有网友对其带来的“新可能性”做出了更为详细的讨论：我想 ， 可微分排序生成的梯度信息量更大 ， 使得梯度下降的速度更快 ， 从而能够进一步提升训练速度 。
##谷歌大脑重磅研究：快速可微分排序算法，速度快出一个数量级
文章图片

文章图片

我认为 ， 这意味着某些基于排名的指标 ， 以后可以用可微分的形式来表示 。也就是说 ， 神经网络可以轻松地针对这些结果直接进行优化 。
对于谷歌而言 ， 这很显然会应用于网络搜索 ， 以及诸如标签分配之类的东西问题 。
##谷歌大脑重磅研究：快速可微分排序算法，速度快出一个数量级
文章图片

文章图片

也有网友指出 ， 虽然该算法并不是第一个解决了排序不可微问题的方法 ， 但它的效率无疑更高 。
##谷歌大脑重磅研究：快速可微分排序算法，速度快出一个数量级
文章图片

文章图片

传送门
论文：https://arxiv.org/pdf/2002.08871.pdf
讨论：https://news.ycombinator.com/item?id=22393790https://www.reddit.com/r/MachineLearning/comments/f85yp4/r_fast_differentiable_sorting_and_ranking/
— 完 —
关注我们 ， 第一时间获知前沿科技动态


推荐阅读


上一篇：■用现在的技术，“复刻”诺基亚5310，会是什么样子？

下一篇：「电视剧」内容扩充+技术创新，内容服务商才能推进OTT革新