智能家居科技谷歌大改Transformer注意力，自己挖坑自己填( 三 ) 机器之心报道机器之心编辑部考虑到Tran

文章图片
Performer在蛋白质序列建模时的性能。
下面可视化一个蛋白质Performer模型，该模型使用基于ReLU的近似注意力机制进行训练。研究者发现， Performer的密集注意力近似有可能捕捉到跨多个蛋白质序列的全局相互作用。作为概念的证明，研究者在串联蛋白长序列上训练模型，这使得常规的Transformer模型内存过载。但由于具有良好的空间利用效率， Performer不会出现这一问题。

文章图片
左：从注意力权重估计氨基酸相似性矩阵。该模型可以识别高度相似的氨基酸对，例如(D,E)和(F,Y) 。

文章图片
Performer和Transformer在长度为8192的蛋白质序列上的性能。
随着Transformer的频繁跨界，越来越多的研究者开始关注其内存占用和计算效率的问题，比如机器之心前段时间介绍的《抛弃注意力，比EfficientNet快3.5倍，类Transformer新模型跨界视觉任务实现新SOTA》。在那篇文章中，研究者提出了一种名为「lambda」的层，这些层提供了一种捕获输入和一组结构化上下文元素之间长程交互的通用框架。类似的改进还在不断涌现，我们也将持续关注。
参考链接：http://ai.googleblog.com/2020/10/rethinking-attention-with-performers.html

智能家居科技谷歌大改Transformer注意力，自己挖坑自己填( 三 )

推荐阅读

深圳深圳：八月底前全国率先实现5G网络高质量全覆盖

暮年|小红书正在另谋新出路

傲人的腹肌是怎么练出来的，别再相信那些谣言，我告诉你该怎么做

n1运载火箭、谁知道前苏联的N1火箭

手机中国 Store应用安装量低于Google Play 但营收是它两倍，App

豪华车|WLTP续航660不缩水奔驰最贵纯电车全球首发：一图读懂EQS SUV

很甜很撩的早安句子情人超甜早安撩人情话

[动力]大众新车亮相，比思域还帅气，一脚272马力，雅阁都扛不住！

展讯|【展讯】“蓝轩杯”威海市硬笔书法优秀作品展12月12日在威海美术馆开幕

中央广播电视总台央视网|展期过半进博会上签约忙

妇科病会自己好么

冰红茶多久过期,冰红茶快到保质期

时代|原创TFBOYS亲师弟为什么红不起来？光琢磨剑走偏锋，这两点过分了

翡翠|鹰击天风壮，鹏飞海浪春，带你了解翡翠鹰的寓意！

清炒荷兰豆美食杰,清炒荷兰豆怎么炒好吃又简单-

中国新闻网|加拿大总理特鲁多为助学金项目风波接受质询称无利益冲突

「颖尚国际」裤腰扣个“半圆”，靓女臭美到家了，裤腿“裁两刀”

乐舞蹈|棕色毛绒大衣搭配浅色牛仔裤，整体造型非常简约时尚

华为还用美国技术？日媒曝光华为5G基站，拆解出大量美国零件

|因为肚子疼在胆汁中发现了虫子！医生提醒：别再乱吃了

智能家居科技 谷歌大改Transformer注意力，自己挖坑自己填( 三 )

推荐阅读

智能家居科技谷歌大改Transformer注意力，自己挖坑自己填( 三 )