澎湃新闻|图灵奖得主辛顿谈无监督学习问题根源：忽略数据间关联捕捉澎湃新闻记者张唯7月27日上午

澎湃新闻采访人员张唯
7月27日上午，近来鲜少露面的图灵奖获得者、多伦多大学计算机科学系名誉教授杰弗里·辛顿（Geoffrey Hinton）在第43届国际信息检索大会（SIGIR 2020）上作为首位主题演讲者，进行了题为“神经网络的新时代（The Next Generation of Neural Networks）”的主题报告。
他在报告中回顾了无监督神经网络的发展历史，结合表达学习模型的进化历程，指出当前无监督学习方法所面临问题的根源在于：过度关注数据的重构损失（Reconstructive Loss），忽略了对数据间关联关系的捕捉。
【澎湃新闻|图灵奖得主辛顿谈无监督学习问题根源：忽略数据间关联捕捉】基于此，他提出了下一代神经网络模型的构想，提出利用对比损失函数（Contrastive Loss）建模样本间的局部关系、增强数据间表达的一致性的解决思路。
杰弗里·辛顿演讲视频截图
杰弗里·辛顿被称为“神经网络之父” ，出生于1947年12月6日，是加拿大认知心理学家和计算机科学家。辛顿1970年毕业于剑桥国王学院，随后在英国爱丁堡大学获得人工智能博士学位。 2019年3月，因对人工智能的繁荣发展奠基，杰弗里·辛顿、约书亚·本吉奥（Yoshua Bengio）和杨立昆（Yann LeCun）三人被授予2018年的图灵奖。
值得一提的是，杰弗里·辛顿近来很少在公开演讲中出现。 2020年6月18日，他在个人推特上表示，因为发现之前对感知学习想法的“致命错误” ，推掉了一段时间内接受的所有报告。
杰弗里·辛顿在7月27日的报告中回顾了三种不同类似的学习模式，即监督学习（学习在给定输入向量时预测输出）、强化学习（学习找出一个能够使收益最大化的选择）和无监督学习（在不提供监督信息的条件下进行学习）。
辛顿在报告中解释为什么需要无监督学习。他指出，人类大脑有10^14个神经元连接，而生命的长度只有10^9秒，因此人类是无法完全依赖有监督学习的方法完成所有神经元训练，而需要更多来自于无监督学习的帮助，受此启发，构建智能的机器模型也应综合考虑监督与无监督方法进行协同训练。
报告最后，他还展示了上述构想的一种具体实现方案SimCLR ，应用该方案能够显著提升下游图像分类任务的效果。
责任编辑：李跃群
校对：丁晓

澎湃新闻|图灵奖得主辛顿谈无监督学习问题根源：忽略数据间关联捕捉

推荐阅读

『砍柴网』黑白显示无法突破受限于技术科大讯飞发布彩色电子阅读器

教师|教师招聘又出新规，家长称“心病”好了一半，师范生：很难不支持

浙江男子帮忙倒车，却连撞3车还把车主撞成伤残！要担责吗？法院判了

superstar是什么意思(superstar是什么牌子的鞋子)

直到遇上了刚刚接档上新的以家人之名，可见就算有这么多吻戏，像大哥和小妹这对背后的故事就很令人心疼

最后的剁手良机：联想IdeaPad 14s双12立省300元

【冠状病毒】三分钟沙画视频，让你了解新型冠状病毒肺炎

Geear集者|优雅的不费力：不输牛仔裤百搭，一件长裙最适合伴我们过秋天！

王源|王源晒山区钓鱼照故意不露正脸，却被工作室出卖，晒出同行者

蝙可以组什么词蝙组词有哪些

熊鱼自笑却使大唐避免了一场浩劫，此人连名字都没有留下

环球网|为解决种族歧视问题美国海军成立了一个特别机构

淘宝号是会员名吗淘宝号是会员名吗怎么改

【光宇吐楼市】三四线房价火爆！专家：谁炒谁丧尽天良

穿搭|李冰冰晒极简风造型，“挖腰”背心配牛仔装，这状态同龄人中少有

吃饭，到底能不能喝水？

沃华医药子公司拟“完控”康铭实业扩充支柱产品产能

买家淘宝降权是什么意思淘宝降权是什么意思,在哪里查看

[火星]火星有座奥林匹斯山，如果搬到地球，估计没人能爬到峰顶

莫吉托周杰伦词曲歌词含义,周杰伦的歌莫吉托歌词-