中年|机器学习必读TOP 100论文清单：高引用、覆盖面广丨GitHub 21.4k星
想要入门机器学习 ， 奈何领域的新论文太多 ， 不知道该看哪一篇？
自2017年以来 ， 超越SOTA的方法天天有 ， 但往往针对性非常强 ， 不一定是颠覆机器学习圈的重要成果 。
又回到了熟悉的话题：要想入行 ， 还得看高引用经典论文 。
这里整合了2012年到2016年的高引TOP 100论文 ， 引用量要求随着年份递减而递增 ， Hinton、Bengio、何恺明等大牛的论文都在其中 ， 一起来看看吧：
清单列表
理解、泛化、迁移学习
1、Distilling the knowledge in a neural network (2015), G. Hinton et al.
http://arxiv.org/pdf/1503.02531
这篇介绍了Hinton大神在15年做的一个黑科技技术 ， Hinton在一些报告中称之为Dark Knowledge ， 技术上一般叫做知识蒸馏（Knowledge Distillation） 。 这篇论文的核心思想是通过迁移知识 ， 从而以训练好的大模型得到更加适合推理的小模型 。
本文插图
2、Deep neural networks are easily fooled: High confidence predictions for unrecognizable images (2015), A. Nguyen et al.
http://arxiv.org/pdf/1412.1897
【中年|机器学习必读TOP 100论文清单：高引用、覆盖面广丨GitHub 21.4k星】
研究结果揭示了人的视觉和目前DNNs的差异 。 具体来说 ， 卷积神经网络在ImageNet或MNIST数据集上训练都表现良好 ， 但发现通过进化算法或梯度上升处理的图片 ， DNNs以很高的置信度贴以标签属于某个数据集类（其实不属于这个数据集类） 。
3、How transferable are features in deep neural networks? (2014), J. Yosinski et al.
http://papers.nips.cc/paper/5347-how-transferable-are-features-in-deep-neural-networks.pdf
本文通过实验 ， 量化了深度神经网络每层神经元的通用性与特殊性 ， 并对结果进行了展示 。 网络第一层的特征并非特定于某一数据集或者某一任务 ， 而是通用的特征 ， 它们适用于许多数据集和普遍的任务 。 在较深的模型层 ， 特征会从通用的特征逐渐转换为更专业的特征（和任务、数据集紧密相关的特征） 。
4、CNN features off-the-Shelf: An astounding baseline for recognition (2014), A. Razavian et al.
http://www.cv-foundation.org//openaccess/content_cvpr_workshops_2014/W15/papers/Razavian_CNN_Features_Off-the-Shelf_2014_CVPR_paper.pdf
本文考虑了一种问题 ， 假设有一个现成的 ， 针对某个具体问题A训练好的CNN ， 仅仅使用它的前几层来提取图像信息 ， 再配合使用一些经典分类器（SVM等） ， 是否可以在其他的问题B,C上也得到比较好的结果？
5、Learning and transferring mid-Level image representations using convolutional neural networks (2014), M. Oquab et al.
https://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Oquab_Learning_and_Transferring_2014_CVPR_paper.pdf
CNN的学习需要建立数以百万计的参数 ， 并且需要大量已经标注好的图像 。 这种特性目前阻止了CNN在有限训练集问题上的应用 。 本文展示了在大规模标记的数据上、用CNN学习出的图像表示 ， 是如何有效地被迁移到其他视觉识别的任务中的 。
6、Visualizing and understanding convolutional networks (2014), M. Zeiler and R. Fergus
http://arxiv.org/pdf/1311.2901
这篇论文的目的 ， 就是通过特征可视化 ， 查看精度变化 ， 从而知道CNN学习到的特征如何 。 这篇论文阐述了CNN的每一层到底学习到了什么特征 ， 然后作者通过可视化进行调整网络 。
推荐阅读
- 中年|Carnot研发新型空气压缩机：噪音更低 寿命更长 成本更低
- 中年|中国-东盟区块链应用创新实验室揭牌
- 中年|交易所成黑钱胜地：“冻卡潮”背后的秘密
- 中年|波卡上线 现阶段是否值得投资？
- 中年|首台国产T3.20悬臂式掘进机在中信重工下线
- 中年|探索城市的“未来模样”，腾讯政务接下来这么干
- 中年|明年起禁用不可降解塑料购物袋、吸管！塑料袋发明者本来是为拯救地球
- 行业互联网,智慧医疗|商汤科技创“心”升级，探索“联邦学习”入选ECCV
- 技术编程|机器学习又一重要医学应用！培植人造器官
- 大众新闻|海外高知妈妈都头疼的中文学习，LingoAce有什么好办法？