江苏龙网

  1. 首页 > 人文 > >

人走茶凉|UC伯克利尤洋189页博士论文公布，聚焦快速机器学习训练算法( 二 )


该论文包括以下三个主要部分：
第二章详细讲解了通信避免的SVM（communication-avoidingSVM） ， 第三章详细介绍了通信高效的KRR（communication-efficientKRR） ， 第四章详细介绍了异步贪心坐标下降（Asy-GCD） 。
第五章介绍了在超级计算机上加速ImageNet训练的细节 ， 包括算法设计和通信/计算权衡 。
第六章介绍了将BERT训练时间从3天降低到76分钟的技术细节 ， 这是建立在大批量优化和超参数自动调整等技术之上的 。
这三个部分紧密相关 。 研究者在第一部分中以凸优化开始 ， 在第二部分中深入探讨非凸优化 。 由于非凸优化比凸优化要难得多 ， 因此作者在第三部分中又进行了详细介绍 。 第七章则进行了总结 。
以下是这篇博士论文的目录：
JamesDemmel是加州大学伯克利分校电子工程与计算机科学系主任 ， Dr.RichardCarlDehmel杰出教授 ， 因在数值线性计算库LAPACK方面的贡献而为人熟知 。 此外 ， 他还是ACMFellow、IEEEFellow ， 美国艺术与科学院、美国国家工程院、美国国家科学院三院院士 。
在致谢的最后 ， 尤洋表达了对家人的感谢：
【人走茶凉|UC伯克利尤洋189页博士论文公布，聚焦快速机器学习训练算法】最后 ， 我想感谢我的母亲YanleiHuang ， 父亲ZhiqiangYou ， 兄长PengYou ， 以及我的妻子ShiyueLiang 。 我将向家人们表达最深的感谢 ， 没有他们无条件的支持我不可能获得今天的成就 。 我会一直在你们身边 。


推荐阅读


上一篇：浅浅说科技|每天进账超2亿，拿下46份5G合同，仅次华为的5G新巨头

下一篇：IT之家|屏幕更换更容易，不必返厂，微软新专利曝光：Surface