『机器学习』MLSys提前看 | 机器学习的分布式优化方法( 十 )
本文插图
图 14. 与 FedAvg 相比 ， FedProx 在异质网络中的收敛性得到了显著的改善
图 15 中的实验通过强制每个设备运行相同数量的 epoch（E）来消除系统异质性的影响 。 在这个设置中 ， FedProx（μ=0）将简化为 FedAvg 。 上面一行的图示中 ， 给出四个统计异质性从左到右增加的合成数据集上的训练损失 。 其中 ， μ=0 的方法对应于 FedAvg 的实验结果 。 异质性的增加会导致更差的收敛性 ， 但是当μ>0 时 ， 能够缓解这一问题 。 下面一行图示显示了四个合成数据集的相应差异性度量（梯度方差） 。 该度量能够有效捕获数据统计异质性 ， 由实验结果可知 ， 该度量的趋势与训练损失一致；较小的差异表示更好的收敛性 。
本文插图
图 15. 数据异质性对收敛性的影响
文章小结
在这篇文章中 ， 作者提出了 FedProx--一个解决联邦学习固有的系统和统计异质性问题的优化框架 。 FedProx 允许在设备之间局部地执行可变量的工作 ， 并且依赖一个修正项来确保方法的稳定性 。 作者对一组联邦数据集的实证评估验证了其理论分析 ， 并证明了 FedProx 框架可以显著改善现实异质网络中联邦学习的收敛行为 。
作者介绍：仵冀颖 ， 工学博士 ， 毕业于北京交通大学 ， 曾分别于香港中文大学和香港科技大学担任助理研究员和研究助理 ， 现从事电子政务领域信息化新技术研究工作 。 主要研究方向为模式识别、计算机视觉 ， 爱好科研 ， 希望能保持学习、不断进步 。
关于机器之心全球分析师网络 Synced Global Analyst Network
机器之心全球分析师网络是由机器之心发起的全球性人工智能专业知识共享网络 。 在过去的四年里 ， 已有数百名来自全球各地的 AI 领域专业学生学者、工程专家、业务专家 ， 利用自己的学业工作之余的闲暇时间 ， 通过线上分享、专栏解读、知识库构建、报告发布、评测及项目咨询等形式与全球 AI 社区共享自己的研究思路、工程经验及行业洞察等专业知识 ， 并从中获得了自身的能力成长、经验积累及职业发展 。
感兴趣加入机器之心全球分析师网络？点击下文链接 ， 提交申请 。
MLSys提前看 | 机器学习的分布式优化方法
推荐阅读
- 小虔科技|华为和小米都曾经学习苹果3D面部识别，为啥现在不用了
- 机器人|深圳机器人产业产值1257亿元
- |《5G技术助力国产机器人完成全球首场骨科实时远程手术》公示材料
- 美军事进行时|五角大楼研制挖隧道的蚯蚓机器人为地面部队提供安全补给
- 砍柴网|讯飞智能学习机 618 新惊喜，多重优惠助力孩子暑假弯道超车
- 新智元|B站上线！DeepMind加UCL强强联手推出深度学习与强化学习进阶课程（附视频）
- cnBetaTB|看机器人如何制作出既有颜值又美味的蛋饼
- 山东伟豪思|袋料全自动拆垛机器人的使用给企业带来了哪些益处
- 无人机这两项机器人发明，就是东京大学进军外卖界的野心！？
- 互联网生活|不一般！世童科技品牌启动暨智能学习桌新品发布会惊艳中山