江苏龙网

  1. 首页 > 资讯 > 科技 > >

数据|京东开源超大规模联邦学习平台（9NFL） 深度连接合作伙伴

众所周知,数据是人工智能的基石,只有具备丰富和充分的数据,我们才能利用数据挖掘、机器学习等技术洞见深层次的行业趋势进而指导决策 。 但与此同时所产生的数据隐私的保护问题也越来越受到关注,近年来国内外在逐步加强对数据隐私的保护,例如欧盟最近引入的新法案《通用数据保护条例》(GDPR),我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》等 。 当企业之间跨域跨组织的原始数据合作成为历史,如何打破数据孤岛,让数据在安全合规的前提下自由流动,成为了业界积极探索的方向 。
数据|京东开源超大规模联邦学习平台（9NFL） 深度连接合作伙伴
图片

图1 数据孤岛
在这个大背景下,联邦学习技术应运而生 。 联邦学习(Federated Learning)概念是由Google在2016年首次提出,它作为一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模 。
作为数据安全计算的业界前沿技术方案的联邦学习,可在保护数据隐私的同时深度连接各个合作方,达到了技术赋能、共创共赢的目标 。
数据|京东开源超大规模联邦学习平台（9NFL） 深度连接合作伙伴
图片

图2 联邦学习原理
业界前沿技术自主研发首次在电商推荐领域实现技术落地
基于业务需要,京东自研的联邦学习平台:九数联邦学习平台(9NFL)于2020年初正式上线 。 九数联邦学习平台(9NFL)基于京东商业提升事业部9N机器学习平台进行开发,在9N平台离线训练,离线预估,线上inference、 模型的发版等功能的基础上,增加了多任务跨域调度、跨域高性能网络、大规模样本匹配、大规模跨域联合训练、模型分层级加密等功能 。 整个平台可以支持百亿级/百T级超大规模的样本匹配、联合训练,并且针对跨域与跨公网的复杂环境,对可用性与容灾设计了一系列的机制与策略,保障整个系统的高吞吐、高可用、高性能 。
数据|京东开源超大规模联邦学习平台（9NFL） 深度连接合作伙伴
图片

图3 9NFL
京东自研的九数联邦学习平台(9NFL)主要有三点技术创新:
1、 业界前沿技术自主研发:从0到1设计与开发,实现了从样本匹配到模型训练/预测的完整解决方案;
2、 营销推荐领域技术落地:支持百亿级规模样本、百T级容量数据,首次在电商推荐领域实现线上业务落地;
3、 复杂场景下平台演进:实现分布式异步框架、Failover、拥塞控制等多种机制,保障了平台在跨域跨网的复杂场景下的高可用 。
自上线以来,九数联邦学习平台(9NFL)在取得了较好业务成绩的同时,也经受住了业务大数据、大算力的考验 。
在与媒体进行合作的京东广告投放业务场景中,媒体侧有大量的用户媒体兴趣标签,京东侧有大量的用户商业兴趣及商品标签数据,基于双方数据的互补性,使用联邦学习平台联合建模,优化广告的触发召回、CTR/CVR模型等模块,并成功上线,取得10%+的收入提升 。
数据|京东开源超大规模联邦学习平台（9NFL） 深度连接合作伙伴
图片

图4 9NFL在广告营销落地的场景图
联邦学习作为安全计算的解决方案,打破数据孤岛,实现了多方在数据的隐私保护与安全合规的前提下的紧密合作,将会成为AI发展的一大基石,在未来发挥更加重要的作用 。 九数联邦学习平台(9NFL)未来也将在1.0版本的基础上持续优化产品功能,深度连接合作伙伴,实现共创共赢 。
（责任编辑：季丽亚 HN003）


    推荐阅读


    上一篇：百度|百度发布养成类虚拟助手App“度晓晓”

    下一篇：TikTok|TikTok员工起诉特普朗政府获得初步胜利