京东开源超大规模联邦学习平台(9NFL) 深度连接合作伙伴
发布日期:2021-10-10 05:31:06 浏览次数:37 分类:技术文章

本文共 1238 字,大约阅读时间需要 4 分钟。

众所周知,数据是人工智能的基石,只有具备丰富和充分的数据,我们才能利用数据挖掘、机器学习等技术洞见深层次的行业趋势进而指导决策。

 

但与此同时所产生的数据隐私的保护问题也越来越受到关注,近年来国内外在逐步加强对数据隐私的保护,例如欧盟最近引入的新法案《通用数据保护条例》(GDPR),我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》等。

 

当企业之间跨域跨组织的原始数据合作成为历史,如何打破数据孤岛,让数据在安全合规的前提下自由流动,成为了业界积极探索的方向。

 

图片

数据孤岛

 

在这个大背景下,联邦学习技术应运而生。联邦学习(FederatedLearning)概念是由Google在2016年首次提出,它作为一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。

 

作为数据安全计算的业界前沿技术方案的联邦学习,可在保护数据隐私的同时深度连接各个合作方,达到了技术赋能、共创共赢的目标。

 

图片

联邦学习原理

 

业界前沿技术自主研发

首次在电商推荐领域实现技术落地

 

基于业务需要,京东自研的联邦学习平台:九数联邦学习平台(9NFL)于2020年初正式上线。九数联邦学习平台(9NFL)基于京东商业提升事业部9N机器学习平台进行开发,在9N平台离线训练,离线预估,线上inference、 模型的发版等功能的基础上,增加了多任务跨域调度、跨域高性能网络、大规模样本匹配、大规模跨域联合训练、模型分层级加密等功能。

 

整个平台可以支持百亿级/百T级超大规模的样本匹配、联合训练,并且针对跨域与跨公网的复杂环境,对可用性与容灾设计了一系列的机制与策略,保障整个系统的高吞吐、高可用、高性能。

 

图片

九数联邦学习平台(9NFL)

 

九数联邦学习平台(9NFL)主要有三点技术创新

 

  • 业界前沿技术自主研发:从0到1设计与开发,实现了从样本匹配到模型训练/预测的完整解决方案;

     

  • 营销推荐领域技术落地:支持百亿级规模样本、百T级容量数据,首次在电商推荐领域实现线上业务落地;

     

  • 复杂场景下平台演进:实现分布式异步框架、Failover、拥塞控制等多种机制,保障了平台在跨域跨网的复杂场景下的高可用。

 

自上线以来,九数联邦学习平台(9NFL)在取得了较好业务成绩的同时,也经受住了业务大数据、大算力的考验。

 

在与媒体进行合作的京东广告投放业务场景中,媒体侧有大量的用户媒体兴趣标签,京东侧有大量的用户商业兴趣及商品标签数据,基于双方数据的互补性,使用联邦学习平台联合建模,优化广告的触发召回、CTR/CVR模型等模块,并成功上线,取得10%+的收入提升。

 

图片

9NFL在广告营销落地的场景图

 

联邦学习作为安全计算的解决方案,打破数据孤岛,实现了多方在数据的隐私保护与安全合规的前提下的紧密合作,将会成为AI发展的一大基石,在未来发挥更加重要的作用。九数联邦学习平台(9NFL)未来也将在1.0版本的基础上持续优化产品功能,深度连接合作伙伴,实现共创共赢。

 

转载地址:https://blog.csdn.net/qq_22054285/article/details/112708490 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:我的程序之路
下一篇:3DES加密-android和java之间的差异

发表评论

最新留言

网站不错 人气很旺了 加油
[***.192.178.218]2024年04月07日 00时32分53秒