蚂蚁安全实验室联邦学习算法研究中稿AAAI-21
(原标题:蚂蚁安全实验室联邦学习算法研究中稿AAAI-21)
蚂蚁安全实验室在人工智能顶级学术会议AAAI 2021中迎来双喜临门。蚂蚁安全天筭实验室、机器智能团队端云共享智能算法团队成员申书恒(花名永岩),以第一作者身份完成的联邦学习算法研究《STL-SGD:Speeding Up Local SGD with Stagewise Communication Period》成功被AAA1-21收录。这是蚂蚁安全天筭实验室中稿AAAI-21的第2篇论文,同时也是蚂蚁安全实验室于2020年中稿全球顶级会议的第9篇论文。
随着公众和行业对用户隐私保护的日益重视,针对数据安全的隐私保护技术越发重要,联邦学习是基于隐私保护的机器学习建模的主要方式。但行业在应用联邦学习时普遍存在一个主要痛点:使用联邦学习在端云联合建模时,需要耗费很长的时间进行模型训练,通信代价过高。
针对这一痛点,蚂蚁安全天筭实验室成员申书恒对如何提升联邦学习的通信效率展开了深入研究。
目前业界主流的联邦学习建模算法为FedAvg(Local SGD)算法,其相对于传统的FedSGD算法在通信效率上已经能实现5-10倍的提升。本篇论文研究首先证明了通信周期和学习率成反比例关系,并基于此发现巧妙地设计了逐阶段调整学习率和通信周期的STL-SGD算法,从而在理论上达到了更低的通信复杂度,在强凸、一般凸、非凸+PL条件三种一般性设定下,实现了SOTA。在实验性能方面,对于凸和非凸问题,所提出的STL-SGD算法相对于FedAvg在公共数据集上均实现了2-5倍的通信效率加速,在加速联邦学习建模情景上迈出了一大步。
联邦学习依然是目前工业界基于隐私保护有效的机器建模学习方法,展望该项研究成果在未来的落地应用,STL-SGD有望在端云风控场景的端云联合建模中,有效提升联邦学习建模效率和模型性能,从而实现更快的模型迭代。让未来风控在坚守隐私保护的同时,提升风控场景下与黑产博弈的攻防效率,为用户提供更好的安全保障。
关于AAAI
AAAI(the Association for the Advance of Artificial Intelligent)是美国人工智能协会,其组织的年度会议(The National Conference on Artificial Intelligence)是专注于人工智能领域的顶级学术会议。AAAI-21将于2021年2月2日—9日以虚拟会议的形式在线举行。据官方公布,AAAI-21共收到9034篇投稿,其中接受1692篇,录取率仅为21%,录取难度高。
蚂蚁安全天筭实验室
蚂蚁安全天筭实验室隶属于蚂蚁安全九大实验室之一,围绕智能风控和反欺诈技术,探索安全领域的机器学习等前沿问题,致力于打造全球领先的智能风控体系。蚂蚁安全天筭实验室也是守护支付宝"你敢付我敢赔"承诺的中坚力量。