机器学习-联邦学习学习笔记综述.pdfVIP

机器学习-联邦学习学习笔记综述--第1页

联邦学习学习笔记综述

摘要

随着大数据的进一步发展，重视数据隐私和安全已经成为了世界性的趋势，同

时，大多数行业数据呈现数据孤岛现象，如何在满足用户隐私保护、数据安全

和政府法规的前提下，进行跨组织的数据合作是困扰人工智能从业者的一大难

题。而“联邦学习”将成为解决这一行业性难题的关键技术。

联邦学习旨在建立一个基于分布数据集的联邦学习模型。

两个过程：模型训练和模型推理。

在模型训练中模型相关的信息可以在各方交换（或者以加密形式交换）

联邦学习是具有以下特征的用来建立机器学习模型的算法框架

有两个或以上的联邦学习参与方协作构建一个共享的机器学习模型。每一个参

与方都拥有若干能够用来训练模型的训练数据

在联邦学习模型的训练过程中，每一个参与方拥有的数据都不会离开参与方，

即数据不离开数据拥有者

联邦学习模型相关的信息能够以加密方式在各方之间进行传输和交换，并且需

要保证任何一个参与方都不能推测出其他方的原始数据

联邦学习模型的性能要能够充分逼近理想模型（指通过所有训练数据集中在一

起并训练获得的机器学习模型）的性能。

一．联邦学习总览

机器学习-联邦学习学习笔记综述--第1页

机器学习-联邦学习学习笔记综述--第2页

1.联邦学习背景介绍

当今，在几乎每种工业领域正在展现它的强大之处。然而，回顾AI的发

展，不可避免地是它经历了几次高潮与低谷。AI将会有下一次衰落吗？什么时

候出现？什么原因？当前大数据的可得性是驱动AI上的publicinterest的部

分原因：2016年AlphaGo使用20万个游戏作为训练数据取得了极好的结果。

然而，真实世界的情况有时是令人失望的：除了一部分工业外，大多领

域只有有限的数据或者低质量数据，这使得AI技术的应用困难性超出我们的

想象。有可能通过组织者间转移数据把数据融合在一个公共的地方吗？事实

上，非常困难，如果可能的话，很多情况下要打破数据源之间的屏障。由于工

业竞争、隐私安全和复杂的行政程序，即使在同一公司的不同部分间的数据整

合都面临着严重的限制。几乎不可能整合遍布全国和机构的数据，否则成本很

高。

同时，意识到大公司在数据安全和用户隐私上的危害，重视数据隐私和安

全已经成为世界范围的重大事件。公众数据泄露的新闻正在引起公众媒体和政

府的高度关注。例如，Facebook最近的数据泄露引起了广泛抗议。作为回

应，世界各个州正在加强法律保护数据安全和隐私。例如欧盟在2018.5.25实

施的《通用数据保护条例》GeneralDataProtectionRegulation（GDPR），旨在保

护用户个人隐私和提供数据安全。它要求企业使用清晰明了的语言来达成用户

协议，并授予用户“被遗忘的权力”，也就是说，用户可以删除或撤回其个人数

据。违反该法案的公司将面临严厉罚款。2017年实施的《中国网络安全法》

和《民法通则》要求互联网业务在与第三方做数据交易时禁止在手记个人信息

时进行泄露和篡改，并且他们需要确保提出的合同遵守法律数据保护业务。这

机器学习-联邦学习学习笔记综述--第2页

机器学习-联邦学习学习笔记综述--第3页

些法规的建立显然将有助于建立一个更加文明的社会，但也将给当今AI中普遍

使用的数据交易程序带来新的挑战。

更具体地，AI传统的数据处理模型通常参与简单的数据交易模型，一方参与

者收集和转移数据到另一方，其他参与者负责清洗和融合数据，最终一个第三

方机构将拿走整合的数据建立模型models给其他参与者使用。这些模型

models通常是最