联邦学习的概述和应用.pptxVIP

federatedlearning：background，algorithmandapplicaions

联邦学习的背景、算法与应用

CONTENT景人工智能的困境概念与分类一种加密的分布式机器学习技术架构与算法横向联邦学习与纵向联邦学习的架构应用与不足打破数据壁垒.

联邦学习的背景机器学习面临的困境/01

AI需要大数据，但大多数应用自身只有有限或质量较差的小数据例如医疗领域大数据的出现驱动人工智能快速发展；，需要非常多的由专业人士标注的数据，但这些数据的来源却远远不够，并且大量数据面临着标签缺失的问题。大数据的出现驱动人工智能快速发展，人们希望在各领域复制AlphaGo的成功；AlphaGo使用30万盘棋做训练数据但除了有限的几个领域，更多领域存在着数据有限且质量较差的问题，不足以支撑人工智能技术的实现；更多行业数据小或质量差

在大多数行业中和行业间，数据源之间存在着几乎难以打破的壁垒现实中，数据是以孤岛的形式存在的；例如在基于人工智能的产品推荐服务中，产品销售方拥有品的数据、用户购买商品的数据，但是没有用户购买能力和支付习惯的数据。由于行业竞争、隐私安全、行政手续复杂等问题，即使是在同一个公司的不同部门之间实现数据整合也面临着重重阻力；所以在大多数行业中和行业间，数据源之间存在着几乎难以打破的壁垒。

同时，各国对数据保护的法律监管日益收紧，加剧数据孤岛EUR：GDPR中国：中华人民共和国网络安全法forbidlaw欧盟和中国相继规定，对于用户数据的收集必须公开、透明，企业、机构之间在没有用户授权的情况下数据不能交换；对使用自动化模型决策全面禁止?指在没有人直接参与决策的情况下做出决定的模型?例如，在营销中，将用户分类为“潜在客户”或“40-50岁的男性”等?用户可以对模型决定提出质疑，还有权对自动决策做出解释?用户有权知道模型的使用目的?用户有权撤回数据这给人工智能带来的挑战是：如果机构之间的数据无法互通，一家企业一家机构数据量有限，或者是少数巨头公司垄断大量数据，而小公司很难获得数据，形成大大小小的“数据孤岛”。

解决数据孤岛............www.islide.ccFederatedLearning联邦学习应运而生，16年federatedlearning被两篇论文最早提出，用于分布式机器学习；17年谷歌应用横向联邦学习进行手机输入预测，利用多态加密进行隐私保护，以实现联邦系统通过加密机制下的参数交换方式，在不违反数据隐私保护法规的情况下，建立一个虚拟的共有模型；杨强教授对三种联邦学习分别做了详细介绍；在大规模的训练数据中，有作者希望利用一整个数据联邦内的数据资源，提高每个成员的模型的表现，通过联邦迁移学习框架，联邦内不同的成员之间可以在严守数据隐私的前提下共同挖掘数据的价。这样实现值更安全、更灵活的联邦迁移学习；当训练数据较小时，作者们提出了一种新的强化学习方案，希望在其它智能体的帮助下为有更高隐私要求的智能体构建新的Q网络。…………FEDERATEDLEARNINGFORMOBILEKEYBOARDPREDICTION

联邦学习的概念与分类一种加密的分布式机器学习技术/02

什么是联邦学习联邦学习是一种加密的分布式机器学习技术，

参与各方可以在不披露底层数据和底层数据的加密形态的前提下共建模型。它解决这样的问题：训练模型过程不交换用户数据,不侵犯和泄露隐私假设有两个不同的企业A和B，它们拥有不同的数据，比如企业A有用户特征数据，企业B有产品特征数据和标注数据。这两个企业按照GDPR准则是不能粗暴地把双方数据加以合并的，因为他们各自的用户并没有机会同意这样做。假设双方各自建立一个任务模型，每个任务可以是分类或预测，这些任务也已经在获得数据时取得了各自用户的认可。那么，现在的问题是如何在A和B各端建立高质量的模型。但是，又由于数据不完整（例如企业A缺少标签数据，企业B缺少特征数据），或者数据不充分（数据量不足以建立好的模型），各端有可能无法建立模型或效果不理想。如何在保护隐私下建立高质量模型

什么是联邦学习联邦学习是一种加密的分布式机器学习技术，

参与各方可以在不披露底层数据和底层数据的加密形态的前提下共建模型。建好的模型在各自的区域仅为本地的目标服务。在这样一个联邦机制下，各个参与者的身份和地位相同，但提供的数据多的机构会看到模型的效果也更好。它希望做到：各个企业自有数据不出本地，模型效果不变它希望做到各个企业的自有数据不出本地，联邦系统可以通过加密机制下的参数交换