联邦学习相关资料

1. 联邦学习的资料有哪些？
   在https://github.com/FederatedAI/FATE/tree/master/doc 下可以找到相关资料，另外FATE官网https://www.fedai.org/ 也有相关介绍

2. 联邦学习和分布式机器学习的本质区别是什么，有什么技术上的难点？
   联邦学习更侧重各方本地计算，数据的隐私保护。技术难点上，计算和通信代价，如何保护隐私都有很多挑战。

3. 联邦学习与边缘计算都关注在不同节点上学习，它们的侧重点有什么不同？
   联邦学习更侧重于数据隐私保护，边缘计算更侧重于将计算机工作负载移近边缘端可以减少集中式数据中心的延迟，带宽和开销

4. 联邦学习是怎么解决节点间通信问题的？
   联邦学习跨站点通信，不同框架可能都采取的是不同方案，目前FATE开源系统通信这块是基于grpc协议。

5. 差分隐私技术在联邦学习中应用的局限性和挑战是什么？
   差分隐私优点在于保证数据信息安全，通过在参与方各自的原始数据上不断加噪音来减弱任意一方数据对于整体数据的影响，缺点在于牺牲训练效果，过多的噪音会降低模型训练的效果，因此参与方们使用差分隐私时需要在数据安全和准确度上做取舍。研究表明，在联邦学习中，如果参与方数量较少，用差分隐私来进行数据的隐私保护，模型的准确率会较低

6. 联邦学习与 Reza Shokri 发表于CCS’15《Privacy-Preserving Deep Learning》一文相比，主要区别和优势在哪里？
   Reza Shokri 发表于CCS’15《Privacy-Preserving Deep Learning》比较偏向横向联邦场景，而联邦学习定义比较广，包括横向联邦，纵向联邦，联邦迁移学习，并且不局限于具体一个算法，包括传统机器学习，也包括深度学习，迁移学习等。

7. 联邦学习学术界情况
   近一两年来，关于联邦学习的研究与应用发展迅速。联邦学习与隐私和安全协议的结合。比如联邦学习与差分隐私，同态加密，和多方安全计算以对用户数据隐私和模型安全进行保护。其中联邦学习与差分隐私的结合较多。 联邦学习和模型压缩，传输效率等的结合，以解决（在加密条件下）联邦学习训练效率低的问题。 联邦学习的算法方向：除了经典的算法，比如逻辑回归，决策树等机器学习算法在联邦学习中的应用，深度神经网络也大量应用于联邦学习中。Google 还提出了split learning 对基于深度神经网络的联邦学习的拓展。 能够对抗恶意攻击的联邦学习算法也是一个比较热的联邦学习研究领域。 联邦学习在工业界中的应用：联邦学习在安防，金融，零售中已有应用落地。联邦学习在医疗领域的应用是一个比较热的研究领域。联邦学习在其他更多领域也在拓展中。

8. 联邦学习发展趋势

   • 现在联邦学习大部分是集中在横向联邦学习场景（这是google最先提出应用于手机端的toC模式）。联邦学习将向纵向联邦学习（和更实际的）场景中拓展（这是有WeBank提出和引领的，主要是toB模式）。
   • 联邦学习与移动互联网，物联网（包括车联网）和5G将有深度的结合以拓展联邦学习的应用场景和学习效率。
   • 联邦学习将和迁移学习，半监督，非监督等学习算法结合以解决在弱监督，小数据的应用场景。者是实现普惠AI的必经之路。
   • 更多更广的隐私安全协议和算法将与联邦学习结合以更好地解决用户隐私保护和模型安全保护问题。将有更多的，更成熟的联邦学习框架问世。现在已经有FATE (WeBank), tensorflow-Federated (google), PySyft (OpenMind)等开源联邦学习框架。
   • 联邦学习涉及多个相互独立的参与方，如何公平地分配利益和有效地吸引更多参与者，需要建立一个联邦学习生态。微众银行正在引领这个方向。

9. 联邦学习不足之处

   • 在保护用户隐私和安全的条件下，联邦学习的训练效率是联邦学习应用落地的一个瓶颈。更高效、更坚固的基于用户隐私和安全的联邦学习方法需要被提出。
   • 目前市面上成熟的企业级联邦学习框架可以说还是空白。微众银行的FATE框架正在向这个方向努力发展。除了微众银行之外，现在学术界和工业界主要是以Google提出的横向联邦学习为基础进行研究和应用。但横向联邦学习有其局限性，其并不能完全适用于在不同领域企业之间的业务合作上。 因此需要对纵向联邦学习和联邦迁移学习的场景进行更深入的研究。
   • 联邦学习虽然有天然保护用户隐私的功能（e.g., 通过secure aggregation），但仍然有泄露用户数据隐私的风险，特别在联邦学习参与者的恶意攻击下。因此需要能对抗恶意攻击的更坚固的联邦学习算法。
   • 联邦学习（包括整个AI领域），现在还不存在一个像软件工程领域的系统且成熟的工程开发方法论。因此在联邦学习的应用落地上没有很多经验可以借鉴。这是一个联邦学习应用落地风险点。