2.5　联邦学习与边缘计算和云计算

云计算是一种通过向用户提供网络访问来共享计算资源的成熟模型。在云计算模型中，用户与数据中心通信，获取硬件、软件等计算资源并存储数据。然而，近年来，客户端设备（如智能设备和监视器）的数量迅速增长。据物联网分析公司报告称，仅2018年联网设备的数量就已达170亿。这些客户端设备产生大量需要处理的数据。设备和数据中心之间的数据传输和数据加密的开销成为许多物联网场景的主要瓶颈，因此我们在吞吐量、延迟和安全保障方面面临严峻的挑战。边缘计算（Edge Computing）作为一种有前景的技术框架出现，以应对云计算的挑战。边缘计算框架在传统云计算框架的基础上增加了一个新的层，称为边缘节点。在边缘计算框架中，只有实时数据处理被转移到边缘节点，而其他复杂的数据处理仍然在云服务器上执行。边缘计算对原本完全由中心云节点处理的大型任务加以分解，切割成更小与更容易管理的部分，分散到边缘节点去处理。边缘节点更接近用户终端设备，可以加快资料数据的处理与发送速度，减少延迟。在这种架构下，资料的处理分析与知识的产生利用更接近数据资料的来源即客户端，因此更适合处理大数据。

图2-6显示了一个通用边缘计算框架，它包括三个层：云服务器、边缘节点和客户端设备。在边缘计算场景中，不同层上的数据分布和工作负载协作是性能、安全性和隐私问题的重要关注点。因此，对于基准测试、设计和实现边缘计算系统或应用程序，我们将采取端到端的方式，并考虑所有的层。在边缘计算场景中，人工智能技术被广泛应用于增强设备、边缘和云智能，它们在计算能力、数据存储和网络方面的要求最高。典型应用场景包括智慧城市、智能家居、自动驾驶汽车、监控摄像头、智能医疗、可穿戴设备等。由于不同类型的客户端设备、大量异构数据、隐私和安全问题，这些场景非常复杂，同时大多对延迟和网络带宽有较高的要求。因此，研究者们将联邦学习应用到边缘计算框架中，通过聚合和平均由物联网设备上传的本地计算更新，从而协作训练高质量的共享模型。该方法的主要优点是将模型训练与直接访问训练数据的需求分离开来，因此联邦学习可以从技术角度实现隐私保护的全局模型。

图2-6　通用的边缘计算框架

在物联网应用方面，联邦学习现在面临三大挑战：①设备异构，如不同的存储、计算和通信能力；②统计异构性，如来自不同设备的数据的非独立同分布性质；③模型异构，即不同设备想要自定义其模型，以适应自身应用环境。具体来说，资源受限的物联网设备将只允许在某些网络条件下训练轻量级模型，且可能进一步导致高通信成本、掉线和容错问题，而传统的联邦学习无法很好地处理这些问题。由于联邦学习的重点是通过提取所有参与设备的公共知识来实现高质量的全局模型，它无法捕获每个设备的个人信息，导致推理或分类的性能下降。

为了解决这些问题，中山大学的研究者们提出在设备、数据和模型级别实现个性化，以减轻异构性，并为每个设备获得高质量的个性化模型，用于基于物联网的个性化智能医疗、智能家居服务及应用、细粒度的位置感知推荐服务、现场智能视频分析等场景。他们提出了一个名为PerFit的协同云边缘框架，用于个性化联邦学习，以整体方式缓解物联网应用中的三大挑战。为了解决设备异构中的高通信和计算成本问题，每个物联网设备都可以选择将其计算密集型学习任务转移到边缘节点，以满足快速处理和低延迟的要求。此外，边缘计算通过将数据就近存储在本地边缘节点，无须将数据上传到远程云，从而解决了隐私问题。对于统计和模型异构性，该框架还允许终端设备和边缘服务器在云-边缘结构的中央云服务器协调下共同训练全局模型。在通过联邦学习训练全局模型之后，设备端可以采用个性化联合学习方法，根据其应用需求部署个性化模型。香港科技大学的研究者们同样提出了这种客户端-边缘-云模式的分层训练的联邦学习系统，该系统支持HierFAVG算法，该算法允许多个边缘服务器执行部分模型聚合。通过这种方式，他们可更快地训练模型，更好地实现通信计算。

自动驾驶汽车也是一个边缘计算的经典场景，其对有效性有着比较高的要求。也就是说，即使没有人类的干预，它也需要采取绝对正确的行动。该特性代表了一些边缘计算AI场景的需求。而一辆普通的车辆受制于驾驶的时间和空间的限制，通常获取到的传感器信息是有限的。我们可以通过引入横向联邦学习，融合不同车辆的摄像头、超声波传感器、雷达（如毫米波雷达、激光雷达）等传感器信息，更加快速地建立场景信息，同时提高模型的鲁棒性。其利用了不同车辆的数据，同时又保护了数据隐私，一些常规的智能功能的计算（比如避障）可以由多个车辆协同完成，减少了与云服务器通信的带宽，降低了操作的延迟，大大提升了智能系统的安全性。

特别地，由众多公司、机构联合发布的《联邦学习白皮书v2.0》对联邦学习技术在自动驾驶方面的应用进行了合理的展望。我们可以大胆想象，自动驾驶汽车不仅仅应该具有简单学习或者复制人类个人的驾驶能力，还应该与车联网、车路协同甚至于整个交通系统共同进行交互，从而创造更安全、更舒适的驾驶环境。车辆本身与所处环境交互学习，可以辅以城市的其他信息，比如城市安防摄像头、交通灯、各种交通标识、未来的智能道路等，通过利用融合不同来源的各种信息，可以充分提高自动驾驶未来的体验。

随着我国商业公司和政府在智慧城市、智慧医疗和智能家居等领域的不断部署发展，边缘计算和云计算势必与联邦学习技术结合成为一种全新的解决方案。