论文笔记 ASYNCHRONOUS FEDERATED OPTIMIZATION

论文笔记 ASYNCHRONOUS FEDERATED OPTIMIZATION 论文中提出了一种异步联邦优化算法。 联邦优化的同步特性是不可伸缩的、低效的和不灵活的。同时签入的设备过多会导致服务器端的网络拥塞。在每个全局epoch中,服务器仅限于从可用设备的子集中选择以触发训练任务。 经典的异步SGD在每次本地更新后直接向服务器发送梯度,这对于边缘设备来说是不可行的,因为它的通信不可靠且缓慢。 论文采用了异步的优化,并用加权平均来更新全局模型。 每个客户端设备都有一个worker可以出发本地训练,并将本地训练结果上传到服务器。服务器和worker异步执行更新,二者之间的通信是非阻塞的。