SFFAI论坛已开放注册

详情点击查看：https://bbs.sffai.com/d/312

讲者介绍

王礼旭，美国西北大学博士二年级，研究兴趣为设计解决方案使得机器学习可以在不同数据限制情况下表现出更好的性能，现阶段研究主要集中在联邦学习、无监督学习、持续学习、机器学习安全等方向。目前已在CVPR/ICCV/ICLR/USENIX Security/AAAI 发表一作论文。

分享题目

Federated Class Incremental Learning, a case study of dynamic FL

分享摘要

联邦学习 (FL) 的训练是基于去中心化用户的隐私数据，近年来引起了越来越多的关注。实际情况中，联邦学习的训练和部署都处于动态变化的环境中，在这种动态变化的环境中，会有源源不断的新数据和新用户参与进联邦学习。然而，大多数现有方法假设整个联邦学习框架的数据类别随着时间的推移是固定不变的，尽管这些方法称对于每个用户而言，数据分布是可随时间缓慢变化的。但在绝大多数联邦学习的应用场景中，整个框架的数据有可能会在短时间内发生巨大变化，比如新冠疫情的爆发会使得联邦学习训练而来的传染病预测模型瞬间瘫痪，手机智能应用新功能的上线会使得联邦学习训练而来的推荐系统没法及时适应新功能的数据等等。所以在联邦学习未来研究中加入动态环境持续学习的考量是十分重要且有意义的，此次报告我们以持续学习中最经典的类别增量学习为例，希望能激发大家对于动态联邦学习研究的兴趣。

在联邦类别增量学习问题中，我们认为已经参与联邦学习的用户经常可能收集到新的类别，但考虑到每个用户自己设备的存储空间非常有限，很难对其收集到的所有类别都保存下足够数量的数据，这种情况下，现如今的联邦学习模型在旧类数据上的性能很可能出现严重的灾难性遗忘(catastrophic forgetting)现象。此外，联邦学习框架往往还会有持续不断的新用户的参与，这些新用户往往有着大量的新数据类别，这样会进一步加剧全局模型的灾难性遗忘。为了应对这些挑战，我们提出了一种全新的全局-局部遗忘补偿 (GLFC) 模型，即同时从global和local两个角度出发，尽可能地减弱灾难性遗忘，使得联邦学习最终可训练一个全局增量模型。具体来说，为了解决由于local client自身新旧类别的不平衡导致的local forgetting，我们设计了一个class-aware gradient compensation loss和一个class-semantic relation distillation loss来平衡旧类的遗忘并保证跨任务的类间关系一致性。为了解决各用户之间非独立同分布类别不平衡带来的global forgetting，我们提出了一个代理服务器，它会选择最好的旧全局模型来辅助各个用户的本地训练。为了保护代理服务器和用户间通信的隐私安全性，我们提出了一种基于梯度的prototype sample通信机制。我们的模型在多个数据集上的平均准确率SOTA方法高出4.4%∼15.1%不等。

分享亮点

1. 我们是第一个提出并定义联邦类别增量学习的工作，该问题的主要挑战是不损害联邦学习隐私保护功能的前提下，有效地缓解联邦学习在旧类别数据上的灾难性遗忘。尽管我们注意到同期有类似的工作，但他们均对隐私保护有着不同程度的削弱和破坏。

2. 针对联邦类别增量学习问题，我们提出了GLFC方法，从全局和局部两个角度同时减弱灾难性遗忘的影响，据我们所知，这也是第一个该问题的解决方案。

3. 为了保护隐私和进一步减轻用户的存储负担，我们设计了一个代理服务器来为用户的本地训练选择并存储最优的全局模型，我们还设计了一种基于梯度加密的通讯机制来保护该代理服务器与用户之间的通讯。

直播时间

2022年4月3日（周日）21:30—22:30 线上直播

关注微信公众号：人工智能前沿讲习，对话框回复“SFFAI142”，获取入群二维码

人工智能前沿学生论坛 SFFAI（Student Forums on Frontiers of Artificial Intelligence）每周日举行一期， 邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。SFFAI 目前主要关注计算机视觉、自然语言处理、数据挖掘、机器学习理论等各个人工智能垂直领域及交叉领域的前沿进展，进行学术传播，为初学者指明方向，也为讲者塑造个人影响力。

欢迎大家关注SFFAI论坛：https://bbs.sffai.com/