【会议通知】SFFAI 103 局部监督训练专题
一般而言，深度神经网络以端到端的形式训练。尽管端到端训练在大量任务中都稳定地表现出了良好的效果，但由于其极大的显存开销和难以并行化，执行的效率有待提升。为了解决或缓解上述两点低效的问题，一个可能的方案是使用局部监督学习，即将网络拆分为若干个局部模块（local module），并在每个模块的末端添加一个局部损失，利用这些局部损失产生监督信号分别训练各个局部模块。本期我们邀请到王语霖同学，分享他在局部监督训练方向的研究。
讲者介绍
王语霖，清华大学自动化系二年级直博生，导师为吴澄院士和黄高助理教授。此前于北京航空航天大学自动化学院获工学学士学位。研究兴趣为深度学习模型的高效训练和推理方法。在T-PAMI、NeurIPS、ICLR、CVPR等国际一流期刊、会议上发表学术论文8篇。
报告题目
局部监督训练：深度神经网络的“浅度”学习方法
报告摘要
这项工作研究了一种比目前广为使用的端到端训练模式显存开销更小、更容易并行化的深度神经网络训练方法：将网络拆分成若干段、使用局部监督信号进行训练。我们指出了这一范式的一大缺陷在于损失网络整体性能，并从信息的角度阐明了，其症结在于局部监督倾向于使网络在浅层损失对深层网络有很大价值的任务相关信息。为有效解决这一问题，我们提出了一种局部监督学习算法：InfoPro。在图像识别和语义分割任务上的实验结果表明，我们的算法可以在不显著增大训练时间的前提下，将显存开销降低1.7~2.5倍，并略微提升性能。
报告亮点
1、从效率（显存开销及并行化）的角度反思端到端训练范式；
2、指出了局部监督学习相较于端到端的缺陷在于损失网络性能，并从信息的角度分析了其原因；
3、在理论上初步提出了解决方案，并探讨了具体实现方法。
直播时间
2021年4月18日（周日）20:00—21:00 线上直播
关注本公众号，对话框回复“SFFAI103”，获取入群二维码
注：直播地址会分享在交流群内
现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。
SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest，通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献，欢迎大家关注SFFAI论坛：https://bbs.sffai.com。
