本周为TechBeat人工智能社区第300期线上Talk，也是ICLR 2021系列Talk第⑨期。北京时间4月29日(周四)晚8点，清华大学在读博士—王语霖的Talk将准时在TechBeat人工智能社区开播！他与大家分享的主题是: “局部监督学习：深度神经网络的'浅度'训练方法”，届时将介绍有关局部监督学习、计算机视觉、高效训练算法的相关研究与近期的一些进展和思考。

不知不觉，我们的线上Talk已经第300期啦🎊！为了感谢大家五年来的支持，我们准备了一些小礼物🎁，获取方式请见文末~

Talk·信息

▼

主题： 局部监督学习——

 深度神经网络的“浅度”训练方法

嘉宾：清华大学在读博士 王语霖

时间：北京时间 4月29日 (周四) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

完整版怎么看？

扫描下方二维码，或复制链接 https://datayi.cn/w/a9BDKzGP 至浏览器，一键完成预约！上线后会在第一时间收到通知哦~

Talk·提纲

▼

尽管端到端训练在大量任务中取得了稳定和良好的效果，但其效率至少在以下两方面仍有待提升。其一，在网络前传时，需要将每一层的输出进行存储，这造成了极大的显存开销。其二，对网络进行前传-->反传的范式是一个固有的线性过程，很难进行并行化以进一步的提升效率。

本次分享的主要内容如下：讲者将介绍一种比目前广为使用的端到端训练模式显存开销更小、更容易并行化的训练方法：局部监督学习，即将网络拆分成若干段、使用局部监督信号进行训练。

我们首先指出了这一范式的一大缺陷在于损失网络整体性能，进而从信息的角度阐明，其症结在于局部监督倾向于使网络在浅层损失对深层网络有很大价值的任务相关信息。最后，为有效解决这一问题，我们提出了一种局部监督学习算法：InfoPro。

在图像识别和语义分割任务上的实验结果表明，我们的算法可以在不显著增大训练时间的前提下，有效节省显存开销，并提升性能。

Talk·参考资料

▼

这是本次分享中将会提及的资料，建议提前预习哦！

论文解读：

ICLR 2021 | 显存不够？不妨抛弃端到端训练（点击阅读）

OpenReview文章：

https://openreview.net/forum?id=fAbkE6ant2

代码：

https://github.com/blackfeather-wang/InfoPro-Pytorch

Talk·提问交流

▼

通过以下两种方式提问都将获得微信现金红包奖励哦！

方式 ①

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

方式 ②

在本文留言区直接提出你的问题，或扫描下方二维码提问！

Talk·嘉宾介绍

▼

王语霖，清华大学自动化系二年级直博生，导师为吴澄院士和黄高助理教授。此前于北京航空航天大学自动化学院获工学学士学位。研究兴趣为深度学习模型的高效训练和推理方法。在T-PAMI、NeurIPS、ICLR、CVPR等国际一流期刊、会议上发表学术论文。

 互动福利！

在评论区留言【最喜欢】

或者【印象最深】的Talk及原因

点赞数最高的五位将每人分别获得

将门AI is the New Sexy帽衫1件与将门定制口罩5个

（互动时间截止至4月29日下午16:00）

只送不卖没地儿买

快来参与领福利啦~

ICLR 2021 系列Talk

▼

第①弹

第②弹

第③弹

第④弹

第⑥弹

第⑦弹

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)是一个荟聚全球华人AI精英的成长社区。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ