Talk预告 | CMU博士后沈志强: 标签平滑和知识蒸馏在自监督二值网络任务上的应用
本周为TechBeat人工智能社区第292期线上Talk,也是ICLR 2021系列Talk第③期。
北京时间4月8日(周四)晚8点,卡耐基梅隆大学博士后—沈志强的Talk将准时在TechBeat人工智能社区开播!
他与大家分享的主题是: “理解标签平滑和知识蒸馏以及在自监督二值网络任务上的应用”,届时将介绍有关知识蒸馏,标签平滑,自监督学习,二值网络的相关研究与近期的一些进展和思考。

Talk·信息
▼
主题:标签平滑和知识蒸馏
在自监督二值网络任务上的应用
嘉宾:卡耐基梅隆大学博士后 沈志强
时间:北京时间 4月8日 (周四) 20:00
地点:TechBeat人工智能社区
http://www.techbeat.net/
完整版怎么看?
扫描下方二维码,或复制链接 https://datayi.cn/w/j9yBj1BR 至浏览器,一键完成预约!上线后会在第一时间收到通知哦~

Talk·提纲
▼
知识蒸馏 (knowledge distillation) 和标签平滑 (label smoothing) 是两个常用的网络训练方法。之前Müller et al. , (NeurIPS 2019) 提出一个观点即两者没法兼容,在这个Talk中,我们深度分析了他们这个结论产生的原因以及不完善的地方。我们通过一些新的发现从原理上解释了两者是可兼容的。同时是我们发现两个场景标签平滑会真正失去作用。最后我们介绍了将知识蒸馏应用于自监督的二值网络上的一个工作,从而更好地来理解知识蒸馏的工作机理。
本次分享的主要内容如下:
1. 背景介绍:
Background -- knowledge distillation and label smoothing
2. 回顾之前一篇比较有代表性的工作:
Revisit: When Does Label Smoothing Help? (Rafael Müller et al., NeurIPS 2019)
3. 介绍我们ICLR 2021的一些新的发现和结论:
Our discoveries between label smoothing and knowledge distillation (ICLR 2021)
4. 介绍我们CVPR 2021知识蒸馏在自监督学习和二值化网络上面的一个应用:
Application: S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration (CVPR 2021)
Talk·参考资料
▼
这是本次分享中将会提及的资料,建议提前预习哦![1] Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study Zhiqiang Shen, Zechun Liu, Dejia Xu, Zitian Chen, Kwang-Ting Cheng, Marios Savvides. In ICLR 2021.
https://openreview.net/pdf/b1558945f4be425b134dc0840211f29e9979aefe.pdf
[2] S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration. Zhiqiang Shen, Zechun Liu, Jie Qin, Lei Huang, Kwang-Ting Cheng, Marios Savvides. In CVPR 2021.
https://arxiv.org/pdf/2102.08946.pdf
[3] MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks. Zhiqiang Shen and M. Savvides. ArXiv abs/2009.08453 (2020).
https://arxiv.org/pdf/2009.08453.pdf.
Talk·提问交流
▼
通过以下两种方式提问都将获得微信现金红包奖励哦!
方式 ①
在Talk界面下的【交流区】参与互动!留下你的打call🤟和问题🙋,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!
方式 ②
在本文留言区直接提出你的问题,或扫描下方二维码提问!

Talk·嘉宾介绍
▼

沈志强,CMU的博士后,在Marios Savvides教授的实验室从事计算机视觉、机器学习等研究工作(最近将加入Eric Xing教授的实验室)。他早期的研究工作主要聚焦于传统的计算机视觉任务,比如目标检测,细粒度分类,视频描述,包括最早提出和研究learning object detection from scratch (DSOD)这个问题。最近他还关注于小样本、自监督学习等,同时也关注如何为这些视觉任务通过机器学习算法进行加速和优化,因此最近一些工作更多的是研究二值化网络,知识蒸馏,网络压缩等工作机制,同时和相关视觉任务的结合。
他希望自己的研究能够使视觉应用在现实场景中更加高效的部署和运行,使用更少的数据(few-shot)和更少的标注(self-supervision),同时保证模型精度。他的一作工作发表于TPAMI、IJCV、ICLR、CVPR、ICCV、AAAI等机器学习和计算机视觉领域顶级期刊和会议,他同时也是这些期刊和会议的审稿人。
ICLR系列Talk
▼
*点击标题跳转详情
第①弹

第②弹

关于TechBeat人工智能社区
▼
TechBeat(www.techbeat.net)是一个荟聚全球华人AI精英的成长社区。我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!
更多详细介绍>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ