本周为TechBeat人工智能社区第311期线上Talk。

北京时间6月3日(周四)晚8点，微软雷德蒙德研究院Principal Researcher——成宇博士的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “自然语言处理预训练模型的压缩和加速”，届时将介绍有关自然语言处理、预训练模型、模型压缩、训练加速的相关研究与近期的一些进展和思考。

Talk·信息

▼

主题：自然语言处理预训练模型的压缩和加速

嘉宾：微软雷德蒙德研究院Principle Researcher 成宇

时间：北京时间 6月3日 (周四) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

完整版怎么看？

扫描下方二维码，或复制链接 https://datayi.cn/w/xRxLx65R 至浏览器，一键完成预约！上线后会在第一时间收到通知哦~

Talk·提纲

▼

近年来，大规模训练模型例如BERT，GPT等在自然语言处理各种任务中被广泛使用。在实际应用中，由于计算资源和运行时间的限制，对这些模型进行压缩和提速变得非常关键。Talk将围绕我们相关的一些工作，如知识蒸馏，剪枝和训练加速等进行介绍，并提供一些研究方面的心得和前景展望。

本次分享的主要内容如下：

1. 问题背景和需求；

2.  模型的蒸馏和压缩；

3. 模型训练提速；

4.  相关讨论

Talk·参考资料

▼

这是本次分享中将会提及的资料，建议提前预习哦！

[1]. Patient Knowledge Distillation for BERT Model Compression. EMNLP 2019

https://arxiv.org/abs/1908.09355

[2]. Contrastive Distillation on Intermediate Representations for Language Model Compression. EMNLP 2020https://arxiv.org/pdf/2009.14167.pdf[3]. EarlyBERT: Efficient BERT Training via Early-bird Lottery Tickets. ACL 2021

https://openreview.net/forum?id=I-VfjSBzi36

Talk·提问交流

▼

通过以下两种方式提问都将获得微信现金红包奖励哦！

方式 ①

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

方式 ②

在本文留言区直接提出你的问题，或扫描下方二维码提问！

Talk·嘉宾介绍

▼

成宇博士，现任微软雷德蒙德研究院Principal Researcher，负责微软在深度学习，计算机视觉，自然语言处理方向研发。在加入微软之前从2015年到2018年，他担任IBM托马斯·J·沃森研究中心和麻省理工/IBM联合人工智能中心的研究员。

成宇博士于2010年在清华大学取得学士学位，并于2015年在美国Northwestern University取得博士学位。研究方向主要在模型压缩/加速和深度生成模型，以及其在计算机视觉和自然语言方面的应用。

他目前已在相关领域发表论文超过100篇并获得十余项专利授权。谷歌学术显示，他目前获得的总引用数为6938，h-index为44，i10-index为97。

关于TechBeat人工智能社区

▼TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ