本周为TechBeat人工智能社区第291期线上Talk，这也是ICLR 2021 系列Talk第②弹。北京时间4月7日(周三)晚8点，微软亚洲研究院实习研究员、北京大学在读硕士—吴奇宇的Talk将准时在TechBeat人工智能社区开播！他与大家分享的主题是: “预训练语言模型中的训练数据和位置编码相关研究”，届时将基于ICLR 2021的两篇论文，分别从训练数据和位置编码两个方面介绍语言模型预训练加速上的最新进展。

Talk·信息

▼

主题：预训练语言模型中的

训练数据和位置编码相关研究

嘉宾：微软亚洲研究院实习研究员

北京大学在读硕士 吴奇宇

时间：北京时间 4月7日 (周三) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

完整版怎么看？

扫描下方二维码，或复制链接 https://datayi.cn/w/nP2vprLP 至浏览器，一键完成预约！上线后会在第一时间收到通知哦~

Talk·提纲

▼

BERT等预训练语言模型在自然语言处理领域发挥出巨大的作用，但训练语言模型的成本通常十分昂贵，因此加速语言预训练十分重要。本分享基于ICLR 2021的两篇论文，分别从训练数据和位置编码两个方面介绍我们在语言模型预训练加速上的最新进展。

本次分享的主要内容如下：

1. 语言模型预训练的计算瓶颈

2. 从训练数据角度优化预训练：

《Taking Notes on the Fly Helps Language Pre-Training》，ICLR 2021

3. 从位置编码角度优化预训练：

《Rethinking Positional Encoding in Language Pre-training》，ICLR 2021

Talk·参考资料

▼

这是本次分享中将会提及的资料，建议提前预习哦！

1.《Taking Notes on the Fly Helps Language Pre-Training》，ICLR 2021

https://openreview.net/pdf?id=lU5Rs_wCweN

2.《Rethinking Positional Encoding in Language Pre-training》，ICLR 2021https://openreview.net/forum?id=09-528y2Fgf

Talk·提问交流

▼

通过以下两种方式提问都将获得微信现金红包奖励哦！

方式 ①

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

方式 ②

在本文留言区直接提出你的问题，或扫描下方二维码提问！

Talk·嘉宾介绍

▼

吴奇宇，微软亚洲研究院实习研究员，北京大学在读硕士。研究方向为自然语言处理和文本数据挖掘。目前正在研究的课题是自然语言处理中的预训练。已在ICLR，AAAI等会议上发表论文。

ICLR系列Talk

▼

*点击标题跳转详情

第①弹

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)是一个荟聚全球华人AI精英的成长社区。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ