Talk预告 | 字节AI Lab算法工程师宋宇轩: 通过概率密度比估计来提高文本生成模型的训

2021-01-05 09:25 作者:TechBeat人工智能社区 0人读过 | 我要投稿

本周为将门-TechBeat技术社区第271期线上Talk，也是字节跳动人工智能实验室系列Talk第⑥弹！

北京时间1月6日(周三)晚8点，字节跳动算法工程师—宋宇轩的Talk将准时在将门TechBeat技术社区开播！

他与大家分享的主题是: “通过概率密度比估计来提高文本生成模型的训练与采样”。届时将会分享他和团队从概率密度比估计出发提出的一种新的文本生成训练及采样方法：利用概率密度比来构建更好的训练及采样目标，实现稳定的训练和更有效的采样。

Talk·信息

▼

主题：通过概率密度比估计

来提高文本生成模型的训练与采样

嘉宾：字节跳动算法工程师宋宇轩

时间：北京时间 1月6日 (周三) 20:00

地点：将门TechBeat技术社区

http://www.techbeat.net/

长按识别二维码，一键完成预约！

Talk·提纲

▼

人们希望用更先进的生成模型或训练方法来提高改进文本生成的训练，以改进自回归生成模型的潜在缺欠（如模式覆盖, 暴露偏差等）。因此，基于对抗训练等文本生成模型会遇到的严重模式塌陷以及训练不稳定等问题，字节跳动AI Lab算法工程师宋宇轩及其团队从概率密度比估计出发，提出了一种新的文本生成训练及采样方法，利用概率密度比来构建更好的训练及采样目标，实现稳定的训练和更有效的采样。

本次分享的主要内容如下：

1. 背景介绍：深度生成模型及其在文本生成的挑战

2. 基于概率密度比估计提高文本生成的训练

3. 基于密度裁剪和蒙特卡洛方法提高大规模预训练语言模型的生成

4. 总结

Talk·参考资料

▼

这是本次分享中将会提及的资料，建议提前预习哦！

1. Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation

http://proceedings.mlr.press/v108/song20a.html

2. Do You Have the Right Scissors? Tailoring Pre-trained Language Models via Monte-Carlo Methods

https://www.aclweb.org/anthology/2020.acl-main.314.pdf

Talk·提问交流

▼

方式 ①

在本文留言区直接提出你的问题，或扫描下方二维码提问！问题被选中的小伙伴们将获得一个红包奖励！

方式 ②

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，说不定就被讲者直接翻牌解答了呢！

你的每一次贡献，我们都会给予你相应的i豆积分，近期还会有惊喜奖励哦！

嘉宾介绍

▼

宋宇轩，毕业于上海交通大学APEX数据与知识管理实验室，主要研究方向为深度生成模型以及其在文本生成中的应用，曾在AISTATS、ICML、ICLR等会议上发表论文。