【直播预告】SFFAI 121 文本表示专题

语言和知识的表示学习在其各自领域一直以来都是非常重要且基础的研究方向，因为语言和知识任务存在的相似性和互补性，两者的方法经常互相借鉴、交互发展。在非上下文表示的时代（如语言表示学习的word2vec、知识表示学习的TransE），就有工作联合学习语言和知识的表示以增强在模型在两类任务上的性能。近年来随着ELMo、BERT等预训练语言模型的发展，上下文表示开始在语言和知识的表示学习中占据主导地位。因此，如何联合两者的上下文表示学习方法来缓解语言模型的知识匮乏问题同时增强知识模型的语言理解能力成为一个重要的研究问题。本期论坛我们邀请到来自复旦大学的孙天祥同学，分享他提出的统一语言和知识联合表示的学习模型CoLAKE。

讲者介绍

孙天祥，复旦大学博士生，师从邱锡鹏教授和黄萱菁教授，主要关注自然语言处理中的多任务学习、知识融入、高效推理等方向，研究成果发表于AAAI, COLING, ACL, NAACL等会议。

会议题目

CoLAKE：一种语言和知识联合表示学习模型

会议摘要

我们提出CoLAKE将语言和知识的数据组织成一种统一的图结构，在这种新型的图数据上进行MLM预训练，在学习语言表示的同时也得到了超过三百万个实体和若干关系的表示。实验表明CoLAKE在关系抽取、实体分类、知识探测等任务上都取得了显著提升。

论文标题：CoLAKE: Contextualized Language and Knowledge Embedding

会议亮点

1、使用图结构统一了语言和知识的数据结构，通过应用在图上的MLM目标同时学习了语言和知识的上下文表示；

2、将Transformer编码器进行适当修改使其应用于图结构数据的预训练，针对语言-知识图数据提出一种行之有效的预训练手段；

3、使用CPU-GPU混合训练方式同时学习大规模语言模型和上百万个实体表示。

直播时间

2021年9月5日（周日）20:00—21:00 线上直播

关注微信公众号：人工智能前沿讲习，对话框回复“SFFAI121”，获取入群二维码

注：直播地址会分享在交流群内