【直播预告】SFFAI 123 机器翻译专题
神经机器翻译模型在进行领域自适应的过程中会发生灾难性遗忘现象，即模型会过拟合新数据的特征，而逐渐忘记在之前数据上学习得到的知识。尽管研究人员已经提出很多方法解决这个问题，但是我们对发生灾难性遗忘现象的原因还不是很清楚。本期我们邀请到来自中国科学院计算技术研究所的谷舒豪，分享他对于灾难性遗忘现象的分析与改进。
讲者介绍
谷舒豪，中科院计算技术研究所博士生，研究方向为自然语言处理及机器翻译，目前已在ACL、EMNLP、NAACL等自然语言处理会议上发表论文。
会议题目
关于神经机器翻译中灾难性遗忘现象的分析与改进
会议摘要
我们从模型的模块和参数两个角度去分析灾难性遗忘现象所发生的原因，我们发现模型中的一些模块和参数对于保留旧领域的知识更重要，而另一些则对学习新领域的知识更重要。结合我们的分析，我们提出根据模型参数的重要性将网络分为两部分，一部分用于保留旧的知识，另一部分则只用于学习新的知识。实验结果表明，我们的方法相比于对比方法在不同的翻译领域上都能带来持续的提升，尤其在领域差别较大的领域中效果更明显。
论文标题：Investigating Catastrophic Forgetting During Continual Training for Neural Machine Translation
Pruning-then-Expanding Model for Domain Adaptation of Neural Machine Translation
会议亮点
1、我们分别从参数和模块的角度研究了在神经机器翻译模型进行领域自适应的过程中发生灾难性遗忘的原因；
2、我们证明了对于旧领域不重要的模型参数可以拿来提升新领域的翻译质量；
3、我们提出了一种领域自适应的方法可以在不同的领域上带来提升，针对差异性较大的领域效果更为明显。
直播时间
2021年9月19日（周日）20:00—21:00 线上直播
关注微信公众号：人工智能前沿讲习，对话框回复“SFFAI123”，获取入群二维码
注：直播地址会分享在交流群内
现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。
SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest，通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献，欢迎大家关注SFFAI论坛：https://bbs.sffai.com。
