【直播预告】SFFAI 129 预训练模型专题
预训练语言模型在自然语言处理领域已经取得了非常瞩目的效果，但是由于其庞大的参数量，导致在实际应用的过程中无法高效的微调与应用。本期我们邀请到了来自中国人民大学的刘沛羽同学，他提出了一种新颖的预训练语言模型轻量化微调和压缩的方法，可以减少平均91%的待微调参数量。
讲者介绍
刘沛羽，中国人民大学博士生，导师为赵鑫教授，主要研究方向为自然语言处理，模型压缩，目前已经在ACL会议发表论文1篇。
会议题目
基于矩阵乘积算符的预训练语言模型压缩与轻量化微调
会议摘要
本文提出了一种新颖的预训练语言模型轻量化微调和压缩的方法。其中，矩阵乘积算符 (MPO) 表示可以将权重矩阵表示为中间张量（包含主要信息）和辅助张量（包含极少参数量）的乘积形式。基于此，我们借助矩阵的MPO表示形式，提出了一种新颖的微调策略，即只需要更新包含极少参数的辅助张量就能实现对整体权重矩阵的更新。同时，我们也设计了一种新的优化方法来训练MPO表式下的多层网络结构。除此之外，我们提出的方法具有通用性，不论是原始的模型还是已经压缩过的模型上，均可以极大程度地降低需要微调的参数量，最终可以减少平均91%的待微调参数量。在本文实验中也说明了该方法在模型压缩上的有效性。
论文标题：Enabling Lightweight Fine-tuning for Pre-trained Language Model Compression based on Matrix Product Operators
论文下载：关注微信公众号：人工智能前沿讲习，对话框回复“SFFAI129”，获取下载
会议亮点
1、本文提出了预训练语言模型的轻量化微调的方法，可降低平均91%的待微调参数量；
2、基于矩阵的MPO表示，本文将轻量化微调和总参数的压缩统一在一个框架下；
3、本文的方法适用于不同的模型结构，甚至包括已经压缩过的模型。
直播时间
2021年11月21日（周日）20:00—21:00 线上直播
关注微信公众号：人工智能前沿讲习，对话框回复“SFFAI129”，获取入群二维码
现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。
SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest，通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献，欢迎大家关注SFFAI论坛：https://bbs.sffai.com。
