SFFAI 113 算法优化专题
近年兴起的深度学习方法存在泛化能力差的软肋，遇到与训练集不同的样本，缺乏真人那样举一反三和学以致用的能力。为了提升深度学习网络的泛化能力，正则化是一种常用的方式。正则化一般指通过对深度学习模型添加先验约束，提升模型的泛化能力，如常用的l2正则化。本期我们邀请到来自深圳大学的王振楠同学，分析他在新的正则化方法上的研究。
讲者介绍
王振楠，深圳大学博士生，聚焦于深度学习的基础性研究，如正则化、损失函数等，先后在ICCV和NeurIPS两个计算机领域顶级会议上发表论文。
会议题目
深度学习模型提升泛化性能的正则化新方法
会议摘要
不同于普通针对权重向量模长的正则化方式，本报告会介绍一种针对权重向量方向的正则化策略，使权重向量之间的相关性大幅减弱，降低网络的过拟合。此外，目前大多数正则化是在网络前向传播中添加的，本报告还会介绍一种在反向传播中隐性对梯度进行正则化的方法。作为对深度神经网络底层的改进，这些方法有可能与不同应用场景中的各类深度学习模型相结合。
在线阅读：https://bbs.sffai.com/d/256
会议亮点
1、本报告介绍了一种使权重向量去相关性的正则化策略；
2、本报告介绍了一种对梯度正则化的策略，同样有去相关性的作用；
3、本报告介绍的正则化策略具有普遍适用性，可与多种任何多种模型结合使用。
直播时间
2021年7月4日（周日）20:00—21:00 线上直播
关注微信公众号：人工智能前沿讲习，对话框回复“SFFAI113”，获取入群二维码
注：腾讯会议直播地址会分享在交流群内
现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。
SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest，通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献，欢迎大家关注SFFAI论坛：https://bbs.sffai.com。
