本期为TechBeat人工智能社区第395期线上Talk。北京时间4月7日(周四)20:00，复旦大学统计学在读硕士生——卢嘉晨的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “面向更高效的Transformer”，届时将分享如何让transformer不依赖softmax操作，并设计全新的高性能且高效的线性化Transformer。

Talk·信息

主题：面向更高效的Transformer

嘉宾： 复旦大学统计学在读硕士生卢嘉晨

时间：北京时间 4月7日 (周四) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

完整版怎么看？

扫描下方二维码，或复制链接https://datayi.cn/w/1R31NA0o至浏览器，一键完成预约！上线后会在第一时间收到通知哦

Talk·提纲

近两年，随着视觉Transformer在各项视觉任务中的领先，Transformer的自注意力模块的平方复杂度问题带来的运算资源消耗受到了越来越多的关注。然而，过去的Transformer线性化的尝试局限于保留Transformer的Softmax和点积，导致这些方案或是性能不佳或是有理论缺陷。使用Transformer的Softmax和点积这种非核函数方法极大地阻碍了线性化的研究，因此，在本次Talk中，讲者将分享如何让transformer不依赖softmax操作，并设计全新的高性能且高效的线性化Transformer。

具体分享提纲如下：

1. Transformer在视觉任务中的应用以及瓶颈

2. Softmax-free Transformer的具体实现和理论论证

3. Softmax-free Transformer在各项深度学习任务中的表现

4. 总结和未来展望

Talk·预习资料

1. Paper:https://proceedings.neurips.cc/paper/2021/file/b1d10e7bafa4421218a51b1e1f1b0ba2-Paper.pdf

2. Code:

https://github.com/fudan-zvg/SOFT

Talk·提问交流

通过以下两种方式提问都将获得微信现金红包奖励哦！

方式 ①

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！
方式 ②

在本文留言区直接提出你的问题，或扫描下方二维码提问！

Talk·嘉宾介绍

复旦大学统计学一年级在读硕士生，复旦大学大数据学院张力教授团队成员，并在华为诺亚方舟计算机视觉研究部门实习。研究方向主要包括深度学习，transformer理论与应用，计算机视觉2D、3D感知等。

在CVPR2021发表了Rethinking semantic segmentation from a sequence-to-sequenceperspective with transformers，首次将Vision Transformer运用在语义分割任务中，并在当时的多个语义分割数据集上取得了最佳的成绩。

在NeurIPS2021发表了Soft:Softmax-free transformer with linear complexity，并获得了spotlight演讲的机会。文章首次提出了不依赖softmax的一种高效线性复杂度Transformer方法，在ImageNet分类任务中展现出最佳的复杂度和性能的平衡。

个人主页：

www.linkedin.com/in/jiachenlu-2454a7224

关于TechBeat人工智能社区

TechBeat (www.techbeat.net) 是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ