本期为TechBeat人工智能社区第358期线上Talk。

北京时间11月17日(周三)晚8点，南加州大学助理教授——马学喆的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “深度神经网络的优化算法”，届时将主要讨论Apollo在收敛速度和泛化性能对比其它随机优化方法的研究进展与挑战。

Talk·信息

主题：深度神经网络的优化算法

嘉宾：南加州大学助理教授 马学喆

时间：北京时间 11月17日 (周三) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

完整版怎么看？

扫描下方二维码，或复制链接https://datayi.cn/w/39lBbXgP至浏览器，一键完成预约！上线后会在第一时间收到通知哦~ 

Talk·提纲

本次报告主要讨论深度神经网络的优化算法。在上半部分，我们先简单介绍一下深度学习中优化问题的一些背景知识，以及一些主流的优化算法，包括SGD，Adam以及他们的一些变体。在报告的下半部分，我将介绍一下我们最近的一个优化工作，就是apollo优化器。它通过对角矩阵逼近 Hessian，动态地将损失函数的曲率应用到优化的过程中。重要的是，Apollo 对于 Hessian 的对角近似的时间和空间复杂度与自适应一阶优化方法一样。为了处理目标函数的非凸性，我们用 Hessian 的修正绝对值来代替原始的 Hessian，保证它是正定的。机器视觉和自然语言处理三项任务上的实验表明，Apollo 在收敛速度和泛化性能上对比其它随机优化方法（包括 SGD 和 ADAM 的变体）有了显著的改进。

1. 深度神经网络优化的背景内容

2. 主流的优化算法，包括SGD，Adam以及它们的变体

3. 基于拟牛顿法的Apollo优化算法

Talk·参考资料

这是本次分享中将会提及的资料，建议提前预习哦！

论文链接：

https://www.techbeat.net/article-info?id=2768

Talk·提问交流

通过以下两种方式提问都将获得微信现金红包奖励哦！

方式 ①

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

方式 ②

在本文留言区直接提出你的问题，或扫描下方二维码提问！

Talk·嘉宾介绍

马学喆博士现任南加州大学计算机学院研究助理教授。其研究方向为深度学习，表征学习与自然语言处理。他于2010年在上海交通大学ACM班获得本科学位。并在2020年于卡耐基梅隆大学语言技术研究所(CMU LTI)获得博士学位。他已在机器学习和自然语言处理顶级会议ICML, ICLR, NeurIPS， ACL，NAACL，EMNLP等发表三十余篇论文，并在这些会议中任领域主席。

个人主页：

https://xuezhemax.github.io/

关于TechBeat人工智能社区

TechBeat (www.techbeat.net) 是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ