Talk预告 | 华盛顿大学助理教授杜少雷: 超宽神经网络与神经切向核

2021-01-06 09:34 作者:TechBeat人工智能社区 0人读过 | 我要投稿

本周为将门-TechBeat技术社区第271期线上Talk。

北京时间1月7日(周四)晚8点，华盛顿大学计算机科学与工程学院助理教授—杜少雷博士的Talk将准时在将门TechBeat技术社区开播！

他与大家分享的主题是: “超宽神经网络与神经切向核”。届时将主要讨论超参数化神经网络和神经切向核的等价性，并展示全连接神经切向核、卷积神经切向核以及图神经切向核在实际数据中的表现。

Talk·信息

▼

主题：超宽神经网络与神经切向核

嘉宾：华盛顿大学计算机科学与工程学院

助理教授杜少雷

时间：北京时间 1月7日 (周四) 20:00

地点：将门TechBeat技术社区

http://www.techbeat.net/

长按识别二维码，一键完成预约！

Talk·提纲

▼

本次分享主要讨论超参数化神经网络（Over-parameterized Neural Network）和一种新的核函数——神经切向核（Neural Tangent Kernel）的等价性。

这种理论可以解释两个关于神经网络的神奇现象：第一，即使神经网络的优化目标函数是高度非凸的，简单的梯度下降算法可以找到全局最优解；第二，即使神经网络的参数比数据量还要大，神经网络依然享有极优的泛化性能。

本次分享的第二部分，将展示全连接神经切向核、卷积神经切向核，以及图神经切向核在实际数据中的表现。

本次分享的主要内容如下：

1. 超参数化神经网络和切向神经核的等价性，及其对神经网络优化和泛化现象的解释

2. 神经切向核在实际数据中的表现

Talk·参考资料

▼

这是本次分享中将会提及的资料，建议提前预习哦！论文链接：http://www.offconvex.org/2019/10/03/NTK/

Talk·提问交流

▼

方式 ①

在本文留言区直接提出你的问题，或扫描下方二维码提问！问题被选中的小伙伴们将获得一个红包奖励！

方式 ②

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，说不定就被讲者直接翻牌解答了呢！

你的每一次贡献，我们都会给予你相应的i豆积分，近期还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

杜少雷博士，现任华盛顿大学计算机科学与工程学院助理教授。其研究方向为深度学习、强化学习和表示学习的基础理论。他于2015年在加州大学伯克利分校获得本科学位，2019年在卡耐基梅隆大学机器学习系获得博士学位，并于2019年至2020年在普林斯顿高等研究院数学学院任博士后。他的博士论文获得ACM最佳博士论文奖提名以及AAAI SIGAI博士论文奖提名。他已在机器学习顶级会议COLT、ICML、ICLR、NeurIPS等发表三十余篇论文，并在这些会议中任领域主席。

更多信息请前往个人主页：http://simonshaoleidu.com/