欢迎光临散文网 会员登陆 & 注册

Talk预告 | UIUC助理教授孙若愚: GAN的全局几何图景: Stackleberg均衡和模式坍塌

2021-10-19 11:30 作者:TechBeat人工智能社区  | 我要投稿


本期为TechBeat人工智能社区350线上Talk。

北京时间10月20(周三)晚8点伊利诺伊大学香槟分校助理教授—孙若愚的Talk将准时在TechBeat人工智能社区开播!

他与大家分享的主题是: “GAN的全局几何图景: Stackleberg均衡和模式坍塌”,届时将介绍其对GAN(生成对抗网络)的研究进展与挑战,其中将重点介绍他们在NeurIPS 2020的Oral工作。

Talk·信息

主题:GAN的全局几何图景:Stackleberg均衡和模式坍塌

嘉宾:伊利诺伊大学香槟分校 助理教授孙若愚

时间:北京时间 10月20日 (周三) 20:00

地点:TechBeat人工智能社区

http://www.techbeat.net/


完整版怎么看?

扫描下方二维码,或复制链接https://datayi.cn/w/Y9JxOb6P至浏览器,一键完成预约!上线后会在第一时间收到通知哦~


过去几年,GAN(生成对抗网络)的研究取得了很大的进展,基于GAN也出现了很多有趣的应用。但GAN的训练很困难,有训练不稳定、模式坍塌等挑战。我们认为,这是因为我们对GAN的基本性质缺乏理解;比如最简单的2-Gaussian实验,训练损失函数就有很多种不同的形状,目前理论无法解释这些形状。从计算角度(而不是统计角度)来说,最基本的问题之一,是GAN到底有没有局部最优、局部最优是什么。对这个问题的回答将极大的增强我们对GAN的理解,帮助设计更好的GAN。

本次分享主要为:

1) 监督学习中,宽神经网络和窄网络的landscape的主要区别在于前者没有bad basin。

2) 传统理论基于population loss分析GAN有什么缺点。解释empirical loss和population loss的区别。

3) 介绍两个定理:第一,传统的JS-GAN有指数多个bad basin,每一个都对应模式坍塌。第二,RpGAN没有bad-basin。

4) 实验结果。RpGAN仅需修改两行代码,可取得较大的效果提升。具体来说,一系列实验说明RpGAN在宽度、初始点选择、数据的均衡性等发生变化时,比传统GAN要好很多。


Talk·参考资料

这是本次分享中将会提及的资料,建议提前预习哦!

1. Towards a Better Global Loss Landscape of GANs (NeurIPS 2020 Oral)https://arxiv.org/abs/2011.049262. The Global Landscape of Neural Networks: An Overview, IEEE Signal Processing Magazine 2020https://arxiv.org/abs/2007.014293. Optimization for deep learning: theory and algorithms, JORSC 2020https://arxiv.org/abs/1912.08957v1


Talk·提问交流

通过以下两种方式提问都将获得微信现金红包奖励哦!

方式 ①

在Talk界面下的【交流区】参与互动!留下你的打call🤟和问题🙋,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!


方式 ②

在本文留言区直接提出你的问题,或扫描下方二维码提问!

扫码来提问!


Talk·嘉宾介绍

孙若愚
UIUC工业与系统工程系助理教授

孙若愚,伊利诺伊大学香槟分校(UIUC)工业与系统工程系助理教授,兼电子与计算机工程系助理教授。于2009年在北京大学数学科学学院数学系获得学士学位,2015年在明尼苏达大学电子工程系获得博士学位,2015-2016年在斯坦福大学任博士后研究员,2016年在Facebook AI Research任访问科学家,2017年加入UIUC。他的研究兴趣主要是数学优化和机器学习。他是最早研究机器学习的非凸优化全局最优性质的研究者之一,发表在FOCS的相关论文也获得了INFORMS优化协会学生论文竞争的Hononrable mention。另外,他对随机置换ADMM的研究获得了2015年INFORMS Nicholson学生论文奖的第二名。目前他的研究兴趣主要是神经网络相关的优化问题,包括全局最优性质、梯度方法的收敛性分析、生成对抗网络的算法、adaptive梯度算法等。

个人主页:

https://ruoyus.github.io/

关于TechBeat人工智能社区

TechBeat (www.techbeat.net) 是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ 

Talk预告 | UIUC助理教授孙若愚: GAN的全局几何图景: Stackleberg均衡和模式坍塌的评论 (共 条)

分享到微博请遵守国家法律