Talk预告 | UIUC助理教授孙若愚: GAN的全局几何图景: Stackleberg均衡和模式坍塌

本期为TechBeat人工智能社区第350期线上Talk。
北京时间10月20日(周三)晚8点,伊利诺伊大学香槟分校助理教授—孙若愚的Talk将准时在TechBeat人工智能社区开播!
他与大家分享的主题是: “GAN的全局几何图景: Stackleberg均衡和模式坍塌”,届时将介绍其对GAN(生成对抗网络)的研究进展与挑战,其中将重点介绍他们在NeurIPS 2020的Oral工作。
Talk·信息
主题:GAN的全局几何图景:Stackleberg均衡和模式坍塌
嘉宾:伊利诺伊大学香槟分校 助理教授孙若愚
时间:北京时间 10月20日 (周三) 20:00
地点:TechBeat人工智能社区
http://www.techbeat.net/
完整版怎么看?
扫描下方二维码,或复制链接https://datayi.cn/w/Y9JxOb6P至浏览器,一键完成预约!上线后会在第一时间收到通知哦~

过去几年,GAN(生成对抗网络)的研究取得了很大的进展,基于GAN也出现了很多有趣的应用。但GAN的训练很困难,有训练不稳定、模式坍塌等挑战。我们认为,这是因为我们对GAN的基本性质缺乏理解;比如最简单的2-Gaussian实验,训练损失函数就有很多种不同的形状,目前理论无法解释这些形状。从计算角度(而不是统计角度)来说,最基本的问题之一,是GAN到底有没有局部最优、局部最优是什么。对这个问题的回答将极大的增强我们对GAN的理解,帮助设计更好的GAN。
本次分享主要为:
1) 监督学习中,宽神经网络和窄网络的landscape的主要区别在于前者没有bad basin。
2) 传统理论基于population loss分析GAN有什么缺点。解释empirical loss和population loss的区别。
3) 介绍两个定理:第一,传统的JS-GAN有指数多个bad basin,每一个都对应模式坍塌。第二,RpGAN没有bad-basin。
4) 实验结果。RpGAN仅需修改两行代码,可取得较大的效果提升。具体来说,一系列实验说明RpGAN在宽度、初始点选择、数据的均衡性等发生变化时,比传统GAN要好很多。
Talk·参考资料
这是本次分享中将会提及的资料,建议提前预习哦!
1. Towards a Better Global Loss Landscape of GANs (NeurIPS 2020 Oral)https://arxiv.org/abs/2011.049262. The Global Landscape of Neural Networks: An Overview, IEEE Signal Processing Magazine 2020https://arxiv.org/abs/2007.014293. Optimization for deep learning: theory and algorithms, JORSC 2020https://arxiv.org/abs/1912.08957v1
Talk·提问交流
通过以下两种方式提问都将获得微信现金红包奖励哦!
方式 ①
在Talk界面下的【交流区】参与互动!留下你的打call🤟和问题🙋,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!
方式 ②
在本文留言区直接提出你的问题,或扫描下方二维码提问!

Talk·嘉宾介绍

UIUC工业与系统工程系助理教授
孙若愚,伊利诺伊大学香槟分校(UIUC)工业与系统工程系助理教授,兼电子与计算机工程系助理教授。于2009年在北京大学数学科学学院数学系获得学士学位,2015年在明尼苏达大学电子工程系获得博士学位,2015-2016年在斯坦福大学任博士后研究员,2016年在Facebook AI Research任访问科学家,2017年加入UIUC。他的研究兴趣主要是数学优化和机器学习。他是最早研究机器学习的非凸优化全局最优性质的研究者之一,发表在FOCS的相关论文也获得了INFORMS优化协会学生论文竞争的Hononrable mention。另外,他对随机置换ADMM的研究获得了2015年INFORMS Nicholson学生论文奖的第二名。目前他的研究兴趣主要是神经网络相关的优化问题,包括全局最优性质、梯度方法的收敛性分析、生成对抗网络的算法、adaptive梯度算法等。
个人主页:
https://ruoyus.github.io/

关于TechBeat人工智能社区
TechBeat (www.techbeat.net) 是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!
更多详细介绍>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ