线上活动报名 | ICLR 2021云际会·北京大学ZERO Lab专场, 5月9日等你交流！

2021-04-30 10:14 作者:TechBeat人工智能社区 0人读过 | 我要投稿

“深度学习领域顶级会议”——国际学习表征会议ICLR 2021将在五一劳动节期间线上举行。为了感谢劳动人民的辛勤工作，我们在假期归来的第一个周日，特别邀请到了北京大学 ZERO Lab来组团分享他们在ICLR 2021上的工作。

“零”Lab？

ZERO refers to——Zeal, Excellence, Reliability and Openness

ZERO Lab

▼

ZERO Lab隶属于北京大学智能科学系，主要关注机器学习理论和算法方面的研究，目前由林宙辰教授、王奕森助理教授、多名博士后、博士生、硕士生和本科生组成。实验室主页：https://zero-lab-pku.github.io/

ZERO Lab常年招收机器学习方向博雅博士后，同样常年招收博士生和本科实习生，欢迎对机器学习理论和算法感兴趣的同学加入我们，一起探索未知的世界！

一图Get活动信息

▼

长按下图二维码即可报名

他们都会讲些啥？

①

可以保护个人隐私的不可学习样本（Spotlight）

深度学习的成果离不开大量切开源的互联网数据，但这引起了人们关于数据隐私的关注。有研究表明这些私人数据被用来训练模型作为商业用途。所以我们需要一种可以阻止这些数据被滥用的方法。

在这篇文章中，我们提出了一个问题：这些数据样本可以变成不可学习的吗？我们使用一种可以减少模型犯错的噪声确实可以生成不可学习的样本。这些噪声故意使得模型在训练样本上的错误为0，这样就可以骗过深度学习模型，使他们相信不需要再学习这些样本。这种噪声是人类不可分辨的，所以不可学习的样本和原数据看起来是一模一样的。我们在实验中测试了sample-wise和class-wise 两种形式，可以灵活的运用在广泛的场景中，并且我们展示了在人脸识别中的应用场景。我们的工作是对保护个人数据不被深度学习滥用的第一步。

论文链接：
https://openreview.net/pdf?id=iAmZUo0DxC0
代码：
https://github.com/HanxunH/Unlearnable-Examples

②

基于通道抑制的提升模型鲁棒性能的训练策略（Spotlight）

研究背景主要基于对抗攻击下对于模型鲁棒性的理解。通过研究发现，对于对抗样本和正常样本，非鲁棒模型在激活层上表现出更加大幅度的激活数值差异，鲁棒模型缓解了这种数值上的差异，但在通道的激活频率上，对抗样本仍然表现出较强的普遍激活现象，意味着有可能激活了非本类别相关的特征。基于以上现象，我们提出了抑制激活通道的训练策略，能够更为普适地提高现有方法的防御能力。

论文链接：
https://arxiv.org/abs/2103.08307
代码：
https://github.com/bymavis/CAS_ICLR2021

③

憨憨模型的视角：注意力比矩阵分解好吗？

在深度学习中高效建模全局信息被认为是注意力机制成功的关键。本文对“全局信息”提供一种数学刻画，将建模全局信息抽象为矩阵的低秩恢复问题，并基于矩阵分解及其优化算法设计了一类半隐式模型，即憨憨模型（Hamburger）。同时，基于憨憨，我们发现制约隐式和半隐式模型的主要因素是病态的梯度。

因此本文设计了一种通用的one-step gradient用于相关模型的优化，从而使得憨憨模型足以在语义分割和图像生成中与媲美注意力机制。

论文链接：https://openreview.net/forum?id=1FvkSpWosOl代码：https://github.com/Gsunshine/Enjoy-Hamburger

④

基于AdaBoost的深度图卷积神经网络

深度图神经网络的设计仍然是一个开放的问题，我们认为核心的难点是如何对不同阶邻居节点信息进行探索和利用。我们在这篇论文中通过将AdaBoost整合到图卷积神经网络的计算中，从而设计出了一种类似于循环神经网络的深层图卷积神经网络结构，并且给出了和已有图神经网络的联系和区别，最后我们在标准数据集上验证了我们算法的最优结果以及计算的有效性。

论文链接：
https://openreview.net/forum?id=QkRbdiiEjM

超强团队组合都有谁？

▼

主要研究方向：可信机器学习、图神经网络、自监督学习

王奕森，北京大学智能科学系助理教授，博士生导师。主要研究方向为机器学习理论和算法，包括对抗学习、图学习、自监督学习等。

目前已发表人工智能领域顶级学术论文30余篇，包括CML、NeurIPS、ICLR、CVPR、ICCV、ECCV、AAAI、IJCAI等，多次被选为Oral或Spotlight。担任机器学习顶级会议NeurIPS 2021领域主席（Area Chair），曾获得百度奖学金（2017）和ACM中国优秀博士论文提名奖（2019）。个人主页：

https://yisenwang.github.io/

主要研究方向：对抗攻击防御、后门攻击防御

白杨，清华大学TBSI在读博士生，本科毕业于清华大学电子系。研究方向为对抗攻击和防御，深度伪造图片检测，后门攻击防御等AI安全课题。她曾以第一作者的身份在ICLR、ICCV、ECCV上发表论文，曾获得谷歌女性学者奖学金。个人主页：https://scholar.google.com/citations?user=wBH_Q1gAAAAJ&hl=zh-CN

主要研究方向：可微编程、表示学习

耿正阳，北京大学ZERO Lab研究助理。研究兴趣包括可微编程与表示学习，致力于研究建立可微模型的一般方法及训练模式，包括从数值方法角度设计的可微计算范式。

个人主页：

https://zero-lab-pku.github.io/personwise/gengzhengyang/

主要研究方向：深度学习鲁棒性、强化学习、图神经网络

孙科，加拿大阿尔伯塔大学统计机器学习方向在读博士生，硕士毕业于北京大学ZERO Lab。研究方向为深度学习鲁棒性、强化学习、图神经网络，他曾以第一作者的身份在AAAI, ICLR上发表论文。

个人主页：

https://sites.google.com/view/kesun

报名通道

▼

活动时间：北京时间5月9日(周日) 10:00-12:00
活动地点：腾讯会议、B站，报名通过审核后通过微信/邮件告知活动地址
活动议程：

团队leader介绍整体工作
团队成员分别讲解ICLR工作
Free Q&A（想问的问题一定要在报名时写清楚哦~）

活动费用：一如既往不要钱！
报名方式：长按下方二维码，填写报名表单即可报名

报名注意事项

▼

1. 请保证所填信息的真实性和准确性，方便主办方进行审核；

2. 报名通过审核后将收到主办方的微信/邮件/通知，请保持手机和邮箱畅通；

3. 由于报名人数较多，主办方审核需要一定时间，请耐心等待~

关于TechBeat社区

▼

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。
我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。
期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ