【花师小哲】当代炼金术（神经网络）前沿（0）——补档

因为动态发学术经常卡审核，于是就写写专栏，而且专栏查找起来更加方便。

这个系列主要是介绍一些当代人工智能（主要是神经网络）的一些好玩的前沿研究，不定期更新，反正我看到好玩的（来源可能是自己找的、师兄推荐的、公众号给推的）就发一发。

希望能帮助大家了解下现在的人工智能研究到底在干什么，人工智能究竟发展到什么程度了。

这期是补档，就是把我之前动态里发过的整合一下（所以就不搞什么highlight了，就把原内容粘过来，之后会考虑做的更好看一些）~

1.CNN可视化研究（2022-10-22补档）

一般来说我们认为神经网络是黑盒 但是关于神经网络可解释性的研究也一直在进行 一般浅层网络学习到的东西还好说，深层就比较抽象 这是10月10号的一篇关于CNN可视化的一篇新的研究论文。其实像图1这样的特征图也是很早就在研究的，他告诉人们神经网络实质上也在学一些东西，例如经过训练它是会识别类似于眼睛之类的特征的 这篇论文是用语义概率空间来可视化CNN的，虽然没仔细看，但估计最后出来图2也是要先图1然后再人为定义每个特征的名字的（神经网络可不会自己知道某某特征是眼睛） 为什么写这个动态呢，主要是前不久看到AI画吃拉面，产出了很多搞笑图。

2.神经网络对抗策略——围棋（2022-11-3补档）

最近被公众号推的好玩的东西真不少。 这篇论文很有意思，作者研发出了一个能够轻松打败很多市面上的围棋AI却打不过很多人类围棋新手的AI。 其实这也不是什么新鲜事，之前谈过很多的GAN（具体可以去看专栏）也是差不多的思路，一般我们称让AI判断失误的策略叫做对抗策略（这个术语不严谨，但应该很好理解）。 对抗策略的经典实例非常的多，例如视觉领域（在机器视觉领域对抗策略确实比较泛滥）很早就用人对神经网络输入一些人为噪声让CNN判断失误，GAN就是不让人来，让一个神经网络代替人来骗神经网络。我个人习惯用骗（可能是这样说比较中二吧），术语一般是用对抗。 这篇论文用了一个并不大的神经网络来和市面上的围棋AI做对抗，结果很快就可以战胜这些围棋AI，但是它却打不过新手人类，这个现象很有意思，能说明的问题很多，例如它说明了神经网络确实过于“专才”，和人打的神经网络打不过专门挑神经网络打的神经网络，专门挑神经网络打的神经网络打不过人。

3.表格预训练小组（2022-11-18补档）

什么？ML（机器学习）要文艺复兴了？

PS：神经网络最开始研究的是表格数据，然而发展最好的确实CV（机器视觉）、NLP（自然语言处理）等，在表格领域反而是树模型比较吃香，所以神经网络重回表格领域是一种文艺复兴。

图中是谷歌的一个表格领域预训练小组。

4.阿尔法Zero（国际象棋版本）的可解释性研究（2022-11-22补档）

DeepMind一篇比较新的文章，挺有意思的的 是关于神经网络可解释性的研究，研究对象是老ALphaZero（国际象棋版本） 论文我就粗看了一下，大概是说我们是可以从ALphaZero中提取出一些类似于人类下棋中的一些概念的（例如“主教”） 果然现在流行用语义信息搞可解释性吗？除了这一点还研究了很多其他的，例如开局策略等。不过果不其然，研究也只是停留在前几层，后面的层仍然解释不了。

5.表格数据集（2022-11-28补档）

在这篇论文中，作者搞了一个新的数据集，是表格领域的数据集。作者在摘要中就说明CV、NLP领域数据集发展很快，然而表格领域数据集发展较慢，于是就搞了这个数据集

其实去年表格领域仍然是很少有炼金术师（搞神经网络的）关注的冷门领域，而今年关于表格领域的神经网络研究真的像雨后春笋一样冒了出来，从数据集到特征工程到机器学习都开始跟进了，可以看出神经网络确实想搞文艺复兴，去收复表格领域被树模型征服的失地。 当然，这很可能也是因为CV、NLP领域预训练取得了不错的成果，开始反哺表格领域了（或者是这两个领域研究趋于饱和导致人们将目光重新放回了表格）