【花师小哲】当代炼金术（神经网络）前沿（3）——可解释性人工智能

可解释性一直是人工智能中一个研究方向。在修改了N次神经网络结构却迟迟得不到自己想要的效果的时候，为什么不停下来看看这个似乎挺哲学的领域呢？不过这次还是不谈哲学（例如谈什么“理解先于解释”，然后扯一大堆之类的），还是用通俗的话说说可解释性的问题。

主要是依据下面这本书。这本书我是大体浏览了一遍，一些太具体的算法倒没有仔细看，而且因为之前很多东西也都知道，所以看的还是蛮快的。

1.为什么我们需要可解释性

这个问题虽然很泛，但是在具体问题上还是很好回答的。例如，对于程序员来说，可解释性很多时候指的是我的算法为什么对于一个给定输入会得到某个输出；对于从业人员来说，他想要的是用最通俗的说法解释一个算法的原理。

可解释性在不同领域的重要程度是不一样的。如果你只是为了打kaggle竞赛，那准确率似乎是你追求的唯一目标。但是如果你是给自动驾驶写视觉识别的，那一个微小的判断失误都会导致严重的问题。

可解释性的研究之所以存在，是因为现在主流的神经网络方法是黑箱模型。神经网络有着强大的性能，神经网络的原理说起来似乎也很简单，但由于其参数众多、结构过于复杂，导致我们无法很直观的理解整个模型的运作，所以神经网络一般被认为是黑箱模型。但神经网络总要被投入应用，所以可解释性问题就应运而生。

可解释性在机器学习领域也有很多不同的说法。例如我们一般认为树模型具有很好的解释性，具体可以看以下专栏的决策树部分：

【花师小哲】面向一般大众的神经网络科普（3）-CV图像和其他

但也有人认为树模型中的“随机森林”是不可解释的（随机森林是这样一种算法，即先构造一大堆决策树，然后通过投票等方式汇总出一个最终结果），因为要搞清楚决策树之间的协作是很困难的。

最后，就是因为关于人工智能的可解释性研究，很多国家（包括我国）都出台了很多政策了，很多算法要实用起来，必须考虑其可解释性。

2.什么是可解释性

这本书说了很重要的一个点，即构造信任：

如图所示，大体意思是说如果我们能够很好的理解一个算法能够做什么和不能够做什么，我们就可以和算法建立信任关系。

这一点的看法很好，这表明了可解释性问题是和人类经验是离不开关系的，究竟什么是完成了可解释性是取决于人的。可解释性研究实际上是尽量保证人的认知和机器的“认知”一致的过程。

这个过程不只需要我们通过某种方法使得机器的“认知”更易被人类理解，也要我们主动去从算法中发现一些东西，这样，可解释性才算成立。

3.可解释性具体怎么研究

在A Survey on Neural Network Interpretability这篇综述中作者从三个维度说明了可解释研究的方法分类：

维度1：主动或被动。主要看算法时候需要修改需要解释的模型

维度2：按可解释性逐渐增加分为样例、（属性）贡献度或权重、隐藏层表示和规则。规则被认为解释性是最强的

维度3：从整体还是局部进行解释

根据这三个维度就有了以下更细粒度的分类：

太具体的就不展开讲了，这里就发出来让大家了解一下。

4.对抗样本和鲁棒性

对抗样本指的是，我们可以构造出一个样本，使得我们的算法没有得到正确的输出。这部分的例子也在其他专栏讲过了，例如：

【花师小哲】面向一般大众的神经网络科普（3）-CV图像和其他

对抗样本的出现说明作为黑箱的神经网络确实会出现以外和“失控”的情况，包括最近很火的ChatGPT（极大概率）也是对这方面做了特殊处理以防止“失控”的（当然，仍然有办法让它“失控”就是了）。研究对抗样本的规律也是研究可解释性的辅助工作。

另一个和对抗样本相关的就是鲁棒性，不过这里就不再展开。

5.可解释性的未来

可以预见，可解释性在未来一段时间仍然是人工智能研究的一个重要方向，但可解释性依然是非常混乱的一个领域，没有很多规范性的东西，而且也没有明确的发展方向，是一个充满了不确定性的方向。

不过，人机协作可能是一个基本上摆到明面上的出路了，毕竟东西是给人理解的，现在人工智能发展也很讲人机协作（所以脑机接口它又又又火了一下（但脑机接口每次也都没有太大火，可能是因为不像CV、NLP领域一样，一般人看不见摸不着吧））。

说的比较泛，主要是也比较忙，以后还是有具体的好玩的论文的时候再说些具体的。