※本文基于加州大学伯克利分校研究人员的论文

       研究论文《Investigating Human Priors for Playing Video Games》发表在ICLR 2018 Workshop上，研究人员包括：“Rachit Dubey”“Alexei Efro”“Tom Griffiths”“Pulkit Agrawal”“Deepak Pathak”

        近几年，随着技术的进步，AI已经自行学会了玩一些简单游戏，而且达到人类玩家的平均水平。

        但是另一方面，人类看一眼就能上手的游戏，AI却需要学习非常久的时间。为什么机器和人类之间的学习效率差这么多？

        于是加州大学伯克利分校的一组研究人员给出了答案，区别可能在于：人类经历过现实世界生活，在玩游戏时，会带着一大堆从现实世界中得来的经验，也就是先验知识（prior knowledge），从而大大提高了决策效率。

        什么意思？

        先别急着往后看，玩游戏这个游戏。（试一下就好，别难为自己......）

游戏地址：https://high-level-4.herokuapp.com/experiment

（请在在PC端打开，手机端玩不了，后文的链接也是。网站都很科学，放心直连。）

好，回到实验的开始，看看游戏本来的样子。

游戏地址：https://dry-anchorage-61733.herokuapp.com/experiment

        即便你不玩游戏，也知道，玩家控制小人，应该躲开怪物、地刺，梯子可以爬，开门要用钥匙。

        实验结果表明，这个游戏人类玩家很快就能上手。平均完成时间1.8分钟，平均死亡次数3.3，游戏路径探索3011种。

下面加大难度，去掉“语意”

        什么是“语义”？人物、怪物，地刺、梯子、钥匙、门的形状，就是它的语义。人类看到怪物和地刺的形状，就能想到躲避；人类看到梯子的形状，就能联到攀爬；人类看到钥匙的形状，就能想到开门。

        语义有多重要？实验方法很简单，去掉游戏中所有物体的细节，只用统一的色块来表现。

诺，就是下面这样。

游戏地址：https://boiling-retreat-38802.herokuapp.com/experiment

        现在人类玩家完成游戏的平均时间增加到4.3分钟，死亡次数增加到11.1次，游戏路径探索增加到7205种。

        你玩起来有没有觉得没什么难的？

        这是由于文章叙述结构，导致你先玩了原版的游戏，但假设你并不知道游戏，就能感觉出来去掉语义的游戏有多难。

        比如，在原版游戏中，钥匙和门都是可见的。人类自然能想到先拿钥匙，再去开门。但是在去掉语义的版本中，玩家无从获知这种信息。所以在120位参与者中，只有42位在开门之前，先拿了钥匙，并且与原版游戏相比，玩家获取钥匙后抵达门的时间更长。

       如果把语义屏蔽换成更具迷惑性的语义翻转（比如把游戏中的怪物和地刺，换成有正面含义的金币和冰淇淋；把梯子、钥匙和门，换成有负面含义的火、地刺和怪物。）这样，参与者花了更长时间来通关：平均耗时6.1分钟，死亡次数13.7次，游戏路径探索9400种。

        结果表明：“在没有（翻转）语义的情况下，人类无法推断奖励结构，从而显著增加了探索的时间”。

迷惑性进一步升级，混淆物体

       虽然游戏中的物体都没有传达语义，但它们毕竟还是与背景不同。人类很容易推断这些引人注意的物体是子目标，展开比随机搜索更有效的行动。下面把平台上每个空间位置，都使用了不同的色块填充（大多数色块都毫无作用，代表实际物体的色块，位置和之前相同。）

游戏地址：https://high-level-1.herokuapp.com/experiment

抹平功能可视性

        实验进行到这里，已经说明推断出游戏的奖励结构，并不是一件易事。不过整个游戏的画面中还是可以清楚看到。下面，用随机纹理对空白区域进行填充，以抹平功能可视性。

游戏地址：https://fierce-sierra-47669.herokuapp.com/experiment

        平均通关时间4.7分钟，死亡次数10.7，游戏路径探索7031种。

        这个结果与遮蔽语义相差不大，也就是说可视性与语义重要性等同。

        继续提升难度，这次每个平台和梯子的纹理全都不同，人类无法用相似性展开推断。

游戏地址：https://high-level-3.herokuapp.com/experiment

        平均通关时间7.6分钟，死亡次数14.8，游戏路径探索11715种。

        结果表明，视觉相似性是人类第二类重要的知识。

改变交互方式

       前面，都是与视觉相关的研究，但是在游戏中，玩家还得知道如何与不同的物体交互。但是，AI并没有这种先验知识，必须一点点摸索如何与物体交互。

        为了测试这种先验知识的重要性，研究人员有做出来一款改变交互的游戏，在这个版本中，单纯按上键是不能上梯子的，在需要在按住上键的同时，反复交替按左键和右键。

游戏地址：https://calm-ocean-56541.herokuapp.com/experiment

        这个小小的改动将平均游戏时间延长到3.6分钟，死亡次数6，游戏路径探索5942次。

       最后，综合上面所有游戏，就产生了开头的变态级难度小游戏。

         这个游戏实在是太难了，基本很难完成。

        其实这还不是最难的，研究人员还搞出一个更变态的版本，他们对重力方向做了翻转，而且对按键响应做了随机映射。

        是的，他们对按键响应做了随机映射........通关这款游戏已经完全变成了概率问题。

        不过还好他们并没有给出游戏地址......