对于自己无法理解的AI，人们为何更信任？

乔治敦大学的蒂莫西·德斯特法诺（Timothy DeStefano）与同事——哈佛大学的迈克尔·梅涅蒂（Michael Menietti）、卢卡·文德拉米内利（Luca Vendraminelli）和麻省理工学院的凯瑟琳·凯洛格（Katherine Kellogg）——一起分析了美国某高端时尚零售商186家门店里425种产品的进货决策。决策中有一半是在员工收到一个易于理解的算法给出的推荐后做出的，另一半则是在收到一个无法解读的算法推荐后做出的。研究者对比这些决策，发现员工更多地遵循无法解读的算法给出的指导。结论就是：

人们或许更信任自己无法理解的AI。

德斯特法诺：

此前有研究表明，决策者通常不愿接受AI给出的指导，这种抵触可能有自觉也可能是下意识的，而且他们经常会反驳AI的指导。对于在AI系统上花费大量时间和金钱的企业而言，这是一个问题。 我们与蔻驰（Coach）、Kate Spade和思缇韦曼（Stuart Weitzman）的母公司泰佩思琦（Tapestry）合作，探讨了这种抵触情绪以及应对之法。泰佩思琦公司有近1500家门店，年销售额达67亿美元，优化产品分配、运营有效的供应链对其成功至关重要。员工可以查看短期预测，以此确定每家门店每周的库存分配，短期预测要尽量精准。 泰佩思琦以往用的是基于规则的算法，帮助分配产品的员工估计需求。员工可以从日常经验中理解这套模型，而且能看到输入模型的信息。为了提高准确度，公司又开发了一套更加复杂的预测模型，对于用户而言是“黑盒子”。在为期三周的研究中，我们为每个产品决策随机分配了这两个系统中的一个提供指导。负责分配的员工看到预测模型给出的建议，可以依照建议如数发货，也可以不听从指导，发出不同数量的产品。结果表明，比起较为简单的、基于规则的算法，实际出货量更接近黑盒子系统生成建议的50%，说明员工对黑盒子模型的信任度高得多。

HBR：这个结果真是令人吃惊！你觉得为什么会这样？

其实我们的发现与常规思维相反，常规的思维认为人们更倾向于接受自己可以理解的系统的指导。 负责分配的员工之所以否决没那么复杂的系统，一个原因在于我们所说的“过于自信的故障排除”。决策者以为自己很了解模型的推理过程，实际却没那么了解，就会出现这种现象。他们会运用自己的经验，调整模型中他们认为不足的地方。 我们研究的员工经常讲起可解读算法的内部运行，以及为什么要否决算法给出的指导。例如，在实验后的一次访谈中，一名员工告诉我们，他认为某次销售额飙升一定与美国国家橄榄球联盟选秀有关，应该打个折扣，于是调整了模型建议的产品数量。我们不知道选秀是否真的与这次销售额飙升有关，但这位员工对这个解释很有自信。

我明白人们为何会高估自己对一个相对简单的模型的理解。但人们为什么会接受无法解读的模型呢？

尽管员工不知道这个无法解读的模型用到了多少数据，也不知道模型如何处理这些数据，但他们知道模型是由一些同事开发和测试过的，这让他们对这个模型有信心。这是“社会认同”的一个例子。一名负责分配的员工告诉我们，“无法解读的算法给出的一些推荐我们经常不认同。我们并不会信任这个模型给出的每一条建议，而是在更宏观的层面信任这个模型，因为我们的同事参与了开发。”

用户根据自己的经验调整得出的决策是否会得到更好的结果？

恰恰相反，因为更复杂的模型效果太好了！我们研究了超过1.7万个分配决策，观察每件产品在做出库存决策后两周内的状况。与黑盒子模型相关的决策比与较为透明的模型相关的决策更加成功，这正是因为人们更倾向于接受黑盒子模型的建议。采纳了黑盒子模型建议的产品销售额更高，缺货更少，产生的收入高出20%。

还有没有其他因素会影响人们接受或拒绝模型的建议？

员工在做出特定决策时感受到的不确定程度很重要，这种不确定程度会随着相应门店的销量而变化。在销量很高的门店，库存决策引发的不确定感最高，因为在这样的门店分配失误造成的后果更严重：可能造成的销售额损失或库存过剩都更严重。为这样的门店分配产品时，人们就更愿意接受无法解读的模型给出的建议，而不是可以解读的模型建议。不确定性提升，会促使人们探究可解读的模型给出的建议，并否决之。

如何能让员工始终听从算法的指导？

你必须不断衡量员工对系统的信任程度。如果发现他们在某些情况下更加信任系统，你就要深入了解原因。他们可能对AI抱有怀疑，因为AI会有漏洞，或者给出的建议与他们的经验或直觉相悖。你要确定他们的不信任是否合理。理解了背后的原因，你就可以开展有针对性的培训，协助员工接受和认可AI工具高超的决策能力。 这种现象并不新鲜。每次出现新的技术，人们最初都是不太愿意接受的。

如果你要为员工引入基于AI的推荐工具，你会让这套算法模型无法解读吗？

在我推广新的工具之前，我会让数据科学团队或构建该工具的人员与将要使用该工具的员工会面，让一些员工参与开发过程。这样的透明度和员工参与可以建立信任。但如果这一切都完成了，系统也经过了测试，每个人都认同它有效，我就会限制员工否决这套算法的能力。 胡安·马蒂内（Juan Martinez）| 访   蒋荟蓉 | 译  孙燕 | 校  时青靖 | 编辑