从神学角度理解【最大似然MLE】和【最大后验MAP】

最大似然估计MLE和最大后验估计MAP

一、最大似然估计MLE

最大似然估计就是通过最大化“参数给定情况下样本的概率分布”来找到参数，其表达式为：

其中，w是模型参数，x是样本数据。

分类任务下，很多模型的损失函数都可以看成是最大似然估计，如线性模型、决策树和神经网络等等。

分类问题考虑的就是“多大概率上把一个样本分为某一类”，所以最大化损失就是最大化条件概率分布p(x|w)。

（为什么不直接最大化p(x|w)？因为用的是“参数”模型）

最优化所有样本的概率分布：

二、最大后验估计MAP

根据贝叶斯公式，最大化后验=最大化似然函数*先验概率

三、神学角度理解

最大似然估计MLE就像无神论者，唯物主义地看世界，数据是什么就是什么，缺乏想象力；

最大后验估计MAP就像有神论者，唯心主义地看世界。

所谓“先验”其实就是像神一样的存在。所以统计学中的一个贝叶斯公式，就将这个领域分为了两派：唯物主义的频率学派和唯心主义地贝叶斯学派。

MLE和MAP是参数估计的两大类方法，第三类就是“贝叶斯估计”。贝叶斯估计和MAP一样，只不过不需要最优化，而是直接把概率分布求出来了。

很多损失函数在正则化之前就是MLE。加了正则化项，即加了先验，一种对参数的主观认知，从而达到缓解过拟合的问题。

无论人工智能还是机器学习，本质上都是在研究“人”的智慧。只不过用更加严谨的数学语言算法，和更实用的代码表示出来。