欢迎光临散文网 会员登陆 & 注册

什么是似然和极大似然估计

2023-08-25 11:00 作者:小黑黑讲AI  | 我要投稿

为了深入讨论似然的概念,我们需要先来了解概率。

概率和似然都是统计学中的重要概念,他们之间有着紧密的联系。


什么是概率

概率是在特定环境下,某件事情发生的可能性。在结果没有产生之前,我们可以根据环境中的参数,对某件事情发生的概率进行预测。

如果抛掷的硬币是一枚均匀的硬币,那么可以推断出,任何一面朝上的可能性都是50%。我们要注意,这里的概率50%,只有在抛硬币之前是有意义的,因为抛完硬币后,结果就确定了。


什么是似然

似然和概率刚好相反,它是基于已经确定的结果来推测产生这个结果的可能环境,或者是推测环境中的某些参数。

依然使用抛硬币的例子,假如随机抛出一枚硬币1万次,结果8000次人像在上,2000次数字在上。那么可以判断出,这枚硬币在构造时是有些特殊的。

我们基于抛掷结果,进一步推测该硬币的具体参数,人像的概率是0.8,数字的概率是0.2。这个根据结果判断事情本身性质的过程,就是似然。

因此,总结来说,似然和概率可以看作是问题的两个不同方向。概率是在已知模型参数的情况下预测结果,而似然是在已知结果的情况下推断模型参数。


概率与似然的数学表示

设θ表示环境中的参数,x表示事件发生的结果。那么概率可以表示为P(x|θ),也就是在环境参数为θ这个条件下,x发生的概率。

 而似然为L(θ|x),即在已知观察结果是x的情况下,去推断θ。这里需要注意的是,P是关于x的函数,L是关于θ的函数。


极大似然估计

极大似然估计,Maximum Likelihood Estimate,也称为最大似然估计,就是利用已知的样本标记结果,反推最具有可能,或者最大概率导致这些样本结果出现的模型参数。

极大似然估计是一种已知观察数据来推断模型参数的过程。例如,根据事件x的观察结果,推断θ是多少时,结果x最有可能发生,就是极大似然估计。

我们仍然使用抛硬币这个例子。设它有θ的概率人像在上,那么就有1-θ的概率数字在上。θ是客观存在的,但是我们最初并不知道θ具体是多少,需要根据观测结果进行推断。

为了获得θ,需要进行多次抛硬币实验,并记录抛出的结果序列。假如在这个序列中,有7次是人像,3次是数字。这样就得到了函数L(θ) = θ^7*(1-θ)^3。


画出似然函数的图像

函数L被称为θ的似然函数。对于函数L(θ),我们可以枚举θ的值,画出函数L的图像。

例如,当θ=0时,函数值是0,θ=0.5时,函数是1/1024等等。这时我们会发现,函数在θ等于0.7时,取得最大值。

最大似然估计,就是要求θ等于多少时,前面得到的10次观测,最可能发生。

也就是7次人像朝上,3次数字朝上,这样的结果最可能发生。这时,我们会发现,在函数取得最大值,θ的取值为0.7。

在真实情况下,θ的值可能并不是0.7。因为如果硬币是均质的,那么θ应该是0.5。

但如果我们只从这次实验的结果来看,在没有提供足够的证据证明硬币是均质时,那么0.7就是该实验的最大似然估计取值。

另外,如果希望获得更准确的参数θ的值,我们可以增加实验次数,获得更多的实验结果,并重新进行计算L(θ)取最大值时,θ的取值。


最大似然估计的总结

所以总结来说,最大似然估计是一种参数估计方法,它的目标是找到最可能产生观察数据结果的参数值。

在使用最大似然估计时,需要构建一个似然函数L(θ),并找到使这个函数取得最大时的参数值。

一般我们可以使用数学求导的方式,计算导数为0时,对应的参数取值,或者使用梯度下降算法,优化得到参数值。

需要说明的是,最大似然估计的结果会受数据量的影响,更多的数据通常可以得到更准确的估计。

在机器学习算法中,比如逻辑回归模型,会根据已有的数据X,学习相应的参数分布,也就是计算θ,这其实就是最大似然估计的思想。

那么到这里,似然和极大似然估计就讲完了,感谢大家的观看,我们下节课再会。

什么是似然和极大似然估计的评论 (共 条)

分享到微博请遵守国家法律