机器学习——广义线性模型

    在使用线性模型进行回归任务训练的时候，不同的回归模型有着不同的训练数据样本，目标yi的取值假设的概率分布模型也是不一样的，例如正态分布与伯努利分布等等。

    在线性回归模型和假设概率分布之间，需要存在一个链接函数g来沟通左右两边，反向则是反函数g-1.

这个关系可以进一步地归纳成以下内容，首先是目标值yi满足某一个确定的条件概率分布模型，然后是线性预测值η作为桥梁，概率分布模型地某个参数是η的函数。

  在正常的线性回归模型中，正态分布的期望均值u刚好是η，链接函数g也就变成了一个全等函数。

    具体到广义线性模型中，条件发生了以下变化。概率分布模型必须得是指数族概率分布模型，包括高斯分布，伯努利分布，指数分布等等一系列概率分布模型。并且η必须与概率分布模型的期望均值u满足函数关系，并且只能与u有关，否则就不满足广义线性模型。

    在这个条件概率等式下，η是自然参数，是概率分布模型中所有的未知参数，T（y）是充分统计量，训练数据样本对于该统计量y的条件分布，与概率分布模型的自然参数η是完全无关的，但是与未知参数η是一一对应的关系，是针对某个概率分布模型中的参数而言的充分统计量。最后的A（η）则是配分函数，为了归一化处理，使得概率分布模型的积分值为1.

    广义线性模型只讨论概率分布模型的一个参数，期望均值u。

    正态分布中的σ在此讨论中与u无关，表达中被省略掉了。上式写作向量的形式，颜色相互对应，只讨论u所以η=u带入正态分布的计算中去。

    0/1分类模型预测的伯努利分布。

这也就是为什么在上一篇文章中可以使用sigmoid函数作为0/1分类模型密度p的依据。