逻辑回归（logistic regression）理论简介

线性回归实际上是输出连续性预测值的一个模型，简单的线性回归、多元线性回归、非线性回归都一样是输出连续性预测值的模型。正如我们所知晓的，机器学习的问题一般分为两种：连续值的预测和离散值的预测，连续值的预测可以用回归解决，离散值的预测可以用分类解决。

分类和回归二者不存在不可逾越的鸿沟。就波士顿房价预测作为例子：如果将房价按高低分为“高级”、“中级”和“普通”三个档次，那么这个预测问题也属于分类问题。

准确地说，逻辑回归（logistic regression）就是对数几率回归，属于广义线性模型，它的因变量一般只有0和1.

需要明确一件事：线性回归并没有对数据的分布进行任何假设，而逻辑回归隐含了一个基本假设：每个样本均独立服从于伯努利分布（0-1分布）。

对数几率回归

对数线性回归 一般形式：

上式将线性回归模型的预测值和实际值关联起来

更一般的形式：广义线性模型

g(x)称为联系函数:，

当我们对y使用函数g(x),便可以得到广义线性模型的一般形式：

二分类问题的理想联系函数：单位阶跃函数

在二分类问题中，因变量的取值只有三种可能。

阶跃函数的代替函数：sigmoid函数，它能够把输入的连续实值变换为0和1之间的输出

Sigmoid函数和阶跃函数的不同是：

1.“平滑性”的不同。sigmoid函数是一条平滑的曲线，输出随着输入发生连续性的变化。而阶跃函数以0为界，输出发生急剧性的变化。

2.另一个不同点是，相对于阶跃函数只能返回0或1，sigmoid函数可以返回0.731 ...、0.880 …等实数。

其函数表达式为 ，其函数图像如下：

将sigmoid函数带入线性模型中可得

经过推导可得：

称为“几率”，表示样本取正例的可能性比例；而称为“对数几率”。

对数几率回归任务的目标就是寻找到合适的w,b,使函数输出逼近真实类别。

进一步地，我们不妨把y视为类别取值为1（或者0）的概率，可以得到：

那么，        

那么目标函数变为：

找到使得目标函数值最大的w，b；

目标函数的求解方法有梯度下降法、牛顿法等。