机器学习——过拟合的正则化处理

机器学习算法为了追求在训练集上准确率很高，想要将误差降到最低。然而当此模型运用到现实数据或者说测试数据上，误差值变高，泛化能力差，不能表达除训练数据以外的其他数据，在真实得数据集上反倒表现得不好。

一般的操作就是增加训练样本得代表性和个数，扩大样本规模。或者提炼出更加有效得特征，减少训练得特征数量。

还有的操作就是正则化Regularization，保留样本的特征前提下减少某些特征对于输出结果的影响，例如logistic回归种就可以减少高阶变量的系数参数值的大小，以让其在损失函数的梯度下降算法种不会有很大的比重，进而过度影响输出结果。通常就是在损失函数后加上若干系数得平方项以作为惩罚值。

在线性回归模型中的损失函数一般就是平方差，在后面添加参数的平方和，λ充当惩罚系数即可。

逻辑回归模型通常是对二分类问题进行的处理，损失函数也就是分别对于0/1的情况写出来，也是在末尾添加参数的平方和。

重要的环节在梯度下降，基本的步骤和之前一样，θ0没有作为自变量的系数，常数单独处理，不用添加正则化，直接求偏导梯度下降即可。

其余的θ参数则需要进行正则化处理，θj系数相减之后可以发现基本上没有变化，惩罚系数λ很小而m作为系数个数会非常大，但这微小的变化在梯度下降的算法中会发挥相当的作用。

连续的问题是回归，离散的问题是分类。