机器学习——凸优化与KKT条件（2）

    接着上一期的内容讲，关于对偶函数的单向箭头，这里就涉及到凸优化的问题了。

    首先是凸集的概念，如下所示，在区域内任意选择两点相连接，当这条线段上的任意点都位于区域内时，这个集合就被称作为凸集。仿射集是凸集，两个凸集相交也一定是凸集。一般约束条件所定义的半空间也是凸集。

凸函数和凹函数所围成的空间区域都是凸集。

    对于拉格朗日乘数法的对偶函数g，通过求L对x的偏导数，令其等于零，找到x=x*为极值点，带入对偶函数g中去，得到的式子λ和v的系数均是常数，是一个关于λ和v的线性函数式，一条直线可以被认为是凸函数或者凹函数均可。

    目标函数满足凸函数或者凹函数的定义，然后对偶函数g的条件区域式λ大于0，v没有范围要求，这是一个标准的半空间，也就是一个凸集，满足了这两个要求的最值问题就是凸优化问题。

    这也就说明，无论原问题函数是不是构成凸优化问题，对偶问题是一定满足凸优化条件的。

    注意这里的max和min都是在满足某一个条件下，拉格朗日函数L的最值，比如说在x固定的前提下，通过变化λ和v来确定一个最大值式子，只有最后带入了某一个x的值才能得到一个确切的值。

    当这两个极值P*与D*不相等时，则称这个问题是一个弱对偶关系，也就是只能单向箭头。

    当极值P*和D*相等时，则称这是一个强对偶问题，互相等价。

    当一个凸优化问题满足了slater条件时，就构成强对偶问题。slater条件就是存在一个可行域内部的点使得fi（x）小于0就行了。一般情况下都满足，正常使用就可以了。

    这个是构成强对偶问题的五个必要条件，一般就认为满足了这五个条件就可以构成强对偶关系。原函数的约束条件，对偶函数的约束条件，互补松弛条件，其中λ的取值问题在上一篇文章中有提到，在这里就不做多的解释了。