机器学习——支持向量机SVM（2）

紧接着上一篇谈到的最小化问题。

多元函数的极值问题一般采用拉格朗日极值法，求对应的偏导数来完成。由于约束条件是不等式，可以将不等式变换为等式来解决，如下所示，通过引入pi变量来完成。

只要是正确分类的样本，yi乘以wx+b均大于1，不用考虑小于零的情况，此时样本在两个正负超平面之间，不满足支持向量的定义了。

由上可以看出如果yi乘以wx+b不等于1，也就是说该样本位于正负超平面以外的区域，对应的λ等于零。

如果是位于正负超平面上的样本点，则λ不等于零。

首先在约束曲面边界处g（x）= 0的极值问题，此时就是等式约束，正常的拉格朗日极值法的应用。肯定有f（x）与约束条件g（x）相切，即二者的导数向量的方向相反或者相反，但是导数值的大小是由下述等数条件来决定的。

然后是g（x）< 0的情况，在这种情况下，在小于零的区域内求f（x）的最小值就直接求导Δf（x）即可，与拉姆达无关直接置0即可。关于g(x)=0的情况时，就是和基本的拉格朗日极值法是一样的思路来解决问题，但是由于区域的存在，极值点处二者的导数方向一定相反。如果相同的话它们会沿相同的方向继续运动走入到区域内部，那样这个点就不可能是约束条件下的极值点了。由于二者的导数方向相反，符号异号，此时上述等式的λ值一定得大于零。

最后是第三个条件就是关于点的位置和λ正负关系得到的结果，上面已经写了。由此可见绝大多数点对应的λ均为零，不参与到w与b的计算过程中，仅有支持向量参与计算，极大地简化了运算量，这也就是支持向量机的由来。

这个λ的正负性的讨论我写的不是很透彻，之后在涉及到这个部分的内容再行阐述。

最后就是对偶性问题了，这个部分涉及到凸优化相关的内容，我只能理解到，把某个函数最小值的求解问题转化为另一个函数最大值的求解。