【数之道26】SVM支持向量机-核技巧Kernel Trick详解(多项式核函数

【数之道】SVM第三节：升维转换和核技巧

如何求解新维度下的T(xi)*T(xj)呢？

法一：定义相应的维度转换函数T，对数据完成维度转换后再求新维度向量的点积

法二：直接套用核函数Kernel Function

用一个简单的例子比较一下法一和法二：

其中，法二的核函数是多项式核函数。

多项式核函数的一般表达式为：

其中，不同cd的组合能够控制转换后的维度数和空间相似度，进而影响最终的决策超平面结果。因此选择合适的参数组合也十分重要。如何选择合适参数会在【树之道】SVM后两节详细阐述。

多项式核函数中的常数项参数c有着重要作用，其存在使得点积结果的表达式中包含了从低次项到高次项的数据组合，体现出维度的多样性。

假如缺少常数项参数的话，表达式中只会包括高次项，对于这类无常数项参数c的多项式核函数来说，我们也可以将多个不同次的多项式核函数相加组合，使结果同时具有高低次项，以此丰富维度的多样性：

了解这一点对后续理解高斯核函数有很大帮助。

cd确定后转换后的维度数就确定了 。现在将新维度数变得无穷大，包含低次到无限高次全部的可能性组合，在这个无限维度空间中求解决策超平面。

为了解决这个问题，之前的法一是不可行的，无限维度意味着无限的新维度数据，需要先定义存储再计算，这在技术上不可实现。所以只有依靠法二的核函数法。

最重要的核函数之一是“高斯核函数”，也叫Radial Basis Kernel，简称RBF核函数：

高斯核函数的值反映了两向量的相似度大小。由一个大于0的参数gamma和两向量坐标点间的距离共同决定。下面的图像反应了向量相似度与两点距离的关系：

当γ值确定时，两点距离越大，其相似度越向0靠近；距离越小，相似度越向1接近。gamma值越小，图像越扁平，反之越尖窄。扁平或尖窄决定了高斯核函数对相似度的判断标准。γ值越小，图像越扁平，距离即使较远，仍能有较明显的相似度值。而当γ值变大，同样的距离，相似度值反而可能趋于0：

反映到算法中，它意味着在小γ值的情况下，数据点间的相似度被放大了。这能让数据点更容易被简单超平面划分。而在大γ值的情况下，除了距离非常近的数据点以外，其余数据点均与其它点缺乏相似性。在计算分隔超平面的过程中，需要考虑到这些点各自的空间特征，所以也较容易出现过拟合的问题。

不同γ值绘制出的SVM分类效果图如下：

如何选择合适的γ值将在SVM系列的最后一节进行讲解。这里为了计算方便，取γ值为1/2。

现在对高斯核函数做如下推导：

推导完成后，可以把前半部分看成常数C，后半部分是e为底的指数函数。

将两向量的点积结果看作一个整体，再使用泰勒级数展开得到下面的表达式：

这个表达式我们就很熟悉了，它代表了无穷多个不带常数项参数C的多项式核函数从低次 到无穷高次排列，根据不同阶乘系数调整后再相加。

根据之前的叙述，该结果能体现无限维度数据高低次项组合无限多样性的特点。这样我们在不实质性涉及无限维度的情况下得到了无限维度下向量相似度的结果。高斯核函数也因此非常重要且实用。对于SVM非线性分类问题，可以直接使用高斯核函数。