【数之道】支持向量机SVM是什么，八分钟直觉理解其本质

【数之道】SVM第一节：SVM直觉理解与软间隔&升维转换及核技巧概述

一、SVM直觉理解与软间隔

寻找最佳决策边界线的问题可以转化为求解两类数据的最大间隔问题。间隔的正中就是决策边界。当有新数据需要判断时，根据其与决策边界的相对位置，就可以进行分类。

间隔的上下边界所经过的数据点叫“支持向量”。这也是我们将本方法命名为“支持向量机”的原因。

将等式两边同时除以c，分别用w1'，w2'，和b'替代原方程中的w1,w2,和b，同时方程右边变为+1、0和-1。这样就方便将第一个和第三个方程定义为正负超平面。

因为w1'，w2'，和b'只是求解的代号，替换成w1,w2和b也不影响运算。所以把w1'，w2'，和b'替换回w1,w2和b：

为了防止异常点的影响，引入“损失因子”的概念。每个异常点都有对应的损失值：

把间隔距离想象成经营收入，损失值想象成经营成本，于是目标就可以转换为“最大化利润”。该最优解下形成的间隔叫“软间隔”。

二、升维转换和核技巧

升维转换：

①通过合适的维度转换函数，将低维数据进行升维

②在高维度下求解SVM模型，找到对应的决策边界超平面

当有新数据需要进行分类预测时，可先对其进行升维转换，再根据高维度下的决策边界超平面进行判断。

但提升维度需要明确的维度转换函数，以及海量的数据存储和计算需求。为了避免将数据送入高维度计算，同时保证同样的分类效果，就要运用Kernel Trick核技巧：

由于SVM本质是量化两类数据差异的方法，而核函数Kernel function能提供高维度向量相似度的测量，通过选取合适的核公式，我们就可以不用知晓具体的维度转换函数，直接获得数据的高维度差异度，并以此进行分类判断。