一文看懂支持向量机，你懂我is吧？

2022-02-23 08:39 作者:图通道 0人读过 | 我要投稿

这是图图之前写的一篇关于支持向量机的笔记，今天拿出来分享一下。因为懒惰，后面公式较多的部分就直接打印成图片了。支持向量机（Support Vector Machine，常简称为SVM）是一种监督式学习的方法，可广泛地应用于统计分类以及回归分析。

1 什么是支持向量机

1.1 简介及发展历程

支持向量机，英文全称是Support Vector Machines，缩写为SVM，下文都将以该缩写代替。SVM 起源于上个世纪六十年代，是机器学习中用于分类的一种算法。

它大致经历了以下四个阶段：

•1 线性分类器（Linear Classifier）•2 线性支持向量机（LSVM）•3 线性不可分问题改进（引入软间隔，Soft Margin）•4 非线性支持向量机（核函数方法，kernal method）

其中4非线性支持向量机才是现代意义上的支持向量机，因为它引入了核函数方法，能够将非线性问题转化到高维空间（线性化），使得支持向量机能够处理非线性问题。除此之外，推导过程及原理和线性支持向量机完全一致。对于应用来讲，3 含有Soft Margin 的LSVM 个人认为并不是非常重要，因此在本文中不作详细介绍，最主要的其实就是2线性支持向量机LSVM与4非线性支持向量机，本推送中也将只介绍最这两个。

1.2 故事引入

首先来看一个案例，让大家感性地认识SVM。用一根筷子分开下面这些球，按颜色分类；

显然，筷子的放置方法不只一种，因为筷子的角度可以旋转；

而SVM 就是试图把棍放在最佳位置，好让在筷子的两边有尽可能大的间隙，就是让有色条纹的宽度尽可能大！

以上的问题在二维平面上是线性可分的，如果是下面这种问题呢？无法用筷子分离怎么办（线性不可分问题）？

可以将这些球扔到空中，用平面去分割。

以上就是支持向量机的一个感性小故事。被分类的这些球叫做数据集 data，那个筷子叫做分类器classifier，找到最佳放置位置具有最大间隙的方法就是优化optimization，将球扔到空中变成高维问题用平面分离的方法就叫核方法kernal method, 那个平面叫做超平面hyperplane （一维问题超平面是点，二维问题超平面是线，依次类推）。其中放置的最优位置与数据集有关，对于该示例，限制有色区域条纹宽度的几个球就是支持向量。