支持向量机基础

    支持向量机分为硬间隔分类器(训练集线性可分)、软间隔分类器(训练机近似线性可分,即存在outlier)、非线性分类器(使用核技巧进行求解)

    输入空间和特征空间是两个不同的空间,输入空间为欧氏空间或离散集合,特征空间为希尔伯特空间。支持向量机都是把输入空间中的输入映射到特征空间。

    学习目标是为了找到一个分类超平面wx+b=0,w是法向量,b是截距。

    与感知机分类策略不同,感知机是误分类点到超平面的总距离最小(由于选取不同初值或选取不同的误分类点,得到的超平面不同,即无穷多解),支持向量机是间隔最大化(解唯一)。这样说可能不容易理解为什么感知机的解无穷而支持向量机解唯一。我们想象一组数据集,有正类和负类,将正负类分开有一个最大的间隔,在这个间隔内可以有无数条超平面可以将数据集正确分类,这些超平面即感知机的解,而支持向量机的超平面是与间隔界面平行位于间隔中间的那个超平面,这个超平面即能将数据集正确划分且间隔最大的超平面。



评论