本文将介绍什么是SVM

SVM是什么？

SVM: support vector machine,俗称支持向量机。是一种二分类模型，其模型定义为特征空间上的间隔最大的线性分类器，策略就是间隔最大化，最终转化为一个凸二次规划问题的求解。感觉已经晕了，下图给出一些intuition的部分:

假设我们有一堆正负样本如图，我们想找一条线（一个超平面）去把这些点分开来。这条线当然是无穷条的，在图中我以H2 和 H3为例，H2和H3看起来都把正负样本分开了，但是我们的目标不是在训练集上取得好成绩吧，我们的目标还包括测试集（unseen data）。

这时候我们给出了测试集（就是我新加上去的点），我们发现H2这条线完全分错了。而H3则分类的不错，粗略得来讲，H3距离正负样本的距离都很远，因此他的泛化能力很强。

至此我们明确了我们的任务，就是找到H3。那么很自然的，我们就产生了两个问题：

1. 如果这样的超平面确实存在，如何寻找？
2. 如果这样的超平面不存在，那么如何找到一个尽可能分开正负样本的超平面？

逻辑回归

构造过程

回顾之前的方法三要素，我们知道我们的方法要包括模型，策略，算法。即

1. 假设函数$h(\theta)$
2. 损失函数$J(\theta)$
3. 求解方法梯度下降。

假设函数$h(\theta)$

简单介绍：

当我们在针对二分类问题的时候，预测邮件是否为垃圾邮件，肿瘤是否为良性等等，由于我们的预测结果只有0，1，因此这种分类问题我们无法使用线性回归再去预测。

原因：

1. 线性回归要求数据符合正态分布，逻辑回归要求数据符合0，1分布。
2. 线性回归要求$x,y$符合线性关系，逻辑回归则没有要求。
3. 线性回归预测的是分析的是$x,y$的关系，而逻辑回归是分析$y$取某个值的概率与自变量的关系。
4. 线性回归要求$y$是连续变量，逻辑回归要求$y$是离散变量。

正则化定义

在数据量很少，特征很多的时候，模型往往会表现的过于复杂。bias(训练误差)会降低，但是variance(测试误差)会升高，会产生过拟合的情况。

过拟合为什么不好

比如我们想预测匹兹堡市的年收入情况，但是我们只采访了匹兹堡大学周围的人，没有采访别的人，我们在用这部分数据预测的时候，预测匹兹堡大学周围的生日当然是可以的，但是想预测整个匹兹堡的收入呢？自然不行。数据并没有代表性，或者说数据的有些维度在测试集是可以帮助达到global optimal，但是在unseen dataset中并没有卵用，导致了模型没有泛化能力。