转载：https://www.cnblogs.com/huangyc/p/9706575.html
转载：https://www.jianshu.com/p/1314bcc1d19f
https://www.zhihu.com/question/26526858
1.前言
感知机是1597年，由Rosenblatt提出的，是神经网络和支持向量机的基础。
2.感知机的原理
感知机是二分类的线性模型，其输入是实例的特征向量，输出是实例的类别，分别是+1 和 -1，属于判别模型。假设训练集是线性可分的，感知机学习的目标是求得一个能够讲训练数据集正实例点和负实例点完全分开的分离超平面。如果是非线性可分的数据，则最后无法获得超平面。
2.1 点到线的距离
公式中的直线方程为Ax+By+C = 0 点P的坐标为（x0，y0）
2.2 样本到超平面的距离
我们假设超平面是，其中
,样本点到超平面的距离如下：
3. 感知机模型
感知机从输入空间到输出空间的模型如下：
3.1 感知机的损失函数
可以发现，在原始形式中，每一轮迭代都需要判断各个样本点是不是错误分类点，既对于每个样本点
都需要计算,向量内积
的时间复杂度为O(n),因此总的时间复杂度为
，其中N为样本点数量，k为迭代次数（虽然每次迭代不需要全部遍历N个样本，不过表达时间复杂度时可以去掉因子保留变量，表示成），这个时间复杂度还是比较高的，有没有更快捷的计算方法呢？我们来看看感知机的学习算法的对偶形式。
4.2 对偶形式
什么叫对偶形式？这里的对偶可不是“三尺剑，六钧弓”的意思，优化理论中的对偶问题是指每一个线性规划问题（成为原始问题）有一个与它对应的对偶性规划问题（成为对偶问题），原始问题与对偶问题的解是对应的，得出一个问题的解，另一个问题的解也就得到了，可以简单的理解为不同角度看待同一个问题，通过改变这个问题的形式是的我们更好的求解。
网友评论