【花书】svm作业

作者: 一杭oneline | 来源:发表于2020-04-07 14:02 被阅读0次

【花书】svm作业
数据驱动方法
通俗易懂的支持向量机SVM
机器学习入门（十六）：SVM——线性 SVM，间隔由硬到软
第7章 SVM的三层理解
assignment 1
05 SVM - 支持向量机 - 概念、线性可分
机器学习技法笔记：02 Dual Support Vector
机器学习系列（三十二）——Support Vector Mach
svm支持向量机

支持向量机与 LDA

1.jpg

2.jpg

2.从最优化理论的角度解释为什么存在支撑向量
3.为什么svm核函数不需要知道核函数的具体形式，只要知道内积的表达式
4.自己独立推导svm算法
5.查资料说明svm的优缺点
6.说出lda与pca的区别

3.jpg

其中标红点为支持向量

$H_1$ $W^TX+b=1$ $H_2:W^TX+b=-1$

iii 线性硬间隔支持向量机

写作 $y_i(w^Tx_i+b)≥1$ 解释: $y_i$ 为样本类别 $\{-1,1\}$

对于分类正确的正样本 $(w^Tx_i+b)≥1$ 且 $y_i=1$

对于分类正确的负样本 $(w^Tx_i+b)≤-1$ 且 $y_i=-1$

iv 当训练集数据满足什么样的要求时存在一个可行的W

能够正确划分训练数据集并且几何间隔最大。间隔最大化：不仅将正负实例点分开，而且对最难分离的实例点也有足够大的确信度将他们分开

V 推导超平面之间的距离的表达式

（0，0）点到 $H_1:W^TX+b=1$ 距离计算公式
$\frac{|w^T*0+b-1|}{||w||}$
到 $H_1:W^TX+b=-1$ 距离计算公式
$\frac{|w^T*0+b+1|}{||w||}$

所以：距离为
$\frac{2}{||w||}$

vi 写出对应硬间隔支持向量机的优化问题表达式

$max \frac{2}{||w||} ==> min \frac{1}{2}||w||^2\\ s.t.y_i(w^Tx_i+b)≥1$

vii 对于数据点及其标签，正确的是决策函数是以下

matrix([[ 1.1], [ 1.6], [-1.1]])

matrix([[ 1. ], [ 1.2], [-1. ]]) 正分类最小值为1 负分类最大值为-1，且 $w^2$ 相加值最小

matrix([[ 0.9], [ 0.8], [-0.9]])

matrix([[ 0.6], [ 1.6], [-1. ]])
$\begin{cases} min\frac{1}{2}(w_1^2+w_2^2+w_3^2)\\ w_1+2w_2+3w_3+b≥1\\ 4w_1+w_2+2w_3+b≥1\\ -w_1+2w_2-1w_3+b≥1\\ \end{cases}$
解得 $w=[0.2,0,0.4]$

2.从最优化理论的角度解释为什么存在支持向量

$KKT条件\begin{cases} \alpha_i≥0 & \\ y_if(x_i)-1 ≥0 & \\ \alpha_i(y_if(x_i)-1 )=0 \end{cases}\\ L(w,b,\alpha)=\frac{1}{2}||w||^2+\sum_{i=1}^m\alpha_i(1-y_i(w^Tx_i+b))$

最小化 $L$ ，在KKT条件的约束下，若满组 $\alpha_i＞0$ 情况下，必然有 $(y_if(x_i)-1 )=0$ ，不然不能取得最小值，其取值可以取到正无穷，此处的点就是支持向量

3.为什么svm核函数不需要知道核函数的具体形式，只要知道内积的表达式

利用核函数对现在空间进行变换 $\phi(x)$

高斯核函数
$K(x,z)=exp(\frac{||x-z||^2}{2\delta^2})\\ 原始空间x，z两个样本的点积变为后面的形式$

其对偶问题最后可求解，都是计算点积
$f(x)=\sum^m_{i=1}\alpha_iy_i\phi(x)^T\phi(x)+b$

4.独立推导SVM算法

5.说出lda与pca的区别

PCA最小重构误差，使得投影后的值与原来的值尽量接近，属于非监督学习

LDA最大化类间距离，使得投影后不同类别样本尽量分开，属于监督学习

【花书】svm作业
支持向量机与 LDA 2.从最优化理论的角度解释为什么存在支撑向量3.为什么svm核函数不需要知道核函数的具体形...
数据驱动方法
作业 KNN SVM,Softmax Two-layer neural network Image feature...
通俗易懂的支持向量机SVM
SVM 的原理和目标几个基本概念线性可分SVM——线性 SVM——非线性 SVM1、线性可分SVM，表示可以用...
机器学习入门（十六）：SVM——线性 SVM，间隔由硬到软
从线性可分 SVM 到线性 SVM 从现实情况引出线性 SVM 线性可分 SVM，这种 SVM 学习的训练数据本身...
第7章 SVM的三层理解
内容一、了解SVM 二、深入SVM 三、证明SVM（暂时不懂） ########################...
assignment 1
作业记录 svm 做作业最重要的三个部分： scores loss grad loss 对于训练集中的第i个样本，...
05 SVM - 支持向量机 - 概念、线性可分
04 SVM - 感知器模型一、SVM概念支持向量机(Support Vector Machine, SVM)...
机器学习技法笔记：02 Dual Support Vector
Roadmap Motivation of Dual SVM Lagrange Dual SVM Solving ...
机器学习系列（三十二）——Support Vector Mach
本篇主要内容：SVM，Hard Margin SVM，Soft Margin SVM 什么是支撑向量机支撑向量机...
svm支持向量机
1.1 svm简介 A Support Vector Machine (SVM) is a discriminat...

【花书】svm作业