六、逻辑回归(Logistic Regression)
6.1 分类问题
本节介绍了分类问题最流行的一种算法——逻辑回归 (Logistic Regression)算法。逻辑回归的本质：输出在（0，1）内的连续值。
“回归”体现在输出连续值，但因为逻辑回归解决的是分类问题，将输出值限定在（0，1）之间。对于二分类问题来说，问题有两种结果：1代表正向类，0代表负向类。逻辑回归算法设定一个阈值（如0.5），则输出[ 0.5, 1)代表正向类，(0, 0.5)代表负向类。
注，逻辑回归输出的值表示概率（和输出范围在（0,1）结合理解），e.g.输出为0.7代表结果为1的概率为70%，结果为0的概率为30%。
6.2 假说表示
本节解决如何让输出为在（0，1）上的连续值。
引入逻辑函数（logistic function)，将input放入逻辑函数中，使得其输出限定在(0,1)。常用的逻辑函数有：Sigmoid函数——
因此逻辑回归模型为
python代码实现：
import numpy as np
def sigmoid(z):
return 1 / (1 + np.exp(-z))
表示对于input，其output =1的概率，即
6.3 判定边界
本节介绍了决策边界(decision boundary)的概念。
看上图，我们可以看到，当z >= 0时，hθ (x) >= 0.5, 预测 y=1。z < 0时，hθ (x) < 0.5, 预测 y=0。其中，z=θT x= θ0+θ1 x1+θ2 x2+... ，
假设现有参数θ 是向量[-3,1,1]。则z=θT x=-3+x1+x2 。
则z >= 0 表示x1+x2 >= 3的区域（预测 y=1），z < 0表示x1+x2<3的区域（预测 y=0）。
我们同样可以用非常复杂的模型来适应非常复杂形状的判定边界。比如用二次模型hθ (x)=g(θ0+θ1 x1+θ2 x2+θ3 x12 +θ4 x22 )，θ=[-1 0 0 1 1]表示下图的分布情况。
6.4 代价函数
和之前一样，要训练参数θ，需要求代价函数。若用线性回归模型的代价函数（所有模型误差的平方和），得到的代价函数将是一个非凸函数（non-convexfunction），这意味会受许多局部最小值的干扰。
为此我们必须重新定义代价函数：
hθ (x)与 Cost(hθ (x),y)之间的关系如下图所示：
如果真实值y=1，则hθ (x)离1越近 cost越小，且当hθ (x)=1时，-log1=0，代表无误差，若y=0，则hθ (x)离0越近 cost越小，且当hθ (x)=0时，-log(1-0)=0，代表无误差。
将Cost函数合并：
，
则代价函数J为：
如此得到的代价函数J(θ)会是一个凸函数，并且没有局部最优值。
Python代码实现：
import numpy as np
def cost(theta, X, y):
theta = np.matrix(theta)
X = np.matrix(X)
y = np.matrix(y)
first = np.multiply(-y, np.log(sigmoid(X* theta.T)))
second = np.multiply((1 - y), np.log(1 - sigmoid(X* theta.T)))
return np.sum(first - second) / (len(X))
代价函数求导过程
上图看出，得到的梯度下降算法形式上与线性回归的一样，但由于这里给input套了一层Sigmoid函数，所以实际上是不一样的。另，依然要重视在梯度下降前进行特征缩放。
6.5 简化的成本函数和梯度下降
逻辑回归的代价函数：
即：
形式上，与求线性回归时一样，每一步 θ都减去 预测误差乘以
处理多分类问题：
假设有一个训练集，有3个类别。我们可以将一个训练集分成3个二元分类问题：
类1为正类，类2类3为负类；
类2为正类，类1类3为负类；
类3为正类，类1类2为负类.
三分类问题
得到一系列的模型简记为：
分成3次二分类
这样我们就有了3个逻辑回归分类器
欠拟合 刚好 过拟合
左图：线性模型，欠拟合，不能很好地适应我们的训练集；
右图：四次方模型，过拟合，能非常好地拟合训练集，但预测新input时，效果可能很差；
中图：最合适。
分类中也如此：
模型x的次数越高，拟合的越好，但越可能过拟合。
如何处理过拟合？
1.丢弃一些不重要的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）
2.正则化。 保留所有的特征，但是减少参数的大小（magnitude）。
7.2 代价函数
假设有模型：
该模型的过拟合是由高此项产生的，因此，我们要想办法让高次项的系数θ-->0，这样就能很好的拟合了。这就是正则化的基本方法。
为了减少的大小，我们给
设置一点惩罚，操作如下：
这样选择出的
若λ过大，会使所有θ过小，导致模型
对上面的算法中时的更新式子进行调整可得：
可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有算法更新规则的基础上令θ值减少了一个额外的值。
我们同样也可以利用正规方程来求解正则化线性回归模型，方法如下所示：
图中的矩阵尺寸为 (n+1)*(n+1)。(其实正规方程这块我也没搞太懂，先留个坑)
7.4 正则化的逻辑回归模型
正则化的逻辑回归代价函数：
梯度下降算法
注：
(1)依旧是，炒冷饭一样的提醒，逻辑回归和线性回归的正则化代价函数“形式一样，概念不同”。
(2)不参与其中的任何一个正则化。
网友评论