美文网首页
常见损失函数总结

常见损失函数总结

作者: 数据小新手 | 来源:发表于2018-11-13 16:34 被阅读0次

损失函数对于机器学习算法来说是至关重要的一环,大部分机器学习算法都是通过梯度下降来进行学习的。下降的目标就是让损失函数达到最小值。

回归损失函数:

回归的损失函数比较少,常见的有MSE,MAE,RMSE,也比较好理解,就是预测值和真实值直接的差距最小。
MSE = \frac{1}{n} \sum_{i=1} ^{n} (\tilde{Y_i} - Y_i )^2
RMSE = \sqrt{\frac{1}{n} \sum_{i=1} ^{n} (\tilde{Y_i} - Y_i )^2}
MAE = \frac{1}{n} \sum_{i=1} ^{n} |\tilde{Y_i} - Y_i |

分类损失函数:

分类损失函数的种类比较多,常见的分类算法,logistic regression, SVM, adaboost

log损失函数(逻辑回归):

对数损失函数的标准形式为:
L(Y,P(Y|X)) = -\log P(Y|X)
在二分类的情况下,可以简化为:
 L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left [ y^{(i)} \log h_{\theta}(x^{(i)}) + (1-y^{(i)}) \log(1-h_{\theta}(x^{(i)})) \right ]

指数损失函数(adaboost):

L(y,f(x)) = exp(-yf(x))

hinge损失函数(SVM)

L(y) = \max(0, 1-y\tilde{y}), y=\pm 1

相关文章

  • 常见损失函数总结

    损失函数对于机器学习算法来说是至关重要的一环,大部分机器学习算法都是通过梯度下降来进行学习的。下降的目标就是让损失...

  • 绘制常见损失函数

    练习:绘制常见损失函数 损失函数:Logistics损失(-1,1) SVM Hinge损失 0/1损失 首先我...

  • 常见损失函数

    [toc] 常见的损失函数 y_i表示实际值,f_i表示预测值 0-1损失函数 等价形式: Perceptron感...

  • 常见损失函数

    损失函数 什么是损失函数 ​ 损失函数(Loss Function)又叫做误差函数,用来衡量算法的运行情况,估...

  • 常见损失函数

    简介 机器学习算法的关键一环是模型评估,而损失函数定义了模型的评估指标;可以说,没有损失函数就无法求解模型参数。不...

  • 【ML】理论篇

    各大损失函数总结: pytorch loss function 总结

  • 常见损失函数用法

    损失函数(loss function)又叫做代价函数(cost function),是用来评估模型的预测值与真实值...

  • 损失函数总结

    1.损失函数: 损失函数可以直观的刻画分类的错误率,但是因为其非凸,非光滑的特点,使得算法很难对其进行直接优化 2...

  • Stochastic Gradient Descent vs B

    梯度下降是最小化风险函数/损失函数的一种经典常见的方法,下面总结下三种梯度下降算法异同。 1、 批量梯度下降算法(...

  • 机器学习:常见的损失函数

    损失函数简要介绍 0-1损失 绝对值损失 log对数损失函数 平方损失函数 指数损失函数 Hinge损失函数 损失...

网友评论

      本文标题:常见损失函数总结

      本文链接:https://www.haomeiwen.com/subject/ffslfqtx.html