交叉熵数损失推导

作者: leon0514 | 来源:发表于2022-07-07 17:59 被阅读0次

逻辑回归例子
交叉熵数损失推导
二分类(逻辑斯蒂回归)的交叉熵损失函数
损失函数 - 交叉熵损失函数
交叉熵推导
交叉熵损失函数原理详解
交叉熵损失函数
Tensorflow & Keras的loss函数总结
理解熵，交叉熵和交叉熵损失
多分类问题的交叉熵计算

交叉熵数损失推导

伯努利分布

伯努利试验说的是下面一种事件情况：在生活中，有一些事件的发生只有两种可能，发生或者不发生（或者叫成功或者失败），这些事件都可以被称为伯努利试验。

那么其概率分布称为伯努利分布（两点分布、0-1分布），如果记成功概率为 $p$ ，则失败概率为 $1-p$ ，则认为概率质量函数为：

$P(X=y|x) = p^y(1-p)^{1-y} = \begin{cases} p & y = 1 \\ 1-p & y = 0 \end{cases}$

似然估计 - 使用sigmiod函数计算概率

$L(\theta) = \prod_{i=0}^n{P(y^{(i)}|x^{(i)};\theta)} = \prod_{i=0}^n{h_\theta(x^{(i)})^{y^{(i)}}}*(1-h_\theta(x^{(i)}))^{1-y^{(i)}}$

对数似然估计 - 取对数

$ln(L(\theta)) = \sum_{i=0}^n{ln(h_\theta(x^{(i)})^{y^{(i)}}) + ln((1-h_\theta(x^{(i)}))^{1-y^{(i)}})} = \sum_{i=0}^n{y^{(i)}ln(h_\theta(x^{(i)})) + (1-y^{(i)})*ln((1-h_\theta(x^{(i)})))}$

多元线性函数

$g_\theta(x) = \theta_0x_0 + \theta_1x_1 + \theta_2x_2 + ... + \theta_nx_n,(x_0 = 0) \\ g_\theta(x) = \theta^Tx$

Sigmoid函数

$h_\theta(x) = \frac{1}{1+e^{-g_\theta(x)}}$

交叉熵损失

$L(\theta) = -\sum_{i=0}^n{y^{(i)}ln(h_\theta(x^{(i)})) + (1-y^{(i)})*ln((1-h_\theta(x^{(i)})))}$

化简得

$L(\theta) = -\sum_{i=0}^n{y^{(i)}ln(\frac{1}{1+e^{-g_\theta(x^{(i)})}}) + (1-y^{(i)})*ln((1-\frac{1}{1+e^{-g_\theta(x^{(i)})}}))} \\ = \sum_{i=0}^n{y^{(i)}ln(1+e^{-g_\theta(x^{(i)})}) - (1-y^{(i)})*(ln(\frac{e^{-g_\theta(x^{(i)})}}{1+e^{-g_\theta(x^{(i)})}})}) \\ = \sum_{i=0}^n{y^{(i)}ln(1+e^{-g_\theta(x^{(i)})}) - (1-y^{(i)})*(-g_\theta(x^{(i)}) - ln(1+e^{-g_\theta(x^{(i)})}})) \\ = \sum_{i=0}^n{g_\theta(x^{(i)}) - y^{(i)}*g_\theta(x^{(i)}) + ln(1+e^{-g_\theta(x^{(i)})})} \\ = \sum_{i=0}^n{ln(e^{g_\theta(x^{(i)})}) - y^{(i)}*g_\theta(x^{(i)}) + ln(1+e^{-g_\theta(x^{(i)})})} \\ = \sum_{i=0}^n{ln(e^{g_\theta(x^{(i)})}+1) - y^{(i)}*g_\theta(x^{(i)})}$

对 $\theta_j$ 求导得

$\frac{\partial_L}{\partial_{\theta_j}} = \sum_{i=0}^n\frac{x^{(i)}_j*e^{g_{\theta}(x^{(i)})}} {e^{g_{\theta}(x^{(i)})}+1} - y^{(i)}*x^{(i)}_j \\ = \sum_{i=0}^n{x^{(i)}_j* (\frac{e^{g_{\theta}(x^{(i)})}}{e^{g_{\theta}(x^{(i)})}+1} - y^{(i)})} \\ = \sum_{i=0}^n{x^{(i)}_j*(h_\theta(x^{(i)}) - y^{(i)})}$

逻辑回归例子
交叉熵推导过程交叉熵数损失推导 - 简书 (jianshu.com)[https://www.jianshu.c...
交叉熵数损失推导
交叉熵数损失推导伯努利分布伯努利试验说的是下面一种事件情况：在生活中，有一些事件的发生只有两种可能，发生或者不发...
二分类(逻辑斯蒂回归)的交叉熵损失函数
目录： 1.逻辑斯蒂回归(Logistic Regression) 2.交叉熵 3.二分类交叉熵损失函数的公式推导...
损失函数 - 交叉熵损失函数
参考[1]损失函数 - 交叉熵损失函数
交叉熵推导
定义：信息量公式：（一个事件发生时，所包含的信息量，发生的概率越低，包含的信息量就越高，比如明天的太阳打东边升起...
交叉熵损失函数原理详解
交叉熵损失函数原理详解之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss)，只知道它是分类问...
交叉熵损失函数
转自简单的交叉熵损失函数，你真的懂了吗？说起交叉熵损失函数「Cross Entropy Loss」，脑海中立马浮现...
Tensorflow & Keras的loss函数总结
一、二分类与多分类交叉熵损失函数的理解交叉熵是分类任务中的常用损失函数，在不同的分类任务情况下，交叉熵形式上有很...
理解熵，交叉熵和交叉熵损失
交叉熵损失是深度学习中应用最广泛的损失函数之一，这个强大的损失函数是建立在交叉熵概念上的。当我开始使用这个损失函数...
多分类问题的交叉熵计算
多分类问题的交叉熵在多分类问题中，损失函数（loss function）为交叉熵（cross entropy...