机器学习：极大似然估计

作者: moon_light_ | 来源:发表于2020-03-15 01:31 被阅读0次

机器学习-极大似然估计
机器学习：极大似然估计
机器学习-极大似然估计
机器学习入门——极大似然估计
机器学习（十八）极大似然估计
机器学习？服下这碗药——是时候回顾一下概率与统计了（二）
极大似然估计
极大似然估计
极大似然估计
极大似然估计

极大似然估计（Maximum Likelihood Estimate，MLE）

由于样本数据，是实实在在发生的数据，有理由相信该样本出现的概率本来就比较大，极大似然估计假设该样本出现的概率是最大的，然后通过该样本寻找一组参数，该参数使得该样本出现的概率最大

比如：班里有 50 个男生，50 个女生，我们拥有所有男生的身高数据，也拥有所有女生的身高数据，假定男生的身高服从正态分布，女生的身高服从另一个正态分布，这时可以用极大似然法，通过 50 个男生和 50 个女生的样本来估计这两个正态分布的参数，该参数使得样本数据出现的概率最大

设有样本 $\small X = (x_{1}, x_{2}, ..., x_{n})$
预测算法的参数为 $\small \theta$ ，不同参数下 X 出现的概率不同，表示为

$\small P(X|\theta) = P(x_{1}, x_{2}, ..., x_{n}|\theta) = \prod_{i=1}^{n}P(x_{i}|\theta)$

极大似然估计就是求解使得 $\small P(X|\theta)$ 为最大值的 $\small \theta$

实际中为了方便计算，经常改成对数形式

$\small ln(\prod_{i=1}^{n}P(x_{i}|\theta)) = \sum_{i=1}^{n}(ln(P(x_{i}|\theta)))$

以上面例子中的正态分布为例，一维正态分布函数为

$\small f(x) = \frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^{2}}{2 \sigma^{2}})$

则有

$\small P(X|\theta) = \prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x_{i}-\mu)^{2}}{2 \sigma^{2}})$

$\small = (2\pi\sigma^{2})^{-\frac{n}{2}}exp(-\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\mu)^{2})$

取对数

$\small H(\mu,\sigma^{2}) = ln(P(X|\theta))$

$\small = ln((2\pi\sigma^{2})^{-\frac{n}{2}}exp(-\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\mu)^{2}))$

$\small = -\frac{n}{2}ln(2\pi)-\frac{n}{2}ln(\sigma^{2}) - \frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\mu)^{2}$

求导得到

$\small \frac{\partial H(\mu,\sigma^{2})}{\partial \mu} =\frac{1}{\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\mu)$

$\small \frac{\partial H(\mu,\sigma^{2})}{\partial \sigma^{2}}=-\frac{n}{2\sigma^{2}}+ \frac{1}{2\sigma^{4}}\sum_{i=1}^{n}(x_{i}-\mu)^{2}$

另导数为 0 求解得到

$\small \mu=\frac{1}{n}\sum_{i=1}^{n}x_{i}$

$\small \sigma^{2} = \frac{1}{n}\sum_{i=1}^{n}(x_{i}-\mu)^{2}$

这两个参数使得样本出现的概率最大
于是就用这两个参数代入正态分布函数，用以预测新的数据

机器学习-极大似然估计
极大似然估计方法在机器学习中用的非常多，是一个必须要掌握的知识点。在周志华《机器学习》中这一章讲的较为简略，以下我...
机器学习：极大似然估计
极大似然估计（Maximum Likelihood Estimate，MLE）由于样本数据，是实实在在发生的数...
机器学习-极大似然估计
极大似然估计方法在机器学习中用的非常多，是一个必须要掌握的知识点。在周志华《机器学习》中这一章讲的较为简略，以下我...
机器学习入门——极大似然估计
先来看看几个小例子：猎人师傅和徒弟一同去打猎，遇到一只兔子，师傅和徒弟同时放枪，兔子被击中一枪，那么是师傅打中的，...
机器学习（十八）极大似然估计
1 极大似然估计简介然而，这个方法常归功于英国统计学家费希尔.费希尔在1922年重新发现了这一方法，并首先研究了...
机器学习？服下这碗药——是时候回顾一下概率与统计了（二）
前言在机器学习中，用到比较多的是对参数的估计。对参数的估计中，用得较多的是极大似然估计。一、极大似然估计 1....
极大似然估计
极大似然估计以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计...
极大似然估计
极大似然估计(Maximum Likelihood Estimation,MLE)，也称最大似然估计。“似然”是对...
极大似然估计
序极大似然估计和最大后验估计是机器学习中常用的两种参数估计方法。本次记录MLE的原理和用法，为后续推导LR等目标...
极大似然估计
动机在学习机器学习算法过程中，发现很多算法策略都采用极大似然估计，如：线性、逻辑回归，决策树，隐马尔科夫模型。...