CRF条件随机场

作者: bobby96 | 来源:发表于2019-11-13 21:02 被阅读0次

CRF
NLP入门（八）使用CRF++实现命名实体识别(NER)
条件随机场CRF
CRF（条件随机场）
CRF条件随机场
CRF条件随机场
条件随机场（CRF）
条件随机场(CRF)
条件随机场（CRF）
CRF 条件随机场

线性链条件随机场

DEFINITION

$p(\mathbf{y} | \mathbf{x})=\frac{1}{Z(\mathbf{x})} \prod_{t=1}^{T} \exp \left\{\sum_{k=1}^{K} \theta_{k} f_{k}\left(y_{t}, y_{t-1}, \mathbf{x}_{t}\right)\right\}$
$Z(\mathbf{x})=\sum_{\mathbf{y}} \prod_{t=1}^{T} \exp \left\{\sum_{k=1}^{K} \theta_{k} f_{k}\left(y_{t}, y_{t-1}, \mathbf{x}_{t}\right)\right\}$

ESTIMATION

损失函数为
$\ell(\theta)=\sum_{i=1}^{N} \log p\left(\mathbf{y}^{(i)} | \mathbf{x}^{(i)} ; \theta\right)$
即 $\ell(\theta)=\sum_{i=1}^{N} \sum_{t=1}^{T} \sum_{k=1}^{K} \theta_{k} f_{k}\left(y_{t}^{(i)}, y_{t-1}^{(i)}, \mathbf{x}_{t}^{(i)}\right)-\sum_{i=1}^{N} \log Z\left(\mathbf{x}^{(i)}\right)$
对 $\theta_k$ 求导结果为
$\begin{aligned} \frac{\partial \ell}{\partial \theta_{k}}=& \sum_{i=1}^{N} \sum_{t=1}^{T} f_{k}\left(y_{t}^{(i)}, y_{t-1}^{(i)}, \mathbf{x}_{t}^{(i)}\right) \\ &-\sum_{i=1}^{N} \sum_{t=1}^{T} \sum_{y, y^{\prime}} f_{k}\left(y, y^{\prime}, \mathbf{x}_{t}^{(i)}\right) p\left(y, y^{\prime} | \mathbf{x}^{(i)}\right)\end{aligned}$
关注一下 $p\left(y, y^{\prime} | \mathbf{x}^{(i)}\right)$ 是怎么得来的：
$\begin{aligned} \frac{\partial \log Z\left(\mathbf{x}^{(i)}\right)}{\partial \theta_{k}} &= \frac {1}{Z\left(\mathbf{x}^{(i)}\right)} \sum_{\mathbf{y}} \frac{\partial \left\{ \prod_{t=1}^{T} \exp \left\{\sum_{k=1}^{K} \theta_{k} f_{k}\left(y_{t}, y_{t-1}, \mathbf{x}_{t}\right)\right\} \right\} } {\partial \theta_k} \\ &=\frac {1}{Z\left(\mathbf{x}^{(i)}\right)} \sum_{\mathbf{y}} \left\{ \prod_{t=1}^{T} \exp \left\{\sum_{k=1}^{K} \theta_{k} f_{k}\left(y_{t}, y_{t-1}, \mathbf{x}_{t}\right)\right\} * \sum_{t=1}^{T} f_{k}\left(y_{t}, y_{t-1}, \mathbf{x}_{t}\right) \right\} \\ &= \sum_{\mathbf{y}} \left\{ p\left( \mathbf{y} | \mathbf{x}^{(i)}\right) * \sum_{t=1}^{T} f_{k}\left(y_t, y_{t-1}, \mathbf{x}_{t}^{(i)}\right) \right\} \\ &= \sum_{t=1}^{T} \sum_{y, y^{\prime}} f_{k}\left(y, y^{\prime}, \mathbf{x}_{t}^{(i)}\right) p\left(y, y^{\prime} | \mathbf{x}^{(i)}\right) \end{aligned}$
解释：
从第一行到第二行可以将累乘符号转换为exp中的累加即得。
从第三行到第四行是将中括号内部的求和符号放在外面去。然后进行边缘概率的计算。

理解清楚这里就可以利用prml里面的sum-product algorithm来进行优化求导。

CRF
条件随机场（CRF）的理解如何轻松愉快地理解条件随机场（CRF）？条件随机场(CRF)如何直观地理解条件随机场，并...
NLP入门（八）使用CRF++实现命名实体识别(NER)
CRF与NER简介 CRF，英文全称为conditional random field, 中文名为条件随机场，...
条件随机场CRF
条件随机场（conditional random field，简称 CRF），是一种鉴别式机率模型，是随机场的一种...
CRF（条件随机场）
CRF（条件随机场）构建步骤为了建一个条件随机场，我们首先要定义一个特征函数集，每个特征函数都以整个句子s，当...
CRF条件随机场
CRF和HMM，朴素贝叶斯一样都是概率图模型，概率图模型构建了这样的图，用观测结点表示观测到的数据，隐含结点表示潜...
CRF条件随机场
线性链条件随机场 DEFINITION ESTIMATION 损失函数为即对求导结果为关注一下是怎么得来的：解释：...
条件随机场（CRF）
Naive Byaes、HMM、CRF都是概率图模型，可以看做是一种递进的关系。 HMM中的两个假设：齐次Mar...
条件随机场(CRF)
《统计学习方法》Page196 例11.1 设有一标注问题：输入观测序列为，输出标记序列为，取值于，求标记序列为...
条件随机场（CRF）
参考： https://blog.csdn.net/qq_39526294/article/details/104...
CRF 条件随机场
在为一张照片分类时，必须将与它相邻的照片的标签信息考虑进来。 eg: 词性标注问题动词后面还是动词就是一个特征函...