RNN
Language modeling
目标:估计一个word sequence的概率
举个例子: recognize speech or wreck a nice beach, 从声音讯号里是判断不出来,但我们可以估计出来recognize speech的概率会更大一些
传统的方法是N-gram Language Modeling
n-1 个字的概率

smoothing 表示给某些情况一些小概率,例如p=0.0001
这些概率是不准确的,我们在training data里不能收集到所有情况


Neural language modeling里,会自动做smoothing
RNNLM: recurrent neural network language model

网友评论