美文网首页
Deep learning lecture 3

Deep learning lecture 3

作者: 飞奔的红舞鞋 | 来源:发表于2017-12-25 18:46 被阅读11次

RNN

Language modeling

目标:估计一个word sequence的概率

举个例子: recognize speech or wreck a nice beach, 从声音讯号里是判断不出来,但我们可以估计出来recognize speech的概率会更大一些

传统的方法是N-gram Language Modeling

n-1 个字的概率

smoothing 表示给某些情况一些小概率,例如p=0.0001

这些概率是不准确的,我们在training data里不能收集到所有情况

Neural language modeling里,会自动做smoothing

RNNLM: recurrent neural network language model

相关文章

网友评论

      本文标题:Deep learning lecture 3

      本文链接:https://www.haomeiwen.com/subject/ezslgxtx.html