美文网首页
朴素贝叶斯算法

朴素贝叶斯算法

作者: Zaker_cook | 来源:发表于2019-12-17 14:04 被阅读0次

问题

    1. 什么是朴素贝叶斯

    2. 怎么理解贝叶斯公式和朴素贝叶斯公式

    3. 朴素贝叶斯算法流程是怎样

    4. 朴素贝叶斯有哪些优缺点 

    5. 朴素贝叶斯其他模型       

1. 什么是朴素贝叶斯

        朴素贝叶斯是基于贝叶斯定理与假设特征之间是独立的分类方法

2. 贝叶斯公式的理解和朴素贝叶斯公式

        贝叶斯公式是用来描述两个条件概率之间的关系

        因为 P(X,Y) = P(X)P(Y|X) = P(Y)P(X|Y)

        则  P(Y|X) = \frac{P(Y)P(X|Y)}{P(X)}

    一些概率基础

            条件概率：在事件Y发生的条件下，事件X发生的概率，表示为 P(X|Y)

            联合概率：事件X和事件Y同时发生的概率，表示为P(X,Y) 

            全概率： 事件Y1，Y2，...,Yn 构成一个完备事件X，表示为P(X)

全概率

                                                P(X) = \sum_{i=1}^4 P(Y_{i})P(X|Y_{i})

贝叶斯公式如下

                        P(Y_{k}|X) = \frac{P(Y_{k})P(X|Y_{k})}{\sum_{i=1}^nP(Y_{i})P(X|Y_{i}) }

由于分母是一个固定值，所以贝叶斯公式可以缩写成

                        P(Y_k|X) = P(Y_{k})P(X|Y_{k})

 其中 P(Y_{k}) 是先验概率，P(Y_{k}|X)是后验概率，P(X|Y_{k}) 是条件概率(似然函数)

假设X=(x_{1},x_{2},...,x_{n}),Y=(y_{1},y_{2},...,y_{k})

为了避免X中的组合没有出现导致的错误，所以朴素贝叶斯假设特征之间相互独立

那么，朴素贝叶斯的公式可表示为

                        P(Y_{k}|X) \propto P(Y_{k}) \Pi P(x_{i}|Y_{k})

3. 朴素贝叶斯算法流程

        a. 假设一个样本x = \{x_{1},x_{2},...,x_{m} \}, 其中x_{i} 是特征属性

        b. 类别C=\{ y_{1},...,y_{n} \}

        d. 根据贝叶斯公式，分别计算P(y_{1}| x), P(y_{2}|x),...,P(y_{m}|x)的值

        e.取 P(y_{k}|x) = max\{ P(y_{1}|x), P(y_{2}|x), ..., P(y_{m}|x)\}，x就属于y_{k}类型

4. 朴素贝叶斯的优缺点

        优点

               a.  对小规模数据表现的较好，适合多分类任务

                b. 算法比较简单，容易理解

        缺点

                a. 朴素贝叶斯假设特征之间是相互独立的，但在实际过程中往往是不成立的，在特征相关性越大，分类效果越不好

                b. 对输入数据表达形式很敏感

5. 朴素贝叶斯其他模型

        高斯朴素贝叶斯

            当  特征属性是连续值  且服从高斯分布时，计算P(X|Y)可以直接使用高斯分布概率公式

                            P(X|Y) = g(x,\mu,\sigma ) = \frac{1}{\sigma \sqrt{2\Pi } } e^{-\frac{(x-\mu )^2}{2\sigma ^2} }

              因此，只要计算出在各类别y_{k}中，各个特征的均值和方差

        多项式朴素贝叶斯

          当 特征属性是离散值 时，直接计算类别数目的占比作为先验概率和条件概率

                P(Y_{k}) = \frac{N_{Y_{k}}+a}{N+ka} , P(x_{i}|Y_{k})=\frac{N_{Y_k,x_{i}}+a}{N_{Y_{k}}+n_{x_{i}}a}

          其中N是总样本数，N_{Y_{k}}是类别为Y_{k}的样本数，N_{Y_{k},x_{i}}是类别为Y_{k}中x_{i}的样本数

         k是类别个数，n_{x_{i}}是特征x_{i}中不同取值的个数

         a是平滑值，主要是用来克服条件概率为0的问题，当a=1时，是Laplace平滑，

         当0<a<1时，是Lidstone平滑，a=0时，不做平滑

        伯努利(0-1分布)朴素贝叶斯

             当 特征属性是连续值且服从伯努利分布，计算P(X|Y)可以使用伯努利概率公式

               P(x_{k}|Y) = P(1|Y)x_{k} + (1-P(1|Y))(1-x_{k})

参考资料

【1】朴素贝叶斯算法理解和实现

【2】朴素贝叶斯算法详解

【3】带你搞懂朴素贝叶斯

【4】朴素贝叶斯理论推导与三种常见模型

相关文章

网友评论

      本文标题：朴素贝叶斯算法

      本文链接：https://www.haomeiwen.com/subject/ymednctx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|朴素贝叶斯算法|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！