Stanford机器学习[第六讲]-朴素贝叶斯算法，stanford第六讲



引文：由于之前讲过了朴素贝叶斯的理论Stanford机器学习[第五讲]-生成学习算法第四部分，同时朴素贝叶斯的算法实现也讲过了，见机器学习算法-朴素贝叶斯Python实现。那么这节课打算讲解一下朴素贝叶斯算法的具体计算流程，通过一个具体的实例来讲解。

PS：为了专注于某一个细节，本章节只抽取了视频的一部分来讲解，只讲解一个贝叶斯算法的计算流程，关于视频里面的具体内容请参考下面的视频链接。

讲解的实例是一个文本分类的例子，区分一句话是粗鲁的还是文明的，类别标签只有Yes或No，表示是粗鲁的和不是粗鲁的语句。

1.给定一个训练集

Words Label
my name is Devin. No
you are stupid. Yes
my boyfriend is SB. Yes
you looks very smart,I like you very much. No


上面这个数据集是我随机取的，label表示的是是否粗鲁。

2.处理数据

首先根据上面给出的数据构建出一个词库出来,如下：
【”my”，“name”，“is”，“Devin”，“you”，“are”，“stupid”，“boyfriend”，“SB”，“looks”，
“very”，“smart”,”like”,”much”】

这个词库总单词个数只有14个，相对而言比较少，这里只做个例子，单词多的情况下同样处理。

然后将每个样本映射到词库中，得到一个大的矩阵

my name is Devin you are stupid boyfriend SB looks very smart like much classLabel
1 1 1 1 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 1 1 1 0 0 0 0 0 0 0 1
1 0 1 0 0 0 0 1 1 0 0 0 0 0 1
1 0 0 0 2 0 0 0 0 1 2 1 1 1 0


上面是得到的一个词频矩阵，最后一栏表示的是类标号，下面通过这个词频举证来计算不同类标号下每个词发生的概率，即条件概率p(xi|y=1) 和p(xi|y=0)。

实际的处理中为了防止0概率的发生，通常是将词频矩阵初始化为1，这里就不这么做了，简单化计算吧。

3.计算

设几个变量:

  • numWords：表示单词的总数
  • p1Mat：表示正样本中各单词出现的次数矩阵
  • p0Num：表示负样本中各单词出现的次数矩阵
  • p1Vec：表示正负样本条件下的各单词的出现的概率，即条件概率p(xi|y=0)
  • p0Vec：表示在负样本条件下的各单词的出现的概率，即条件概率p(xi|y=0)
  • pPos：表示正样本概率
  • pNeg：表示负样本概率

可以根据上面的词频表计算得到：

numWords=14
p1Num=[1,0,1,0,1,1,1,1,1,0,0,0,0,0]
p0Num=[2,1,1,1,2,0,0,0,0,1,2,1,1,1]

样本中在类标签为1的单词出现的总次数p1Count=7
样本中在类标签为0的单词出现的总次数p0Count=12

让举证p1Num和p0Num分别除以p1Count和p0Count，即可以得到各自的条件概率：

p1Vec=[1/7,0,1/7,0,1/7,1/7,1/7,1/7,1/7,0,0,0,0,0]
p0Vec=[2/12,1/12,1/12,1/12,2/12,0,0,0,0,1/12,2/12,1/12,1/12,1/12]

条件概率求出来了，那么怎么来计算区分类别呢？
根据贝叶斯公式

p(y|x)=p(y)p(x|y)p(x)

因为预测一句话所属的类别，我们的p(x)是一样的所以比较p(y=1|x)和p(y=0|x)时，我们实际上只需要比较分子就可以了。

由于x有多个特征，上面分子子中的p(x|y)事实上是这样的
p(x|y)=p(x1|y)p(x2|y)...p(xn|y)
所以在处理时，通常是对分子取对数后再进行比较，转变为

p1=log2p(y=1)+log2{p(x1|y=1)p(x2|y=1)...p(xn|y=1)}

和

p1=log2p(y=0)+log2{p(x1|y=0)p(x2|y=0)...p(xn|y=0)}

的大小比较。对于分子p(y)p(x|y)，p(y)可以直接求出来，而p(x|y)是上面的条件概率p1Vec和p0Vec。

最后比较两个大小，如果p1>p0,表示这句话是脏话，如果p1<p0表示该句话属于文明语句。

4.测试

假设我现在要测试下面一句话：“I like you.”

则通过预测比较
p1=log2p(y=1)+log2{p(x1=I|y=1)p(x2=like|y=1)p(x3=you|y=1)}
和
p0=log2p(y=0)+log2{p(x1=I|y=0)p(x2=like|y=0)p(x3=you|y=0)}

可以得到结果是p1<p0，即”I like you “是文明语句。

Reference

[1] 机器学习实战
[2]视频链接：http://open.163.com/movie/2008/1/7/H/M6SGF6VB4_M6SGJVV7H.html

本栏目Machine Learning 算法实现持续更新中，欢迎关注：Dream_Angel_Z博客

相关内容