知识储备

　　相互熵

　　信息增益（互信息）

　　条件概率：

　　　　　　

　　全概率公式：

　　　　　　

　　贝叶斯公式：

　　　　　　

思考问题：

　　给定一个样本D，计算样本A₁, A₂, ...An发生的概率哪一个可能是会是最正确的呢？又怎样通过贝叶斯来解决这个问题？

　　　　通过贝叶斯公式 选择n个样本中概率最大的那个作为最后的结论。p(D)是常数，假定p(A_i)的发生概率近似相等。则有一下推导公式

　　　　

贝叶斯应用实例：

　　一、

　　  

　　二、假定有两个信封，第一个信封中装有两个黑球两个红球和一美元，第二个信封中装有一个红球两个黑球，现在要求选择到存在一美元的信封的概率。

　　　　给定信息：允许随机的从一个信封中取出一个球查看他的颜色，那么此时是否应该选择该信封。

　　　　分析：c1,c2分别表示两个信封，P(R),P(B)分别表示红球的概率和黑球的概率。

　　　　　　　全概率公式：P(R) = P(R|c1)*P(c1) + P(R|c2)*P(c2)

　　　　　　　P(R|c1) = 2/4、P(R|c2) = 1/3、P(c1) = P(c2) = 1/2

　　　　　　　贝叶斯求解：给定信息中看到的是红球 则选中存在一美元的信封的概率为 0.6

　　　　　　　　　　　　　给定信息中看到的是黑球 则选中存在一美元的信封的概率为 3/7

　　　　　　　　　　

贝叶斯网络：

　　又名 有向的无环图，是一种概率图。

　　一个简单的贝叶斯网络：p(a, b, c) = p(c|a,b)p(b|a)p(a)　  图形表示如下，表示的概念：a 和b是条件不独立，(a，b) 和c 也是条件不独立的。　　

　　　　　　　　　　　　　　　　　　　　　　　　　

　　若干个结点：最多边为C²_k个有向线段（全连接，）

　　　　但是一般全连接是不建议的，也是我们不希望得到的，因为所有的边都保留着，以为这模型比较复杂

一般正常的贝叶斯网络模型

　　

对实际贝叶斯网路的分析

　　　　

　　　　注：0,1表示的是一个事件发生与不发生的概率，例如：smoking  吸烟 代表1 概率为0.3 ， no smoking 代表 0 概率为则为 0.7。 这就是两个参数

 贝叶斯网络：警报示例

　　提示：全部随机变量的联合概率分布

　　　　

　　下图中表示  陌生人或者地震警报响起时 john 或者 mary通知的概率。

　　现在求 john和mary都通知铃声响起，但是没有陌生人和地震发生的概率，b^-,e^- 代表没有陌生人和地震的概率

　　

　　　　p(j,m,a,b^-,e^-) = p(j|a)p(m|a)p(a|b^-,e^-)p(b^-)p(e^-)

　　　　　　　　　　= 0.9 *  0.7 *  0.001 * 0.998 *0.999

　　　　　　　　　　≈ 0.00063