关于贝叶斯推理中的条件概率
贝叶斯推理最重要的观点是“获得信息之后，概率发生变化”
这里，用掷骰子的案例来进行说明。 把一个骰子放入带有盖子的箱中，并摇晃箱子，使骰子在箱子中滚动。接下来，推测骰子的点数。现在，需要求出骰子的点数为偶数的概率。然后把“骰子的点数为偶数”这个事件记为E，则： $$E={2,4,6}$$ 在掷骰子的概率模型中，事件E的概率为： $$p(E)=\frac {3}{6}=\frac{1}{2}$$ 然而此时，有人偷偷地打开了盖子，并往箱子里看了一眼，然后告诉你“骰子的点数不是6”。那么接下来概率会发生怎样的变化呢？由于点数为6的可能性被排除在外，那么对于概率的推算结果也会发生变化。像这样，当获得“不是6”这条信息时，“骰子的点数为偶数”的概率被称为“条件概率”
把“不是6”这一事件记为F,则： $$F={1,2,3,4,5}$$ 此时，在获得“发生了事件F”这条信息的情况下，事件E的概率记为： $$P(E|F)$$ 记号p(|)的含义是：间隔符号的右侧表示获得的信息。 在计算数值的时候，比较自然的想法是使用面积图表，
如上图所示，没有获得任何信息的时候，由于事件E占了整体的一半面积，因而它的概率p(E)为1/2。但当获得了事件F即“不是6”这一信息之后，事件F就开始变得引人注目。因此，有两个问题需要进行变更。
第一个变更：由于事件F变为了一个整体，所以应该把事件F的概率设定为1。换言之，把F的面积视为1。 第二个变更：由于事件F的发生，可能性受到了限制，因而需要在考虑事件E与事件F的共同部分的基础上，来推算概率问题。换言之，需要关注的事件为E和F的重叠部分={2,4}。
根据上述两个变更，需要计算的概率p(E|F)，即：获得“发生事件F”这一信息之后，E的条件概率，也就是：把F看做一个整体来考虑时，“E和F的重叠部分”占F的比例。因此，可以用除法计算求出，表示为：
$$\frac{E和F重叠部分的面积}{F的面积}$$
因此，可进行如下定义：
$$P(E|F)=P(E和F的重叠部分)÷P(F)$$
进行实际计算，可得出：
$$P(E|F)=P({2,4})÷P({1,2,3,4,5})=\frac {2}{6}÷\frac{5}{6}=\frac{2}{5}$$
在没有获得信息F的时候，E的概率为(1/2)，之后，由于获得了信息F，全部可能减少了1个，并且偶数也减少了1个。而偶数减少1个的情况占优势，于是E的概率随之减少，变为(2/5)。
总而言之，条件概率是指：把得到的消息再次设定为整体，并排除掉没有可能性的各个事件之后，重新计算出的比率。
以上说明可以写成通用的公式，如下所示： 条件概率的公式 当获得事件B这一信息之后，事件A的条件概率P(A|B)，可定义为：
$$P(A|B)=P(A和B的重叠部分)÷P(B)$$
若要在贝叶斯推理中使用条件概率，使用方法分为两个阶段。第一阶段：按照各自的类别设定数据概率的方法；第二阶段：计算后验概率时的方法。而重要的一点是，在这两个阶段中，都可以有效利用直积试验的特性。
问题设定： 面前有一只壶，已知这个壶不是A壶就是B壶，但是单从外表看不出究竟是哪个。而目前已知的是：A壶中有9个白球和1个黑球，B壶中有2个白球和8个黑球。现在，如果从壶中取出1个球，并且这个球是黑色的，那么，面前的这个壶究竟是A还B呢？
这个案例中，所有的可能性共有4种。用专有名词可以表述为：基本事件的集合={A&黑球，A&白球，B&黑球，B&白球}，也就是直积试验的各个事件，如下图所示
“从A壶中取出的球是黑球的概率为0.1”这句话就是条件概率，实际含义是：
在获得“该壶为A壶”这个信息之后，得出的“取出的球为黑球”的概率
用公式来表达，即：
$$P(黑球|A)=0.1$$
“A&黑球”的概率为 0.5×0.1
A&黑球，是事件“A”和事件“黑球”的重叠部分
另外从上图可以看出以下信息
事件A可以表示为：
$$A={A\&黑球,A\&白球}$$
即，“该壶为A壶，球为任意颜色”的事件。同理，事件“黑球”可以表示为：
$$黑球={A\&黑球,B\&黑球}$$
也就是说， 事件A和事件“黑球”的重叠={A&黑球}
然后使用上面的条件概率公式：
$$ P(黑|A)=P(事件A和事件“黑球”的重叠)÷P(A)=P(A\&黑球)÷P(A) $$
即：
$$P(黑|A)=P(A\&黑球)÷P(A)$$
用乘法算式来表达，则为：
$$P(A\&黑球)=P(A)×P(黑|A)......(1)$$
这里，类别A的概率为0.5 。 此外，从A中观察到为黑球的条件概率P(黑|A)被设定为0.1，所以，
$$P(A\&黑球)=0.5×0.1=0.05......(2)$$
这样，便可以用乘法计算出A&黑球的概率。
贝叶斯推理通过“取出的球为黑球”这一信息，来推测“该壶为B壶”的概率。由于“取出的球为黑球”是观察的“结果”，而“该壶为B壶”是“原因”，从“结果”来推测“原因”，听起来是一个奇妙的过程。而这个过程之所以能够实现，关键就在于条件概率的定义。
我们要计算的是：在获得到“取出的球为黑球”这一信息后，“该壶为B壶”的概率。由于已经明确定义了条件概率，因此可以完全确定下来，即条件概率为：P(B|黑) 而该条件概率的计算即：
$$P(B|黑)=P(B\&黑球)÷P(黑球)......(3)$$
因此只要知道概率P(B&黑球)和概率P(黑球)的数值，然后用除法运算，就可以求出了。
前面的P(B&黑球)，运用刚刚在(1)(2)式子中求出P(A&黑球)同样的计算方法，就可以求出。即为：
$$P(B\&黑球)=P(B)×P(黑|B)......(4)$$
这里，需要注意的是：条件概率P( )中的内容被随意地左右替换。在(3)中是P(B|黑)，而在(4)中则是P(黑|B)。前者为需要计算的数值，而后者可以通过从模型的设定得出结果为0.8 。而事件“该壶为B壶”与事件“取出的球为黑球”可以进行更换，正是贝叶斯推理的秘密所在。那么，从(4)中可以计算出：
$$P(B\&黑球)=0.5×0.8=0.4......(5)$$
而关于概率P(黑球)的计算，由于“取出的球为黑球”这一事件是能够通过
$$“黑球”={A\&黑球,B\&黑球}$$
以及使用了符号&的各个基本事件表示出来，因此，可以运用以下方法计算求出：
$$P(黑球)=P(A\&黑球)+P(B\&黑球)$$
右边的第一项是通过(1)求得，而第二项是通过(4)求得的。将结果代入上述式子中，可以得出：
$$P(黑球)=P(A)×P(黑|A)+P(B壶)×P(黑|B)......(6)$$
因此，把(4)和(6)代入(3)中，可以得出下面的公式：
$$ P(B|黑)=\frac {P(B)P(黑|B)}{P(A)P(黑|A)+P(B)P(黑|B)}......(7) $$
这被称为“贝叶斯公式”
进行具体计算，则为：
$$P(B|黑)=0.5×0.8÷{0.5×0.1+0.5×0.8}=0.4÷0.45=\frac {8}{9}$$
式子(7)可以按照以下思路来理解：左边表示从“黑球”的结果追溯到“B壶”这一原因的概率，从直观上不是很容易理解。而右边的P(A)和P(B)均为每一类别的鲜艳概率，P(黑|A)和P(黑|B)是由原因推导出的结果的概率，这一点已经在设定中予以说明。换言之，式子(7)是通过已知的概率(右边)，推导出直观上看不出的概率(左边)的计算方式。
乍一看式子(7)，可能会觉得计算过程很复杂，令人迷惑。不过只要在面积图中填入前面讲过的概率符号，就能明白“现在做的，只是把之前面积图的方法直接转换为计算公式罢了”
下面观察上图。迄今为止，我们采用的计算方式都是在获得“取出的球为黑球”这一信息之后，再得出以下比例关系：
$$ (A的后验概率):(B的后验概率)=(A\&黑球的面积):(B\&黑球的面积) $$
用条件概率来描述，则可以得到如下比例公式：
$$P(A)P(黑|A):P(B)P(黑|B)......(8)$$
式子(8)中，左右两边的计算，与通过乘法计算长方形的长宽而得出的概率是一样的。然后，在满足标准化条件的情况下进行变形(左右数值之和相除)，得到：
$$ P(A)P(黑|A):P(B)P(黑|B)=\frac {P(A)P(黑|A)}{P(A)P(黑|A)+P(B)P(黑|B)}:\frac {P(B)P(黑|B)}{P(A)P(黑|A)+P(B)P(黑|B)} $$
由此又可以得到以下公式：
$$ (B壶的后验概率)=\frac {P(B)P(黑|B)}{P(A)P(黑|A)+P(B)P(黑|B)}......(9) $$
最后的式子（9），与（7）是完全相同的。
下面，我们通过用来说明条件概率的面积比例的思路，再次进行探讨。
现在，我们已经获得了“取出的球为黑球”这一信息，那么，正如15-2中的解说，B的条件概率即为：在表示“A＆黑球”的长方形与表示“B＆黑球”的长方形的总和（表示事件“黑球”的情况）中，表示“B＆黑球”的长方形所占面积的比例这一数值。而在式子（8）中，左侧为表示“A＆黑球”的长方形的面积，右侧为表示“B＆黑球”的长方形的面积。因此，用右侧来除以左右之和，其结果，与“在‘取出的球为黑球’的情况下，计算表示‘B＆黑球’的长方形面积所占比例”的结果是相同的。这也意味着，最后的计算与条件概率p（B|黑）的面积所代表的意义相一致。
最后需要说明的一点重要内容：采用贝叶斯推理方法计算后验概率时，无须考虑式子（7）中的分母。要点是，因为有了比例公式（8），那么（7）和（9）的分母，只是用来恢复标准化条件罢了，可以忽略。毕竟，关键点在于比例关系。因此我们只需记住比例公式（8）即可。
本文摘自《小岛宽之. 统计学关我什么事：生活中的极简统计学》第15章，内容有删减。