D-separation： 判断贝叶斯网络中的变量是否独立

在贝叶斯网络、有向无环图（DAG）等模型中，我们常常需要判断变量是否独立（条件独立），比如“是否P(A|BDF) = P(A|DF)?”， 亦即“A和B是否在观测到D, F的条件下独立？”。一个常用的方法是利用D分离准则判断变量是否独立。参考

其中介绍了一种很直观的方法，个人觉得挺好用的。

方法

该方法的步骤如下：

[Step 1]. Draw the ancestral graph.

根据原始概率图，构建包括表达式中包含的变量以及这些变量的ancestor节点（父节点、父节点的父节点...）的图。

[Step 2]. “Moralize” the ancestral graph by “marrying” the parents.

连接图中每个collider结构中的父节点，即若两个节点有同一个子节点，则连接这两个节点。（若一个变量的节点有多个父节点，则分别链接每一对父节点）。

[Step 3]. "Disorient" the graph by replacing the directed edges (arrows) with undirected edges (lines).

去掉图中所有的路径方向，将directional graph变为non-directional graph。

[Step 4]. Delete the givens and their edges.

从图中删除需要判断的概率表达式中作为条件的变量，以及和他们相连的路径。比如“是否P(A|BDF) = P(A|DF)?”，我们删掉D, F变量以及他们的路径。

[Step 5]. Read the answer off the graph.

• 如果变量之间没有连接，则它们在给定条件下是独立的；
• 如果变量之间有路径连接，则它们不能保证是独立的（或者粗略地说他们是不独立的，基于概率图来说）；
• 如果其中一个变量或者两者都不包含在现在的图中（作为观测条件，在step 4 被删掉了），那么他们是独立的。

例子

给定DAG：

（1）问： “是否P(A|BDF) = P(A|DF)?”， 或“A和B是否在观测D, F的条件下独立？”

答： 不是的， 它们之间存在连接。

（2） 问：A和B是否独立（边缘独立）？

答：根据我们上述的步骤分析，是的，A和B独立，因为他们之间没有路径。

（3） P(D|CEG) =? P(D|C)，即“观测（给定）C的条件下，D和E是否独立， 并且 D和G是否独立？”

答：不是的。D和E在观测到C的条件下独立，但D和G不能保证是条件独立的。