添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

图模型(graphical model)是一类用图来表示概率分布的一类技术的总称。

它的主要优点是把概率分布中的条件独立用图的形式表达出来,从而可以把一个概率分布(特定的,和应用相关的)表示为很多因子的乘积,从而简化在边缘化一个概率分布的计算,这里的边缘化指的是给定n个变量的概率分布,求取其中m个变量的概率分布的计算(m<n)。

图模型主要有两大类,一类是贝叶斯网络(又称有向图模型);另外一类是马尔可夫网络(又称无向图模型)。

谈到一个图模型,主要有三个主要的关注点:

1)图模型的表示(representation); 指的是一个图模型应该是什么样子的

2)图模型的推断(inference); 指的是已知图模型的情况下,怎么去计算一个查询的概率,例如已经一些观察节点,去求其它未知节点的概率

3)图模型的学习(learning); 这里又分为两类,一类是图的结构学习;一类是图的参数学习。

在本文,我们主要关注图模型的表示,在以后的文章中,我们会论述图模型的其它方面。

一. 有向图模型的表示

顾名思义,有向图模型的结构表示是有向图的形式;通过一个有向图来表示一个概率分布,从而可以利用这个有向图模型来进行推断。

对于有向图模型,一个关键就是怎么通过一个有向图来表示一个概率分布呢?

对于一个概率分布p(x1,x2,...,xn),通过概率论中的链式法则,我们可以把它写成因子的形式

p(x1,x2,...,xn) = p(x1)p(x2|x1)P(x3|x1,x2)....p(xn|x1,x2....x_(n-1))

这是一个概率分布的一般形式,具体到一个特定的概率分布的时候,其中会有很多的随机变量是独立的或者条件独立的,从而可以

把上述式子进一步简化,例如x3, x1在给定x2的条件下是独立的,那么p(x3|x1,x2) = p(x3|x2)。在简化后的条件概率分布中,对于每个因子,我们这样来建立一个有向图,每个随机变量对应一个图的节点,然后对于每个因子,从它的条件部分的每个随机变量节点连一条边指向非条件变量节点,在完成所有的因子之后,就可以形成一个有向图模型。这样讲可能太抽象,下面我以一个具体例子来论述它的原理

假设有这样一个概率分布p(x1,x2,x3) = p(x1)p(x2|x1)p(x3|x1)

那么它的有向图模型可以表示为

反之,给定一个有向图,我们可以从图直接写出这个图表示的概率分布,大家可以试着从上述图来写出它的概率分布。

形式化地,一个有向图模型表示的概率分布可以写为:P( X )= IIp(Xi|Pa(Xi)),其中 X 表示随机变量的向量,II表示乘积,Pa(Xi)表示Xi的父亲节点。

从上述描述可知, 要完整表示一个概率分布,一方面我们需要知道它的拓扑结构,即它的图形结构;

另外一方面,我们还需要知道概率分布的各个因子的分布情况,即上述公式中的P(Xi|Pa(Xi))需要知道。

可以用另外一个图来表示一个完整的有向图模型的形式大概是什么样子

在上述图中的每个节点,都有一个条件概率分布表(CPT),这是有向图模型的参数,即P(Xi|Pa(Xi))。

二. 无向图模型的表示

无向图模型和有向图模型类似,都是为了表示一个概率分布,同时需要把变量之间的条件独立编码在图表示中,从而使得概率分布的表示可以被表示为因子乘积的形式,不同的是无向图模型是建立在无向图基础上,而有向图模型是建立在有向图基础之上。

我们先看一个例子:

上图是一个无向图模型的完整的表示,左侧是它的拓扑结构,右侧是它的参数。

无向图模型是以最大团和定义在团上的势能函数(potential function)为核心,具体来说,在这个例子中,它有四个团,AC , AB, BD ,CD。那么我们需要在四个团上定义相应的势能函数,如右侧所示,必须注意势能函数必须为正。

最终这个无向图模型表示的概率分布是:P(A,B,C,D)= (1/Z)*/phi(A,C)*/phi(A,B)*/phi(C,D)*/phi(B,D)

其中,Z是归一化因子,因为势能函数并没有归一化,而要概率是[0,1],所以需要归一化;/phi 是表示相应的势能函数(这里因为不能表示数学符号,故而用了latex中的符号表示)。

所以一个无向图模型表示的概率分布形式化地可以表示为:

P( X )=(1/Z)*II_{i=1}^{n}/phi(Ci(x)),其中Ci表示的第i个团(都是利用了latex中符号表示数学公式。

不管是有向图模型还是无向图模型,我们都需要关注它的两个方面,一方面是确定它的结构;一方面是确定它的参数,对于有向图模型,需要去确定它的条件概率表,对于无向图模型,需要确定每个团的势能函数。

因此,在下一篇博文中,我们将关注图模型的参数学习和结构学习。

2010-07-29 17:16:38

模型 graph i ca l model ;P GM (Probabilistic Graph i ca l Model s)。   几年前,概率 模型 论和概率方法的合并)那是风靡一时。概率 流派,更符合人类的思维习惯。它将内在逻辑利用概率关系设计到 模型 当中,然后利用少量的数据就能训练出可以拟合大量场景的 模型 。   譬如,Nature 的一篇论文就是利用概率 模型 模仿人类书法,并通过 ... 最近在做一些概率 模型 的东西,所以有一点点浅见,就随便写写,白话、不带数学公式,不深。 概率 分为有向 (bayesian network)与无向 (markov random filed)。直觉上说,有向 突出 ca usality(因果关系,其实只是correlation),无向 突出correlation(关联性) http://blog.csdn.net/pipisorry/article/details/51461878概率 模型 Graph i ca l Model s简介完全通过代数计算来对更加复杂的 模型 进行建模和求解。然而,我们会发现,使用概率分布的 图形 表示 进行分析很有好处。这种概率分布的 图形 表示 被称为概率 模型 ( probabilistic graph i ca l model s )。这些 模型 提供了几个有用的性质 模型 在现实中有很多应用场景,例如交通 网络 、商业交易、通信 网络 等。一般有四种比较重要的 模型 :无向 、有向 、加权 和加权有向 。所谓 是由一组顶点和能够将两个顶点相连接的边构成。 的相关概念 如果两个顶点通过一条边相连,我们称这两个顶点相邻。子 是由一幅 所有边的子集构成。需要注意的是很多具体问题中是需要识别各种类型的子 。路径是由边顺序连接的一系列顶点。 连通 :如果从这幅 的任意一个顶点都可以找到一条路径达到另外一个顶点,那这幅 是连通 。一个非连通 是由多个连通 构成,每一个连通 都是 概率在现在模式识别中占有很重要的地位,可以把概率问题纯粹的转化成 的操作。 转化成 有三个优点:                                       1.提供一个简单的方式去形象化概率 模型 结构,并且可以设计和改进出新的 模型 。                                       2.观察 模型 性质,包括条件独立的性质,可以检查 模型 的正确性。 一:Introduction1: 由结点(node)和边(edge)组成,在概率 模型 (probabilistic graph i ca l model )中,每个结点 表示 一个随机变量或者一组随机变量,边 表示 这些变量之间的概率关系。The graph ca ptures the way in which the joint distribution over all of the random variabl 文章目录1. 的基本概念2. 特殊结构的 网络 3. 衡量 网络 的一些指标4. 基于 结构的 表示 学习deepwalknode2vecstruc2vecmetapath2vec5. 基于 特征的 表示 学习GCNGNN参考资料 1. 的基本概念 结点可以分为两类:隐含结点和观测结点。边可以分为有向边或无向边。从概率论的角度来看,概率 模型 是一个概率分布, 中的结点对应于随机变量,边对应于随机变量的相关性关系。给定一个实际问题,我们通常会观测到一些数据,并且希望能够挖掘出隐含在数据中的知识。那么怎样才能 模型 的构建介绍第一步:业务场景定义第二步:信息收集第三步: 建模第四步:实体、概念、属性、关系的标注第五步:实体和概念的识别第六步:属性识别与关系识别 作者:华为公司数据管理部 来源:大数据DT 导读: 模型 作为当前流行的信息处理加工技术,自提出以来,迅速在学术界和工业界得到了普及,在智能推荐、决策分析等方面有着广泛的应用。 模型 由节点和边组成。节点 表示 实体或概念,边则由属性或关系构成。 实体:指的是具有可区别性且独立存在的某种事物 例如某一个人、某一个城市、某一种植物、某一种商品等,是 概率 模型 概率 模型 (Probabilistic Graph i ca l Model ,P GM ),简称 模型 Graph i ca l Model GM ),是指一种用 结构来描述多元随机变量之间条件独立关系的概率 模型 , 从而给研究高维空间中的概率 模型 带来了很大的便捷性。 高维随机变量的联合概率为高维空间中的分布,一般难以直接建模。在不做任何独立性假设的条件下, 模型 的参数将随维度的增长呈指数级增长。... Games102_lecture14几何建模与处理基础_几何建模1 design from zero1 wireframe model ing2 surface model ing3 solid Model ing2 中国智造3 Editing1 概念2 方法1 Point based editing1 RBF2 moving least quares method3 vector fileld based deformations4 laplacian editing5 Possiono mesh editin