贝叶斯算法

贝叶斯网络(Bayesian networks or Bayesnets)也称为因果概率网络(CPNs,Causal Probabilistic Networks)、贝叶斯信念网络(BNS,Bayesian belief Networks)或信念网络,是用来对那些带有不确定性问题的问题域进行建模的系统。

从形式上说,贝叶斯网络是由一组以单向箭头相连的节点以及与每个节点相对应的概率函数所构成的网络。对于离散变量的贝叶斯网络,概率函数便具有了概率表的形式。这个网络必须是一个有向无环图,即其中不存在一条起始和终止于同一节点的通路。用图形的方法描述数据间的相互(因果)关系,语义清晰、可理解性强,有助于利用数据间的因果关系进行诊断、预测、分类等分析。因而贝叶斯方法具有独特的不确定性知识表达形式、丰富的概率表达能力、综合先验知识的增量学习特性等优点。

在贝叶斯网络中,每个节点代表一个有限状态数的离散随机变量,节点之间的单向箭头代表其间的因果关系。如果某个节点不具有父节点(即没有箭头指向它),那么这个节点就具有一个边缘概率表,其中记录了该节点取不同状态值的概率分布;反之,若某节点有父节点(即存在一条或多条有向箭头指向它),则它就拥有一个条件概率表。条件概率表中的每个元素对应该节点在其父节点处于某种状态组合下,其本身状态值的概率分布规律。

贝叶斯网络根据每个节点的概率表,在给定部分(一个或多个)节点状态值的前提下,对其余全部或部分节点的概率分布进行预测的过程即为网络的推理过程。

贝叶斯网络(Bayesian networks or Bayesnets)这里的应用算法有:

  • 朴素贝叶斯(Naive Bayes)

  • 高斯朴素贝叶斯(Gaussian Naive Bayes)

  • 多项式朴素贝叶斯(Multinomial Naive Bayes)

  • AODE(Averaged One-Dependence Estimators)

  • 多元自适应回归样条(MARS)

  • 贝叶斯网络(Bayesian Belief Network)

原文:https://github.com/KeKe-Li/tutorial