K-均值(K-Means Algorithm) k-means算法，也被称为k-平均或k-均值，是一种得到最广泛使用的聚类算法。 通常它把n个点（可以是样本的一次观察或一个实例）划分到k个聚类中，使得每个点都属于离他最近的均值（此即聚类中心）对应的聚类，以之作为聚类的标准。 k-means算法属于无监督学习方法。此算法以k为参数，把n 个对象分为k个簇，以使簇内具有较高的相似度，而且簇间的相似度较 ...

聚类算法 聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法。聚类（Cluster）分析是由若干模式（Pattern）组成的，通常，模式是一个度量（Measurement）的向量，或者是多维空间中的一个点。聚类分析以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。 聚类算法是一种非监督学习。聚类分析起源于分类学，在古 ...

BP神经网络 人工神经网络 （Artificial Neural Network，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型，根植于神经科学、数学、思维科学、人工智能、统计学、物理学、计算机科学以及工程科学的一门技术，通常用于解决分类和回归问题。具有并行分 ...

贝叶斯网络（Bayesian Belief Network） 贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl首先提出，它是基于概率推理的图形化网络，可以模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构 ...

平均单依赖估计量（Averaged One-Dependence Estimators） 平均单依赖估计量（Averaged One-Dependence Estimators）是一种半朴素贝叶斯学习方法。它通过聚合多个单依赖分类器的预测来执行分类，其中所有属性依赖于相同的单独父属性以及类。它的开发旨在解决流行的朴素贝叶斯分类器的属性独立性问题。它常常以计算量适度增加为代价，比朴素贝叶斯开发出更准 ...

多项式朴素贝叶斯(Multinomial Naive Bayes) 多项式朴素贝叶斯(Multinomial Naive Bayes)算法，用于文本分类(这个领域中数据往往以词向量表示，尽管在实践中 tf-idf向量在预测时表现良好)的两大经典朴素贝叶斯算法之一。分布参数由每类的向量决定， 式中 n 是特征的数量(对于文本分类，是词汇量的大小)是样本中属于类 y 中特征i概率 。 参数 使用平滑过 ...

高斯朴素贝叶斯(Gaussian Naive Bayes) 高斯朴素贝叶斯算法是一种特殊类型的NB算法，它特别用于当特征具有连续值时。同时假定所有特征都遵循高斯分布，即正态分布。高斯也称为正态分布，是连续变量分布上广泛使用的一种模型。对于单变量，高斯分布可以写成：均值和方差。 对于维向量，多变量的高斯分布形式为：其中为维均值向量，协方差矩阵行列式。高斯分布会出现在许多不同的问题中，可以从多个 ...

朴素贝叶斯(Naive Bayes) 机器学习中，朴素贝叶斯分类器是一系列以假设特征之间强（朴素）独立下运用贝叶斯定理为基础的简单概率分类器。朴素贝叶斯是一种构建分类器的简单方法。该分类器模型会给问题实例分配用特征值表示的类标签，类标签取自有限集合。它不是训练这种分类器的单一算法，而是一系列基于相同原理的算法：所有朴素贝叶斯分类器都假定样本每个特征与其他特征都不相关。举个例子，如果一种水果其具有红 ...

贝叶斯算法 贝叶斯网络（Bayesian networks or Bayesnets）也称为因果概率网络（CPNs，Causal Probabilistic Networks）、贝叶斯信念网络（BNS，Bayesian belief Networks）或信念网络，是用来对那些带有不确定性问题的问题域进行建模的系统。 从形式上说，贝叶斯网络是由一组以单向箭头相连的节点以及与每个节点相对应的概率函数所 ...

局部加权学习算法（LWR） 局部加权回归（LWR）是非参数学习方法。 首先参数学习方法是这样一种方法：在训练完成所有数据后得到一系列训练参数，然后根据训练参数来预测新样本的值，这时不再依赖之前的训练数据了，参数值是确定的。而非参数学习方法是这样一种算法：在预测新样本值时候每次都会重新训练数据得到新的参数值，也就是说每次预测新样本都会依赖训练数据集合，所以每次得到的参数值是不确定的。局部加权回归（L ...