机器学习算法之BIRCH

BIRCH（BalancedIterative Reducing and Clustering Using Hierarchies）全称是：利用层次方法的平衡迭代规约和聚类。BIRCH算法是1996年由TianZhang提出来的。Birch算法就是通过聚类特征(CF)形成一个聚类特征树，root层的CF个数就是聚类个数。

BIRCH算法实现分为4个步骤：

1、扫描所有数据，建立初始化的CF树，把稠密数据分成簇，稀疏数据作为孤立点对待。

2、这个步骤是可选的，步骤3的全局或半全局聚类算法有着输入范围的要求，以达到速度与质量的要求，所以此阶段在步骤1的基础上，建立一个更小的CF树。

3、补救由于输入顺序和页面大小带来的分裂，使用全局/半全局算法对全部叶节点进行聚类。

4、这个步骤也是可选的，把步骤3的中心点作为种子，将数据点重新分配到最近的种子上，保证重复数据分到同一个簇中，同时添加簇标签。

聚类特征(CF)：每一个CF都是一个三元组，可以用（N，LS，SS）表示。其中N代表了这个CF中拥有的样本点的数量；LS代表了这个CF中拥有的样本点各特征维度的和向量，SS代表了这个CF中拥有的样本点各特征维度的平方和。

比如：CF中含有N=5个点，以两维样本点值为：（3，4）、（2，6）、（4，5）、（4，7）、（3，8）。

然后计算：

LS=(3+2+4+4+3,4+6+5+7+8)=(16,30)

SS=(32+22+42+42+32,42+62+52+72+82)=(54,190)

对于上图中的CF Tree，限定了B=7，L=5，也就是说内部节点最多有7个CF(含有的分支点数目),而叶子节点最多有5个CF(每个叶子还有的CF个数,实际上就是每个叶子中包含的样本数目)。叶子节点是通过双向链表连通的。

BIRCH算法举例：

Birch算法在sklearn.cluster中

具体代码如下

#coding = utf-8



##算法涉及主要参数



##n_clusters:簇数

##threshold :扫描阈值

##branches_factors: 每个节点中CF子集群的最大数量,默认值为50

##最后通过读取：label_;来获知每个数据点的分类情况



import  numpy  as  np

import  matplotlib.pyplot  as  plt

from  sklearn.datasets.samples_generator  import  make_blobs

from  sklearn.cluster  import  Birch



## X为样本特征,Y为样本簇类别，共500个样本，每个样本2个特征，共4个簇，

## 簇中心在[-1,-1],[0,0],[1,1],[2,2]



X,Y = make_blobs(n_samples = 500,n_features = 2,

                 centers=[[-1,-1],[0,0],[1,1],[2,2]],

                 cluster_std=[0.5,0.4,0.5,0.4],random_state=9)



##设置birch函数

birch = Birch(n_clusters = None)



##训练数据

y_pred  =  birch.fit_predict(X)





##绘图

plt.figure()

plt.subplot(2,2,1)

plt.scatter(X[:,0],X[:,1])

plt.title('DataSample')

plt.subplot(2,2,2)

plt.scatter(X[:,0],X[:,1],c=y_pred)

plt.title('None')



##设置birch函数



birch =Birch(n_clusters = 4)



##训练数据

y_pred =birch.fit_predict(X)

plt.subplot(2,2,3)

plt.scatter(X[:,0], X[:, 1], c=y_pred)

plt.title('n_clusters=4')

plt.show()

最后的效果：

更多相关文章

随机推荐