模糊聚类分析

1、目录1引言：32理论准备：32.1 模糊集合理论32.2 模糊C均值聚类(FCM)42.3 加权模糊C均值聚类(WFCM)43聚类分析实例53.1 数据准备53.1.1 数据表示53.1.2 数据预处理53.1.3 确定聚类个数63.2 借助clementine软件进行K-means聚类73.2.1 样本在各类中集中程度83.2.2 原始数据的分类结果83.2.3 结果分析93.3 模糊C均值聚类103.3.1 数据集白模糊C划分103.3.2 模®C均值聚类的目标函数求解方法103.3.3 MATLAB软件辅助求解参数设置113.3.4 符号表木113.3.5 代码实现过程113.

2、3.6 FCM聚类分析113. 4WFCIM法143.1.1 WFCM聚类结果展示143.1.2 样本归类163.1.3 归类代码实现164.结论175参考文献186附录18模糊聚类与非模糊聚类比较分析摘要：聚类分析是根据样本间的相似度实现对样本的划分，属于无监督分类。传统的聚类分析是研究“非此即彼”的分类问题，分类结果样本属于哪一类很明确，而很多实际的分类问题常伴有模糊性，即它不仅仅是属于一个特定的类，而是“既此又彼”。因此为了探究模糊聚类与非模糊聚类之间聚类结果的差别，本文首先采用系统聚类方法对上市公司132支股票数据进行聚类，确定比较合理的聚类数目为11类，然后分别采用K-means聚类

3、与模糊聚类方法对股票数据进行聚类分析，最终得出模糊聚类在本案例中比K-means聚类更符合实际。关键字：模糊集合，K-means聚类，FC婢类,WFC臊类1引言：聚类分析是多元统计分析的方法之一，属于无监督分类，是根据样本集的内在结构，按照样本之间相似度进行划分，使得同类样本之间相似性尽可能大，不同类样本之间差异性尽可能大。传统的聚类分析属于硬化分，研究对象的性质是非此即彼的，然而，现实生活中大多数事物具有亦此亦彼的性质。因此传统的聚类分析方法往往不能很好的解决具有模糊性的聚类问题。为此，模糊集合理论开始被应用到分类领域，并取得不错成果。本文的研究目的是通过对比传统聚类和模糊聚类的聚类结果，找

4、出二者之间的不同之处，并说明两种聚类分析方法在实例中应用的优缺点。2理论准备：2.1 模糊集合理论模糊集合定义：设U为论域，则称由如下实值函数艮A：UT0,1,uTna(u)所确定白集合A为U上的模糊集合，而称NA为模糊集合A的隶属函数，A(u)称为元素u对于A的隶属度。若Na(u)=1,则认为u完全属于A；若Na(u)=0,则认为u完全不属于A,模糊集合是经典集合的推广。2.2 模糊C均值聚类(FCM)预先给定类别数c,把含有n个样本的数据集分成c个模糊类，用每个类的类别中心？行代表该类，通过反复迭代运算，逐步降低目标函数的误差值，当目标函数收敛时，聚类完成。目标函数：cnm2minJfcm

5、U,Pxj.jdij(1)一j二j约束条件：cij=1(2)?0,1,?i,j2.3 加权模糊C均值聚类(WFCM)算法过程与FC般似，只是目标函数不同，WFCMJ法考虑了各样本点对分类的重要性，在FCMMT法中加入了权值?蟹为样本点的密度，本文中？氨用径向基函数方法来确定，当样本点x远离类中心？粉寸函数取值很小，此时该样本点对分类的重要性比较小。最常用的径向基函数是高斯核函数，形式为k(|x-Xc|)=exp1-|x-xc|A2/(2*<T-2)(3)目标函数：cnm2minJFCMU,P='"piijdij(4)iTjWij约束条件：c?0,1,?.=1(5)i1U

6、3聚类分析实例3.1 数据准备3.1.1 数据表示本文采用数据是上市公司2000-2003年共4年132支股票31个变量的数据进行聚类分析，表1是各变量所代表的含义。表1数据表示X1每股收益X2每股净资产,X30净利润X31未分配利润3.1.2 数据预处理为了排除各因素变量的单位不同以及数量级间的悬殊差别带来的影响，尽可能的反映实际情况，需要对数据进行无量纲化处理。常用的处理方法有：标准化处理方法和极值处理方法。以下均采用“标准化”处理法。即取率XijXjXjSj(6)(i=1,2,，528;j=1,2,，31)其中x?为标准观测值，其平均值和均方差分别为0和1。式中N(j=1,2SI)为第j

7、项指标原始观测值的平均值，Sj(j=1,2,，31)为第j项指标原始观测值的均方差。3.1.3 确定聚类个数如前文所述，聚类分析是无监督分类，分类之前并不知道聚多少类是合适的，所以为了保证分类的合理性，首先借助SPS欹件对数据进行系统聚类以确定合理的分类数。谱系聚类图结果显示如下，我们初步选择在距离为5处截取，确定合理聚类数为11类。E3回立物。鹏文件星置蚣砚元35例助图1系统聚类谱系图3.2 借助clementine软件进行K-means聚类为了实现传统聚类与模糊聚类结果的对比，这里首先对数据做了传统的K均值聚类，具体的操作流程如下图2所示50流1”-Clementirie12.0X号文件编

8、辑般视图工具超节点街口帮助口口玛过国,Q5料r*向笨收喊爽源L脏劳量:本地加势器蒙自定父商枪矩即记录这项享段选项州折敷第官国变钝稣计量旧慎95M日门61MB1报吉呢直也扇地|建模|输出图2clementine实现K-means过程3.2.1 样本在各类中集中程度对模型结果进行查看，得到各类中所包含的样本个数如下图3所示，发现样本主要集中在第5,7,8,9,10类。甲逐装类记录由电果会)对记录®*魁3：4记录i鑫X：12记录申欣聚委5"记录由原肥士近75记录由鬣案类r93记录4说累生火记录宙点翳类丹筑记录由由聚类一WT了记录由益鬃类-11；I记录图3样本在各类中集中程度3.2

9、.2 原始数据的分类结果图4的最后两列分别是样本所属类别和样本与该类别的类中心之间的距离，如对于第1个样本，属于第1类，与类中心的距离是0.394。国文件输iD生成画互愿事壮160C2B00.3eoc.4一E00.5282.B282.7282.e303.S536.10636.11229.12229.135QL.14501.15501.16501.17248.10248.192*0.20248.口置业破.IwilJS?"./1.567O3EO12.3.2665290.O.85ie6fEO0.1.3058014.3.314147361,.1142B7；895.2.9040IE065.1.

10、84065(74,r4/T的吟上141989CO76.3.209721660.,-0,486653117,.Q35的4邰L-O482O4S832.4)342792938-3.6272636O.14715018.4.02614E216.107984154?.±?WJ.,U706史蟠070653858.4.62307343.7065368,.1351023915.359rEe?139.1341009710.206T50B937,.0474129004.3351767877.11566736.3.35614D069.0.263378090.0352301601.0230E9D712.Q54

11、1504753.32526633.1355764812.3.42570014571.323483045.【利或额左.1933213*15?3.5236434W.0.653175810.3.631643.1.955351981.£.5971211.1.923120537.4U?20糕:n.0.0470437372257J6E27J10.619001S68L7941理乳-0.O113994E1.12225E3967.-0.00305355.O.fl339231fiS.341斯53.2C15495332.4.3385272111.774445333.【亲利甚万元.昧分百瑞亚.Wk-Mean

12、sJKMD-K-Means5,加北机.3.292129636.37413604.3.25828676.1.50005021.LB?838343.149621311.173433663.343166<.2.56238155.3S94U29A.-O6D90351J6.4.119J81365.1755351323.2095085783-4.23B79120b.3L16B47UOC126?9O1i21.16940513*1770759371927gSfl4C1.891640032.03342.05997722.1.053516139.-0,KU12O4.1334046661.095694432.

13、1017644870.*0,13078723.-1114699002.0.80733574.419676893.4.51788463.1054296192.2.157574311683045679.-1123050333.1.433375793.1.5d521292.1.89777231.B-BB85ci奥S-类类类S-S-S-奏类类盘类类权1.口4亢口54400300439O.S750.45505430532neJ3U43i055310361117OBJ6083003330316U3NU325iiT制tn，情帽rm*fliiwrwnirt。岫小讶痴1力痛此的m部图4K-means聚类结果3.

14、2.3 结果分析分析总结上述K-means聚类结果：对这528个记录的聚类结果中，在第1,3,5,11类中，样本的个数都比较少，其中第11类仅有一个样本，而第7,8,9类中样本数分别高达93,181,97个，这些类中样本过于集中，说明得到的结果不是很理想，因此尝试模糊状态下对数据进行聚类分析。3.3 模糊C均值聚类3.3.1 数据集的模糊C划分设待分数据集X=?,?,?也表示对上市公司股票的528次观测数据，?=?,?&,?31是第k个样本的31个指标向量的取值集合。对数据集进行模糊聚类首先要产生X的模糊c划分，由于聚类属于无监督分析，需要事先设定好聚类个数，这里为了和传统聚类分析结果

15、做出比较，把数据模糊化为11个模糊子集？，？，?1,且满足：?U?U?U?1=?n?=?,1<wj<11；?W?,?W?1<i<110?=?表示样本？沏于模本子集？?程度，其中？?£0,1,因此模糊划分可以用隶属度矩阵U=?表示。3.3.2 模糊C均值聚类的目标函数求解方法针对上述2.2部分中模糊C均值聚类算法的目标函数和约束条件，本文采用拉格朗日乘数法求解该数学规划问题，分别求得隶属度Uij和类中心vi表达式如下：”二一J(7)£y»k苴(dkj)VimUijXj(8)mUij调用MATLA飘件中自带的fcm函数对上述数学规划问题进行求解

16、，其中fcm函数中一些参数设置如表2所示。表2参数设置参数设置最大迭代次数100终止误差1.00E-05模糊度参数2聚类个数113.3.4 符号表示表3符号表示符号表小Center类中心U隶属度矩阵obj_fcn目标函数值Data样本数据3.3.5 代码实现过程导入数据：Data1=xlsread('data')调用函数：center,U,obj_fcn=fcm(data1,11)3.3.6 FCM聚类分析Matlab结果输出如图8,9,10,11所示，分别得到各样本的初始化隶属度矩阵，样本各类的类中心，最终的样本隶属度，目标函数的更新过程样本模糊化1至心列0.02160.11

17、650.1C400.05030.03500.(6O.GOCS0.01921u6i0.1312O.tlo；0.0：OL。.幽D.09270门讷0.1U；o.osr0.102106721废:喇iinso.crQ.：顺0.U180,01500.11850.12200.26240,183：0.13&10.06240.0638二;工C.Q1730,C2969.11090.13510.11220.0549j.J6O40.119；fl.1U200371：231：.W1S0.1385O.tOcSo-osr0商tL陶0.11350,15050.15K0,0；130,0:9130.03310.053403

18、O.：63S0.1550|.13300,0344(U赫9。闻LD2T0.'3)0a.m0,14-50,咖；15334j.)63E0.1265t.0648丸佗耨0.0U00.0派0JW0.3541Q,喷1Q6：2。二而X一而。：期k%0,16200.13；90.01850.08：30,L1870.：4110,O724O.(i5450呢1口恒).11蛤0.C5150,C3440.138S0.0&44。门摭帕善0J短0.：1)00,17040J减1'0.03M0.2206CC9150J340小。湖0.0KLL班加13G90d.0i3S0.(9110照0.0939工的L：1)0

19、630.12530.V350.15450.(16240.US2D.09Q?0,0；30Q,阳3O.lliOq,购0.：33o.om工收西O.kOQ(UI邢图8初始化隶属度矩阵截图类中心（center）ffl11x91double12345E789100150.00190.02284330英-06-7.1758e-05-9,9971e-04-6.&456e04212B9e-O4-2.6923(2-26123e-043,3019e-04-0,0212-5.747-07-T1B43e-O5-1.7625e-04-1.1724&-M3739%-05465及3-aooio0.0013*0

20、.0222“2.9571405-49991e-05-7.02Me-C4-4.668；e-a414945自-8-1.8fl57(49.0295e-O4OW120-01932,S79Oe-O£43629e056.1口跳佻4,05211041.2971&-041,63&4(5QOO120.0016-0.019417536eOC5,77班-OS8,l323e-045.401Be-041.72B2e->4M760t6100130.00160.01933,85S4t*0£5,9978105845现状5,6165eM1,7拈7b042,261曳7897MM0,CX&

21、gt;12-0.01932.0631c-Oe4337在-05砧“k-M4028沌-M12395十居1626913-2,91&k-M-3.776-04-0.02136.7041e-07-1338735-1,9634e-Q41,3O8?e-W4175加-05-5,2133(g43aHM5,688040-02041S6C06217厘052g6执3L9630e-M6.31Q2e4006&102期短G2,fl&14e-04-0.02051.102注-061l,5O62e-OS2.0215e-041.c423e-044,3D91e-055.4fiB8(110.00190.00250

22、.02335S717e-Of3300e05-0.0013B.S867&-042.7524s04*3,4370(图9类中心隶属度矩阵（U）出11或8如他1234r3iFQIng10111009a,0.0&09-3D909。幽1080.090SO.QQOBM睢0D9aa1崛a,0.0&D9(i瞬3.09丽炳g网期009丽3幽0幅D.0909*3期9&M09网OjM«MM940.0909OlOTO010909BD9090JB1D(106100.09100.W1D-0.0909oos0.W1D5OTOaw®010909DJ0909W100.0910W

23、10。的1。).091000910廊&D.09090109MM909JJ09Q90J091Q0JB1O0.0910岫K期。(UH10MM1D70.0909ara-9090脆孤机00.09100.0910。.的W网城QOS0108OlDO0.09-M网0JQ9C9。硕9(L09K喇0.0909ojogogtk«09g9.0909Q109S0.09090J09O91D909O.K09D0M9AJ0909ftwogICD.V909丽Q腔网厕。晒9cmmM牌110.09Wmoo®009WojogogOJMO&0.0908(L蹴0,K-M。.伽aOJ0906IWOfi

24、图10隶属度矩阵图8,9,10分别是模糊C均值聚类最终形成的类中心，隶属度矩阵，目标函数。由图8可以看出各类的类中心相差不大，同时由图9可以看出隶属度矩阵几乎没有差别，从图9中可以看出对目标函数，在3次迭代之后基本趋于平稳状态，目标函数值为1487.6,综合上述分析认为该聚类方法效果不好。在尝试解决这个问题的过程中，尝试修改fcm函数的模糊度参数，迭代次数，误差项仍没有取得较好结果，随后为了避免单只股票4年的数据相似度太大而导致聚类效果差，分别抽取2000年到2003年各年的132只股票逐年进行分析，仍旧没有得出好的聚类结果，所以文中没有进行展示。考虑到各样本点对聚类的结果产生的影响不同，下文

25、尝试改进的加权模糊C均值聚类方法。3. 4WFC算法由于MATLA呻没有自带WFCI®数，需要自己进行编程，数据的模糊化过程与模糊C均值聚类中相同，这里不再赘述。下面是WFC睚行的结果，具体代码实现过程见附录A3.1.1 WFCM聚类结果展示样本模糊化1.1274Ql13K)0L1370XCOB50.0315Q.07KL0-54L旧50.06410L0H5LI热0.038TL41EL比1G1UJ；工匚胫Q.幽叵转J.L2610.03J4101744.0QQ；0J谕LaniL06SJ二不lL5il1陷o.m山。：井1CL630.1all(L师51m0.0j：0咫1.1220.12:：O

26、.Osfi0.0532IO。湖(L喇11294(L0290LOS89口期口口国毋叮0.冈HE苒0.1791也UHltl?J0.10;:0.031$Q川;50JS510.0152LO5S1二面O.L"30.14；30.1126L版？LOS191L；ILC31511；141(1j40.1：341W二江四LCGS20.17250.0S?30121苻0.114511H30.0633o.in：0日511110CLOZH：U?2I(U瞄3GgXCi515011439XC-B?OAiJI2C5SXCJ1;010309：.L497L1L时工厂1工0.12：3j.L：JStu躺1W030.1245LW

27、0.1S16:/孤则加口洞VAt：八£:心3.U；1(Lil群LIE%：加Zl；13L府QJ*0琬:网；:二端工LL以1(4150.11330LINE61：总(LOlLU4：'10；4；图12样本初始化隶属度矩阵对比FCM聚类最终结果，可以得出在对目标函数进行加权之后，隶属度矩阵和类中心都发生了明显的改善，说明考虑了不同样本对聚类结果的影响之后聚类结果更好。隶属度矩阵data'dataluMobjfenX1cent笈h1k528double12w4567gg1ao9ic0.09100.0911ciogro.oeieo.oei70.0920omig0.09202aosn

28、0.09110.0912aO9120.09230,09210,09230.09210.09223Q09080.09090.0项7QO9O70.08980.09000.069770.09000.090240.09100.0911oiogr0,0924o.mio,n270,09230,092053591。0.09100,0910aogio0.09160.09150,09160.09150.09146009050.09090.0910aogog0.091&D.OT140,0918O.OQ150.05107oom0,03080.09兜QO9O80,08990,09020,08970,09000

29、.09038009060.09060.0934a09040.08830.08880,08810.08860.0887gaO9O60.09030.09)s|GOgOs10,09020.0MO.OSOlt。的03O.OMSj0aosio0.09100.0911Q0911D.091B0,09170,091910.09170.09151aom0.09080.0958QO9O80.09020.OT030.(»010.00020.0502图13WFC廉属度矩阵类中心datadatalU1|ohjfen1center:1：11x31double12345678g10.00700.00730.007

30、4-5.27*04口.020。0.0056-0.0143-0.00560.00892QQ197QJ240。值及-0.0015370515QQ179-o,cross2-0.0246-0.0309-0.0257-2.2722e-040.0065-0.01&E-0.0161-0.0061-0.005240XJ2B70.03780.03770.00230.028800208>0.0025氏869骗040.019850.01500,0140,0W0.00180.001?0-01040.0100O.GO385.14丝60.02450.03550.03600.00420.01800.019E0

31、.00890.00400.0119702500,0319-0.0318-0.00190.0161-0,0176L48O0e-O4-00108fl-0.0389心0539-0.05100.00305.8914-04-0.0257-041肺-0.004S-0.00749-0,OOB20.0133-0.01310.0016D.OO35-0.0056-0.00144.6867e-04-0.0010W0.01790.02380.022872742e-04-0,00&10.01300.01920.00640.002911-0.0112-0.0075goonai061e-M-0.0185-0.004

32、3-0.0013.4846e-04-0.0097图14WFC跳中心3.1.2 样本归类计算出U,V,obj_fcn之后，对样本进行明确的归类，这一过程可以通过下面两个判定准则来确定：判定准则1如果？?=min?(1<j<c),则将样本？?如属于第i类。这个判定准则的意义是样本与哪一个聚类中心最接近，就将它归到哪一类。判定准则2如果？?=max?(1<j<c),这个判定准则的意义是样本对哪一个类的隶属度最大，就将它归到哪一类。3.1.3 归类代码实现下面我们以判定准则2来划分样本的类别，代码过程如下：maxUmax(U)：> >indexl-find(U(L:

33、)。maxU);inds2-findU(2)maxU);> >indexS=find见)=maxU);> >index4-find(J(4,)=maxU);> >indexB-findU(5,:)-maxU);> >index6-find(U£fi.:)=maxJ)：> >in品x7=find<U(7,;)=皿能；>>indesS=finddlO,:J=maKW)：>>index9=find(11(9,:)=maxU);irudexlO=fJLndwU'.1Q,:)=maxU.);>

34、;>ind&xll=find(11(11,:)户m鄱U);图15分类代码3.4.4样本归类结果及分析运行图11中代码，得到结果如图16所示:工作区indejtlndexIOindexll-FindexSindsxSindej(4inde*5ind皆index7indexBindexPmayU名称16样本归类结果值52,147p167,175r213x44t/cifb/e1j(6Qaoiibe102眼3股弱0.50IjflS/口“bJe1J7#7mdoMe-63J51J7621571.1jc63double打127doMe1y528d匕此0由图16可以看出，最终样本归为10类，除了

35、第2和9类中样本比较多，其他各类中样本分布比较均匀，聚类结果可以接受。4.结论非模糊聚类直接根据样本之间相似性进行归类，而模糊聚类是根据样本的隶属度矩阵和相似性矩阵进行归类，其中样本？?隶属于i类的程度即隶属度，可在0到1之间取值，而不是如传统聚类算法中，样本？?隶属于类的隶属度只有两种取值1或0,即属于与不属于。这样，样本？?7不再明确地属于某一类，而是对于每一个类别都有一个隶属度,隶属度的数值越大说明样本隶属于该类的程度越大反之则越小。模糊聚类的这种模糊划分描述了样本聚类过程中的模糊现象，从而可以获得更为合理的聚类结果。对比K-means聚类结果图3和WFC臊类结果图13,图16,发现非模

36、糊聚类结果中样本集中在第6,7,8,9类中，而在加入了模糊隶属度之后，模糊聚类结果有了各个样本属于11个类的程度，按隶属度最大原则对样本进行归类之后发现除了第5类之外，样本在各类中的分布相对更加均匀，说明聚类目的基本达到.具体到本文所采用的股票数据的聚类结果，可以看出模糊聚类比传统的聚类结果更为合理，因此模糊聚类的优势得到充分体现。5参考文献1 ZadehLA.FuzzySets.InformationandControl.1965,8:338-353.2 ChanKP,CheungYS.ClusteringofclustersJ.PatternRecognition,1992,25(2):2

37、11-2173杨纶标，高英仪学原理及应用华南理工大学出版社2005.652-774姚晓红.模糊聚类分析方法在甘肃农业经济类型划分中的应用D.兰州交通大学，2013.5廖芹，郝志峰数据挖掘与数学建模国防工业出版社20096高新波模糊聚类分析及其应用西安电子科技大学也出版社20047叶海军.模糊聚类分析技术及其应用研究D.合肥工业大学，20068张秀梅，王涛模糊聚类分析方法在学生成绩评价中的应用J渤海大学学报：自然科学版，2007,28(2)169-172.9汤效琴，戴汝源数据挖掘中聚类分析的技术方法宁夏大学学报2006.76附录附录AWFCMHi码functioncenter,U,obj_fcn

38、=KFCMClust(data,cluster_n,kernel_b,options)error(nargchk(2,4,nargin);%检查输入参数个数data_n=size(data,1);%求出data的第一维(rows)数，即样本个数in_n=size(data,2);%求出data的第二维(columns)数，即特征值长度，目前没有用%默认操作参数default_b=150;%图斯核图数参数default_options=2;%隶属度矩阵U的指数100;%最大迭代次数1e-5;%隶属度戢小变化量，迭代终止条件1;%每次迭代是否输出信息标志ifnargin=2,kernel_b=de

39、fault_b;options=default_options;elseifnargin=3,options=default_options;elseiflength(options)<4,tmp=default_options;tmp(1:length(options)=options;options=tmp;endnan_index=find(isnan(options)=1);%将denfault_options中对应位置的参数赋值给options中不是数的位置.options(nan_index)=default_options(nan_index);ifoptions(1)&l

40、t;=1,%如果options中的指数m不超过1报错error('Theexponentshouldbegreaterthan1!');endend%等options中的分量分别赋值给四个变量expo=options(1);%max_iter=options(2);%min_impro=options(3);%display=options(4);%隶属度矩阵U的指数最大迭代次数隶属度最小变化量，迭代终止条件每次迭代是否输出信息标志obj_fcn=zeros(max_iter,1);%初始化输出参数obj_fcnU=initkfcm(cluster_n,data_n)%初始化模

41、糊分配矩阵%初始化聚类中心：从样本数据点中任意选取cluster_n个样本作为聚类中心index=randperm(data_n);%对样本序数随机排列center_old=data(index(1:cluster_n),:);%选取随机排列的序数的前cluster_n个fori=1:max_iter,%在第k步循环中改变聚类中心ceneter,和分配函数U的隶属度值；U,center,obj_fcn(i)=stepkfcm(data,U,center_old,expo,kernel_b);ifdisplay,fprintf('KFCM:Iterationcount=%d,obj.fcn=%fn