Apriori算法实验报告.docx

题 目Apriori算法实现学生姓名学生学号专业班级指导教师2014-12-27实验一 Apriori算法实现一、 实验目的1. 加强对Apriori算法的理解；2. 锻炼分析问题、解决问题并动手实践的能力。二、 实验要求使用一种你熟悉的程序设计语言，如C+或Java，实现Apriori算法，至少在两种不同的数据集上比较算法的性能。三、 实验环境Win7 旗舰版 + Visual Studio 2010语言：C+四、 算法描述1、 Apriori算法说明在Apriori算法中，寻找频繁项集的基本思想是：A. 简单统计所有含一个元素项目集出现的频率，找出不小于最小支持度的项目集, 即频繁项集；B. 从第二步开始，循环处理直到再没有最大项目集生成。循环过程是: 第k步中, 根据第k-1步生成的频繁(k-1)项集产生侯选k项集。根据候选k项集，算出候选k项集支持度，并与最小支持度比较, 找到频繁k项集。下文中遇到的以下符号,分别代表相应的内容k-itemsetk项集Lk频繁k项集Ck侯选k项集2、 Apriori算法描述数据结构说明double minsup; /设置最小支持度map items_count; /统计各个项集的数目vectorvector datavec; /原始数据项集vectorvector candidatevec; /候选项集vectorvector frequentvec; /频繁项集ofstream outFile;int round=1; /生成项集轮次long trancount=0; /原始事务总数/判断某个项目在某一个事务中是否存在，存在则值为1，反之为0vectormap bitmap;Apriori算法的第一步是简单统计所有含一个元素的项集出现的频率，来决定频繁1项集。在第k步,分两个阶段：1，用函数genCanItemsetK，通过第(k-1)步中生成的频繁(k-1)项集来生成侯选k项集；2.计算侯选k项集的支持度，并找出频繁k项集。Apriori算法描述如下getOriData();/获取原始数据集，并统计事务个数genCanItemset1(); /产生输出候选1项集genFreItemset1(); /产生频繁项集if(!frequentvec.empty() /根据频繁1项集，执行程序dogenCanItemsetK();/生成并输出候选k项集genFreItemsetK();/计算并输出频繁k项集while(!frequentvec.empty(); /频繁项集不为空,则循环继续其中，产生候选k项集函数genCanItemsetK中涉及两个重要函数，项集合并函数mergeItem和剪枝函数cutNotCanItemsetK。3、 函数方法说明/获取原始数据集，并统计事务个数void getOriData();/合并生成新的候选项集vector mergeItem(vector vect1,vector vect2,int round);/判断项集item是否已经存在候选项集集合items中,存在则返回1int isExist(vector item,vectorvector items);/产生并输出候选1项集void genCanItemset1();/产生并输出频繁1项集void genFreItemset1();/产生并输出候选k-项集（k=2）void genCanItemsetK();/产生并输出频繁k-项集（k=2）void genFreItemsetK();/剪枝：剪去合并后项集中含有非频繁项集中的项void cutNotCanItemsetK(vector & item);五、 实验截图1. 程序运行界面2. 输出文件截图13. 输出文件截图1六、 实验总结做完这个实验，有如下收获：1. 同一数据集，最小支持度越小，那么产生的频繁项集维数越高，程序运行时间越长；2. 更加深刻理解了：频繁子集的任何子集一定是频繁的，子集频繁父亲一定频繁；3. Apriori也存在缺点：第一在每一步产生侯选项目集时循环产生的组合过多，没有排除不应该参与组合的元素；第二,每次计算项集的支持度时，开销会随着数据的增多而成几何级增长。七、 附1. 程序源码 main.cpp#include #include #include #include #include #include #include using namespace std;double minsup; /设置最小支持度map items_count; /统计各个项集的数目vectorvector datavec; /原始数据项集vectorvector candidatevec; /候选项集vectorvector frequentvec; /频繁项集ofstream outFile;int round=1; /生成项集轮次long trancount=0; /原始事务总数/判断某个项目在某一个事务中是否存在，存在则值为1，反之为0vectormap bitmap;/获取原始数据集，并统计事务个数void getOriData();/合并生成新的候选项集vector mergeItem(vector vect1,vector vect2,int round);/判断项集item是否已经存在候选项集集合items中,存在则返回1int isExist(vector item,vectorvector items);/产生并输出候选1项集void genCanItemset1();/产生并输出频繁1项集void genFreItemset1();/产生并输出候选k-项集（k=2）void genCanItemsetK();/产生并输出频繁k-项集（k=2）void genFreItemsetK();/剪枝：剪去合并后项集中含有非频繁项集中的项void cutNotCanItemsetK(vector & item);int main()getOriData();/获取原始数据集，并统计事务个数cout fName;cout minsup;outFile.open(fName,ios:trunc);outFile 最小支持度为minsup = minsup endl;genCanItemset1();genFreItemset1();if(!frequentvec.empty() /判断频繁1项集是否为空，为空则退出dogenCanItemsetK();genFreItemsetK();while(!frequentvec.empty(); /频繁项集不为空,则循环继续outFile.close();cout n结果已保存到 fName 文件！n;system(pause);return 0;/获取原始数据集，并统计事务个数void getOriData()int flag;cout flag;string filename;if(flag = 1)filename = dataA.txt; /打开数据文件elsefilename = dataB.txt;ifstream file(filename);if(!file) /检查文件是否打开成功coutFail to open data file!endl;system(pause);exit(0);elsestring temp;vector item; /项集的临时vector cout原始数据集：endl;int begin,end;while(getline(file,temp) /一行一行读入数据trancount+;begin=0;temp.erase(0,temp.find_first_not_of(rtn ); /去除字符串首部的空格temp.erase(temp.find_last_not_of(rtn)+1); /去除字符串尾部的空格while(end=temp.find( ,begin)!=string:npos) /每一个事务中的项是以空格为分隔符的item.push_back(temp.substr(begin,end-begin); /将每一个项插入item中begin=end+1;item.push_back(temp.substr(begin); /一个事务中的最后一项datavec.push_back(item); /将一个事务中的所有项当成一个整体插入另一个大的vector中item.clear(); /清空itemcout tempendl;file.close();/产生并输出候选1项集void genCanItemset1()map item_map;for(int ix=0;ix!=datavec.size();+ix)for(int iy=0;iy!=datavecix.size();+iy)items_countdatavecix.at(iy)+; /该项集的计数加1item_mapdatavecix.at(iy)=true; /表示该项目在该事务中存在，值为1，否则默认为0bitmap.push_back(item_map);item_map.clear(); /这里一定要清空一下map:const_iterator map_it=items_count.begin();outFile 候选1项集: endl;while(map_it!=items_count.end() /输出候选1项集outFile firstendl;map_it+;/产生并输出频繁1项集void genFreItemset1()map:const_iterator map_it=items_count.begin();outFile频繁1项集:endl;vector item; /项集的临时vectorwhile(map_it!=items_count.end() /频繁1项集if(float)map_it-second/(float)trancount)minsup|fabs(float)map_it-second/(float)trancount)-minsup)1.0e-7) /支持度大于0.2outFile.setf(ios:fixed);outFile first 支持度:setprecision(2)second/(float)trancountfirst);frequentvec.push_back(item); /插入频繁1项集的vector中item.clear(); map_it+;/产生并输出候选k-项集（k=2）void genCanItemsetK()/生成下一轮的候选项集vector item; /项集的临时vectorint st=frequentvec.size();candidatevec.clear(); /清除上一轮的候选项集for(int st1=0;st1st;st1+)for(int st2=st1+1;st2st;st2+)item=mergeItem(frequentvecst1,frequentvecst2,round); /调用函数合并生成下一轮的候选项集if(!item.empty()&!isExist(item,candidatevec) /若经过判断处理后返回的vector不为空且还不存在该项集，则作为候选项集加入候选vector中cutNotCanItemsetK(item);round+;outFile候选round项集:endl;for(int ix=0;ix!=candidatevec.size();+ix) /输出候选项集outFile;for(int iy=0;iy!=candidatevecix.size();+iy)outFilecandidatevecix.at(iy);outFileendl;if(candidatevec.empty() /候选项集为空outFile候选round项集为空!=2)void genFreItemsetK()int flag; /标记某个项集在某条事务中是否出现，出现为1，不出现为0，如：I1I2int count; /统计某个想集在整个交易的事务集中出现的次数string tempstr; /临时string，用于串接各个项成一个字符串： 如: I1 I2 I3 串接为I1I2I3int mark; /为避免执行多余的字符串串接工作frequentvec.clear(); /清除上一轮的频繁项集for(int sx=0;sx!=candidatevec.size();+sx) /构造下一轮的频繁项集mark=1;count=0;for(int sy=0;sy!=bitmap.size();+sy)flag=1; /初始化为1，表出现for(int sz=0;sz!=candidatevecsx.size();+sz)if(bitmapsycandidatevecsx.at(sz)=false) /存在某一个子项不存在，则没出现项集flag=0;if(mark=1) /只串接一次，如I1I2 否则为10个I1I2的串接tempstr+=candidatevecsx.at(sz); /串接字符串if(flag) /flag仍然为1，表示该项集在该条事务中出现了，计数加1count+;mark+;if(float)count/(float)trancount)minsup|fabs(float)count/(float)trancount)-minsup)1.0e-7) /支持度大于0.2frequentvec.push_back(candidatevecsx); /插入频繁项集items_counttempstr=count; /对应该项集的计数值/假设此时生成的tempstr为I1I2I3,为便于后面的求置信度的计算，这里需要产生I2I1I3,I1I3I2等组合，并/在items_count中给它们赋予和I1I2I3相同的值sort(candidatevecsx.begin(),candidatevecsx.end(); /排序string tempstr2;while(next_permutation(candidatevecsx.begin(),candidatevecsx.end() /取下一排列组合for(int tempst=0;tempst!=candidatevecsx.size();tempst+) /拼接出该字符串组合tempstr2+=candidatevecsxtempst;items_counttempstr2=count; /对应该项集的计数值tempstr2.erase(); tempstr.erase();if(!frequentvec.empty() /频繁项集不为空outFile频繁round项集:endl;for(int sx=0;sx!=frequentvec.size();+sx) /输出频繁项集outFile.setf(ios:fixed);outFile; for(int sz=0;sz!=frequentvecsx.size();+sz)outFilefrequentvecsx.at(sz);tempstr+=frequentvecsx.at(sz); /串接字符串outFile;outFile 支持度:setprecision(2)(float)items_counttempstr/(float)trancount endl;tempstr.erase();elseoutFile没有round-频繁项集,Apriori算法结束!endl;/两个项集合并(要求只有一项不同)成一个新的项集（做为候选集）vector mergeItem(vector vect1,vector vect2,int round)int count=0; /统计两个vector中相同的项的数目vector vect;map tempMap; /辅助判断两个vector中重复的项for(unsigned int st=0;stvect1.size();st+)tempMapvect1st+;vect.push_back(vect1st);for(unsigned int st=0;stvect2.size();st+)tempMapvect2st+;if(tempMapvect2st=2) /表示这两项相同count+;elsevect.push_back(vect2st);if(count+1)!=round) /要求两个项目集只有一个项目不相同，其他都相同,如:I1 I2 I4 和I1 I2 I3vect.clear();return vect;/剪枝：剪去合并后项集中含有非频繁项集中的项void cutNotCanItemsetK(vector & item)/实现剪枝/string tempstr;vector tempvec;bool found = false; /是否包含有非频繁的子集,为1表示含有，有的话进行剪枝，如假设I1I4为非频繁项集，则I1I2I4要剪枝掉string teststr;int testint;tempvec=item;sort(tempvec.begin(),tempvec.end();while(next_permutation(tempvec.begin(),tempvec.end() /遍历所有的组合I1I2I4,要变成I1I4I2或其他如I2I1I4才能判断它包含I1I4这个非频繁项集for(int tempst=0;tempst!=tempvec.size();tempst+) /拼接出该字符串组合tempstr+=tempvectempst; for(