（基础数学专业论文）特殊结构的模糊测度在多分类器融合中的比较.pdf

摘要 摘要 分类器间存在的多种交互作用，近年来，模糊积分作为一种融合工具已经广泛应用 于多分类器融合中。为了减少模糊测度中需确定的参数的个数，人们往往用特殊结构的 模糊测度代替一般的模糊测度，但这意味着减弱了模糊测度的表示能力。如何度量分类 器i h j 的交互作用大小，如何用特殊结构的模糊测度恰当的表示分类器间的交互作用，以 及模糊测度表示交互作用能力大小与待确定参数多少的矛盾，被大家广泛关注。在本文 中，我们分别用2 可加模糊测度和g ；模糊测度取代一般模糊测度，简化了多分类器融 合的模型，减少待确定参数。将m g r a b i s c h 建立的交互影响模型应用到多分类器融合 中，定义了分类器的重要性指标和交互作用指标，证明了定义的合理性。分别具体计算 了采用2 可加模糊测度和g ，模糊测度后分类器的重要性指标和交互作用指标，比较了 它们表示交互作用能力的大小，并给出相关结论证明。 关键词模糊测度：2 一可加模糊测度；g 。模糊测度；交互作用；多分类器融合 ab s t r a c l a b s t r a c t r e c e n t l yf u z z yi n t e g r a la sa na g g r e g a t i o nt o o li sw i d e l yu s e di nm u l t i - c l a s s i f i e rf u s i o n i n o r d e rt or e d u c et h ep a r a m e t e r si nt h ef u z z ym e a s u r ep e o p l eo f t e nu s et h es p e c i a ls t r u c t u r e f u z z ym e a s u r et or e p l a c et h eg e n e r a lf u z z ym e a s u r e b u tt h i sm e a n ti td e p r i v e st h em o d e lo f f l e x i b i l i t y t h er e s e a r c hf o c u so nh o w t om e a s u r e st h ei n t e r a c t i o nb e t w e e nt h ec l a s s i f i e r s ，h o w t or e p r e s e n tt h ei n t e r a c t i o na m o n gt h ec l a s s i f i e r sp r o p e r l y t h i sp a p e ri no r d e rt or e d u c et h e p a r a m e t e r sw eu s et h e2 - a d d i t i v ef u z z 4 , m e a s u r ea n dt h eg af u z z ym e a s u r et or e p l a c et h e g e n e r a lf u z z ym e a s u r e a c c o r d i n gt ot h ei n t e r a c t i o nm o d e l w h i c he s t a b l i s h e db ym g r a b i s c h t h ei m p o r t a n ti n d e xa n dt h ei n t e r a c t i o ni n d e xa m o n gt h ec l a s s i f i e r sa r ed e f i n e d u s e dt h e 2 - a d d i t i v ef u z z ym e a s u r ea n d g af u z z ym e a s u r et h ei m p o r t a n ti n d e xa n dt h ei n t e r a c t i o n i n d e xa m o n gt h ec l a s s i f i e r sa r ec a l c u l a t e d w ec o m p a r et h e2 一a d d i t i v ef u z z ym e a s u r ew i t h t h e g af u z z ym e a s u r e f r o mt h ea b i l i t yo fr e p r e s e n tt h ei n t e r a c t i o na m o n gt h ec l a s s i f i e r s ，a n d p r o v et h ec o r r e l a t i o nc o n c l u s i o n k e y w o r d sf u z z ym e a s u r e ；2 - a d d i t i v ef u z z ym e a s u r e ；g af u z z ym e a s u r e ；i n t e r a c t i o n ； m u l t i c l a s s i f i e rf u s i o n 河北大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知， 除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位或证书 所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了致谢。 作者签名：堑盈日期：圣丝芝2 年上月 ! 多 日 学位论文使用授权声明 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。学校可以公布 论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 本学位论文属于 1 、保密口，在年月日解密后适用本授权声明。 2 、不保密。 ( 请在以上相应方格内打“4 ) 作者签名：丝鱼 导师签名：3 筮髦一 日期：垫理年月! 三日 日期：纽2 年上月堡日 第l 章绪论 第1 章绪论 1 1 研究工作的目的与意义 分类问题是依据某种规则将待识别对象归为某一类。其基本做法是在样本训练集的 基础上确定某个判别规则即分类器，并使得用这个分类器对新的待识别对象进行分类所 造成的错误率尽可能减小。 在分类过程中，每个分类器总会有分类错误率，分类器融合是综合多个分类器的分 类信息，做出最终的类别判断，以降低分类错误率的方法。在分类器融合的过程中确定 各分类器在分类问题中的重要程度是其关键问题。 传统上我们用测度表示分类器的重要程度，然而多个分类器联合在一起的重要程度 并不简单的等于单个分类器的重要程度之和，即分类器之间可能存在交互作用。模糊测 度的不可加性恰好能表示这种交互作用，对于个分类器的融合系统，确定一般的模糊 测度需确定( 2 ) 个参数值，这是一个幂级的运算量，在求解时比较麻烦，计算机运行时 间较长，可能还会造成不可解的情况，在现实操作中不太可行。因此人们用特殊结构的 模糊测度代替一般模糊测度表示分类器的重要程度，降低计算复杂度，提高问题的可解 性。 最常见的特殊结构的模糊测度是模糊测度，对于个分类器的融合系统它只需 确定一2 个参数( 测度密度) ，大大降低了复杂度，但同时也削弱了模糊测度表示交互 作用的能力。 1 9 9 7 年g r a b i s c h 提出了2 可加模糊测度的概念，对于个分类器的融合系统确定一 个2 可加模糊测度需确定 r f + 1 ) 2 个参数，人们又尝试采用2 一可加模糊测度代替 一般模糊测度取的计算复杂度和表示能力间的一个平衡。 本文研究了当测度变为这两种特殊结构的模糊测度后，多分类器融合的规划模型。 定义了单个分类器的重要程度，和两个分类器问的交互作用程度。对2 可加模糊测度和 模糊测度进行了比较，重点在两者表示交互作用能力方面的理论比较，并给出一些结 河北人学理学硕十学位论文 论的证明。本课题的研究有助于确立分类器融合过程中模糊测度的选择标准，然而由于 模糊测度的非可加性没有很好的评价标准，我们对2 - 可加模糊测度和g 。模糊测度在表 示交互作用方面的比较也不够完善，尚需进一步深入。 1 2 本课题的国内外发展现状 分类器融合是一种特殊的信息融和，我们这里所说的分类器融合的主要是指对分类 器的输出进行操作，综合各分类器对一个样例的输出结果，做出最终的类别判断，从而 提高分类的正确率和泛化能力。传统的多分类器融合方法主要有，多数投票方法( v o t i n g m e t h o d ) 和行为知识空间方法( b e h a v i o r - k n o w l e d g es p a c em e t h o d ) 。当分类器的输出 为排序类标时，b o r d a 数方法是常用的融合算子【2 】。分类器的输出为非负连续实值向量 ( 也称为软输出或者软类标) 时，融合算子比较多，有取大取小( m a x i m u m m i n i m u m ) 、 中值( m e d i a n ) 、平均( a v e r a g i n g 或m e a n ) 、加权平均( w e i g h t e da v e r a g i n g ) 、乘积方 法( p r o d u c t ) 、贝叶斯( b a y e s i a n ) 方法等等1 3 1 。但这些方法都有一个基本假设即分类器 是彼此独立互不影响的。而实际问题中分类器之间往往存在着交互作用，即分类器组合 在一起的分类能力并不是他们分类能力的简单和。 交互影响的思想最早在合作游戏理论中由s h a p l e y 提出，他定义了s h a p l e y 值的概 念，用以描述在游戏中单个玩家的重要程度1 4 】；根据s h a p l e y 的思想，m u r o f u s h i 和s o n e d a 两个人在多标准决策中定义了两个标准之间的交互指标i s l ；9 6 年g r a b i s c h ，又在论文中 详细论述了交互作用指标，并把它的定义扩展到多个准则 6 , 7 1 中。2 0 0 5 年i v a nk o j a d i n o v i c 又综合并拓展了了交互作用的表示和度量方法1 8 j 。 1 9 7 4 ，s u g e n o 首先引入了模糊测度和积分的概念【9 1 ，而模糊测度的不可加性恰好可 表示分类器之间的交互作用，近年来在分类器融合领域得到了广泛的应用。九十年代中 期大量学者用模糊测度表示待融合信息的重要程度，模糊积分作融合算子，在信息融合 中取得了一系列的成果【旧。13 1 。模糊积分作为一种信息融合的工具，得到了大家的广泛认 同和应用。 然而模糊积分作为一种融合工具最大的困难在于，模糊测度中参数的确定，对于j v 个分类器c 个类别的融合系统需确定c 2 个参数，待定参数个数随着分类器的个数的增 长呈指数级增长。为了减少待定参数的数目人们一方面对模糊积分进行改进，采用层次 2 第1 章绪论 模糊积分模型【1 4 1 减少需确定的参数个数；令一方面用特殊结构的模糊测度代替一般模糊 测度。s u g e n o 首先引入了& 模糊测度【9 】，n 个分类器c 个类别的融合系统，假定各分 类器的重要程度对各类别是相同，则确定飘模糊测度只需确定c 个参数，但是颤模 糊测度表示交互作用能力很差，测度密度确定后他只能表示多分类器融合系统中的一种 交互作用。1 9 9 7 ，g r a b i s c h 又提出了k 可加模糊测度的概念【1 5 1 ，对于个分类器c 个 类别的融合系统，假定各分类器的重要程度对各类别是相同，k 可加模糊测度需确定 ：f ，；) 个参数，k 值越大k 可加模糊测度的表示能力越强，他可以体现经典测度到 j 般模糊测度之间的任何表示能力。而实际应用中2 可加模糊测度在表示能力和待定参 数之间起到了很好的折中，为大家所重视。l m i k e n i n a ，h j z i m m e r m a n n ，用二次规划确 定2 可加模糊测度中的参数将其应用到特征选取和多分类器融合中【1 6 1 。2 0 0 5 ，g r a b i s c h 又对其进行了进一步的理论说明【1 7 】。 从国内外在该方向的研究工作来看，各种测度表示交互作用能力的种类及强弱的研 究还不是很完善。因此，我们从表示交互作用的种类方面对2 可加测度和岛模糊测度作 了比较。 1 3 本课题研究的主要内容 本文主要研究特殊结构的模糊测度，在多分类器融合中的应用，集中在表示交互作 用方面的比较。 第l 章主要介绍了该课题研究的目的与意义及当前的发展现状。多个分类器间存在 着交互作用，模糊测度的非可加性恰恰能描述这种交互作用。我们采用特殊结构的模糊 测度在表示交互作用的同时尽量降低计算复杂度。 第2 章介绍了本文需要的一些基本概念：模糊测度、翻模糊测度、2 一可加模糊测 度、模糊积分、s u g e n o 模糊积分、c h o q u e t 模糊积分，z h e n y u a n 模糊积分，为后面的研 究奠定了基础。 第3 章主要介绍了多分类器融合，及采用c h o q u e t 模糊积分特殊结构模糊测度后多 分类器融合的规划模型。 河北人学理学硕十学位论文 第4 章主要定义了分类器的重要性因子和交互作用因子，将g ，模糊测度、2 可加 模糊测度在表示交互作用方面进行了比较，并进行了相关结论的证明。 第5 章是结论与展望。本文只是对两个分类器的交互作用进行了刻画，以后想进一 步给出多个分类器的交互作用的定义。仅仅对特殊结构模糊测度表示交互作用种类方面 进行了比较，但对其表示交互作用大小的能力无法刻画，我们以后尝试给出模糊测度的 不可加程度的度量，进一步刻画模糊测度表示交互作用程度的大小，用以指导分类器融 合中模糊测度的选择。 4 第2 章预备知识 第2 章预备知识 这一章，我们介绍本文用到的一些基本概念：模糊测度、毋模糊测度、2 一可加模 糊测度、及模糊积分。 2 1 模糊测度 s u g e n o 在二十世纪七十年代早期对传统测度进行了推广，用单调性替换了传统测度 的可加性，提出了模糊测度( 非可加测度) 的概念。 定义2 1 1 9 i ：设x 为非空集合，厂为由x 的子集构成的仃代数，集函数p ：厂一【0 ，) 满足下面的四个条件时，称为定义在厂上的模糊测度： ( 1 ) ( 平儿性) p ( o ) = 0 。 ( 2 )( 单调性) 若e 厂，f 尸，ecf ，则( e ) ( ，) 。 ( 3 )( 下连续性) 若 巨， c 户，ece 2c ，ge 厂，贝j j l i ( 乞) 2 ( g 巨，) 。 ( 4 )( 上连续性)若 e ) cy - ，巨z 2 ) e 2z z ) ，u ( e i ) o o ，ne 厂， 则 ”= l l i 。m p ( e ) = p ( n e ) 。 n = l ( x ，厂，) 称为模糊测度空间。当x 是一个有限集合时，厂是x 的幂集尹( ) ，条 件( 3 ) ( 4 ) 自动满足。若p ( x ) = 1 则称为正则模糊测度。在实际应用中我们往往使 用有限集上的正则模糊测度。 定义2 2 ：若对于任意e l ，e 2 尸，ef - l 易= 彩有卢( 置u 置) = ( 巨) + ( 易) 成立，则称是可加的。 若对于任意e l 厂，垦歹，墨f l 易= 乃有( 局ue 2 ) ( 巨) + p ( e 2 ) 成立，则 称是次可加的。 若对于任意e 。厂，岛厂，e lne 2 = 囝有p ( e 。ue 2 ) | u ( 毛) + p ( e 2 ) 成立，则 河北人学理学硕十学位论文 称”是超可加的。 模糊测度有很多特殊类型，比如可能性测度、必要性测度、信任测度、2 可加模糊 测度和g 。模糊测度等。本章我们主要介绍这篇论文中用到的白模糊测度和2 一可加模糊 测度。 2 1 1 g 。模糊测度 g 。模糊测度最早由s u g e n o 提出吲，由于其结构简单，需确定的参数少，被广泛的 应用与实际问题中。 定义2 3 ：如果厂上的集函数满足以下的仃一九律，即存在a ( 一面，o 。) 这旱 s u pp2s u p e 。厂( e ) ，使得v e ) c 厂，ent 2 o ，f ，拦e 厂时有 p r l = l 巨 - 川， 爿尊 m 肥) 一1 ) 刎 ( e ) a = o 成立。并且至少存在一个集合e 厂，使得( e ) 1 时， i - l 当z g i 2 ，都有口，= 0 ，并且存在至少一个含2 个元素的子集丁，使得唧0 。 定义2 6 ：模糊测度t 2 叫做2 一可加的，若对于v kcx 当f k 时x ，= 1 否贝0 x ，= 0 。 实际上 一 当a t 0 时 当a q p l + u j 口 u i + j h u2p l + pj 其它的测度值根据定义2 6 可通过下式利用a i ，口。或”，1 2 ，算出： 9 河北大学理学硕十学位论文 k 吩+ 罐勺 ( 2 2 ) 2 赤k n y 一( 。2 ) f 邑f 姒弘圮 显然2 一可加模糊测度仅由系数q ，a 0 决定，或者说仅由单点及两点集上的测度值决 定。 我们采用j 下则的2 一可加模糊测度，它需要满足有限集上模糊测度的平j 、l 性，单调 性，及( x ) = 1 的要求即： ( 1 ) a ( o ) = 0 ( 2 ) a i 0 ，v i l ，2 刀 3 f l 互刀) a i + ， 蠢2 ) 口耖2 1 ( 4 ) 口，+ a y ov i 1 ，2 玎) r o l l ，2 nj 又由于n i2 a i 、i x ，n u 2 p 皤一h i p j ，v ，j cx 2 可加模糊测度的单调性和j 下则性要求也等价于： ( 1 ) 心一一- ( n - 2 ) a ，o ，v i x ，k x f ) ( 单调性) j e kj e k ( 2 ) 心- ( n - 2 ) “= l ( 删j j f t ) ， ，e | o 例2 2 ：若x = 1 ，2 ，3 ，4 ) 在单点集及两点集上的测度值为下表所示，可根据公式( 2 2 ) 计算出2 。可加测度在p ( x ) 上的全部取值。 表2 12 可加测度在单点集及两点集上的取值 解：由( k ) = p 。一( ix - 2 ) ，可知 ，k ，e o 1 2 32 2 n + p 1 3 + h 2 3 一l p 2 一心 = 0 5 + 0 6 5 + 0 6 5 0 4 0 4 0 1 = 0 9 1 0 第2 章预备知识 同理 1 2 42 p 1 2 + j u l 4 + 2 4 一p i j u 2 一4 = 0 5 1 3 42 1 3 + p 1 4 + 3 4 一l 一3 一p 4 = 0 8 2 3 4= 2 3 + j l l 2 4 + 3 4 一2 一3 一j l l 4 = 0 8 1 2 3 42j “1 2 + p 1 3 + | “1 4 + p 2 3 + 2 4 + p 3 4 一p l 一| “2 一| i u 3 一j “4 = 1 2 2 模糊积分 测度推广后积分相应的也有了变化，下面简单介绍几种常见的基于模糊测度的模糊 积分：s u g e n o 模糊积分，c h o q u e t 模糊积分和z h e n y u a n 模糊积分。 定义2 7 ：设x 为非空集合，厂为定义在x 上的非负函数，厂为由x 的子集构成的 仃代数，肛为定义在歹上的模糊测度，则函数在集合x 上关于模糊测度的s u g e n o 积分定义为f l o l ： ( s ) l f d p = s u p 【a ( c ) 】 a e o l = s u p ( i n ff ( x ) ) 人4 e ) 】 厅e ，“ 其中c = x f ( x ) a ，x x ) ，a 【o ，0 0 ) 。 当x = 一，x 2 ，) 是一个有限集合知尹( ) ，且厂：x 专【o ，l 】时，s u g e n o 模糊积 分可简化为 ” ( 5 ) i = v ( 厂( 一) 八( 4 ) ) ，= i 其中m l = 一，一+ i ，) 。不失一般性，我们假设0 ( _ ) f ( x 2 ) 厂( ) s1 ( 如不 满足，重新排列x 中的元素为 x i ，x 2 ，) 使对应的函数值( # ) 满足该关系式) 。 s u g e n o 模糊积分不是l e b e s g u e 积分的推广，因为当测度满足可加性时，s u g e n o 模 糊积分并不能还原为l e b e s g u e 积分，这限制了s u g e n o 模糊积分在实际中的应用，为了 避免这个缺陷，m u r o f u s h i 和s u g e n o 提出了c h o q u e t 模糊积分。 定义2 8 ：设x 为非空集合，为定义在x 上的非负函数，歹为由x 的子集构成的 o r 代数，为定义在厂上的模糊测度，则函数厂在集合x 上关于模糊测度的c h o q u e t 模糊积分定义为【1 0 】： - - i 1 t 人学理学硕十学位论文 如“= 鬈u ( 瞄d 仪 其中e = zl ( z ) 口，x 彳) ，a 【0 ，) 。 当x = 一， 是一个有限集合乃尹( x ) ，且厂：x 一【0 ，1 】时，c h o q u e t 模糊积 分的计算公式相应地变为： ( c ) p | “= ( 厂( 一) 一( ) ( 4 ) = 【( 4 ) ) 一p ( 4 + 。) ) 】州) ) ，= l 其中4 = 一，誓小，x n ) 。不失一般性，我们假设0 f ( x ，) sf ( x 2 ) ( _ ) 1 ( 如不 满足，重新排列x 中的元素为 x j ，x ：，) 使对应的函数值厂( ) 满足该关系式) ，规定 f ( x o ) = 0 ，p ( a 川) = 0 。 c h o q u e t 模糊积分是l e b e s g u e 积分的严格推广，当测度可加，退化为经典测度时， c h o q u e t 模糊积分能够还原成l e b e s g u e 积分。 由于本文的融合算子采用的是c h o q u e t 模糊积分，我们进一步对其进行说明，当 x = “，x ：，) 是个有限集合，c h o q u e t 模糊积分中的模糊测度是模糊测度时 c h o q u e t 积分的计算公式相应地变为： ( c ) ，f d p = 【g 。( 4 ) ) 一g 。( 4 + ，) ) 】( 一 ) = k ( 。 u x ，) - g a ( 4 + 。 ) l 厂( ) ) = ( 限。) ) + 劭( ) + a g 。( 4 + 。) ) g 。( 一) 一g 。( 4 + 。) ) 】厂( ) ( 2 3 ) = 【g 。( ) + 允g 。( 4 + 。 ) g 。( ) l 厂( 一 ) = 水+ 如 1 + 弛c 卅卜一，卜，) ：。( ) 卉 1 + 。( xjle g 2 9 州一) )= 。( ) 兀 1 + a州一) ) 当c h o q u e t 模糊积分中的模糊测度是2 一可加模糊测度时c h o q u e t 积分的计算公式相 1 2 第2 章预螽知识 应地变为： ( c ) j f d p = 兰 ( 4 ) ) 一p ( 4 + ) ) 州) ) = f ”旷( ) ) 盯r 打 i = iii = i + 1 i ( 2 4 ) c h o q u e t 模糊积分的性质： 令厂和g 为定义在x 上的函数，a 是的子集，为定义在x 的幂集p ( x ) 上的模 糊测度。则0 ) f f d u 具有如下性质： ( 1 ) 0 ) f l 爿和= p ( 么) 。 ( 2 ) 若：v xe x ，厂( x ) g ( x ) ，则( c ) 胁( c ) f 脚。 ( 3 ) 如果a 是一个非负实数，b 是一个实数， 则0 ) f ( 矿+ 6 肌= a ( c ) f f d u + 6 ( ) 。 ( 4 ) ( c ) f f d = d ) p + 和一( c ) 少一和， 其中f + ( x ) = m a x 矿( x ) ，o ，f 一( x ) = r a i n 一g ) ，o ) 。 ( 5 ) 若口是一个实数，则0 ) 阻0 ) = 口0 ) f 础。 ( 6 ) 如果和v 是定义在p ( x ) 上的模糊测度，若w 尹( ) ，u ( a ) v ( a ) ， 则对于定义在x 上的所有函数厂有下式成立：( c ) 眇和( c ) 饥。 ( 7 ) r a 。；，i ；n ，f ( x , ) o ，# ，e f na ，- o ，j = l ，2 ，七) 河北人学理学硕十学位论文 其中，f n a = e n ai e 2 - - ) ，z 是一个符号，表示集合的特征函数。 当x 是一个有限集合时，y - = p ( x ) 。王氏积分可简化为如下形式： 2 ”一l2 “一l 胁= s u p 九，p ( e ，n a ) i s = a ，z 胛，- o ) a j = lj = l 其中某些a ，= 。，j l e j = “f 手一【- 手j 1 ，- ，刀，c x ，一，= ，2 一， 1 4 第3 章多分类器融合 第3 章多分类器融合 分类问题是知识处理的核心问题，一直是数学与计算机科学中的个重要的研究课 题，吸引着许多研究者的兴趣，根据具体情况已经提出了贝叶斯分类器、k - n n 分类器、 s v m 分类器、决策树分类器、神经网络分类器等多种分类器。由于单个分类器有各自 的局限性，人们希望扬长避短综合各分类器的分类结果，得到更好的分类效果，基于这 种思想，提出了多分类器融合的概念。广义的说分类器融合包含蹲类，第一类着重改善 分类器的结构，在分类过程中找到一个最好的分类器或者一组分类器，分类器融合不会 对分类器的输出做任何操作。另一类则主要是对分类器输出进行操作，即对分类器的输 出进行有效的计算，将多个性能不同的分类器的分类结果( 输出) 进行融合，从而提高 分类的精度，减少对噪音的灵敏度，提高泛化能力。 我们这里所说的分类器融合主要是指对分类器输出进行操作，融合的方法有很多 种，最常见的有最大( 小) 值法、乘积法、多数投票法、加权平均法、b o r d a 计数法、 贝叶斯方法、d e m p s t e r - s h a f e r 证据组合、模糊积分、决策模板等，本文主要采用模糊积 分的方法。 3 1 决策剖面 设d = d i ，d 2 ，d ，) 是一组已经训练好的分类器，c = w ，w ) 是类标集合。 对于待分类样例分类器的输出是一个f 维向量d ，( x ) = ( ，。( x ) ，：( x ) ，丘( x ) ) 。，其中 z ( x ) 【0 ，1 】，表示分类器d 对第类的支持程度。分类器融合是指根据刀个分类器的输 出给出样例的最终分类情况。 定义3 1 。2 3 。：c 类分类问题设d = d l ，0 2 ，d ) 是一组已经训练好的分类器，对于 一个样例x ，所有分类器对该样例的输出可以用一个矩阵来表示，我们把该矩阵称为决 策剖面( d e c i s i o n p r o f i l e ) ，简记为d p ，其形式如下： 河北人学理学硕十学何论文 d p ( x ) = z 。( x ) z 2 ( x ) z 。( x ) 乃。( x ) 乃z ( x )z c ( x ) 。( x ) ：( x ) k 、( x ) d 尸的第行( 乃。( x ) ，厂：( x ) ，z 。，( x ) ) 表示第个分类器的输出，即第个分类器对各类 的支持程度，= l ，2 ，n ；d p 的第iy l ( f , ，( x ) ，六( x ) ，厶( x ) ) 7 ( 这里上标丁表示转置) 表示各分类器对第i 类的支持程度，i = l ，2 ，c 。 有了决策剖面的定义，分类器的融合，实际就是对决策剖面的每一列数据进行融合。 3 2 常见的融合方法 常见的融合方法主要有以下几种【3 】： ( 1 )平均值( a v e r a g i n g 。rm e a n ) 方法：q = 万1 否nz i ，= l ，2 ，c 。 _ ( 2 ) 加权平均( w e i g h t e da v e r a g i n g ) 方法：p ，= w 乃，= l ，2 ，c ，w j 表示第 个分类器的重要性，= 1 ，u 0 。 j = 1 ( 3 ) 中值( m e d i a n ) 方法：q = m e d i a n f ，) ，i = l ，2 ，c ，首先对：j ， ，按照 i n o 大小首先排序得到z ：，一，五，当n 为奇数时p ，为彳，+ i l 2 。；当n 为偶数时p ， 为三( + 岛，) 。 ( 4 ) 取大( m a x i m u m ) 取小( m i n i m u m ) 方法：e i = m ，a x f , ，) e i = m i n 厂， ， i = 1 ，2 ，c 。 ( 5 ) 舍高低均值( t r i m m e nm e a n ) 方法：对于百分之k 的舍高低均值是指，对于来 自n 个分类器的可能性彳， ，进行排序，然后两端各去掉百分之k 个值。 剩余部分的求均值作为e ，。 1 6 第3 章多分类器融合 ( 6 ) 乘积( p r o d u c t ) 方法：q = 兀厂j ，f - 1 ，2 ，c 。 j = l ( 7 ) 有序加权平均( o r d e r e dw e i g h t e da v e r a g i n g ) 方法：有序加权平均算子是一个 从灭”到天的n 元函数，由一个n 维向量( 代表权重) w 确定， w = 1 4 1 ，w 2 ，w n 7 ，一【o ，l 】，j = 1 ，2 ，n ，= l ，q = _ ，其 = 1 ，= l 中、，表示 彳，厶，】7 + 中第f 个最大值。 经过对n 个分类器的输出进行融合我们得到一个向量h ，e 2 ，叫e 】，表示对待识别 样例属于各个类的一个最终的总体可能性。最后我们通过取最大值来确定样本所属的最 终类别，即c = a r g m a ；x 。( e , ) 为样本的最终决策类别。 有序加权平均方法是这几种融合方法中较特殊，它比日i 面几种融合方法有更广泛的 表达能力。当权重向量取特殊值时，有序加权平均方法包含多种的融合方法： 当权重为形= 【o ，0 ，1 】t 时，有序加权平均方法变为取小方法； 当权重为形= 【1 ，0 ，0 】t 时，有序加权平均方法变为取大方法； 当权重为肜= 【，兑，】r 时，有序加权平均方法变为平均值方法； 当权重为 01 ，k 上 忌 ( c ) d ；虮1 = 1 州2 一c ，lck ，= 1 州2 一， 彘，0魂= l ，2 ，= 1 ，2 c 0 1 i = 1 ，2 ，2 一2 “s a t i s f ym o n o t o n i c 其中缸，是松弛变量，共有m 卡c 个，引入它以放松约束条件，即允许一定的分类误 差。厶= ( ：，厶，磊) 是决策剖面重排顺序后的第七列，表示各分类器对第k 类的支持 程度。表示各分类器及分类器集合的重要程度，是需要确定的参数，共2 一2 个。单 调性要求可转化为n ( 2 。1 1 ) 个约束不等式。 当采用甑模糊测度时( 3 1 ) 式转化为： 1 9 河北人学理学硕十学位论文 m l n l m l z e ( 1 h ( 气， k = lh l = ii = i 磐j 帆= t + l 弛 k c 砂 ，= l 【j 磐j 帆= 1 + la , g j， k c ， 扣兀 1 + ， k ( ，= l ii ，0 r 1 n ( 1 + 九g ) = l + a ，= 1 ，2 ，c ，后，吃= 1 ，2 ，7 坼 红= 1 ，2 ，m k ，= 1 ，2 c 0 吕1 i = l ，2 ，n 吕表示各分类器的重要程度，是需要确定的参数，共个。由于模糊测度的特 殊构造自然满足单调性。 当采用2 可加模糊测度时( 3 1 ) 式转化为： c 帆( m i n i m i z e 考“， k = l 机= i1 = 1 s u b j e c t t o ) + 缸， 缸，0 日。0 q += 1 q + 0 吃= 1 ，2 ，m 女，f - l ，2 ，c ，足 仇= 1 ，2 ，m k ，= 1 ，c i = l ，2 ， v i 1 ，2 ， a l 表示各分类器的重要程度，表示分类器间的交互作用，q ，a ! 是需要确定的参 数，共+ 防半个。最后一个约束条件是单调性约束徘相当于个约束 不等式。 2 0 m 。 l p l p q 训 口 i 一 旧 i l n 针n 针 笫4 章交互作j - i j 第4 章交互作用 4 1三个工人的例子 我们首先看一个例子来了解什么是交互作用。 一个工厂有三个x 2 k x ，x z ，恐在生产相同的产品，假定一工作1 0 天，x 2 工作1 5 天， _ 工作7 天。每天他们单独生产或者联合生产的产品数如表4 1 所示： 表4 1 产品数量表 我们的问题是三个工人如何搭配( 合作) - a 能使得生产出的产品最多。 为求解此问题，我们先引入些符号。令x = x i , x ：，x 3 ) 为我们所讨论的论域， f = ( 厂( 一) ，f ( x ：) ，f ( x 3 ) ) = ( 1 0 ，15 ，1 7 ) 为定义在x