（应用数学专业论文）神经网络优化方法及动态特性分析.pdf

神经网络优化方法及动态特性分析摘要在科学研究与工程应用中，经常会碰到约束优化问题传统的数值计算方法涉及到复杂的迭代过程，需要大量的计算时间，因此限制了它在大规模规划或实时优化方面的应用。人工神经网络是一种具有大量神经元相互连接的并行分布式处理器，在高效运算方面比传统的数值迭代方法具有更多优势，所以常被用于解决实时优化问题本文对神经网络优化方法及动态特性进行了深入系统的研究，主要工作和成果如下：1 介绍了神经网络优化方法与动力系统的基本理论，综述了常见的神经网络优化模型。2 提出了求解凸二次规划问题的神经网络方法。凸二次规划问题的目标函数一般可表示为f ( x ) = ；x t q 。+ q t x ，其中q 为正定矩阵或半正定矩阵利用鞍点定理，将优化问题的求解转化为一组投影方程求解，建立了投影神经网络，研究了它的动态特性，严格证明了网络的稳定性与收敛性3 提出了求解具有线性等式约束的非线性凸优化问题的神经网络方法。基于线性等式约束特点，构造延时投影神经网络，通过选择合适的延时，严格证明了所提出的网络是全局指数稳定的当目标函数严格凸时，证明了该网络全局指数收敛到优化问题的唯一最优解这个方法的特点是将等式约束设计在投影映射上，简化了网络的结构。4 提出了求解具有非线性不等式约束的凸优化问题的神经网络方法。当决策变量无上下界约束时，利用k k t 条件与f i s c h e r - b u r m e i s t e r 函数，将优化问题的求解转化为方程组求解通过构造合适的能量函数，利用梯度方法建立神经网络。这个网络被证明屉l y a p u n o v 稳定的，系统的解轨线能够收敛到优化问题的一个最优解。当决策变量具有上下界约束时，建立了两个神经网络模型第一个模型为投影神经网络，它利用鞍点定理，将优化问题求解转化为变分不等式求解。根据变分不等式与投影方程之间的关系，建立投影神经网络模型。这个网络被严格证明足全局稳定的与收敛的。第二个模型为反馈神经网络，它将优化问题转化为一系列具有变量上下界简单约束的凸优化问题，建立一系列投影神经网络，严格证明了这些投影神经网络的甲衡点序列收敛到原优化问题的最优解。这个网络的特点是没有罚因子，没有l a g r a n g e 乘子，没有对偶变量，在结构上非常简单，易于硬件实现。5 提出了求解一类非凸优化问题的随机神经网络优化与两阶段神经网络优化方法在目标函数具有局部凸性的条件下，建立了求局部最优解的投影神经网络。为获取全局最优解，在网络上加入递减的白噪声，建立随机神经网络模型。由于噪声起着扰动的作用，有利于避免网络陷入局部最优解，增大网络收敛于全局最优解的概率。两阶段神经网络方法是将优化问题求解分成两个阶段。第一阶段是求局部最优解，第二阶段判断第一阶段求得的局部最优解是否为全局最优解。若不是，修改约束条件返回第一阶段，直到求得全局最优解。理论分析与模拟结果表明，本文提出的求解优化问题的神经网络方法具有很好的动态特性，克服了已有的神经网络优化方法的一些不足。所有方法均进行了数值试验，给出了相应的轨线状态图，验证了网络的稳定性与收敛性，显示了所提出方法的有效性。关键词：数学规划，神经网络，稳定性，全局收敛性，全局指数稳定，随机神经网络，全局优化。n e u r a ln e t w o r km e t h o d sf o rs o l v i n go p t i m i z a t i o np r o b l e m sa n dd y n a m i c sa n a l y s i sa b s t r a c tc o n s t r a i n e do p t i m i z a t i o np r o b l e n ma r i s eo f t e ni ns c i e n t i f i cr e s c a r c ha n de n g i n e e r i n ga p p l i c a t i o nt h et r a d i t i o n a ln u m e r i c a lm e t h o d sf o rs o l v i n gc o n s t r a i n e do p t i m i z a t i o np r o b l e m si n v o l v eac o m p l e xi t e r a t i v ep r o c e s s e sa n dh a v el o n g e rc o m p u t a t i o n a lt i m et h i sm a yd i s a d v a n t a g et h e i ru s a g ei nl a r g e s c a l eo rr e a l l i n eo p t i m i z a t i o ns o l v i n go p t i m i z a t i o np r o b l e m su s i n gn e u r a ln e t w o r k sh a v eb e e ne x t e n s i v e l yi n v e s t i g a t e dd u et ot h ea d v a n t a g e so fm a s s i v e l yp a r a l l e lo p e r a t i o n sa n dr a p i dc o n v e r g e n c e h o w e v e r ，m a n ye x i s t i n gn e u r a ln e t w o r k sf o ro p t i m i z a t i o nh a v es o m el i m i t a t i o n sa n dd i s a d v a n t a g e si ni m p l e m e n t a t i o na n dd y n a m i c sa n a l y s i s t h i sd i s s e r t a t i o ni sd e v o t e dt os t u d yo nn e u r a ln e t w o r km e t h o d sf o ro p t i m i z a t i o na n dd y n a m i c sa n a l y s i st h ea u t h o r l sm a i nr g s o a r c hw o r ka n dc o n t r i b u t i o n 8a r ea sf o l l o w s1i nt h i sd i s s e r t a t i o n ，t h eb a s i ct h e o r i e so fn e u r a ln e t w o r k sf o ro p t i m i z a t i o na n dd y n a m i c sa n a l y s i sa r ed i s c u s s e da n dt h ee x i s t i n gn e u r a ln e t w o r km e d e l sf o rs o l v i n go p t i m i z a t i o np r o b l e m sa r es u r v e y e d2t h en e u i a ln e t w o r kf o rs o l v i n gt h ec o u v e xq u a d r a t i cp r o g r a m i n i n gp r o b l e m si sp r e s e n t e dt h eo b j e c t i v ef u n c t i o no ft h ec o n v e xq u a d r a t i cp r o g r a m m i n gp r o b l e m si sf o r m u l a t e da sf ( x ) = ，o , z + q t x ，w h e r e 印i sp o s i t i v ed e f i n i t em a t r i xo rp o s i t i v es e m i d e f i n i t em a t r i x u s i n gs a d d l ep o i n tt h e o r e m ，t i l ep r o b l e mf o rs o l v i n gt h ec o n v e xq u a d r a t i cp r o g r a m m i n gi st r a n s l a t e di n t ot h ep r o b l e m sf o rs o l v i n gt h ep r o j e c t i o ne q u a -t i o n st h ep r o j e c t i o nn e u r a ln e t w o r ki se s t a b l i s h e d ，a n di t sd y n a m i c si sd i s c u s s e d t h ep r o p o s e dn e t w o r ki ss h o w e dt ob el y a p u n o vs t a b l ea n dg l o b a l l yc o n v e r g et oe x a c to p t i n l a ls o l u t i o n3t h ed e l a y e dp r o j e c t i o nn e u r a ln e t w o r k sf o rs o l v i n gt h ec o n v e xp r o g r a m m i n gp r o b l e m sw i t hl i n e a re q u a l i t yc o n s t r a i n t sa r ep r e s e n t e db a s e do nt h ef e a t u r eo fl i n e a re q u a l i t yc o n s t r a i n t s t h eg l o b a le x p o n e n t i a l8 t a b i l i t yi sp r o v e ds t r i c t l y w h e no b j e c t i v ef u n c t i o ni ss t r i c tc o n v e xf u n c t i o n ，i np a r t i c u l a r ) t h ep r o p o s e dn e t w o r k sc o n v e r g et ot h eu n i q u eo p t i m a ls o l u t i o no fo p t i m i z a t i o np r o b l e mt h ed i s t i n g u i s h i n gf e a t u r eo f t h ep r o p o s e dd e l a y e dp r o j e c t i o nn e u r a ln e t w o r k si st h a tt h el i n e a re q u a l i t yc o n s t r a i n t sa r et r a n s l a t e di n t ot h ep r o j e c t i o nm a p p i n g ，w h i c hs i m p l i f i e st h ec o n s t r u c t i o no fn e u r a ln c t w o r k s 4 t h en e u r a ln e t w o r k sf o rs o l v i n gt h ec o n v e xp r o g r a m m i n gp r o b l e m sw i t hn o n l i n c a ri n e q u a l i t yc o n s t r a i n t sa r cp r e s e n t e db a s e do nt h ef i s c h e r b u r m e i s t e rf u n c t i o na n dk a r u s h k u h n t a c k e rc o n d i t i o n s ) t h ep r o b l e m sf o rs o l v i n gc o n v e xp r o g r a m m i n gc a nb et r a n s l a t e di n t ot h ep r o b l e m sf o rs o l v i n ge q u a t i o n sb yc o n s t r u c t i n gt h es u i t a b l ee n e r g yf l m c t i o n ，t h en e u r a ln e t w o r k sf o rs o l v i n gt h ec o n v e xp r o g r a m m i n gp r o b l e m sw i t hn o n l i n e a ri n e q u a l i t yc o n s t r a i n t sa r ep r o p o s e du s i n gs t e e p e s td e s c e n tm e t h o dt h es t a b i l i t ya n dc o n v e r g e n c eo ft h ep r o p o s e dn e t w o r k sa r ep r o v e ds t r i c t l yw h e no p t i m i z a t i o nv a r i a b l e sa r ec o n s t r a i n e dt ol i eb e t w e e nu p p e ra n dl o w e ra c t i v a t i o nl i m i t s ，t w on e u r a ln e t w o r km o d e l sa r ep r e s e n t e do n ei st h ep r o j e c t i o nn e u r a ln e t w o r km o d e lb yt h es a d d l ep o i n tt h e o r e m ，t h ee q u i v a l e n c er e l a t i o nb e t w e e nt h es o l u t i o no fo p t i m i z a t i o np r o b l e m sa n dt h es o l u t i o no fv a r i a ，t i o n a li n e q u a l i t i e si sb u i l tt h e r e a f t e r ，t h ep r o j e c t i o nn e u r a ln e t w o r k sa r ep r e s e n t e db yt h ep r o j e c t i o nt h e o r e mt h en e t w o r k sa r ep r o v e dt ob cs t a b l ea n dc o n v e r g e n tt h eo t h e ri st h ef e e d b a c kn e u r a ln e t w o r km o d e l f i r s to fa l l ，ac o n v e xs u b o p t i m i z a t i o np r o b l e mw i t hb o u n dc o n s t r a i n t si se s t a b l i s h e db yi n t r o d u c i n ga ne n o r g yf u n c t i o n ，a n dt h en e u r a ls u b n e t w o r k sf o rs o l v i n gt h es u b o p t i m i z a t i o np r o b l e mi sc o n s t r u c t e db a s e d0 nt h ep r o j e c t i o nm e t h o ds e c o n d l y , t h ef e e d b a c kn e u r a ln e t w o r k sa r ep r o p o s e do nt h eb a s eo ft h es u b n e t w o r k st h ee q u i l i b r i u mp o i n ts e q u e n c eo fs u b n e t w o r k sc a a 2c o n v e r g et oa ne x a c to p t i m a ls o l u t i o no fp r i m a lo p t i m i z a t i o np r o b l e m t h ed i s t i n g u i s h i n gf b a t u r e so f t h ep r o p o s e df e e d b a c kn e t w o r k sa r en ol a g r a n g em u l t i p l i e r s ，n od u a lv a r i a b l e sa n dn op e n a l t yp a r a m e t e r si th a st h el e a s tn u m b e ro f s t a t ev a r i a b l e sa n ds i m p l es t r u c t u r ea n di ss u i t a b l ef o rh a r d w a r ei m p l e m e n t a t i o n5 t h es t o c h a s t i cp r o j e c t i o nn e u r a ln e t w o r k sa n dt w o - s t a g en e u r a ln e t w o r k sf o rs o l v i n gt h en o n c o n v e xp r o g r a m m i n gp r o b l e m sa r cp r e s e n t e du n d e rt h ec o n d i t i o no f1 vl o c a lc o n v e x i t yo ft h eo b j e c t i v ef u n c t i o n ，t h en e u r a ln e t w o r k sf o rs o l v i n gn o n e o n v e x 。p -t i m i z a t i o na r cb u i l t t oo b t a i nt h eg l o b a lo p t i m a ls o l u t i o n ，t h es t o c h a s t i cp r o j e c t i o nn e u r a ln e t w o r k sa r ep r o p o s e db ya d d i n gt h ed e s c e n d i n gw h i t en o i s ed u et ot l md i s t u r b a n c eo fn o i s e ) t h es t o c h a s t i cn e u r a ln c t w o r k sc a l lo v e r c o m et h ed r a w b a c k sr u n n i n gi n t ol o c a ls o l u t i o na n di n c r e a s et h ec h a a c e so fo b t a i n i n gt h eg l o b a ls o l u t i o n t h et w o s t a g en e u r a ln e t w o r k sc o n s i s to ft w os t e p st h ef i r s ti st of i n dt h el o c a ls o l u t i o no fo p t i m i z a -t i o na n dt h es e c o n di st oj u d g cw h e t h e rt h el o c a ls o l u t i o ni sg l o b a ls o l u t i o ni fn o t ，t h ep r o c e s sr e t u r n st ot h ef i r s ts t a g ea f l , e rc o n s t r a i n tc o n d i t i o ni sr e v i s e d t h er e p e a t e da p p l i c a t i o no ft h e s et w op h a s e sa l t e r n a t e l yf o r m san e wg l o b a lo p t i m i z a t i o nm e t h o df o re a c hp r o p o s e dn e u r a ln e t w o r k s ，w eg i v en u m e r i c a ls i m u l a t i o n st oi l l u s t r a t et h et h e o r e t i c a lr e s u l t si nt h i sd i s s e r t a t i o nt h ec o r r e s p o n d i n gs t a t et r a j e c t o r i e sa r ed e p i c t e dt os h o wt h ee f f e c t i v e n e s so ft h ep r o p o s e dn e u r a ln e t w o r km o d e l s b o t ht h e o r e t i c a la n a l y s i sa n dn u m e r i c a ls i m u l a t i o ns h o wt h a tt h ep r o p o s e dn e u r a ln e t w o r k sf o rs o l v i n go p t i m i z a t i o np r o b l e m sh a v ev e r yg o o dd y n a m i c s ，a n do v e r c o m et h es h o r t c o m i n go fe x i s t i n go p t i m i z a t i o nn e u r a ln e t w o r k s k e y w o r d s ：m a t h e m a t i c a lp r o g r a m m i n g ，n e u r a ln e t w o r k ，s t a b i l i t y ，g l o b a lc o n v e r g e n c e ，g l o b a le x p o n e n t i a ls t a b i l i t y ，s t o c h a s t i cn e u r a ln e t w o r k ，g l o b a lo p t i m i z a t i o n东南大学学位论文独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果尽我所知。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意研究生签名删晰乒必东南大学学位论文使用授权声明东南大学中国科学技术信息研究所，国家图书馆有权保留本人所送交学位论文的复印件和电子文档。可以采用影印缩印或其他复制手段保存论文本人电子文档的内容和纸质论文的内容相一致除在保密期内的保密论文外。允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容论文的公布( 包括刊登) 授权东南大学研究生院办理研究生签名日期，1 2 厶丝第一章绪论1 1 神经网络优化方法概述在科学实践、工程技术与日常生活中。人们经常遇到大量的各种各样的最优化问题。其一般形式为r a 蚓i n 2m ) ，( 1 1 1 )其中z q 是决策变量，f ( x ) 是目标函数，f 2c 舻为可行集如果可行集n = 肝，则称最优化问题( 1 1 1 ) 为无约束最优化问题否则称为约束最优化问题，约束优化一般可表示为m i n ，( z ) ，s u b j e c tt 。 粥三台譬麓二，m ，其中夕i ( z ) ，i = 1 ，s ，h j ( z ) ，j = 1 ，m 是约束函数特别地，若目标函数f ( x ) 为线性函数，约束函数为线性函数，则称问题( 1 1 2 ) 为线性规划若目标函数，( z ) 为二次函数，约束函数为线性函数，则称问题( 1 1 2 ) 为二次规划若，( 。) ，吼( z ) ，t = 1 ，5 是凸函数，( 。) ，j = 1 ，m 为线性函数，则称问题( 1 j 1 2 ) 为凸规划2 0 世纪4 0 年代以前。最优化计算方法还没有得到迅速发展，那时所能进行的只是一些最小二乘计算，或对某些物理问题用到最速下降类型的梯度方法到4 0 年代中期。随着电子计算机的出现，最优化计算方法得到了快速的发展这时，在非线性规划方面出现了一些与同题结构无关的计算方法，但这些方法仍然十分粗糙且效率低随后，人们发现了许多计算约束优化问题的数值方法，如牛顿法、共轭梯度法、变尺度法、可行方向法、内点法与信赖域法等1 1 4 6 1 4 7 ，1 4 8 1 4 9 ，这些计算方法对于某些优化问题行之有效但是，它们需要较长的计算时间，这限制了它在实时优化方面的应用】第一章绪论现代科学与工程计算如信号处理、机器人控制、卫星导航等经常需要实时优化计算 9 1 1 因此，开发高效的实时优化计算方法就成为迫切的需要人工神经网络是模仿人脑工作方式而设计的一种机器，它可以用电子或光电元件实现，是一种具有大量神经元相互连接的并行分布式处理器，具有通过学习获取知识并解决实际问题的能力从系统的观点来看。人工神经网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动力系统，具有下列性质和能力1 1 5 1 ，1 5 2 ，1 5 3 ：1 大规模并行处理人脑神经元之间传递脉冲信号的速度远低于计算机的工作速度，但人脑是一个大规模并行与串行组合处理系统，因而在许多问题上可以做出快速判断决策和处理，其速度远高于串行结构的计算机人工神经网络模仿人脑，在结构上是并行的，网络的各个神经元可以同时进行类似的处理过程，具有并行处理的特征，可以大大提高工作速度，满足实时处理的需要2 分布式存储和容错性人脑存储信息的特点是利用突触效能的变化来调整存储内容，即信息存在神经元之间连接强度的分布上，存储区与运算区合为一体虽然人脑每天有大量神经细胞死亡，但不影响大脑的功能，局部损伤可能引起功能衰退，但不会突然丧失功能在神经网络中，一个信息不是存储在一个地方，而是按内容分布在整个网络上若要获得存储的知识，则采用。联想”的方法，即当一个神经网络输入一个激励时，它要在已存的知识中寻找与该输入匹配最好的存储知识为其解这种存储方式的优点在于若信息不完全，或者说信息有丢失或损坏，它仍能恢复原来正确完整的信息。系统仍能运行3 自适应( 学习) 过程学习与适应要求在对不同信息的处理过程中系统内部和联系方式有改变，神经网络是一种变结构系统，具有初步的自适应与自组织能力在学习与训练过程中改变突触权重值，以适应周围环境的要求同一网络因学习方式及内容不同可具有不同的功能人工神经网络是一个有学习能力的系统，可以发展知识，以致超过设计者原有的水平4 非线性性神经网络是由大量神经元相互连接组成的复杂系统，具有非线性动力系统的特征从理论上讲，它能够以任意精度逼近任意复杂的非线性函数5 v l s i 实现神经网络的大规模并行性使它具有快速处理某些任务的潜在能力这一特性使得神经网络很适合用超大规模集成( v e r y l a r g e - s c a l e - i n t c g r a t c d ，v l s i ) 技术2第一章绪论3实现v l s i 的个特殊优点是提供一个以高度分层的方式捕捉真实复杂住行为的办法由此可见。人工神经网络是一种自学习、自组织自适应的菲线性处理系统，具有大规模并行计算和快速收敛特性，在高效运算方面比传统的数值迭代方法具有更多优势因此，神经网络可以用于实时求解最优化同题近年来利用神经网络开发数学规划算法已引起人们的广泛重视并取得很大的进展，产生了多种计算模型m 一1 1 2 9 1 上个世纪8 0 年代，h o p f i e l d 和t a n k 【2 ，3 ，4 5 1 首先提出了解决线性规划问题的神经网络方法这是第一个利用神经网络解线性规划的模型。它结构简单，硬件易于实现，特别是实时优化性能引起了许多研究者的兴趣，并激发人们开发出多种神经网络优化模型但h o p f i e l d 和t a n k 模型不满足k a r u s h k u h n t a c k e r 最优性条件( k k - t 条件) ，模型平衡点可能不是线性规划问题的最优解，因此，这个模型是不可靠的k e n n e d y 和c h u a 【6 ，7 1 采用梯度方法和罚方法构造了一类求解非线性规划同题的神经网络模型这个模型对h o p f i e l d 和t a n k 模型作出了改进，它满足k - k - t 条件，但仍有一个重要缺点：此模型采用罚函数来处理约束条件。只有当罚参数为无穷大时，才能得到原问题的精确最优解，这在实际中是无法实现的为了避免罚参数，r o d r i g u e z - v a z q u e z 9 ，1 0 l 等人提出了解优化问题的一类神经网络模型该模型设计了两个互不包含的子系统，不含罚参数当迭代点位于可行域内时，迭代沿着目标函数的负梯度方向前进，当迭代点离开可行域时，迭代沿着违反约束的负梯度方向前进此模型的缺点是没有平衡点，它的轨道在最优解的某个邻域内来回振荡，有时用自适应步长r u n g e - k u t t a 法计算解不收敛m a a 与m i c h a e l i l 0 5 1 提出了一个两阶段神经网络，第一阶段与k e n n e d y 和c h u a 网络相同，第二阶段为增广l a f f r a n g e 神经网络这个网络的稳定性依赖于选择一个充分大的罚参数因此，m a n 与m i c h a e l 的两阶段神经网络不能保证全局收敛对于等式约束优化问题，在数学上虽然可以用一组不等式来表示，但由于具有两个反向二极管的电路是不能正常运行的，因此不能直接利用k e n n e d y 和c h u a 模型来求解z h a n g 和c o n s t a n t i n i d e s1 1 1 基于约束优化中著名韵l a g r a n g e 乘子法提出了个神经网络模型，该模型在局部凸性假设下可以得到一个严格局部最优解。但不能保证收敛到全局最优解x i a 1 9 l 进行了具有线性约束优化问题的l a g r a n g e 神经网络全局收敛性分析，对于不等式约束优化问题，h u a n g t 6 3 6 4 6 5 ，6 6 t6 7 】定义了与不等式约束有关的乘子，建立了新的l a g r a n g e 神经网络模型，这个模型不需要将不等式约束转化成等式约束l i u ，c a o 和x i a l 3 3 t3 5 1 注意到网络运行的时延性。建立了求解优化问题的延时第一章绪论l a g r a n g e 神经阿络模型，应用泛函微分方程理论，给出了网络稳定性条件基于对偶方法，许多对偶神经网络模型放提出【13 l 一，【1 8 - 4 3 4 4 - 5 2 , 5 8 1 这个方法主要是通过对偶理论，给出优化问题最优解的充分必要条件，然后找到一个相应的能量函数，使其最小能量对应问题的最优解由能量函数构造一个网络运动方程，即一个常微分方程组例如，z h a n g 4 4 l 提出了一个能解线性等式与不等式约束的二次规划问题的对偶神经网络c h e n f 5 s 通过构造一个能量函数，建立了一个能同时解原问题与对偶问题的神经网络对偶方法的优点是能同时解出原问题与对偶同题，但在不需要求解对偶问题时，模型规模被无谓地扩大了，增加了网络实现的复杂性1 9 9 3 年，b o u z e r d o u m 和p a t t i s o n 阎应用梯度方法和投影方法，提出了一类神经网络用来求解带边界约束的二次规划问题这个网络在目标函数严格凸的条件下，通过选择合适的权矩阵，能够指数稳定于原同题的唯一最优解后来x i a 等人1 2 卟 2 6 1 ，g a o 等人1 4 5 1 一1 4 8 1 以及其他许多学者一1 5 6 应用凸优化的k k t 条件，将优化问题转化为互补问题或变分不等式，建立求解凸优化的投影神经网络y a n g 和c a o l l l 6 1 1 1 利用网络传递的延时性，提出了一个能解具有线性约束的凸优化问题的延时投影神经网络，这个网络的特点是将线性约束设计在投影映射上，简化了网络结构由此可见，用神经网络方法求解最优化问题。关键的一步是如何把一个优化问题转化成一个动力学模型目前有四种常用构造神经网络优化模型的方法：1 基于罚函数法构造神经网络；2 基于l a g r a n g e 乘数法构造神经网络；3 基于对偶方法构造神经网络；4 基于投影方法构造神经阿络1 2 常见的神经网络优化模型非线性规划是科学研究与工程应用中经常需要解决的实际问题，具有非线性约束的凸规划是它的一个基本形式，是数学规划的个重要分支由于凸规划最优解的优良性质即局部最优解就是它的全局最优解，所以研究求解非线性凸规划的神经网络模型已成为热点，根据不同的构造方法，提出了多种计算模型本节对常见的求解非线性优化神经网络模型作一简单的综述1 基于罚函数方法构造神经网络4第一章绪论考虑下面的凸优化问题m i n ，( z ) ，s u b j e c tt og ( x ) 0 ，( 1 23 )其中9 ( z ) = ( g l ( z ) ，9 2 ( z ) ，吼( z ) ) t f ( z ) ：舻一r ，g i ( x ) ：舻一r ，i = 1 ，s是二次连续可微凸函数定义一个惩罚函数帅) 2 篙在文献用中，k e n n e d y 和c h u a 建立了如下的神经网络模型c i 警一荔+ 砉州一毋( 训舞( ，2 a )取能量函数e ( v ) = ，( 口) + 圭盯“ 。垂( z ) 如，k e n n e d y 和c h u a 证明了这个网络是稳定的且满足k k t 最优性条件。但有一个重要缺点此模型采用罚函数来处理约束条件，根据惩罚定理，只有当罚参数充分大时，网络的稳定态平衡点才能逼近原问题的最优解不幸的是，随着惩罚参数增大，能量函数的h e s s i a n 矩阵趋于病态，导致电路实现困难2 基于l a g r a n g e 乘数法构造神经网络考虑下面的优化问题m i n ，( 。) ，s u b j e c tt oh ( x ) = 0 ，( 1 2 5 )其中h ( x ) = ( h i ( z ) ，( z ) ， 。( z ) ) t ，( 。) ：舻一r ，h j ( x ) ：舻一r ，j = 1 ，m 是二次连续可微函数令己( z ，a ) = ，( z ) + 妒h ( z ) ，记v ：l c z ，入) = 【掣，警，警v 羔l ( z ，a ) = 铿】，v h = 【v l ，v 】在交献嘎中，z h a n g 和c o n s t a n t i n i d e s 建立了求解具有等式约束的菲线性规戈0 的l a g r a n g e 神经网络 奏三v 坷。l 扛( z 黔( 1 z 6 )1 警=，a ) 山。u 5箜二主堑堡_ 6写成状态变量方程形式鲁= 一差一姜鲁，t = ，( ，。7 ) 、【等= 吩，j = 1 ，m 定理1 1 1 1 1 ：设( 矿，a ) 是l a g r a n g e 函数l ( x ，a ) 的平稳点，如果v 2 x l ( x + ，”) 0且矿足优化问题的正则点，则( 矿，”) 是神经网络( 1 2 7 ) 的稳定平衡点定理1 2 1 1 ：设h e s s i a n 矩阵v ：。l ( z ，a ) 在网络的定义域内处处正定，则神经网络( 1 27 ) 是l y a p u n o v 稳定的对于不等式约束优化问胚r a i n ，( z ) ，s u b j e c tt o9 ( z ) 0 ，( 1 2 8 )其中g ( z ) = ( g l ( z ) ，9 2 ( z ) ，吼( 。) ) 7 ，f ( z ) ：舻一r ，卯( z ) ：j p 一_ r ，i = 1 ，8 是二次连续可微凸函数在文献1 6 3 1 中，h u a n g 提出了处理不等式约束的增广l a g r a n g e 神经网络作增广l a g r a n g e 函数l ( x ，u ) = ，( z ) + u ；9 i ) + ；嘶2 乳2 p ) ，相应的增广l a g r a n g e 神经网络模型为妻2 - v z l ，( z 、, u l( 1 j 2 9 )i 鲁= 2 u 啦( z ) ，扛1 ，s 、7定理1 3 1 8 3 】；令矿是问题( 1 2 8 ) 的正则点并存在向量u 满足v 。l ( x ，“) = 0 ，让：9 t ( 。) = 0 ，i = 1 ，s ，其中肌( ，) 0 ，u 0 ，且对于任何使得v ；m ( 矿) t y = o ，t ，( 矿) = i l g i ( x ) = 0 )的非零向量y ，有r 【v 羔，( z ) + ( 让：) 2 v 翌g i ( x ) 掣 0 ，则存在e ，当c 时，网络( 1 29 ) 是局部指数渐近稳定的3 基于对偶方法构造神经网络第一章绪论考虑下面的优化问题m i n ，( ) ，z 品“m 胁t 。 粥三冬。一幻。，篁：端m 咄( 1 2 1 0 ，其中，( 茁) ：j p r ，一g l ( x ) ：舻一r ，t = 1 ，8 是二次连续可微凸函数，a =( ) 。是行满秩矩阵1令l ( z ，a ，卢) = ，( z ) 一曼a 册( 。) 一量脚吩( 。) ，则它的对偶规划为m a x l ( x ，a ，p ) ，s u b j e c t t 0 茹九刨( 1 1 2 t 1 1 )构造一个新的能量函数e ( 啪，p ) = ；晒( z ) 】2 + 扣v ：l ( 硝，p ) 1 1 2 + ；，( z ( z ) 一1 9 ( z ) i 】+ j 1i ) a z 一6 1 1 2 + 1 2 a t ( a l a l ) 利用梯度方法，c h e n 5 8 j 建立了一个对偶神经网络f 害= 一v z e 扛，a ，p ) = 一a r 9 ( z ) v 9 ( 。) 丁a v 9 ( z ) t b ( z ) 一 g ( z ) l 】 含：- ；、v g ( x ) g ( xv g ( x ) v替1 。2 1 2 )1 含=，a ，p ) =) +。l ( z ，a ，p ) 一( a l a i ) ，、工。“1 纠l 詈= - v p e ( z ，a ，p ) = a v 。l ( x ，a p ) 定理1 4 1 5 8 1 ：假设e = ( ，a t ，p r ) f 舻+ mj z 和( z r ，a t p 丁) 丁分别是原问题( 1 2 1 0 ) 与对偶问题( 1 2 1 1 ) 的最优解 ，m = ( 。r ，a r ，p r ) r j p 抽+ ”i v e ( x ，a ，p ) =0 是神经网络( 1 2 1 2 ) 的平衡点集，则e m 定理l 5 睁8 1 ：假设问题( 1 , 2 1 0 ) 有最优解，神经网络( 1 2 1 2 ) 有唯一的平衡点，则这个平衡点是优化问题( 1 2 1 0 ) 的最优解，且为一致渐近稳定的定理1 6 【5 8 1 ：假设问题( 1 2 1 0 ) 有唯一最优解，则它是一致渐近稳定的c h e n 基于对偶方法提出的神经网络，其特点是它们能同时解出原问题与对偶问题但这在不需要求解对偶问题时，模型规模被无谓地扩大了另外，要使c h e n 网络的平衡点集等于对应优化问题的最优解集，条件比较严格4 基于投影方法构造神经网络7第一章绪论考虑下面的优化问题m i n ，( z ) ，s u b j e c t t o 爹p( 1 2 1 3 )其中，( z ) ：尼一r ，毋( z ) ：舒一r ，j = 1 ，s 是二次连续可微凸函数应用k k t 条件，x i a l 2 8 提出了如下的投影神经网络 五d z 三二：；：譬二墨瓣h 乳 h ”+ ，( 1 2 1 4 )i 老= 一+ 0 + q c ( z ) ) + 、定理1 7 【2 8 1 ：如果v 2 ，( z ) + 妻佻v 2 c ( 。) 正定，则神经网络( 1 2 1 4 ) 全局收敛到优化问题( 1 21 3 ) 的k k t 点( 矿，矿) 。其中矿是优化问题( 1 2 1 3 ) 的最优解x i a 提出的投影神经网络结构简单，易于硬件实现，但稳定性条件较强基于不同的优化神经网络构造方法，人们提出了多种求解优化问题的神经网络模型这些模型在稳定性与收敛性分析计算能力与电路实现等方面具有不同的特点然而，很多方法都存在不足之处，因此，对现有的优化神经网络进行研究，