（计算数学专业论文）凸约束的非线性方程系统的仿射内点信赖域法.pdf

中文摘要 摘要 最优化问题是在有限种或无限种可行方案中挑选出最优的方案。它在工农业、国 防、交通、金融、通信等领域都有着广泛的应用。伴随着计算机的高度发展和软件的完 善，解决最优化问题在生产和生活的各个方面变得越来越重要，也成为现实。 求解最优化问题的方法有很多种，其中线搜索技术与信赖域策略是保证算法的全局 收敛性的两个重要手段。本文主要针对凸约束，尤其是有界变量约束的非线性方程系 统，将其转换成最优化问题，提出了各类结合非单调线搜索技术的内点信赖域法。 现代信赖域方法的基本思想是在当前迭代点的某个邻域( 称为信赖域) 内极小化目 标函数的一个合适的二次模型，并反复校正信赖域半径，得到可接受方向步。对于仅带 有线性不等式的约束优化问题，c o l e m a n 和“在【6 提出了“双信赖域方法”，巧妙地构造 了一个仿射变换矩阵，以及合理的近似二次函数和信赖域子问题，克服了不等式约束带 来的困难。h e i n k e n s c h l o s se ta 1 在文献 2 0 】中提出了一类仿射矩阵，得到了与此有关的一 阶必要条件。而文献 1 3 】中给出的仿射矩阵则帮助我们在求解信赖域子问题时不涉及有 界约束。 本文给出了求解有界约束的非线性方程组的非单调信赖域内点算法。在求解子问题 的过程中，通过引入一个仿射矩阵巧妙的去掉了有界约束，从而将原子问题转换成一个 只具有椭球约束的信赖域子问题。解此子问题即得严格位于可行域内部的点，通过非单 调线搜索获得下一迭代点并保证其有足够下降量。在合理的假设条件下，所给出的这类 算法具有全局收敛性和超线性收敛速率。数值结果表明了算法的有效性。 共轭梯度法是解优化问题时的一类常用方法，由于具有算法简便，只需一阶信息， 易于编程以及存储空间小等优点，共轭梯度法已经成为求解大规模问题的一种主要方 法。b u l t e a u 与v i a l 在【3 】中构造了无约束最优化问题的共轭梯度路径，其基本思想是将 标准共轭方向法应用于无约束优化目标函数的局部二次近似函数，得到一组共轭方向序 列。共轭梯度路径即为该共轭方向序列的线性组合。在本文中，我们引入另一类仿射变 化矩阵，构造了共轭梯度路径。考虑将信赖域子问题中的信赖域约束去掉，沿着这条路 径搜索得到迭代方向。当该迭代方向步不严格可行时。利用非单调回代线搜索技术得到 可接受的步长因子，并且此步长因子保证了新的迭代点有足够的下降量并且位于可行域 的内部。证明了当共轭梯度路径中的参数趋于无穷时，产生的搜索方向即为牛顿步或拟 牛顿步从而具有超线性收敛速率。数值测试表明算法的可行性与有效性。 l a n c z o s 方法和共轭梯度路径法的思想启迪我们，对优化问题的近似二次模型应 用l a n c z o s 方法过程中同时应用共轭梯度法，即对问题三对角化的同时也计算出了共轭方 向序列，这样我们可以得至u l a n c z o s 方向序列和共轭方向序列，由此生成一条新的路径， 第1 页 上海师范大学博士学位论文 这里命名为l a n c z o s 路径。这条路径有类似于共轭梯度路径的一些重要性质，这对于算法 的整体收敛性和超线性收敛性的分析很重要。利用仿射l a n c z o s 路径法求解有界变量约束 非线性方程组能大大的减少计算量，在合理的假设下，本文也证明了这类算法具有整体 收敛性和局部超线性收敛速率。数值测试结果表明了算法的有效性和稳定性。 投影梯度法是解决最优化问题的又一类方法 4 ，5 】，算法虽然具有较快的收敛速度， 但每次迭代可能要计算几次投影，这样大大增加了工作量。文献 9 】与 3 6 】给出了每次只 需计算一次投影的算法。在求解问题的最优化方法中，在最优点z 处的非奇异假设是一 个常用的条件( 【3 6 】) ，文献 2 4 ，4 0 】中，用l e v e n b e r g m a r q u a r d t 法求解凸约束非线性方程组 时把非奇异假设用一个较弱的条件一一局部误差界条件来代替。受此启发，改变 3 6 】中 所提供的投影牛顿法中的投影区域类似的得到投影牛顿步并结合局部误差界这一条件， 本文给出了局部误差界的有界约束非线性方程组的非单调信赖域算法。证明了算法全局 收敛性并且证明了在局部误差界这一较弱条件下算法具有超线性收敛速率。数值实验表 明了以上所给算法的可行性和有效性。 对于具有一般凸约束的非线性方程组。【9 9 给出了求一般凸约束的投影梯度算法，参 考此文得到搜索方向，并通过求解一个简单的信赖域子问题得到搜索步长，得到求解凸 约束非线性方程组的非单调信赖域算法，证明了算法在合理假设下全局收敛且在满足增 长条件( 局部误差界的特殊形式) 下算法超线性收敛。本文给出的凸约束非线性方程组 的投影信赖域算法主要参考了文献【4 】与 4 2 1 q b 的算法，避免直接求解信赖域子问题，通 过近似求解满足两个与信赖域相关条件的步进而得到搜索方向，再通过一维搜索得到下 一迭代点。所提供的投影信赖域算法全局收敛且在局部误差界条件下算法具有1 5 阶的收 敛速率。算法的数值测试将作为进一步研究工作。 本文最后对所做工作进行总结并提出了进一步研究方向。 关键词：非线性约束优化：仿射变换：内点法；共轭梯度路径；l a n c z o s 路径；投影梯 度；非单调。 第1 i 页 英文摘要 a b s t r a c t o p t i m i z a t i o np r o b l e m s ，w h i c hm a k er e s e a r c ho nh o wt of i n dt h eo p t i m a ls o l u t i o na m o n g m a n yf e a s i b l ep l a n s ，a r ew i d e l ya p p l i e di nm a n yf i e l d ss u c ha sf i n a n c e ，t r a d e ，m a n a g e m e n ta n d s c i e n t i f i cr e s e a r c h 。 b o t hl i n es e a r c ht e c h n i q u ea n dt r u s tr e g i o ns t r a t e g ya r ew e l l a c c e p t e dm e t h o d si nt h eo p t i - m i z a t i o nt oa s s u r eg l o b a lc o n v e r g e n c e i nt h i st h e s i s ，w ep r o p o s es o m ef a m i l i e so fa l g o r i t h m s w h i c hr e l e v a n tt ol i n es e a r c ht e c h n i q u ea n dt r u s tr e g i o ns t r a t e g yf o rs o l v i n gc o n v e xc o n s t r a i n e d o p t i m i z a t i o n t h em o d e mt r u s tr e g i o nc o n c e p tm i n i m i z e sa na p p r o p r i a t eq u a d r a t i cm o d e lt h a ta p p r o x i - m a t e st h eo b j e c t i v ef u n c t i o ni nar e g i o nc e n t e r e da tc u r r e n ti t e r a t ep o i n t 。b yu p d a t i n gt h et r u s t r e g i o nr a d i u s 。w ec a no b t a i na c c e p t a b l es t e p c o l e m a na n dl i 【6 】p r e s e n t e dd o u b l e t r u s tr e g i o n a f t i n es c a l i n gi n t e r i o rp o i n ta l g o r i t h mf o rt h em i n i m i z a t i o np r o b l e ms u b j e c to n l yt ol i n e a ri n e q u a l 。 i t yc o n s t r a i n t s b yu s i n ga f f i n es c a l i n gt of o r m u l a t ea na p p r o p r i a t eq u a d r a t i cf u n c t i o na n d t r u s t r e g i o ns u b p r o b l e m ，d i f f i c u l t i e si m p o s e db yc o n s t r a i n t sa r eo v e r c o m e 。f o ru n c o n s t r a i n e dm i n - i m i z a t i o n ，n o c e d a la n dy u a n 【3 0 s u g g e s t e dac o m b i n a t i o no ft h et r u s tr e g i o na n dl i n es e a r c h m e t h o d ，w h i c hi sc a l l e db a c k t r a c k i n g ，f o rs o l v i n gt h eo p t i m i z a t i o np r o b l e m s t h ef i r s ta l g o r i t h mw ep r o p o s e si san e wa f f i n es c a l i n gt r u s tr e g i o ni n t e r i o ra l g o r i t h mw i t h n o n m o n o t o n i cl i n es e a r c ht e c h n i q u ef o rs o l v i n gn o n l i n e a re q u a l i t ys y s t e m ss u b j e c tt ob o u n d so n v a r i a b l e s t h et r u s tr e g i o ns u b p r o b l e mi nt h ep r o p o s a la l g o r i t h mi sd e f i n e db ym i n i m i z i n ga s q u a r e de u d i d e a nn o r m r e f c i r m u l a t i o no fl i n e a rm o d e ls u b j e c tt oa ni n t e r i o re l l i p s o i d a lc o n s t r a i n t 琢t h eg e n e r a lt r u s tr e g i o ns u b p r o b l e m , e a c hi t e r a t es w i t c h e st os t r i c tf e a s i b i l i t yi n t e r i o rp o i n t g e n e r a t ean e w t r i a ls t e p t h eg l o b a lc o n v e r g e n c ea n df a s tl o c a lc o n v e r g e n c er a t eo ft h ep r o p o s e d a l g o r i t h ma r ee s t a b l i s h e du n d e rs o m er e a s o n a b l ec o n d i t i o n s an o n m o n o t o n i cc r i t e r i o ns h o u l d b r i n ga b o u ts p e e d i n gu pt h ec o n v e r g e n c ep r o g r e s si ns o m ei l l c o n d i t i o n e dc a s e s 。t h er e s u l t so f - n u m e r i c a le x p e r i m e n t sa l er e p o r t e dt os h o wt h ee f f e c t i v e n e s so ft h ep r o p o s e da l g o r i t h m 。 t h ec o n j u g a t eg r a d i e n tm e t h o di st h em o s tp o p u l a rm e t h o di no p t i m i z a t i o n b e c a u s ei tc a n b ee a s i l yp r o g r a m m e da n dc o m p u t e d ，t h i sm e t h o dh a sb e c o m ea ni m p o r t a n tm e t h o df o rs o l v _ i n gl a r g e s c a l ep r o b l e m s c o n j u g a t e i st h ee s s e n t i a lc h a r a c t e r i s t i cp r o p e r t yo fc o n j u g a t eg r a d i e n t m e t h o d 。b u l t e a ua n dv i a lf o r m e dac o n j u g a t eg r a d i e n tp a t ho fu n c o n s t r a i n e do p t i m i z a t i o n 。t h e c u r v i l i n e a rp a t hi sd e f i n e da sl i n e a rc o m b i n a t i o no fas e q u e n c eo fc o n ju g a t ed i r e c t i o n sw h i c ha r e o b t a i n e db ya p p l y i n gs t a n d a r dc o n j u g a t ed i r e c t i o nm e t h o dt oa p p r o x i m a t eq u a d r a t i cf u n c t i o no f u n c o n s t r a i n e do p t i m i z a t i o n 。i nt h i st h e s i s ，b ye m p l o y i n g t h ea f f i n es c a l i n gc o n j u g a t eg r a d i e n tp a t h 第1 页 上海师范大学博士学位论文 s e a r c hs t r a t e g y , w eo b t a i na ni t e r a t i v ed i r e c t i o nb ys o l v i n gt h el i n e a r i z em o d e lr e f o r m u l a t e db yt h e n o n l i n e a re q u a l i t ys y s t e m s b yu s i n gt h el i n es e a r c ht e c h n i q u e ，w ew i l l f i n da na c c e p t a b l et r i a l s t e pl e n g t ha l o n gt h i sd i r e c t i o nw h i c hi ss t r i c t l yf e a s i b l ea n dm a k e st h eo b j e c t i v ef u n c t i o nn o n m o n o t o n i c a l l yd e c r e a s i n g t h ep r o p o s e dm e t h o dn o to n l yh a st h eg l o b a lc o n v e r g e n c e ，b u ta l s o h a sl o c a ls u p e r - l i n e a rc o n v e r g e n c er a t e n u m e r i c a lr e s u l t si n d i c a t et h a tt h ea l g o r i t h mi su s e f u la n d e f f e c t i v ei np r a c t i c e i nt h i st h e s i s ，w ea l s oc o m b i n el a n c z o sm e t h o dw i t hc o n j u g a t eg r a d i e n tm e t h o d 。a n dc o n s t r u c tan e wp a t h ，w h i c hh a sb o t hp r o p e r t i e so fl a n c z o sv e c t o r sa n d p r o p e r t i e so fc o n j u g a t eg r a - d i e n tp a t h t h em a i ni d e ao ft h i sm e t h o di st h a tw e e m p l o yl a n c z o sm e t h o dw h i l ee m p l o yc o n ， j u g a t eg r a d i e n tm e t h o df o rt 1 1 ea p p r o x i m a t eq u a d r i cm o d e lo ft h eo p t i m i z a t i o n 。w ec a l lo b t a i nt h e s e q u e n c e so fl a n c z o sv e c t o r sa n dc o n j u g a t eg r a d i e n tv e c t o r s ，t h e nc o n s t r u c tl a n c z o sp a t hw i t h t h e m t h ep r o p e r t i e so ft h i sp a t ha r es i m i l a rt ot h ec o n j u g a t eg r a d i e n tp a t h i ti s i m p o r t a n tt o a n a l y s i st h eg l o b a lc o n v e r g e n c ea n dt h el o c a ls u p e r - l i n e a rc o n v e r g e n c eo ft h ea l g o r i t h m t h e r ea r em a n ym e t h o d si n v o l v i n gp r o j e c t e dg r a d i e n tt os o l v eo p t i m i z a t i o np r o b l e m s a i t h o u g ht h e yc a nc o n v e r g ef a s t ，t h e yn e e dt oc o m p u t ep r o j e c t i o ns e v e r a lt i m e sp e ri t e r a t i o n ，w h i c h i sn o tw ee x p e c t t h ea l g o r i t h mw h i c hn e e do n l yo n e p r o j e c t i o nc a l c u l a t i o np e ri t e r a t i o ni sg i v e n i n 【9 】n o n s i n g u l a r i t yc o n d i t i o ni so f t e nu s e dw h e nw ed i s c u s st h el o c a lc o n v e r g e n c er a t e i n 【2 4 ，4 0 】，t h ee r r o rb o u n da s s u m p t i o nw h i c hi sm u c hw e a k e rt h a nt h es t a n d a r dn o n s i n g u l a r i t yc o n d i t i o ni su s e d s t i m u l a t e db yt h e s ea s p e c t s ，w ep r o p o s eap r o j e c t e dt r u s t r e g i o na l g o r i t h mf o r s o l v i n gb o u n d c o n s t r a i n e ds m o o t hs y s t e m so fe q u a t i o n s b a s e do nar e g u l a r i z e dp r o b l e m ，w eo b t a i nt h en e w t o n l i k es t e p ，w h i c hg e n e r a t e st h ep r o j e c t e dn e w t o ns t e p t h eg l o b a lc o n v e r g e n c e a n df a s tl o c a lc o n v e r g e n c er a t eo ft h e p r o p o s e da l g o r i t h ma r ee s t a b l i s h e du n d e rs o m er e a s o n a b l e c o n d i t i o n sw i t h o u tn o n s i n g u l a ra s s u m p t i o n an o n m o n o t o n i cc r i t e r i o ns h o u l db r i n ga b o u ts p e e d i n g 叩m ec o n v e r g e n c er a t ep r o g r e s si nt h ec o n t o u r so ft h em e r i tf u n c t i o nw i t hl a r g ec u r v a t u r e t h er e s u l t so fn u m e r i c a le x p e r i m e n t sa r e r e p o r t e dt os h o wt h ee f f e c t i v e n e s so ft h ea b o v ep r o p o s e d a l g o r i t h m s f o rs o l v i n gn o n l i n e a re q u a l i t ys y s t e m sw i t hc o n v e xc o n s t r a i n t s ，w ep r o p o s ean o n m o n o t o n e t r u s tr e g i o na l g o r i t h m s i m i l a rt o 【9 】，w eg e tt h ei t e r a t i v ed i r e c t i o n ，s t e pl e n g t hc a nb eg o t t e nb y s o l v i n gas i m p l et r u s tr e g i o ns u b p r o b l e m s t i m u l a t e db y 【4 ，4 2 ，ap r o j e c t e dg r a d i e n tt r u s tr e g i o na l g o r i t h mf o rs o l v i n gn o n l i n e a re q u a l i t ys y s t e m sw i t hc o n v e xc o n s t r a i n t si sc o n s i d e r e d t h e g l o b a lc o n v e r g e n c er e s u l t sa r ed e v e l o p e di nav e r yg e n e r a ls e t t i n go fc o m p u t i n gt r i a ld i r e c t i o n sb y a p r o j e c t e dg r a d i e n tt r u s tr e g i o nm e t h o dc o m b i n i n gw i t ht h el i n es e a r c ht e c h n i q u e c l o s et ot h es o 1 u t i o ns e tt h ep r o j e c t e dg r a d i e n tt r u s tr e g i o nm e t h o di ss h o w nt oc o n v e r g el o c a l l yq s u p e r l i n e a r l y u n d e ra i le r r o rb o u n da s s u m p t i o nt h a ti sm u c hw e a k e rt h a nt h es t a n d a r dn o n s i n g u l a r i t yc o n d i t i o n 第1 v 页 t h el a s tc h a p t e rc o n c l u d e st h em a i nr e s u l t so ft h i st h e s i sa n dp r o p o s e ss o m ef u r t h e rr e s e a r c h d i r e c t i o n sa b o u to u rw o r k k e yw o r d s ： n o n l i n e a rc o n s t r a i n e dp r o g r a m m i n g ；a f f i n es c a l i n g ；i n t e r i o rp o i n tm e t h o d ； i n d e f i n i t ed o g l e gp a t h ；g l o b a lc o n v e r g e n c e ；l o c a lc o n v e r g e n c er a t e 上海师范大学博士学位论文 主要符号对照表 验n 礼维实向量空间 跄似m 几m 维实矩阵 8 ，f 1 2 e u c l i d 范数 z 礼维决策变量 向量z 的第j 个分量 z 。 目标函数的局部极小值点 f ( 3 7 ) 非线性方程组 f 7 0 )非线性方程组f ( x ) 的j a c o b i 矩阵 ，目标函数 ，在当前迭代点z 七处的函数值 c ( 3 7 ) 约束函数 q 可行集 i n t ( f 1 ) 严格可行集 占 约束优化问题在可行点z 处的等式约束指标集 工 约束优化问题在可行点z 处的不等式约束指标集 a ( 3 7 ) 约束优化问题在可行点z 处的有效集 v f ( 3 7 )f 在3 7 处的梯度 a l a g r a n g e 乘子 l ( x ，a )约束优化问题的l a g r a n g e 函数 g ( 3 7 ) f ：e 3 7 处的投影梯度 v 2 f ( x )f 7 在3 7 处的h e s s e 阵 k信赖域半径 z ：( x o ) = z 蛇n i ，( z ) 厂( z o ) ) 水平集 r k ( 7 - ) 线性约束优化问题的仿射共轭梯度路径或l a n c z o s 路径 r ( z ) z 到集合q 的投影 第v i i i 页 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。 论文中除了特别加以标注和致谢的地方外，不包含其他人或机构已经发 表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献均已在 论文中做了明确的声明并表示了谢意。 作者签名： 锯韶 e l 强：沁弼s 论文使用授权声明 本人完全了解上海师范大学有关保留、使用学位论文的规定，即： 学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公 布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论 文。 ( 保密的论文在解密后应遵守此规定) 作者签名：壅查熏。导师签名： e l期l 型： 一日 期：! ：三 第一章最优化理论与方法的基础 第一章最优化理论与方法的基础 1 1 最优化问题简介 最优化理论与方法，就是在复杂环境中遇到的许多可能的决策中，挑选“最好”决 策的科学。因为最优化问题广泛见于国防、交通运输、金融、管理、科学研究等重要领 域，它已受到政府部门、科研机构和产业部门的高度重视。伴随着计算机的高速发展和 优化计算方法的进步，越来越多的优化问题得到解决。通常，为应用最优化技术确定最 优的方案，需要针对具体的实际问题建立相应的模型，再根据模型的具体形式和特性选 择适当的优化方法求解。最优化问题的一般形式数学模型为 m i n ，( z ) ， s t 盘( z ) = 0 ，i = l ，2 ，m ， ( 1 1 1 ) c ( z ) 0 ，i = m + 1 ，p ， 其中z 驼n 为决策变量，f ( x ) ：舻_ 跪为目标函数，q ( z ) ：舻_ 睨i = 1 ，p 为约 束函数。称集合 q = 【z 驼l 色( z ) = 0 ， i = 1 ，2 ，m ；q ) 0 ，i = m + 1 ，p ) ( 1 1 2 ) 为问题( 1 1 1 ) 的可行域。如果q = 舻，则称问题( 1 1 1 ) 为无约束优化问题。对于最优化 问题，主要任务就是求最优解。 。 下面引入最优化理论与方法的基本概念。 定义1 1 1 设文q ，若对vz q 有 f ( x ) 厂( 。) ( 1 1 3 ) 则称z 。是问题( 1 1 1 ) 的整体极小值点。进一步，若对vz q 且z z 。，有 f ( x ) o ) ，对v z qnm ( z 。) ，有 f ( x ) f ( x ) ( 1 1 5 ) 则称文是问题( 1 1 1 ) 的局部极小值点。进一步，若对v x qn e ( z 。) 且z z 。，有 f ( x ) 0 ， 则文是问题( 1 1 1 ) 的一个严格局部最优解 1 3 最优化问题的算法迭代格式 通常采用迭代法求解问题( 1 1 1 ) 的k k t 点得到最优解。其基本思想为：给定初始点 x 0 ，按照某一规则产生一个迭代序列 0 及一个迭代次数k 无 关的常数口 0 ，使得 熙簖钆 ( 1 3 2 ) 则称算法产生的迭代序列 z 七) 具有q o l 阶收敛速率。特别地， ( 1 ) 当q = 1 ，g 1 时，迭代序列 。 具有q 一线性收敛速率； ( 2 ) 当1 0 ，使得 ，( z 七+ q 也) 2 卿m 七+ a d k ) q 知= m i n q o v f ( x 七+ o e d k ) t d k = o ) ， 这样的线搜索通常称为精确线搜索，得到的q 七叫精确步长因子。一般有直接搜索法和插 值法。但是，一般地，精确线搜索需要的计算量很大，而且在实际上也不必要，因此人 第4 页 第一章最优化理论与方法的基础 们提出了既花费较少的计算量，又能达到足够下降的不精确线搜索方法，如w o l f e 准则， 所求口1 只需满足充分下降条件 和曲率条件 f ( x k + a k d _ i c ) ，( 。k ) + p a k g t d k 夕( z 七+ o t k d k ) t d k 芝a g d k ， 其中，0 p 盯 o ) t 使映像a ( x ) = 。一f ( z ) r 1 f ( z ) 对所有z 露s 有定义，且n e w t o n 法( 1 5 7 ) 生成的序列 ) 超线性收敛到z 。若还假定 f l f ( z ) 一f ( 3 7 。) l l 1 1 3 7 一z f l ，s( 1 5 6 ) 其中 0 为常数，n n e w t o n 迭代序列 双 至少2 阶收敛 定理1 5 1 说明了在一定条件下，总存在一个邻域s ，只要初始近似在s 中，n e w t o n 迭代( 1 5 7 ) 生成的序列 孤) 总在s 中且收敛到文，并且是超线性收敛的。如果加上条 件( 1 5 国，剡n e w t o n 具有2 除收敛速奉。这意睬着n e w t o n 迭代收敛很快，这是它的主要 优点。但n e w t o n 应用到实际计算中也有不少问题，例如，迭代初值z o 要求与解z 很靠 近迭代才收敛，还毒每步要算j a c o b i 矩阵( 蠢) 及解线性方程组王佟量较大，当( 髫老) 奇异或病态时，无法进行计算。针对这些情况后人在n e w t o n 法的基础上给出了n e w t o n 法 的几个变形。如修正n e w t o n 法( 【4 8 】) ，带参数的n e w t o n 法等等。带参数的n e w t o n 法的基 本思想与我们下面要介绍的求解菲线性最小二乘问题的l e v e n b e r g m a r q u a r d t 方法比较类 似，其主要思想是在f 7 ( z 七) 奇异或病态时引入参数k 使f 7 ( 钆) + a k i 非病态，其中j r 为 单位矩阵，此对得到静迭代廖捌走 。+ l = z 七十【f ( z 知) + a 七卅一1 f ( z 知) ，k 搿0 ，1 ，2 ，( 1 5 7 ) 这里k 称为阻尼霞予，其作孺是改变矩阵的对蹩元素，只有氛选的足够大就可使矩阵 f 7 七) + a 知，具有对角优势，从而消除f 7 七) 的奇异性( 【4 8 】) 。 求解j 线性方程缱( 1 ，5 ，1 ) 也可转纯成下面的最小二乘阀题进行求解。 11 n 嬲m ) = 壹f ( z ) t f ( 。) 一壹【鼠( 。) 2 ， ( 1 5 8 ) 非线性最j 、- - 乘问题在数据拟合，参数估计和函数逼近等方砸有广泛的应用。由于 网标函数( 1 。5 8 ) 有特殊结构，因此，可以对一般的无约束最优化方法进行改造，得到 些更有效的特殊方法。 第7 页 上海师范大学博士学位论文 设f ( 茹) 是f ( z ) 的j a c o b i 矩阵， 燹u f ( x ) 的撵度为 ，( 。) i 扮h e s s e 矩阵为 其中 ( 霉) 一 盟盟 a z la n ：。： 鱼& 垒 a z la z 忆 住 夕( z ) 一最( z ) v 只 ) 一f 7 ) t f ( z ) ， ( 1 5 9 ) i = l n g ( 茹) = ( v 曩囊) v 置( 。j r + 蜀扫) v 2 置扛) ) t