第二章优化设计的数学基础机械优化设计

第二章优化设计的数学基础优化问题的求解一般是非线性规划问题，实质上是多元非线性函数的极值问题。从数学上看，无约束优化问题就是无条件极值问题，约束优化问题即条件极值问题。本章主要介绍极值理论，重点是优化问题的极值条件。21多元函数的方向导数与梯度一、方向导数二元函数FX1，X2的偏导数221221021212110121XXXFXXXFXFXXXFXXXFXFXX,LIM,LIM21XFXF、是函数分别沿坐标轴X1、X2方向的变化率。函数沿某一方向D的变化率称为该函数沿此方向的方向导数。其中1、2分别是方向D与X1、X2轴的夹角，COS1、COS2为方向余弦。扩展到多元函数，我们有22112122110COSCOS,LIMDXFXFDXXFXXXXFFDNIIIXFF1COSD其中方向余弦为NJJIIXX12COS二、梯度对二元函数，定义TXFXFXFXFF2121X为函数FX1,X2的梯度。设21COSCOSD为D方向的单位向量，则方向导数DXDTFF即沿方向D的方向导数为函数的梯度与D方向单位向量的内积|代表向量的模，（F,D表示梯度向量与D的夹角。可见，梯度方向是方向导数最大的方向，即函数变化率最大的方向。D,COSXDXDFFFFT在等值线FX1,X2C上，求函数全微分得0212211DXDXFDXXFDXXFT故梯度方向与等值线（切线）垂直。推广到多元函数其中TNXFXFXFF21XD,COSXDXDFFFFTNCOSCOSCOSD212112NIIXFFX梯度方向为函数等值面FXC的法线方向。22多元函数的泰勒展开许多算法及其收敛性的证明都基与此。设函数具有二次以上连续性，则泰勒展开式为一元函数（在XX0处）200021XXFXXFXFXF“其中XXX0二元函数（在XX10,X20处）222222121221212221120102100000221XXFXXXXFXXFXXFXXFXXFXXFXXXXX,其中X1X1X10,X2X2X20。记为矩阵形式有其中XXXXXXXXXX000212221222122122121210212100GFFXXXFXXFXXFXFXXXXXFXFFFTT21XXX02221222122120XXXFXXFXXFXFGHESSIAN矩阵海赛矩阵（24）（24）式可推广到N元函数。优化计算时，常将目标函数作泰勒展开，取到线性项或二次项作为近似表达。函数仅有二次项时称为二次齐次函数，其矩阵形式为XXXGFT二次型）当任意非零向量X使得0XXGT称二次齐次函数正定，G称为正定矩阵。23无约束优化问题的极值条件此处的极值条件指目标函数取得极小值时，极值点所应满足的条件。对于可微的一元函数，极值点XX0的必要条件是驻点，即FX00。判断驻点是否为极值点需检验二阶甚至更高阶导数。F”X00X0为极小点。F”X00，则FX也为凸函数。F1X、F2X为R上的凸函数，0，0，则F1XF2X也为R上的凸函数。三、凸性条件1、FX定义在凸集R上，有一阶连续导数，X1R,X2R，则FX为凸函数FX2FX1X2X1TFX12、FX定义在凸集R上，有二阶连续导数，则FX为凸函数HESSIAN矩阵GX在R上处处半正定。0XXGT四、凸规划1、定义对于约束优化问题MINFXSTGJX0J1,2,M若FX、GJXJ1,2,M均为凸函数，则称此优化问题为凸规划。2、性质1）可行域内任给一点X0，集合RX|FXFX0为凸集。对二元函数而言，这意味着其等值线为外凸曲线。证X1R,X2R,则FX1FX0,FX2FX0,FX为凸函数FAX11AX2AFX11AFX2AFX01AFX0FX0故AX11AX2XR证毕2可行域RX|GJX0,J1,2,M为凸集。证X1R,X2R,由于GJX为凸函数，则有GJAX11AX2AGJX11AGJX20两项均0）故AX11AX2XR3凸规划的任意局部最优解就是全局最优解。证（反正法）设X1为局部极小点，但不是全局极小点，即在X1的邻域内X点有FXFX1，但此邻域外存在X2点，有FX1FX2。由于FX为凸函数，故有FAX11AX2AFX11AFX2AFX11AFX1FX1当A1时，点XAX11AX2进入X1点邻域，此时有FXFAX11AX2FX1与X1为局部极小点矛盾。25等式约束优化问题的极值条件一、消元法（降维法）每个等式约束方程可消去一个变量。设M个约束方程把N个变量中的前M个变量表示为后NM个变量的函数,XXMINMKHTSFK210,NMMMMNMMNMMXXXXXXXXXXXX2121222111代入原目标函数，得新的目标函数转化为无约束优化问题。其极值条件为新目标函数的梯度为零。由于M个约束方程联立不易求解，消元法实际应用意义不大。,NMMXXXF21二、拉格朗日乘子法（升维法）构造拉格朗日函数MKKKHFF1XXX,将FX,视为一个具有NM个变量的无约束条件的目标函数可得其极值必要条件其中前N个方程可写为,MKFNIXFKI210210XKKHF0HXXFF式中XXXHXMTMHHH212126不等式约束优化问题的极值条件工程上大多数优化问题均属具有不等式约束的优化问题，其极值必要条件是著名的库恩塔克KUHNTUCKER条件。,XXMINMJGTSFJ210引入起作用约束下标集合MJGJJJ,2,1,0XX则目标函数取得约束极值的KUHNTUCKER条件为X,XXXJJNIXGXFJJJIJJI0210表示为梯度形式有几何意义在约束极小值点X处，函数FX的负梯度可表示为所有起作用约束函数在该点梯度的非负线性组合。或目标函数负梯度向量被包含在起作用约束函数梯度向量构成的锥形区域内。XXXJJJJGF0或XXXJJJJGF非极值点极值点G1X0G2X0FXCXKG1XKG2XK可行域FXK可行下降区G1X0G2X0可行域XKFXCG1XKG2XKFXK对同时具有等式和不等式约束的优化问题,X,XXMINLKHMJGTSFKJ210210目标函数取得约束极值的KUHNTUCKER条件为,XX,XXXXLKHJJNIXHXGXFKJJJIKKIJJI2100210库恩塔克条件应用举例对优化问题001441222122121XXXXTSXXXFMINX试作出可行域，画出等值线FX025,1,225,4，找出最优解，并验证库恩塔克条件。解00012132222112221XGXGXXGXXFXXXX目标函数等值线是以（2，0）点为圆心的同心圆，可行域由3条约束函数曲线围成，如图所示。从图中可知，（1，0）点是最优点。现验证其KT条件0101001010101321,GGG1201101220112101111,GXGXXG100110100122212,GXGXGG1,G2为起作用约束，G3为不起作用约束。设则020102012420101220111,