（计算数学专业论文）动态规划方法在随机线性二次控制中的应用.pdf

摘要 本文基于b e l l m a n 最优性原理的线性二次最优控制策略与动态规划方 法在股票价格变化服从伊藤过程等的假定下，对随机微分方程的线性二次 控制问题及投资组合问题进行了研究首先考虑股票价格变化服从二类：伊 藤过程、伊藤泊松过程时的情况，利用标准多目标最优化理论及辅助线性 二次控制问题，将投资组合问题化为随机线性二次最优控制问题，利用动态 规划方法、随机最优控制理论及相应的h j b 方程等技巧，求出最优控制( 即 最侥投资组合) ，其次，就殷票价格变化服从倒向随机微分方程方程的情况， 利用鞅方法及最优化理论，将投资组合问题化为随机线性二次最优控制问 题主要利用鞅表示定理，动态规划方法及相应的i t o 公式，v e r i f i c a t i o n 定理， 末出最优控制作为应用，本文还研究了当股票价格服从跳扩散过程时的最 优投资组合问题，求出了辅助问题的解及有效前沿 关键词 动态规划，线性二次控制，随机微分方程，倒向随机微分方 程，跳扩散过程，鞅方法，r i c c a t i 方程，h j b 方程 a b s t r a c t o nt h eb a s i so fb e l l m a np r i n c i p l e ，l i n e a r - q u a d r a t i c ( l q ) o p t i m a lc o n t r o l a n dd y n a m i cp r o g r a m m i n gt h e o r i e s ，b ya s s u m i n gt h ee v o l u t i o no fs t o c k sp r i c e s i sd e s c r i b e db yi t op r o c e s s e s ，e t c ，o p t i m a lp o r t f o l i o - t h ec o n t r o lv a r i a b l ei so b - t a l n e df i r s t l yb ya s s u m i n gt h ee v o l u t i o no fs t o c k sp r i c e si sd e s c r i b e db y ：i t o p r o c e s s e s ，i t o - p o i e s o np r o c e s s e s ，b ys t a n d a r dm u l t i - o b j e c t i v eo p t i m i z a t i o nt h e o r y a n dt h ea u x i l i a r yl qc o n t r o lp r o b l e m ，t h ep o r t f o l i op r o b l e mc a nb es o l v e dv i a l qc o n t r o lp r o b l e m t h et e c h n i q u e sw eu 雒i n c l u d et h ed y n a m i cp r o g r a m m i n g a p p r o a c h ，s t o c h a s t i cl i n e a r - q u a d r a t i cc o n t r o l ，h j be q u a t i o n s e c o n d l y , b ya s - s u m i n gt h ee v o l u t i o no fs t o c k sp r i c e si sd e s c r i b e db yt h eb a c k w a r ds d e ，b yt h e m a r t i n g a l em e t h o da n do p t i m i z a t i o nt h e o r y , t h ep o r t f o l i op r o b l e mc a l lb es o l v e d v i al qc o n t r o lp r o b l e m t h et e c h n i q u e sw eu s ei n c l u d et h eb yt h em a r t i n g a l e r e p r e s e n t a t i o nt h e o r e m ，i t of o r m u l a ，d y n a m i cp r o g r a m m i n ga p p r o a c h 。l a s t l y , b y a s s u m i n gt h ee v o l u t i o no fs t o c k sp r i c e si sd e s c r i b e db yt h ej u m p - d i f f u s i o np r o c e s s ，t h eo p t i m a lp o r t f o l i o ，s o l u t i o nt ot h ea u x i l i a r yp r o b l e ma n de f f i c i e n tf r o n t i e r a r eo b t a j n e d k e y w o r d si t o - p o i s s o ns t o c h a s t i cd i f f e r e n t i a le q u a t i o n ，b a c k w a r ds t o c h a s 。 t i cd i f f e r e n t i a le q u a t i o n ( b s d e ) ，l i n e a r - q u a d r a t i c ( l q ) o p t i m a lc o n t r o l ，r i c c a t i e q u a t i o n ，m a r t i n g a l em e t h o d ，d y n a m i cp r o g r a m m i n g ：h j be q u a t i o n ，j u m p - d i f f u s i o n p r o c e s s 记号说明 1 ，7 表示短阵或向量m 的转置； m j 表示矩阵m 的第j 列向量； t m i = 、q 噶表示矩阵m = ( m 玎) 的范数； 表示nxn 对称矩阵全体； 驴+ 表示非负定s ”矩阵曲全体； p + 表示正定s “矩阵全体； c ( f o 了1 ；x ) 表示定义在f o ，t 上的函数全体，对给定的h f l b e r t 空问x 具 有最大范数”l i ； l 2 ( o ，r ；x ) 是h i l b e r t 空间上在区间f 0 ，明上的可积函数，对给定的 h i l b e r t 空间x 具有范数； a e ( 【o ，叫：舻“) ， d ( 1 ( 【o ，丁 ：r ) f l 2 ( o ，丁；r ”) q c ( o ，t 】：毋) ： r c ( 0 ，丁 ：s ”) h 义 第一章引言 一本章先介绍随机最优控制的基本概念与动态规划方法，然后介绍线性 二次控制 1 1 随机最优问题简介与研究现状 随机最优控制理论( 详见【2 5 】) 主要研究扩散过程的m a r k o v 反馈控制 控制的对象模型化为扩散过程，用i t o 随机微分方程来描述控制器根据当 时的关于系统状态的信息，从满足约束条件的所有可能的控制中选出最优 的，使控制后的系统达到预定目标的最优期望结果随机最优控制理论目 前主要应用于经济学，特别是金融数学，但它在物理、生物、工程、管理等 科学领域也有着广泛的应用前景 解头随机最优控制问题的两个主要方法是p o n t r y a g i n 的极大值原理与 b e t l m m l 的动态规划方法( 见【7 ) ，它们是最优控制的必要条件，在一定条件 下，它们也是充分条件极大值原理于2 0 世纪5 0 年代由p o n t r y a g i n 于他的 小组提出，是最优控制理论的里程碑动态规划于2 0 世纪5 0 年代由b e l l m a n 提出其基本思想是，考虑具有不同初始时刻与初始条件的一组最优控制 问题，并用动态规划方程( h a m i l t o n j a c o b i b e l l m a n 方程，简称h j b 方程) 将 它们联系起来，由该方程中的h a m i l t o n 函数取极大值或极小值条件确定一 “最优良馈控制律，将此最优控制律代回动态规划方程得最后动态规划方 程，再衷解最后动态规划方程得最优控制古典的动态规划方法要求动态规 划方程有古典解，印足够光滑的解2 0 世纪8 0 年代初，c r a n d a l l 与l i o n s 首 先引入了所谓黏性解，使动态规划方法成为解决最优问题的强有力工具 这里所说的黏性解，是指偏微分方程的连续但非光滑之解 历史上，极大值原理与动态规划分别独立地发展起来，它们是解决同 一问题的两种不同方法对随机最优控制问题，动态规划方法较为有效，因 2 0 0 5 上海大学硕士学位论文 2 为目前关于h j b 方程之解( 见【1 3 】，【6 】) 的理论与数值解法已有较多的研究成 果( 见【6 ，【3 【1 3 ) ，【1 4 】) ，而对极大值原理中的前向一倒向随机微分方程组之 解的研究尚处于初始阶段 1 2 随机最优控制问题的提法 随机最优控制问题的提法取央于受控系统运动方程的类型，对控制所 施加的约束，性能指标即控制时间区问，等等 1 2 1 受控系统运动方程 设受控券统运动方程为如下形式的i t o 随机微分方程 ， i d x ( r ) = m ( x ，u ，t ) 打+ g ( x ，“，r ) d ( r ) ， ( 1 2 1 ) lx ( t o ) = x o ，t 【0 ，t j 其中x ( t ) 为n 维矢量系统状态过程；w ( t ) 为m 维矢量标准w i e n e r 过程； “( x ( ) t ) 为r 维矢量反馈控制过程；t o 为初始时刻，t l 为控制终了时刻，可 为有限值、无限值或随机变量；i n 与口分别为给定的n 维矢量函数及n m 维矩阵函值数，满足存在与唯一性条件 1 2 2 控制约束 控制常受到某种约束，其形式取决于控制器一种约束形式为 u u 。u c r 另一类可能的约衷形式为 e 【f m _ 0 n o 0 为常数，e 】为期望算子凡满足控制约束的控制称为可 实现控制而使( 1 2 1 ) 有唯一解的可实现控制蒋为可允许控制 1 2 3 性能指标 2 0 0 5 上海大学硕士学位论文 2 为目前关于h j b 方程之解( 见 1 3 】，【6 】) 的理论- 9 数值解法已有较多的研究成 果( 见【6 ，【3 1f l j ) ，【1 4 ) ，而对极大值原理中的前向 倒向随机微分方程组之 解的研究尚处于初始阶段 1 2 随机最优控制问题的提法 随机最优控制问题的提法取决于受控系统运动方程的类型，对控制所 施加的约束，性能指标即控制时间区问，等等 1 2 1 受控系统运动方程 设受控系统运动方程为如下形式的i t o 随机微分方程 r id x ( r ) ；m ( x “，r ) d r + 口( xu ，r ) d w ( r ) ， ( 1 2 1 ) ix ( t o ) = x o ，t 0 ，t 正 其e e 一( ) 为l l 维矢量系统状态过程；，( t ) 为m 维矢量标准w i e n e r 过程； u ( x ( t ) t ) 为i 维矢量反馈控制过程；t o 为初始时刻，t ，为控制终了时刻，可 为有限值、无限值或随机变量，m 与d 分别为给定的1 3 维矢量函数及n m 维矩萍函值数，满足存在与唯一洼条件 1 2 2 控制约束 整舰常受到某和约束，其形式取决于控制器一种约束形式为 7 1 u u c 科 另一类可能的约束形式为 e f m 曼咖s 一 ( 1 22 ) 其中r 0u o 0 为常数，e 【1 为期望算子凡满足控制约束的控制称为可 实现控制雨使( 1 2 1 ) 有唯一解的可实现控制称为可允许控制 实现控制雨使( 1 2 1 ) 有唯一解的可实现控制称为可允许控制 1 2 3 性能指标 2 0 0 5 上海大学硕士学位论文 2 为目前关于h j b 方程之解( 见【1 3 】，【6 】) 的理论与数值解法已有较多的研究成 果( 见【6 ，【3 【1 3 ) ，【1 4 】) ，而对极大值原理中的前向一倒向随机微分方程组之 解的研究尚处于初始阶段 1 2 随机最优控制问题的提法 随机最优控制问题的提法取央于受控系统运动方程的类型，对控制所 施加的约束，性能指标即控制时间区问，等等 1 2 1 受控系统运动方程 设受控券统运动方程为如下形式的i t o 随机微分方程 ， i d x ( r ) = m ( x ，u ，t ) 打+ g ( x ，“，r ) d ( r ) ， ( 1 2 1 ) lx ( t o ) = x o ，t 【0 ，t j 其中x ( t ) 为n 维矢量系统状态过程；w ( t ) 为m 维矢量标准w i e n e r 过程； “( x ( ) t ) 为r 维矢量反馈控制过程；t o 为初始时刻，t l 为控制终了时刻，可 为有限值、无限值或随机变量；i n 与口分别为给定的n 维矢量函数及n m 维矩阵函值数，满足存在与唯一性条件 1 2 2 控制约束 控制常受到某种约束，其形式取决于控制器一种约束形式为 u u 。u c r 另一类可能的约衷形式为 e 【f m _ 0 n o 0 为常数，e 】为期望算子凡满足控制约束的控制称为可 实现控制而使( 1 2 1 ) 有唯一解的可实现控制蒋为可允许控制 1 2 3 性能指标 2 0 0 5 上海大学硕士学位论文3 最优控制的目标常用一个泛函的极大或极小来表示，该泛函称为成本 泛函或性能指标对随机最优控制，受控系统的状态与控制皆为随机过程， 该泛函为随机量，因此，性能指标取为该泛函的数学期望 对固定的有限时间区间控制问题，性能指标通常形式为 j ( “) = e 嗽f ( x ，u t ) d t + 9 ( ，) ) 1 0 2 3 ) 随机最优问题，就是在允许控制集合中选取一个控制，在满足( 1 2 1 ) 的条 件下，使性能指标达到最优( 极小或极大) ，如 j ( 矿) 2 蕊j ( ) ( 1 - 2 4 ) 式中u 称为最优控制，由最优控制产生的系统状态，即( l 2 1 ) 解x + ( ) ，称 为最优状态或轨迹，“+ 与x ( t ) 构成最优对 如同i t o 随机微分方程有强解与弱解之分，随机最优控制问题也有强弱两种 提法用动态规划方法隶解的本质上是随机最优控制问题的弱提法，这是 因为随机最优控制的目标是使某随机变量的数学期望最小，这只取决于所 涉及过程的概率分布而非它的轨迹 1 3 随机动态规划方法 随机动态规划方法就是对给定的随机最优控制问题，建立与求解随机 动态规划方程，确定最优控制，然后求解最优状态 1 3 1 值函数 值函数，或b e l l m a a _ 1 函数，或最优成本泛函，是指作为初始时刻与初始 状态的性能指标( 或目标泛函) 的极大值或极小值，它是用动态规划方法分 析最优控制问题的一个工具对不同的控制问题，它有不同的含义 考虑具有不同初始时刻与不同状态的一族随机最优控制问题，包括受控系 统运动方程 id x ( r ) = m ( x ，u ，t ) d r + 口( x ，u ，r ) d 7 ( f ) ， ( 1 3 1 ) lx ( t ) = 3 , 0 ，t 【0 ， 2 0 0 5 上海大学硕士学位论文4 与性能指标 j ( u ) = e l l f ( x ，s ) d s + g ( x ( t 拼】 ( 1 3 2 ) 以x r ，x ，s ) 记在初始状态x h ( z t ) = x 下由反馈控制“= u ( x ，8 ) 产生的方 程( 1 3 1 ) 的解在控制约束( 1 22 ) 下，值函数定义为 v ( 。，t ) 。黯时，( ，牡, s ) d s + g ( ( t ，) ) 】 ( 1 3 3 ) 式中：n 。u f 表示对u 内所有允许控制取极小值，期望算子e 应理解为如下条 件期望算子e “： e 0 【f ( y ) 】_ lf ( y ) p ( y ，s i z ，t ) d y ( 1 3 4 ) 其中p ( y ，s i z ，t ) 是扩散过程的转移概率密度在控制终了时刻，值函数的值 为 y ( x ，t 1 ) = 9 ( x b ( ，) ) 上武中的x h 常筒记为x 1 3 2 随机动态规划方程的建立 ( 1 3 5 ) 随机动态规划方程表示随机最侥控制的必要条件，它由动态规划原理 ( b e l l m a n 最优性原理) 导出下面给出随机最优控制问题( 1 2 1 ) ，( 1 _ 2 2 ) ，( 1 2 4 ) 的动态规划方程的形式拄倒动态规划原理：若矿是某个最优控制问题在 整个时问区间f t ，t 1 1 上的最优反馈控制，则u + 具有如下的性质。不论时刻 + h 【t ， 与时间区间【t t + h 】上的允许控制u 怎么选取，u 必然是同 一最优控制问题在时间区间i t + h 】上关于【t ，t + h i 上控制u 产生的状态 x t 。( n ，t + h ) 的最优控制 对随机控制问题( 1 2 1 ) ，( 1 2 2 ) ，( 1 2 4 ) ，由值函数定义( 1 3 3 ) ，以v ( x ，t ) 记整个区间【t ，t f 】上的值函数，咀v ( x ( t + 危) ，t + h ) 记区间【t + ，t f 】上的值 2 0 0 5 上海大学硬士学位论文5 函数由上述动态规划原理，得 v ( x ，t ) 则 y ( 。o + 砷，+ h ) 一y ，t ) + e h 。， f ( x ，叩) 打 独 ( 1 ”) 淼；e 旷肛，叩) d r = f ( x , u , t ) ( 1 3 _ 8 ) 令y ( ，t ) c 1 ，y ( z ，- ) c 2 ，应用i t o 公式( 见【3 ) ，得 糯新叭峨) 叫删= 掣 = 匿+ m t 差+ 知瓯a 2 蚓v 另一方面，若在对闻区间k t + h 内也取最有控制“则有 0 v”a vnl 护v 瓦+ l “瓦+ j 9 u 瓦丽 所以得 + ，( o ，u + ，t ) = 0 豢= 描 l y 一，( 。，u ，) i ： 一己：y 一，扛，u + ，) ( 1 - 3 1 1 ) 其中 妙= ；啪；硒0 2 v + 差 工：= l 。， w h e n = “4 由( 1 3 5 ) ，( 1 3 1 1 ) 须满足终值条件 y ( 。，t f ) = g ( x ( t a ) 2 0 0 5 上海大学硕士学位论文 6 ( 13 1 1 ) 还常写为 一瓦o v 十s “u u p g ( 一k r k ，。，u ，t ) = 。 ( 1 31 2 ) 其中 g ( 一k 。，一k ，z ，“，t ) = - l 。y i ( x ，u t ) s u p 表示上确界，当该值确能达到时，可用m a x 代替( 1 3 ，1 1 ) 或( 1 3 1 2 ) 是 微分形式的随机动态规划方程，常称为h a m i l t o n j e i c o b i b e l l m a n 方程，或简 称h j b 方程。g 称为广义h a m i l t o n 函数( 1 3 1 1 ) 和( 1 3 1 2 ) 是非齐次的二 阶非线性抛物型偏微分方程 1 3 3 随机动态规划方程的求解 随机动态规划方程建立之后，一下的步骤为； 1 通过对动态规划方程求i n f 或s u p 确定“为v 的函数的表达式( 最优控 制律) ； 2 挎矿代入动态规划方程得最后动态规划方程，在适当的最终与边界条件 下末解后一方程得值函数v ，代入u 的表达式得最优控制； 3 捧最优控制代入( 121 ) ，求解该方程得最优轨迹或概率密度 下面简单说明随机动态规划方程的解 动态规划方程的解有两类：一类是光滑解，称为古典解，另一类是连续但非 光滑解，称为黏性解 1 4 线性二次控制 线性二次控制是随机动态规划方法的应用考虑如下线性i t o 随机微分 方程描写的线性系统控制问题： id x ( t ) = ( a ( t ) x ( t ) + b ( t ) u ( t ) ) d t + a ( t ) d w ( t ) ， ( 1 4 1 ) lx ( t o ) = 。o ，t 1 0 ，j 其中x ( t ) 为n 维矢量过程，初值z o 为随机矢量，w ( t ) 为m 维标准w i e n e r 过 程，它与x o 独立，n ( t ) 维r 维矢量过程，a ( t ) ，b ( t ) ，口( ) 分别为n n ，n r ，n x m 系数矩阵性能指标为二次型泛函 2 d 0 5 上海大学硕士学位论文j 一一 j 【札) = e i ( x t ( ) q ( t ) x ( t ) + t 土r ( t ) r ( t ) u ( ) ) d t ( 1 4 2 ) j t o + x 7 ( ，) q t f f l ) x ( t 1 ) 】 皿4 随机动态规划方程( 13 1 1 ) 化为 o 融v _ i 班棚7 瓦o v + ，b t o 抛v 咖7 ，器材时执0 ， 由极小值条件 i n f f “7 矿芒o v + u t r c t ( 1 4 4 ) u 上式对矿末偏导得最优控制律 u + = 一j l nl 。t 刁o v i 将( 145 ) 代入( 14 3 ) 得最后随机动态规划方程 豢+ ，a t 甏一三4 【甏】功胡甏】 a d d 茁。 u z 十1 r ，磊。”v + z 7 q 2 。 园终傻条件为 v ( x t s ) = z 7 q ( t 1 ) x ( t f ) 可设( 1 4 6 ) 、( 147 ) 的解形式为 v ( z ，t 1 ；g ；t ( 如p ( t 扣u ) + v ( t ) ( 14 8 ) 代入( 1 46 ) 注意到x 的二次项系数为o ，经过复杂的运算得对称矩 阵p 应满足的矩】车r i c c a t i 方程( 详见【8 】) 及 曲0 ) = 一( 盯盯t ) u f b ( ) 砷 q 忉 删 舯 “ m q 0 c 0 叭| | + 中端 + h l吧州 嗡 叩 2 0 0 5 上海大学硕士学位论文8 由( 1 4 8 ) ( 1 45 ) 得最优控制 “。= 一r 一1 ( t ) b 7 ( ) p ( ) x ( t ) ，t o t t l ( 1 4 1 0 ) 上式表明最优控制是线性负反馈，控制增益为r _ 1 ( t ) b 7 ( t ) p ( ) 把( 14 1 0 ) 代入( 141 ) ，可知受控过程x ( t ) 满足线性i t o 随机微分方程，用矩方程求其 均值与方差由于受控系统方程为线性，性能指标为二次型泛函，所以称这 种控制为线性二次控制，简称l q 控制 2 0 0 5 上海大学硕士学位论文 9 第二章随机微分方程的线性二次最优控 制 在一般文献中( 见 4 】， 1 0 】，i t 2 1 ， 1 s ，f 1 6 】，【1 8 ，【2 7 1 ) ，随机微分方程是用连续 时间过程一布朗运动呆描述，即伊藤型随机微分方程本章研究伊藤型随机 微分方程的线性二次控制问题 2 1 问题的提出 设( t ) i ( w 1 ( t ) ，w ”( ) ) 7 是标准概率空间( q ”，f w ，p ”， 五 瑾o ) 上 的m 维布朗运动若f ( t ) 为 y d t o 适应的，且e 片i ，( ) 1 2 d t 0 ，t 【0 ：t 其余1 1 1 和资产为股票，其价格分别为e l ( t ) ，b ( t ) ，( t ) ，满足下面随机微 分方程 ， j 蝴) 邓( 。) 凳1 ( 。) 4 ( 。) ( 2 1 2 ) ip d o ) = p i ，0 墨tst ，i l ，2 ，m ) 其中b i ( t ) 为股票的期望收益率口。( ) = 以1 ，以2 ，j h ：f 0 ，明一r “为股票的 波动率，定义 o ( t ) 一( 0 1 ) ，a j ( t ) ，口k ( t ) ) 7 = ( 9 “( ) ) 。 口( ) 口0 ) 7 5 1 ，v t 【o ，丁 ，6 0 ( 2 1 3 ) ( 2 1 3 ) 称为非退化条件本文假设所有函数都是可测的，并且关于t 一致有 界 设当t 之0 时刻的资产为z ( ) ，m ( ) ( i = 0 ，1 ，2 ，m ) 为t 时刻在第i 种资产上 2 0 0 5 上海大学硕士学位论文 1 0 m 的投资份额，则z ( ) = n i ( t ) p i ( t ) i = 0 如( t ) = n i ( t ) d p i ( t ) ( 214 ) i = 0 把( 2 1 1 ) 、( 2 1 2 ) 代入( 2 1 4 ) 得 d x ( t ) = r ( t ) n o ( t ) p o ( t ) + b 。( ) o ) 只( t ) 批 + m ( ) 只( t ) a i j d w j ( t ) j = l j = l ：。( t ) + ( 一删蜊】出 ( 21 5 ) t = 1 + d ( t ) j = 1i = 1 x ( o ) = 茁o 0 其中地( t ) = 肌( t ) r ( ) ( = 0 ，1 ，2 ，m ) 为投资者在第i 种资产上的投资财 富u ( t ) = ( z $ 1 ( t ) ，u 2 ( t ) ，u 。( ) ) 为投资组合( 详见【1 1 ：【1 7 】) ( 2 1 6 ) i “u ( ) l ( o ，t ；r m ) ( 乩) 乩) ) 满足( 21 5 ) 称投资组合面( ) 为有效的投资组合，若不存在投资组合“( ) 使得j l ( u ( ) ) 茎 t ，- 忙( ) ) ，以m ( ) ) 如( ( ) ) 这两个不等式至少有一个严格成立，此时，称 ( j l ( u ( t ) ， u ( ) ) ) ) 为有效点，有效点的全体稚为有效前沿 由标准的多目标最优化理论，上述问题( 2 1 6 ) 等价与 lm i n ( 一e x ( t ) + # v a r x ( t ) ) ， ( 2 1 7 ) is “( ) 碍( o ，r ；r m ) ，( z ( ) “( ) ) 满足( 2l5 ) 其中p 0 上面问题用p ( p ) 表示 2 0 0 5 上海大学硕士学位论文 定义2 3 i i p ( ，) = u ( ) i n ( ) 是p ) 的最优控制) 2 2 构造辅助问题 在问题，( p ) 中，目标涉及到【e z ( r ) 】2 ，它不是标准的随机最优控制问 题，我们引入辅助的线性二次控制问题 ， im i n j ( u ( ) ，p ，a ) = e ( 一a 。( t ) + p x ( t ) 2 ) ， ( 2 2 1 ) ls t u ( ) l ( o ，t ；r 1 ) ， ( ) ，u ( ) ) 满足( 2 1 5 ) 其中参数p 0 , - o o 0 ，有 跗) u蛳m 一 0 ，v t ( o ，t i 1 2 ( 23 3 ) ( 2 3 4 ) ( 2 3 5 ) iq ( ) + a 1 ( t ) q ( t ) + p ( t ) f ( t ) 一p ( t ) b ( t ) ( r ( ) + 凳1d t ( t ) p ( t ) d j ( t ) ) 一1 8 7 q ( t ) = 0 ， ( 2 3 6 ) f0 ( 丁) 20 ， 定理2 1f 卢c a t i o n xr z ) 若( 2 3 5 ) 和( 2 3 6 ) 分别有解p g ( 【0 ，卅；辞) 及 q ( ) 醇( 口，丁：只“) ，则最优问题( 2 3 1 ) 一( 2 33 ) 存在最优回馈控制矿， “+ = 一( 刖+ 薹啪州郫，) _ l b 7 c 脚删， 皿。 j = l 肥由l 幻醇溉。恒弘 筹，i_ll-fi，、-_l 出 淞 、 口 q ， 幻d 。o pt 巧 m 埘 p rb i 纠 旧 m 矿 即 h 淞 z h 纠 嘲 | 证 2 0 0 5 上海大学硕士学位论文 由前面q 和r 的假设可知，值函数( 2 3 2 ) 是正定二次的，所以最优控 制存在；唯一性的证明与( 【6 】，【4 】) 类似，此处省略现在( 1 4 6 ) 化为 署= 一，i n f x t a t 纂x + u 7 8 7 豢+ ，7 u ) o 。v + j 1 ( u ) p u t ) 。0 ；2 。v ，+ + ；x 7 q x + 互1 u t ) 【2 3 9 j 由v ( z ，7 ) = ；x t ( t ) 日( t ) x ( t ) ，我们可令 v ( x , t ) = ；x t ( t ) p ( t ) x ( t ) + x t ( t ) q ( t ) + g ( 札 ( 2 3 1 0 ) 把( 2 3 1 0 ) 代入( 2 3 9 ) ，当u = 矿有 ；x ( ) 7 户( ) x ) + x ( t ) 国( t ) + 国( ) + ( x r a t + u t b t + ，t ( ) ) ( 尸( ) x ( ) + q 0 ) ) + l ( u t 盯) p ( t ) ( 盯r ) + ；x ，q x + ；u 7 r u = o ( 2 3 1 1 ) ! 西( “7 明即) 即) + q ( t ) + 互1 ( u q 即) ( ) + 互1 u 7 肌) - 对“7 求偏导得 “一i 、r n ：1 珊州踟) ) 昭咻+ q ) ( 2 。加) 、 ， 把( 2 , 3 1 2 ) 代入( 2 3 1 1 ) ，并注意到x 的二次项系数、一次项系数为0 得r i c c a t i 方程f 23 5 ) 及微分方程( 2 3 6 ) 2 0 0 5 上海大学硕士学位论文 1 4 第三章伊藤一泊松型随机微分方程的线 性二次控制 3 1 引言 本章我们研究伊藤一泊松型随机微分方程的线性二次控制问题上一章 我们研究了伊藤型随机微分方程的线性二次控制问题，我们认为波动幅度 小的连续时间过程可以用布朗运动来描述，不过，从理论上讲布朗运动对 由于外部信息引起的突然和稀少的变化就不再适用 从概率的观点来看，利用点过程，或简单地用泊松过程来描述这种运 动，那是很自然的所以我们用一对相互独立的伊藤过程、泊松过程来描述 这种波动这种由相互独立的伊藤过程、泊松过程来描述的过程叫跳扩散过 程。一般文献中，跳扩散过程主要在期权定价( 见【1 5 1 ，【1 9 1 ， 2 4 1 ) ，及倒向随机 微分方程的带有一定条件的解的讨论( 见【2 0 】， 2 1 1 ，1 2 2 1 ) 很少有文献涉及到 跳扩散随机微分方程的线性二次控制问题跳扩散随机微分方程形式为 d x ( r ) = ( a ( r ) x ( r ) + d ( t ) u ( r ) + ，( f ) ) 打 + a ( t ) d w ( r ) + l p ( r ) d j v ( r ) ， ( 3 1 1 ) 【x ( o ) _ x o 其中x ( t ) 是随机过程，只有当取初值t = 0 时是确定的本篇论文从控制的 观点看待跳扩散随机微分方程，把u 作为控制变量众所周知线性二次控制 是最优控制中很重要的一类控制，由于随机微分方程很好的理论结构，近 十年呆，特别是自从p a r d o u x 及彭实戈的关于一般非线性倒向随机微分方 程的开创性工作之后( 见 1 8 】) ，在工程及数理金融等方面有了广泛的应用 在本章中，我们介绍跳扩散随机微分方程的线性二次控制问题，其最优 控制可以表述为当前状态的线性回馈形式利用动态规划方法( 见【1 2 】， 2 8 】) 2 0 0 5 上海大学硕士学位论文 1 5 通过船h j b 方程我们得到了r i c c a t i 方程及另外两个微分方程，利用这种方 法闻题得到了解决，结果显示本篇论文是( 27 ) 的推广本章组织如下：第 二节，模型及线形二次控制问题的描述；第三节，解决问题 3 2 问题描述 设w ( t ) i ( w 1 ( ) ，w ”0 ) ) 了是标准概率空间( n w ，f ”，p ”， 五) 髫o ) 上 的m 维的布朗运动，n ( t ) i ( n 1 ( t ) ，n ”( ) ) 7 是( q “，”，p “， 五) 篷o ) 上 的n 维泊松过程，其强度为a ( ) id 1 ( ) ，k ( t ) ) t i m