时间序列分析-第一章 时间序列

1、精选ppt第一章 时间序列本章目录本章目录时间序列的分解平稳序列线性平稳序列和线性滤波正态时间序列和随机变量的收敛性严平稳序列及其遍历性Hilbert空间中的平稳序列平稳序列的谱函数离散谱序列及其周期性精选ppt1.1 1.1 时间序列的分解时间序列的分解一.时间序列的定义： 时间序列：按时间次序排列的随机变量序列。 观测样本：随机序列各随机变量的观测样本。 个有序观 测值 一次实现或一条轨道：时间序列的一组实际观测。 时间序列分析的任务：数学建模，解释、控制或预报。 12,XX1,23,nx xxxn精选ppt二.时间序列的分解, 2 , 1, tRSTXtttt 趋势项 ，季节项 ，随机项

2、注：1.单周期季节项： 只需要 且可设 2.随机项：可设 3.tTtStR()( ),S tsS tt1 ,2,SSSS10sjjS0,tERttsttttttXT SRXTS R精选ppt例：某城市居民季度用煤消耗量分解方法: 1.趋势项估计 （1）分段趋势(年平均)（2）线性回归拟合直线（3）二次曲线回归（4）滑动平均估计tT精选ppt2.估计趋势项后,所得数据由季节项和随机项组成, 季节项估计可由该数据的每个季节平均而得.3. 随机项估计即为tS方法一：分段趋势法方法一：分段趋势法1 趋势项（年平均）ttTX 精选ppt减去趋势项后,所得数据ttTX 精选ppt2 2、季节项、季节项tS

3、精选ppt3.3.随机项的估计随机项的估计 .24, 2 , 1,tSTxRtttt精选ppt方法二：回归直线法方法二：回归直线法一、趋势项估计 一元线性回归模型 最小二乘估计为 可得到 .24, 2 , 1,9 .211 .5780ttTt2421111,),(.24, 2 , 1,21YxxxXtbtaxTttYXYYbaTT1)(), (精选ppt1. 直线趋势项精选ppt消去趋势项后消去趋势项后, ,所得数据所得数据ttTX 精选ppt2 2、季节项估、季节项估 为为24, 2 , 1,tSt精选ppt3. 3. 随机项估计为随机项估计为.24, 2 , 1,tSTxRtttt精选pp

4、t方法三：方法三： 二次曲线法二次曲线法YXYYcbaTT1)(),(26 . 10 .175 .5948ttxt24, 2 , 1,2tctbtaxtt精选ppt1. 1. 二次项估计（趋势项）二次项估计（趋势项）数据和二次趋势项估计数据和二次趋势项估计精选ppt2. 2. 季节项、随机项季节项、随机项 精选ppt例二、美国罢工数（例二、美国罢工数（51-8051-80年年) )（滑动平均法）（滑动平均法）05101520253030003500400045005000550060006500精选ppt1. 1. 趋势项（趋势项（5 5项平均）项平均）精选ppt2.2.季节项和随机项季节项和

5、随机项051015202530-1000-800-600-400-2000200400600800精选ppt例三、化学溶液浓度变化数据例三、化学溶液浓度变化数据0204060801001201401601802001616.51717.51818.5精选ppt020406080100120140160180200-1-0.500.511.5一阶差分1,2197tttyxxt 精选ppt三 时间序列和随机过程 设 是实数 的子集，如果对每个t属于T，都有一个随机变量 与之对应，就称随机变量的集合 是一个随机过程。 当T是全体整数或全体非负整数时，称相应的随机过程为随机序列。 把随机序列的指标集合

6、T看成时间指标时，这个随机过程就是时间序列。 当T是全体实数或全体非负实数时，相应的随机过程称为连续时随机过程。 如果把T认为时间指标，连续是的随机过程就是连续的时间序列。 (,)R tX,ttXX t精选ppt1.2 1.2 平稳序列平稳序列一 平稳序列 定义 如果时间序列 满足 （1） 对任何的 （2） 对任何的 （3） 对任何的 就称是 平稳时间序列，简称时间序列。称实数 为 的自协方差函数。 平稳序列中随机变量 的均值为 ，方差为 都是和t无关的常数。 协方差结构的平移不变性是平稳序列的特性，所以平稳序列是二阶矩平稳序列。:ttXXtN2,ttN EX ,ttN EX, ()()tst

7、 st sN E XXtXtX ttXtEX2var()()ttXE X精选ppt自协方差函数满足以下三条性质：（1）对称性： 对所有的K成立。（2）非负定性：对任何的 ，n阶自协方差矩阵 是非负定的矩阵。（3）有界性： 对所有的k成立。 满足上述性质的实数列都称为非负定序列。kknN011122, 1120()nnnnk j k jnn 0k精选ppt下面证明这些性质，对称性由定义直接得到。 为证明非负性，任取一个 维实向量 Tnaaa),(21n0 )()(211111 niiininjjijininjjijinTXaEXXaaEaa精选ppt22()E XYEX EY为证明有界性，我们先

8、介绍一个常用的不等式.引理 (Schwarz不等式） 对任何方差有限的随机变量X和Y,有证明 不妨设 ,关于a的一元 于是，判别式 取 时，有界性有Schwarz不等式得到： 20EX222()2 ()()0E XaE XYEYE aXY22224( ()40E XEX EYtYtX221 1110()kKkE YYEYEY精选ppt线性相关性定义： 自协方差矩阵退化的充分必要条件是存在非零的n维实向量 使得 这时我们称随机变量是线性相关的。 Tnaaa),(211var()0niiia X自相关系数 定义：设平稳序列 是标准化的序列 ， 的自协方 差函数 称为平稳序列的自相关系数。 tX t

9、Y tY0/,kkkZ精选ppt二.白噪声最简单的平稳序列是白噪声，它在时间序列分析中有特殊的重要地位。定义（白噪声） 设 是一个平稳序列，如果对任意的称 是一个白噪声，记做 当 是独立序列时，称 是独立白噪声； 当 时，称为零均值白噪声； 当 称为标准白噪声。 t, s tN2,cov()0,ttstsEts t2( ,)WN t t020,1精选ppt例2.3 Poisson过程和Poisson白噪声如果连续时的随机过程满足（1） ，且对任何的ts0和非负整数k，（2）N(t)有独立增量性：对任何n1和 随机变量 相互独立，则称N(t)是一个强度为的Poisson过程。 数学期望和方差分别

10、为 (0)0N( ()( )( )exp(),!ktsP N tN sktsk其中 是正数010nttt1( )(),1,2,3,jjN tN tjn( ),var( )E N ttN tt精选pptPoisson白噪声定义：满足上面三个条件称为Poisson白噪声。 ave 表示的样本均值，std表示样本的标准差。下面的例子是Poisson白噪声的60个样本。 (1),1,2,nN nN nn（10(2)var(3) nnnE（）是一个独立的白噪声精选pptPoisson白噪声的60样本的产生1. 随机产生服从(0,1)上均匀的200个样本:2. 给出服从参数为1的指数分布的200个独立样本

11、;3. 给出参数为1的Poisson过程一条样本轨道在i=1,61上的取值；精选ppt参数为1的Poisson白噪声的60个样本I0102030405060-1-0.500.511.522.533.54精选ppt样本II0102030405060-1-0.500.511.52精选ppt标准正态白噪声的60个样本: A=randn(1,60)；plot(A) 精选ppt三.正交平稳序列 设X和Y是方差有限的随机变量，如果E(XY)=0，就称X和Y是正交的，如果c o v(X,Y）=0，就称X和Y是不相关的。 定义 对于平稳序列 和 ， （1） 如果对任何的 s, t Z, ，则称 和 是正交的；

12、 （2 ）如果对任何的 s, t Z， ，则称 和 是不相关的。定理2.2 设 和 分别是平稳序列 和 的自协方差函数， 记 定义 tXt Y()0tsE XY tXt Ycov()0tsX YtXt Y( )Xk( )YktXt YxtytEXEY和t,ttZXY tZ精选ppt（1）如果 和 正交，则 是平稳序列，有自协方差函数 （2）如果 和 不相关，则 是平稳序列，有自协方差函数 证明：（1）当 和 正交，利用cov(X,Y)=E(XY)-E(X)E(Y)得到 （2）由上面的推导 得到。 tXtXt Yt YtZtZ( )( )( )2,0,1,2,ZXYXYkkkk ( )( )(

13、),0,1,2,ZXYkkk ktXt Ycov(,)ov(,)cov(,)cov( ,)cov(,)cov( ,)()()()()2tstssttstststsXYtstsXYXYZ ZcXY XYXXY YX YY XtstsEX EYEYEXtsts cov(,)cov( ,)0tstsX YY X精选ppt1.3 线性平稳序列和线性滤波一.有限运动平均 定义： 设 是WN(O, )，对于非负整数q和常数a0,a1,aq,我们称 是白噪声 的（有限）运动平均，简称为MA，运动平均又称 滑动平均。 MA的平稳性 :tttZ20110,qtjtjttqt qjXaaaatZ t200,00,

14、tq kjj kjt kttEXa akqEXXkqX平稳精选ppt)2 , 0(,*85. 0*36. 0221WNXttttt0102030405060708090100-8-6-4-202468例：精选ppt概率极限定理： 定理 （单调收敛定理） 如果非负随机变量序列单调不减： 则当 时，有对于任何时间序列 ，利用单调收敛定理得到 定理 （控制收敛定理）如果随机变量序列 满足 和 时，则当 时， 并且 120,naslimnnEElim ntttnttntEYEYE Yt Y,nas n0. .nas0E E nEE精选ppt二. 线性平稳序列定义：如果实数列 满足 则称 是绝对可和的。

15、对于绝对可和的实数列 ，定义零均值白噪声 的无穷滑动和如下 ，则 是平稳序列。下面说明 是平稳序列。 由 Schwarz不等式得到于是Xt右边的无穷级数是a.s.绝对收敛的，从而是a.s.收敛的。 由于 所以用控制收敛定理得到 现对t,s Z，定义 jajja ja tja,tjtjjXatZtXtXjtjjtjjjjjEaa Ea njtjjtjjnjaalim 0njtjnjnEXEatXtX精选ppt,nnnjtjnks knnjnknnnjktjs kjkaaVa a ts,则X X a.s.,并且利用公式可以知道 所以由控制收敛定理得到这就说明了 是平稳序列 22jktjs kjjk

16、jEVa a Ea 2()()lim()lim()nntsnnjktjs knnjn jnjjt sjE X XEa a Ea a tX精选ppt证明：当 时. 02|2/|2/12222/|2/12222/|2/12222/|2/|222kjkjjjkjjjjkjkjjjkjkjkjjkjjjkjjkaaaaaaaaaaaak定理：设 是WN(0， ),实数列 平方可和，线性平稳序列 由上述 定义，则自协方差函数 t2jatX精选ppt三.时间序列的线性滤波 对序列 进行滑动求和：称为对 进行线性滤波。其中决定可和的 称为一个保时线性滤波器。 如果输入信号 是平稳列则输出 也是平稳列。期望协

17、方差函数tXtX,tjtjjYh XtZ jhtXt Y1111,( )cov(,)()()Ynjknjkj kjkn kjj knYYh h E XXh h =YtjtjXjjjEYh EXh精选ppt例3.1 余弦波信号的滤波cos(),(,2 ), ttttttXSbtUtZUUU零均值平稳，与独立。信号St方差 ，噪声方差 ，信噪比2/2b222/(2)b0102030405060708090100-2-1012345678精选ppt注：)2/sin()2/sin()2/sin(21)2/sin()cos()cos()cos()(cos(MjjjUtjbUjtbMjMjMjMjMjMj

18、MjMj121sin(0.5)cos()(21)sin(/ 2)MttjjMtYXMbMtUM 精选ppt0102030405060708090100-4-3-2-101234精选ppt1.4 正态时间序列和随机变量的收敛性随机向量的数学期望和方差 矩阵随机向量 期望 随机向量 ，则X的协方差矩阵 协方差矩阵的计算公式 随机向量线性变换 ,()i jm nXX,()()i ji jEXEX12(,)TnXXXX,cov(,)()() ()TXi jX XE XXcov(,)()() ()() ()TTTXX XE XXE XXE X E X,( )TXYaBXEYaBEX Var YBB则精选

19、ppt如果存在m维常数列向量，mn常数矩阵B和iid的标准正态随机变量 使得Y= +BX,则称随机变量 服从m维正态分布。这时EY= , =Var(Y)= Y的特征函数为 这是多维正态分布的等价定义。 记YN(, ) 12,nXXX12( ,)nYY YYTBB1( )exp2TTYtittt精选ppt多维正态分布的充要条件定理 4.1 的充要条件是对任何 12=(,) ( , )TnN 12a=(a ,),(,)TnTTTnaaRYaN aaa有二.正条平稳序列 定义：对于时间序列 ，如果对任何n 1和 有 服从多元正态分布，则称 为正态时间序列 特别当 还是平稳序列时，又称为正态平稳序列。

20、 tXtXtX12, ,nt ttZ12( ),( ),( )nX tX tX t精选ppt正态序列收敛定理定理4.3 如果正态序列 ,依分布收敛到随机变量 则定理4.4 如果 服从WN(0， )，实数列绝对可和，则有 定义的平稳序列时零均值正态序列，自协方差函数(3.5)给出。 证明：下证为正态序列，先证对任何 ,有其中 ,nnN(,var( ),var()var( )nnN EEE）并且 t2,jtjjXatZNm)9 . 4(), 0(),(21mTmNXXXXjijjimmkjmaa2,)(精选ppt对任何 , 定义则有当 时, 有 Tmbbbb),(21n0|)(|kkXnE0|)(

21、|)(|)(|11mkkkkmkkkknnXbEnXbEYE11()mTkkkmnkkkYbXb Xbn精选ppt由定理4.2, 得到 依分布收敛到 ，则 从而由 和定理4.1得到(4.9).用同样方法可以证明: 对任何 有其中 .定理4.4成立.Yn).,(VarYEYNYbbVarYEYmT , 0Nl)10. 4(), 0(),(21mTlmllNXXXXjijjimmkjmaa2,)(精选ppt1.5 严平稳序列及其遍历性 定义：设 是时间序列。如果对任意正整数n和k，随机变量同分布，就称 是严平稳序列。特征是分布平移不变 性：对任何固定的k，时间序列 和 同分布。严平稳和宽平稳的关系

22、：1.二阶矩有限的严平稳为宽平稳。 2.宽平稳一般不是严平稳。 3.正态平稳列既是宽平稳也是严平稳。 4.平稳序列 到 宽平稳序列 到 弱平稳序列。 5.严平稳序列到强平稳序列。 :tXtN:tXtN121(,)TnkXXXT2+kn+k和(Y,Y,Y):tXtN:t kXtN精选ppt遍历性：1.时间序列一般只是一条轨道。 2.要用时间序列 的一次实现推断 的统计性质。 遍历性可以保证从一条轨道可以推断整体的统计性质。 如果严平稳序列是遍历的，从他的一次实现就可以推断出这个严平稳的所有有限维分布:有遍历的严平稳序列被称为严平稳遍历序列。tXtX121122(,)(,),nnnF x xxP

23、Xx XxXxmN精选ppt严平稳序列定理定理5.1 如果 是严平稳遍历序列，则有如下的结果： （1）强大数律：如果 则 （2）对任何多元函数 是严平稳遍历序列. 下面的定理在判断线性平稳序列的遍历性时时十分有用的。定理5.2 如果 是独立同分布的WN(0, )实数列 平方可和, 则线性平稳序列 是严平稳序列的。tX1E X 111lim, . .ntntXEX a sn1212( ,),(,)mtttt mx xxYXXX ,jtjjXatZja t2精选ppt1.6 Hilbert 空间中的平稳序列Hilbert空间 设 是平稳序列，令所以 是一个线性空间。 tX21()( )|,1,kj

24、jjjjL Xa X taR tZjk kN22222, ,(), ,1(),()()(2)0(),0,()0()(3) ()(),(), ()()X Y ZL Xa bRXYYXL XXYZXYZL XXX XXL Xa XYaXbYL Xab XaXbY a bXab X 有（）2()L X精选ppt在线性空间上定义内积， 则有所以 是内积空间，在任何内积空间中都有Schwarz不等式令距离 则有 ,()X YE XY ,=,X YY XaXbY Za X Zb Y Z ,0,00X XX XX 并且当且仅当，a.s.2()L X12,X YX XY Y 12(,)XYXY XY 0=0,

25、 . .XYYXXYXY a s并且当且仅当精选ppt三角不等式：这样 又称为距离空间，不难看出在任意的内积空间上都可以定义距离，是它自然成为距离空间。如果 也是内积空间和距离空间， 是 的子空间。 定义6.1 对 ： (1)如果 ,则称 在 中收敛到 （2)如果当 时， 则称 是 中的基本列或Cauchy列。 XYXZZY2()L X2:LXEX 2()L X2L220,nLL0lim0nn2Ln0 n0nm,m n 2L精选ppt完备的内积空间：每个基本列都是极限在空间内的内积空间。 又称Hilbert空间。 是Hilbert空间。用 表示 中包含 的最小闭子空间则 是Hilbert空间，

26、称为由平稳序列 生成的Hilbert空间。二.内积的连续性 定理（内积的连续性） 在内积空间中，如果证明(1)由三角不等式得到。 2L2L2()L X2()LX2()LXtX0,0nn ，则有(1)(2),nnn nnnn和精选ppt（2）有Schwarz不等式得到例： n维Hilbert空间 是线性空间，定义内积 ，则为内积空间。 是完备的内积空间。 为欧氏模 ,nnnnnnnnnnn nRnR,Ta ba b Taaa精选ppt例2 设 是零均值的平稳列， ，则它的线性组合全 体构成的内积空间 是Hilbert空间称为有X生成的Hilbert空间。实际上， 是线性空 间和内积空间下面我们来

27、证明的完备性。 证明：先设 是标准的白噪声WN(0，1),对任何的线性组合 只要 由例1知道有 使得 当 取 时 于是 是完备的tX12(,)TnXXXX1,:TnnnLsp XXa X aRnLtXTnna X2TTnmnma Xa X2Tnmnm=(a -a )(a -a )02nTnn=(a -a)(a -a)0naR0naaTa Xn nL精选ppt 对一般的零均值的平稳序列，可以设协方差阵 的秩是m, mn有非退化矩阵B使得Y=BX有协方差矩阵于是 且 为WN(0，1)的一段，由知道 为 线性组合，从而是完备的。三.复值时间序列 复随机变量：如果X和Y 是随机变量，称Z=X+iY是复

28、随机变量。 如果EX和EY都存在，称Z=X+iY 的数学期存在,并且EZ=EX+iEY 二阶矩有限的复随机变量：如果 就称为Z的二阶矩有限 随机变量。 ()TE XX (1,1,1,0,0)TYB Bdiag 12( ,),0,0)mYY YY12,mY YY1XB Y12( ,)mY YYnL222E ZEXEY 精选ppt 按时间次序排列的复值随机变量的序列 称为复时间序列。 如果复时间序列 满足就称 是一个复值平稳序列，称 是 的自协方差函数。 当 ，称 是一个复值零均值白噪声。 nZnZnZnZnZ,()(), ,nn mnmEZE ZZn mZ k2, ,nmn mE Z Zn mZ

29、 精选ppt1.7 平稳序列的谱函数1.时域和频域 遍历的时间序列可以从延的时间分布进行统计分析，称为时域分析。 平稳时间序列的二阶性质也可以从其频率分解来研究，称为频域分析。2.谱函数和谱密度 设平稳序列 有自协方差函数（1）如果有-,上的单调不减右连续的函数F()使得 则称F()是 或 的谱分布函数，简称为谱函数。（2）如果有-,上的非负函数f()使得 则称f()是 或 的谱密度函数或功率谱密度，简称为谱密度或 功率谱。 tXtXk( ),()0,ikkedFFkZtXk( ),ikkfedkZ精选ppt谱函数和谱密度的关系 若 有谱函数f() ,则变上限的积分就是 的谱函数。当谱函数F()绝对连续，它的几乎处处导函数就是谱函数，特别，当F()是连续函数，除去有限点外导函数存在且连续，则是谱密度。tXtX( )( )Ff s ds( ),( )( )0,( )FFfF当存在当不存在精选ppt谱函数存在唯一性定理定理7.1 （Herglotz定理）平稳序列的谱函数是唯一存在的。线性平稳序列的谱密度定理7.2 如果 是WN(0， )实数列 平方可和，则线性平稳序列 有谱密度,tjtjjXatZ22( )2ijjjfa eja t2精选ppt两正交序列的谱定理