时间序列模型归纳总结复习

时间序列模型归纳总结复习随机时间序列分析的几个基本概念一、随机过程STOCHASTICPROCESS定义设（,F,P）是概率空间，T是给定的参数集，如果对于任意TT，都有一定义在（,F,P）上的随机变量XT,与之对应，则称随机变量族XT,TT为随机过程。简记为XT,TT或XT,TT或XT离散参数的随机过程也称为随机序列或（随机）时间序列。上述定义可简单理解成随机过程是一簇随机变量XT,TT，其中T表示时间T的变动范围，对每个固定的时刻T而言，XT是一普通的随机变量，这些随机变量的全体就构成一个随机过程。当T0,1,2,时，即时刻T只取整数时，随机过程XT,TT可写成如下形式，XT,T0,1,2,。此类随机过程XT是离散时间T的随机函数，称它为随机序列或时间序列。对于一个连续时间的随机过程的等间隔采样序列，即XT,T0,1,2,就是一个离散随机序列。二、时间序列的概率分布和数值特征1、时间序列的概率分布一个时间序列便是一个无限维的随机向量。一个无限维随机向量X,X1,X0,X1,/的概率分布应当用一个无限维概率分布描述。根据柯尔莫哥夫定理，一个时间序列的概率分布可以用它有限维分布簇来描述。时间序列所有的一维分布是，F1，F0，F1,所有二维分布是FIJ，I，J0,1,2,IJ一个时间序列的所有有限维分布簇的全体，称为该序列的有限维分布簇。2、时间序列的均值函数一个时间序列的均值函数是指TTTEXDF其中EXT表示在T固定时对随机变量XT的求均值，它只一维分布簇中的分布函数FT有关。3、时间序列的协方差函数与自相关函数与随机变量之间的协方差相似，时间序列的协方差函数定义为,TTSTSTTSEXYDFXY其中FT,SX,Y为（XT，XS）的二维联合分布。类似可以定义时间序列的自相关函数，即,/,TSTTS时间序列的自协方差函数有以下性质（1）对称性,TST（2）非负定性对任意正整数M和任意M个整数K1,K2,。KM，方阵12122M12M,K,K,K为对称非负定矩阵。时间序列的自相关函数同样也具有上述性质且有T,T1。三、平稳随机过程平稳时间序列是时间序列分析中一类重要而特殊的随机序列，时间序列分析的主要内容是关于平稳时间序列的统计分析。（一）两种不同的平稳性定义1、严平稳如果对于时间T的任意N个值和任意实数，随机过程的N维分布满足关12,NTTTX系式12121212,NNNNNFXTFXTT则称为严平稳过程。TX2、宽平稳若随机过程的均值（一阶矩）和协方差存在，且满足,TT（1）TEATT（2）,TKTXKK则称为宽平稳随机过程。通常说的平稳是指宽平稳。,TT二者的联系（）严宽因为宽平稳要求期望和协方差存在，而严平稳要求概率分布存在，而不能断言一、二阶矩存在。（）宽严，这是不言而喻的。（）严平稳二阶矩存在宽平稳。但反过来一般不成立。（）对于正态过程来说，有严平稳宽平稳（二）平稳时间序列自协方差函数和自相关函数为了叙述方便，常假定平稳时间序列的均值为零，即。TX0TEX用以下记号表示平稳序列的自协方差函数，即TKTKTKTTTEX当时相应地，的自相关函数用以下记号TX0K平稳序列的自协方差函数列和自相关函数列具有以下性质T（1）对称性；,KK（2）非负定性对于任意正整数M，0112M101M21MR为非负定对称方阵；（3）。0,KK（三）平稳序列的样本统计量（1）样本均值时间序列无法获得多重实现，多数时间序列仅包含一次实现，对于一个平稳序列用时间均值代替总体均值。即1NTTX上式的估计是无偏的。（2）样本自协方差函数1NKKTTKTX1NKKTTKTX第一式是有偏估计，第二式是无偏估计，但有效性不如第一式。其它概率性质和偏自相关函数的定义将在以后章节介绍。四、几类特殊的随机过程（序列）1、纯随机过程随机过程如果是由一个不相关的随机变量的序列构成的，则称其为纯随机过程。2、白噪声序列（WHITENOISE）如果时间序列满足以下性质TX（1）0TEX（2）2,TSTS式中，当TS时，。称此序列为白噪声序列，简称白噪声。,1TST白噪声是一种最简单的平稳序列。（3）独立同分布序列如果时间序列中的随机变量XT,T0,1,2,为相互独立的随机,TXT变量，而且XT具有相同的分布，称这样的时间序列为独立同分布序列。,T独立同分布序列是一种最简单的严平稳序列。一般说，白噪声序列与独立同分布序列是不同的两种序列，当白噪声序列为正态序列时，它也是独立同分布序列，此时称之为正态白噪声序列。（4）独立增量随机过程对于任意正整数N，任意，随机变量12,INTTNTT相互独立。简单地讲，就是任意两相邻时刻上的随机变量之差（增量）21321,NTTTTTXX是相互独立的。（5）二阶矩过程若随机过程对每个的均值和方差存在，则称之为二阶矩过程。,TT,TTX（6）正态过程若的有限维分布都是正态分布，则称为正态随机过程。,TXT,TT主要介绍三种单变量模型自回归（AR）模型、移动平均（MA）模型和自回归移动平均（ARMA）模型。第一节自回归模型一、一阶自回归模型AR1如果时间序列独立，就是说事物的后一时刻的行为主要与其前一时刻的行为毫无关系。这样的资料所揭示甲统计规律就是事物独立地随机变动，系统无记忆能力。如果情况不是这样，资料之间有一定的依存性。后一时刻的行为主要与前一时刻的行为有关，而与其前一时刻以前的行为无直接关系，即已知XT1；XT主要与XT1相关。用记忆性来说，就是最短的记忆，即一期记忆，也就是一阶动态性。描述这种关系的数学模型就是一阶自回归模型。即1TTTXA记作AR（1）。其中XT零均值平稳序列，T为随机扰动。1、一阶自回归模型的特点XT对XT1有线性相关关系T为独立正态同分布序列0,12,TJEA2、AR（1）与普通一元线性回归的关系一元线性回归IIYX一阶自回归1TTTXA两个变量，Y为随机变量，X为确定性变量；0IE；COVIJIJ；2ARI；C0IX2,IN一个变量，为随机变量；T为白噪声序列，TA0TE；20ATSSET,1,TJX还可假定为正态分布。TA主要区别（1）普通线性回归模型需要一组确定性变量值和相应的观测值；（）模型只需要一组随机变量的观测值。（2）普通一无线性回归表示的是一随机变量对另一个确定性变量的依存关系；而AR（1）表示的是一个随机变量对其自身过去值的依存关系。（3）普通线性回归是在静态的条件下研究的；AR（1）是在动态的条件下研究的。（4）二者的假定不同。（5）普通回归模型实质是一种条件回归，而AR（1）是无条件回归。主要联系固定时刻T1，且观察值XT1已知时，AR（1）就是一个普通的一元线性回归。二、AR（1）模型的特例随机游动、随机游动模型1TTTXA、模型的特性（）系统具有极强的一期记忆性，系统在T1和T时刻的响应，除随机扰动外，完全一致，差异完全是由扰动引起的。（）在时刻T1时，系统的一步超前预测就是系统在T1时的响应XT1，即。1TT（）系统行为是一系列独立随机变量的和，即0TTJJXA三、一般自回归模型ARN其中为白噪声，。12TTTNTTAT0,12,TJEAX第二节移动平均模型一、一阶移动平均模型MA（1）如果系统的响应XT仅与其前一时刻进入系统的扰动T存在一定的相关关系，则有MA（1）模型其中为白噪声。1TTTATAMA（1）模型的基本假设为（1）系统的响应XT仅与其前一时刻进入系统的扰动T有一定的依存关系；（2）为白噪声。TA二、一般移动模型MA（M）模型的形式12TTTTMTXAA其中（1）XT仅与，有关，而与（JM1,M2,）无关；（2）为白噪1TTTTJT声。第三节自回归移动平均ARMA模型一、ARMA（2，1）模型1、ARMA（2，1）模型的形式21TTTTTX其中与、和有相关关系，白噪声。T1TT1TT2、ARMA（2，1）模型的结构ARMA（2，1）模型是由一个AR（2）和一个MA（1）两部分构成。3、ARMA（2，1）与AR（1）的区别从模型形式看，ARMA（2，1）比AR（1）的项数多；从模型的动态性看，ARMA（2，1）比AR（1）具有更长的记忆；从计算所需的资料看，ARMA（2，1）需要用T期以前的，这需要T1T2T从初期开始递归地计算出来，通常取零；从参数估计来看，ARMA（2，1）比AR（1）困难。0二、ARMA（N，N1）模型111TTNTTTNTXXARMA（N，N1）模型的基本假设为独立于（JN,N1,）,从而独立于TTJT（JN1,N2,）TJ三、ARMAN，N1模型的合理性为什么我们以ARMAN，N1模型为一般形式来建立时序模型呢难道一个ARMAN，N1模型总可以描述一个时间序列吗对于平稳系统来说，这是毫无疑问的。之所以以ARMAN，N1为基本模型是因为下述理由第一，AR、MA、ARMAN，M模型都是ARMAN，N1模型的特殊情形。第二，理论依据用HILBERT空间线性算子的基本理论可以证明，对于任何平稳随机系统，我们都可以用一个ARMAN，N1模型近似到我们想要达到的程度；用差分方程的理论也可以证明，对于N阶自回归，MA模型的阶数应该是N1。第三，从连续系统的离散化过程来看，ARMAN，N1也是合理的。在一个N阶自回归线性微分方程和任意阶的移动平均数的形式下，如果一个连续自回归移动平均过程在一致区间上抽样，那么，这个抽样过程的结果是ARMAN，N1。【章节实验】利用EVIEWS软件生成AR序列、MA序列和ARMA序列。第三章ARMA模型的特性本章为本书重点之一，主要掌握三类模型的格林函数形式、平稳性和可逆性条件、AFC和PAFC的形式和特点。第一节线性差分方程一、后移BACKSHIFT算子1定义后移算子B定义为，从而。1TTXMTTBX2后移算子的性质1常数的后移算子为常数C2分配律MNMNTTTTMTN3结合律NTTTNTBXBX4后移算子B的逆为前移算子11TT5对于，无限求和得1231TTXB前面的MAM模型、ARN模型和ARMAN,M模型可分别表示为TTXBATTTT其中21NBB2M二、线性差分方程1212TTTNTTTTMTXXAA可将写成TTB这里21NB2MB差分方程通解为TXCIT这里，CT是齐次方程解，IT是特解。三、齐次方程解的计算无重根考虑齐次差分方程0TBX其中121NGBG假定G1，G2，GN是互不相同，则在时刻T的通解12TTTTNXAA其中AI为常数（可由初始条件确定）。重根设有D个相等的根，可验证通解为0B10G2110DTTXAT对一般情形，当的因式分解为/120DNGBGB齐次方程解便是/101DNTJTKIJICGAD因此，齐次方程解是由衰减指数项GT、多项式TJ、衰减正弦项DTSIN2F0TF，以及这些函数的组合混合生成的。上述过程中计算并不方便，通常通过解方程得到其根为I12NNN。由于的根与的根互为,12,IN120NNN120NBB倒数，因此。IIG非齐次方程的特解通常情况下不容易得到，没有一个“万能钥匙”，需要具体问题具体分析，只能对一些具有特殊形式非齐次项的方程进行讨论。此处丛略。第二节格林函数GREENSFUNCTION和平稳性STATIONARITY一、格林函数GREENSFUNCTION1、定义设零均值平稳序列能够表示为,01,2TX（1）0TJTJGA则称上式为平稳序列的传递形式，式中的加权系数称为格林（GREEN）函数，其中。TJ01G2、格林函数的含义格林函数是描述系统记忆扰动程度的函数。式（1）可以记为（2）TTXGBA其中。0JJGB式（1）表明具有传递形式的平稳序列可以由现在时刻以前的白噪声通过系统“T”的作用而生成，是J个单位时间以前加入系统的干扰项对现实响应的0JJGTJATX权，亦即系统对的“记忆”。TJA二、AR（1）系统的格林函数由AR（1）模型1121211TTTTTTTTTTTTXAXAA即10JTTJJX则AR1模型的格林函数。如若，则随着J的增大而缓慢减小，表明系统的记忆1JJG1JG较强；相反，若，则随着J的增大而急剧减小，表明系统的记忆较弱1J例下面是参数分别为09、01和09的AR（1）系统对扰动的记忆情况（三个序列由同一正态白噪T声序列模拟生成）420246102304506708901420246102304506708901TTTXATTTXA64202461023045067089011TTTXA比较前后三个不同参数的图，可以看出（）取正值时，响应波动较平坦。1（）取负值时，响应波动较大。（）越大，系统响应回到均衡位置的速度越慢，时间越长。1由于其中，因此AR（1）211120JTTTTTTTTJXAAA1JJ模型可用一个无限阶MA来逼近，这说明AR模型是一种长效记忆模型。三、AR系统的平稳性1、由平稳性的定义求AR1系统的平稳性条件将AR（1）模型两边平方再取数学期望，得到1TTTXA122122TTTTTTAEEXA如果序列是平稳的，则有，由上式可得TX12TT221TAE221T由于是非负的，所以，从而，这就是AR（1）模型的平稳性条件。2TEX210A1利用滞后算子B，AR（1）模型可以写为TTA式中，那么平稳性条件就等价于的根在单位圆外（或110B的根落在单位圆内）。10上述平稳条件可以推广到AR（N）模型，即其中的平稳性条件为的根在单位圆外TTBXA21NBB0B（或的根在单位圆内）。120NNN2、由格林函数求AR1模型的平稳性条件对于AR1系统来说，其平稳性条件也可以由格林函数得出。如果系统受扰后，该扰动的作用渐渐减小，直至趋于零，即系统响应随着时间的增长回到均衡位置，那么，该系统就是平稳的。相对于格林函数来说，就是随着J，扰动的权数，由于故必有J，显然，0JGJ1J10J1这就是AR1系统平稳性条件。反过来，若，则称AR1为渐近稳定的，也必是平稳的。1时，1当1时,1J当1时1JG1J这时，虽然响应不回到其均衡位置，但仍是有界的，这时系统为临界稳定的，系统可能存在某种趋势或季节性。当时，J，任意小的扰动只要给定足够的时间，就会使系统响应正负趋于1J无穷，永远不会回到其均衡位置，这时系统便是不稳定的，当然是非平稳的。例求AR（2）模型的平稳域解特征方程的根2120，141224，211根据AR模型的平稳性的条件,I212112212由于是实数，必同为实数或共轭复数，由,1,于，因此I221故AR（2）模型的平稳域为21四、格林函数与WOLD分解WOLDSDECOMPOSITION所谓WOLD分解也叫正交分解，其核心就是把一个平稳过程分解成不相关的随机变量的和。由于这一思想是由WOLD引入1938年到时序分析中的，故叫做WOLD分解。他认为可以用线性空间来解释ARMA模型的解。在N维线性空间LN中，N个线性无关的向量称为空间的一组基。设可由线性12,NA12,NA表示12NKAKA其中由向量和唯一确定，称为向量关于基的坐标。IIIIA如果用线性空间的观点来看AR1模型的解10JTTJXA由于是相互独立的，可看作线性空间的基或无限维坐标轴，显然可由线性表示，其TJAJTXTJA系数就是对于的坐标，就是的正交向量的和。因而上式也叫做WOLD分解式，其系JGTTJTJGTJA数叫WOLD系数。格林函数和WOLD系数是同一客体从不同角度观察的结果，二者是完全一致的。WOLD系数是线性空间解释，格林函数是系统解释。五、ARMA模型格林函数的通用解法ARMAN,M模型TBX且TTGA则令,0JJN,0LLM则化为BG000JKLJKLGB比较等式两边B的同次幂的系数，可得0,12,3LJLLJ由上式，格林函数可从开始依次递推算出。思考MAM模型的格林函数为TTXBA,10JJMG例ARMA（2，1）系统的格林函数ARMA（2，1）模型可以看作是一个二阶差分方程，设该方程的解121TTTTTXA是00JTJTTJJGB将上式代入模型中2110JTTJBA22111TTGBBA2020101TTGBA利用比较系数法，B的同次幂必相等，于是B的指数011112202203312JJJGGJ上式可以写成120JJJG即21,JB上式为一关于齐次差分方程的形式，其通解为J12JJJGG其中和是特征方程的根；和是任意常数，其值由初始条件确定。这里12201G2的初始条件是011G则ARMA（2，1）系统的格林函数为121122JJJARMA（2，1）模型的格林函数也可以通过下面的过程求得。根据WOLD分解，平稳ARMA（2，1）模型1TTBXBA可以写成12TTXA12TB11212TABB121212T12102JJTJBA12102JJTJJ即111222JJJGAR（2）为ARMA（2，1）模型的特殊形式，同样具有上述关系。例ARMA（N，N1）系统的格林函数与上面方法相同，ARMA（N，N1）系统的格林函数的隐式的递推式为210,NJBBG其中由下列式子导出0121,NG101222123101NNNNNGG即21,NJBB其最终解为12121121JJJJNIINIIIINGGG其中12NGG例ARMA（2，1）系统的平稳性条件ARMA（2，1）的平稳性条件要求。0JJG时,由得，即的根在单位圆内。2JJJGG21,2120由于ARMA（2，1）的特征方程和AR（2）和形式一样（或者说和其2120移动平均项系数无关），因此其平稳域与AR（2）系统的平稳域相同，都是212思考MA模型的平稳性条件。第三节逆函数和可逆性（INVERTIBILITY）所谓可逆性INVERTIBILITY是指移动平均模型可以用AR模型表示。一、逆函数的定义设是零均值平稳序列，如果白噪声序列能够表示为TXTA1TTJTAXI则称上式为平稳序列的逆转形式，式中的加权系数称为逆函数。T1,2JI二、ARMA模型的逆函数1、ARMA（N,M）模型逆函数通用解法对于ARMA（N,M）模型的逆函数求解模型格林函数求解方法相同。令，01,1JTIBIX则平稳序列的逆转形式可表示为T1TTJTAIXTTIB由ARMAN,M模型可得TTABI仍由先前定义的和，则上式可化为JL000JLKJLIB比较上式两边B的同次幂的系数，得到0JJKLI即1,2,JJKJII由此可从开始推算出。JI12、AR模型的逆函数对于AR（1）模型有1TTTXATTT则其逆函数1,0,2JIIJ类似对于AR（N）模型有1TTTNTTXXA其逆函数为12TTTNTTX20,1NJIIJN3、MA模型的逆函数对于MA（1）模型，则1TTXBA，B1I即211比较上式两边B的同次幂的系数得011,2JJII从而有12JJ也可以用以下方法求MA（1）模型的逆函数由得1TTXBA121TTTJTTJJXX即1JTTTJA可见1JJI与AR（1）讨论相类似，上面推导所隐含的可逆性条件为1对于MA（M）模型的可逆性讨论与AR（N）模型平稳性的讨论是类似的，即MA（M）模型的可逆性条件为其特征方程的特征根1201MMKVV满足KV1K下面所讲的逆函数与格林函数的关系也作为求逆函数的一种选择。三、和之间的关系JGJI对于AR（1）模型和MA（1）模型，注意到格林函数逆函数AR（1）1JJ10,JIMA（1）01,JG1JJI可以看出，AR（1）的和MA（1）的形式一致，只是符号相反，参数互换。此对偶性对其JJI它模型仍然存在，如ARMA（2，1）的格林函数为011221,3JJJGARMA（1，2）的逆函数为1221,3JJJII综上可知，在格林函数的表达式中，用代替，代替，代替，即可得到相对应的逆函数。JIJG四、关于ARMA模型平稳性与可逆性的说明通过上面的讨论可知，AR模型不存在可逆性性条件，MA模型不存在平稳性条件。因此，对于ARMA模型的平稳性条件是针对其AR系数而言，可逆性条件是针对其MA系数而言。只有同时满足平稳性可可逆性条件，ARMA模型才是有意义的。第四节自协方差函数一、理论自协方差函数和自相关函数对于ARMA系统来说，设序列的均值为零，则自协方差函数KTKEX自相关函数0K二、样本自相关函数的计算在拟合模型之前，我们所有的只是序列的一个有限样本数据，无法求得理论自相关函数，只能求样本的自协方差函数和自相关函数。样本自协方差有两种形式1,01,2NKTKTKXN1,1KTKTK则相应的自相关函数为11220NNTKTKKTKTTTTTXX11220NNTKTKKTKTKITTTXX在通常的情况下，我们常采用第一种的计算方法。三、AR模型的自协方差函数和自相关函数（1）AR（1）模型的自协方差函数和自相关函数AR（1）模型为1TTTXA假设为零均值序列。将上式两端乘以，并取期望，得TXTK11TTKTKEXXEA当K0时，有TTT即201A当K1时，有111TTTEXXEA即10当K2时，有2122TTT1依此类推，便有一般式10KK将代入，有，102201001,AAKK相应的自相关函数为，即0/0101/KKK2、AR（N）模型的自协方差函数和自相关函数自相关函数12TTTPTNTXXA两边同乘以得到TK1122TTTKTTKTNTKTNTKXA取期望，得120KKKNK上式两边除以，可得差分方程012KKKNKK我们注意到，上式类似于过程自身所满足的差分方程。TX假定将上式记为0KB这里，1NB记1NJJG则差分方程通解2KKKKNAA这里，是特征方程1G21N01NBB的根。为了保证平稳性，则要求。在实际应用中，如果假定根是互异的，会出现两种情况IG1GI是实根，这时在通解K中AIGIK随K增大等比例地衰减到零，我们常称之为指数衰减。2GI和GJ是一对共轭复根，导致在通解出现SIN2KDFF使得自相关函数呈衰减的正弦振荡，衰减系数，频率F满足IJ1COSRE/IFGD方差当K0时，2012NA上式两边除以，并有，故方差可以写成2XKX221AN四、MA模型的自协方差函数和自相关函数（1）MA（1）模型的自协方差函数和自相关函数将MA（1）模型1TTTXA两端同乘以取期望，得TK110011000111TKTKTTKTJTKJTJTKJJJJTKJJTKJJJTKTKTTKTKTEXAXEAXGGAAEAEAEA2111TTKTK当K0时，有021111122TTTTTAAEXEAEA当K1时，有1122111221TTTTTAEXEAAEA当K2时，有222131130TTTTTEXAAEAEA可见，对于MA（1）模型来说2001112,AKK（2）MA（M）模型的自协方差函数和自相关函数自相关函数11KTTMTTKTKMTKEAAA因此该过程的方差是2201MA且212,1,20KKMKAKKM由此得出自相关函数是122,1,20KMKKKM对于MAM过程，当滞后超出过程的阶数M时自相关函数为零。换言之，滑动平均过程的自相关函数具有超出M步滞后的截尾性。（上述性质用来在BJ建模过程中，识别MA模型）五、偏自相关函数对于一个K阶AR模型，有121,2JKJKJKJJK由此得到YULEWALKER方程，记为121122123KKKKKK或PKKK当已知时，由该方程组可以解出，。遗憾的是，用该方程组求解时，需,211K2K要知道自回归过程的阶数。因此，我们可以对连续的K值求解YULEWALKER方程。对K1，2，3，依次求解方程，得1122121123312上述序列为AR模型的偏自相关函数。K如果自回归过程的阶数为N，则对于KN应该有KK0。（）偏自相关性是条件相关，是在给定的条件下，和的条件相关。121,JJJKXJXJK换名话说，偏自相关函数是对和之间未被所解释的相关的度量。JJK21,JJJK（）由最小二乘原理易得，是作为关于线性回归的回归系数。1,2KKJX12,JJJKX（）由（2）可得，对于AR（N）模型，当KN时，0。（此性质用来在BJ建模过程中，识K别AR特征）（）对于任何平稳过程，都可以由YULEWALKER方程定义偏自相关函数，当然也都是作为自相关122131231211223KKKKKKK函数的函数。六、自回归和滑动平均过程之间的对偶性自回归和有限滑动平均过程之间存在对偶关系的特征1在一个N阶平稳自回归模型中，AT可表示为既往X的有限加权和，换言之，XT可表为既往A的无限加权和1TTXB同样，在一个M阶滑动平均模型中，XT可表示为既往A的有限加权和，换言之，AT可表为既往X的无限加权和1TTA2有限的MA过程具有在某点之外全为零的自相关函数，但由于它等价于一个无限阶的AR过程，因此其偏自相关函数无限伸延，且被衰减指数和（或）衰减正弦波所控制。与此相反，AR过程具有在某点之外全为零的偏自相关函数，但是它的自相关函数无限伸延，且有衰减指数和（或）衰减正弦波混合生成。3对于一个有限M阶自回归过程，其参数不必满足任何条件就能保证可逆性，然而，为满足平稳性，B0的根必须都在单位圆外。与此相反，MA过程的参数不需要满足任何条件就能保证平稳性，然而，为满足可逆性，B0的根必须都在单位圆外。4滑动平均过程的谱与对应的自回归过程的谱存在互逆关系。七、本章小结零均值时间序列统计分析结果模型类别ARNMAMARMAN,M模型方程TTABXTTBATTXBA平稳性条件特征根全在单位圆内无条件平稳特征根全在单位圆内可逆性条件无条件可逆特征根全在单位圆内特征根全在单位圆内传递形式1TTXBATTXBA1TTXBA逆转形式TT1TTTTGREEN函数拖尾截尾拖尾逆函数截尾拖尾拖尾自相关函数拖尾截尾拖尾偏相关函数截尾（截尾应该是快速趋于0）拖尾拖尾自相关系数拖着长长的尾巴，就是拖尾，AC（自相关AUTOCORR）值是慢慢减少的。而偏相关系数是突然收敛到临界值水平范围内的，这就是截尾，PAC（偏相关PARCORR）突然变的很小。AR模型自相关系数拖尾，偏自相关系数截尾；MA模型自相关系数截尾，偏自相关函数拖尾；ARMA模型自相关函数和偏自相关函数均拖尾。ACF,LAGS,BOUNDSAUTOCORRYACF,LAGS,BOUNDSPARCORRY【本章思考题】叙述AR、MA和ARMA模型的格林函数形式、平稳性和可逆性条件、AFC和PAFC的形式和特点。【实验内容】1、观察前面生成的几个自回归序列的波动变化不同之处；2、观察生成的AR模型和MA模型自相关函数和偏自相关函数的不同之处。平稳时间序列模型的建立本章讨论平稳时间序列的建模问题，也就是从观测到的有限样本数据出发，通过模型的识别、模型的定阶、参数估计和诊断校验等步骤，建立起适合的序列模型。学习重点为模型的识别和模型的检验。第一节模型识别、识别依据模型识别主要是依据SACF和SPACF的拖尾性与截尾性来完成。常见的一些ARMA类型的SACF和SPACF的统计特征在下表中列出，可供建模时，进行对照选择。表ARIMA过程与其自相关函数偏自相关函数特征08640204682468102140864020468246810214模型自相关函数特征偏自相关函数特征ARIMA1,1,1XT1XT1UT1UT1缓慢地线性衰减AR（1）XT1XT1UT若10，平滑地指数衰减若10，K1时有正峰值然后截尾若110，K1时有正峰值然后截尾0864020468246810214若10，交替式指数衰减0864020468246810214若10，20）105051024681021410505102468102140864020468246810214（两个特征根为共轭复根）0864020468246810214（10，20，20，20）指数或正弦衰减0864020468246810214（10，20，20）ARMA（1，1）XT1XT1UT1UT1K1有峰值然后按指数衰减05051246810214（10，10）0864020468246810214（10，10，10）0864020468246810214（10，10，20）K1,2有两个峰值然后按指数衰减0864020468246810214（10，20）ARMA（1，2）XT1XT1UT1UT12UT2K1,2有两个峰值然后按指数衰减K1有峰值然后按指数或正弦衰减0864020468246810214（10，10，20，10，20）0864020468246810214（10，10，20，10，20）ARMA（2，2）XT1XT12XT2UT1UT12UT2K1,2有两个峰值然后按指数或正弦衰减0640202406246810214（10，20，20，20，20）K1,2有两个峰值然后按指数或正弦衰减0864020468246810214（10，20，20，20，20）、拖尾性与截尾性的判定理论上，对于MAQ过程，其自相关函数在Q步之后全部为零，实际上并非如此，因为为样KK本数据的估计值。同样地，偏自相关函数也存在类似的问题。判定在M步之后截尾的做法是K21,0LKN36812MLKP59212LKN实际判断时，以频率代概率。判定在N步之后截尾的做法是K1,0N368PK592NK实际判断时，以频率代概率。拖尾即被负指数控制收敛于零。、实例【例41】现有磨轮资料250个，试判断该数据的零均值及平稳性。1时间序列趋势图4048121650100150200250X2零均值化后的图形128404850100150200250Y3ACF与PACF图形ACF0201001020304050607123456789101112131415PACF030201001020304050607123456789101112131415第二节模型定阶、残差方差图法基本思想以AR模型为例。对于时间序列，如果其合理（真正的）阶数为P，当我们用一个小TX于P的值为阶数去拟合它，所得到的剩余平方和必然偏大，1将比真正模型的大。原因在于它把模22型中原本有的一些高阶项给省略了，而这些项的存在对减小残差的方差是有明显贡献的。反之，如果我们用一个大于P的值作为阶数去拟合它（过度拟合），虽然剩余平方和减少，但已不明显，这时可能2还会增大。因此，我们可以用一系列阶数逐渐递增的模型对进行拟合，每次都求出，作出阶数NTX和残差方差的图形，进行判断。2这种方法直观简单，但没有量的准则，具有主观性。、自相关函数（ACF）和偏自相关函数（PACF）定阶法它们不仅可以用来识别模型，而且还可以用来确定模型的阶。、F检验定阶法基本思想首先用ARMAN,M对进行过度拟合，再令为零，用F检验判定阶数降低之后TXMN,的模型ARMAN1,M1与ARMAN,M之间是否存在显著性差异。如果有显著性差异，阶数能够升高；如果没有差异，阶数可以降低。、最佳准则函数定阶法最佳准则函数法，是构造一个准则函数，该函数既要考虑用某一模型对原始数据拟合的接近程度（残差的大小），同时又要考虑模型中所含待定参数的个数。建模时，根据函数的取值确定模型优劣，使准则函数值达到最小的模型是最佳模型。准则函数法是日本学者赤池弘次AKAIKE最先提出。主要有FPE准则，AIC准则，BIC准则，SC准则。1，不仅受剩余平方和的影响，而且还受自由度的影响。KNE21FPE准则基本思想根据模型的预报误差来判断自回归模型的阶数是否恰当，合理的阶数应该能够使得模型的最终预报误差最小。基本理论对于模型，时间序列的一步预报误差的方差为NARTX，而是的无偏估计，于是221/NXETTN/122（1）TT（1）中第一个因子，随着阶数的增加而增加；第二个因子随着阶数的增加而减少。因此N2它实质上就是一个最佳准则函数。该最佳准则函数还可写成2110NIINNFPE基本操作按照从低阶到高阶的方式建立AR模型，并计算出相应的FPE的值，从中选择最小的FPE对应的N作为模型的阶，即。MIN0FPE2AIC准则（AKAIKEINFORMATIONCRITERION）基本思想建立模型时，根据准则函数取值来判断模型的优劣，使准则函数达到极小的是最佳模型，该准则是在模型极大似然估计的基础上建立起来的。基本理论最小信息准则AIC函数的一般形式（2）LN2模型独立参数的个数模型的极大似然度AIC在（2）式中“模型极大似然度”一般用似然函数表示，设样本长度N充分大时，ARMA模型得到近似极大似然估计的对数似然函数为3（3）2LN2LNLNSNL由于（3）中第二项与模型及参数个数无关，可以舍弃。于是得到采用ARMA（N,M）模型拟合的AIC准则函数4（4）12LN,MNMAIC使得AIC信息量取值最小的N和M，即是模型理想的阶。由（4）可以看出AIC信息量由两部分构2详见教材中P103的证明。3详细的证明，参见顾岚时间序列分析在经济中的应用，中国统计出版社，1994年2月。4在EVIEWS软件中的定义与此不同。成前一部分体现模型的拟合好坏，后一部分表明模型参数的多少。显然我们希望模型拟合得越精确真好，但过高的精度要求又会导致参数的增多及模型的复杂，可能反而影响模型的拟合效果，因此，实质上，它就是对拟合精度和参数个数二者加以适当权重。可以想象，当模型中参数个数K由少至多增加时，拟合误差改进显著，（4）中第一项起主要作用，AIC明显下降；随着模型阶数增加，模型拟合残差改进甚微，AIC上升。AIC的最小值处对应着最佳模型的阶数。3BIC准则AIC准则为时间序列模型定阶带来了许多方便，但AIC准则也有不足之处。从理论上已证明了AIC准则不能给出模型阶数的相容估计，即当样本趋于无穷大时，由AIC准则选择的模型阶数不能收敛到其真值（通常比真值高）。AKAIKE于1976年提出了BIC准则弥补了AIC准则的不足。定义，其中K是模型的自由参数个数，对于ARMAN,M模型，NKNBICLNLN2。1MNK从理论上已证明，BIC准则确定的模型阶数是真实阶数的相容估计。若，则是要选择的最佳阶数。IN0BIBINMK0注与的关系见图，用AIC准则往往比用BIC准则确定的阶数高。我们还可以定义其它类型的准则函数，如（5）LNLN21NCKNKBIC其中C是选定的常数。定义不同的准则函数是为了对拟合残差与参数个数之间进行不同的权衡，以体现使用者对于二者重要性的不同侧重。当然，对于同一数据序列使用不同准则挑选的最优模型不同，其渐近性质也不同。在实际问题中，相应于不同阶数的准则函数值往往不是理想的下凸函数，而是总的趋势符合下凸函数变化规律，同时有随机起伏，有时可能出现准则函数下降到某值后，没有明显的增长趋势，而是随2LNKNLN2KK0/K0机的起伏摆动。遇到这种情形，如果适当地增大（5）中常数系数C的值，可以使准则函数在后一段有明显的增长趋势。、实例【例42】沿用例41中的数据，进行模型的定阶。第三节参数估计、矩估计1自回归模型的参数估计采用YULEWALK方程（1）0212211201KKKKKKK2移动平均模型的参数估计5（2）MKKMKK01021122（1）直接解法（2）线性迭代法（3）牛顿拉普森算法63自回归移动平均模型的参数估计将模型分成两个部分，先对AR部分应用YULEWALK方程，计算得到剩余序列，对剩余序列应用MA模型的参数估计方法。、最小二乘估计（LS）1线性最小二乘估计2非线性最小二乘估计高斯牛顿法；最速下降法；、极大似然估计（ML）对于时间序列模型，一般采用极大似然法估计参数。对于一组相互独立的随机变量XT,（T1,2,T），当得到一个样本X1,X2,XT时，似然函数可表示为L|X1,X2,XTFX1|FX2|FXT|1TTXF1其中（1,2,K）是一组未知参数。对数似然函数是5可采用直接法、迭代法、牛顿拉普森算法。6详见顾岚时间序列分析在经济中的应用，中国统计出版社，P120。LOGLFXT|,TTLOG1通过选择使上式达到最大，从而求的极大似然估计值。具体步骤是用上述对数似然函数对每个未知参数求偏导数并令其为零，即0,1LOGL0,（K个方程联立）KLOG一般来说似然函数是非线性的，必须采用迭代计算的方法求参数的极大似然估计值。极大似然估计量MLE具有一致性和渐近有效性。现在讨论怎样对时间序列模型的参数进行极大似然估计。对于非平稳过程YT，假定经过D次差分之后可以表达为一个平稳、可逆的自回归移动平均过程XT，LDYTLXTLUT2对于YT假定可以观测到TD个观测值，即YD1,Y0,Y1,YT，则经过D次差分之后，XT的样本容量为T。以X1,XT为样本估计ARMAP,Q模型参数1,P,1,Q。对随机过程XT的参数估计就如对回归模型的参数估计一样，目的是使XT与其拟合值的残差平方和TXTTX2TU2最小。把2式改写为UT3TXL若用，和分别表示对I,I和UT的估计，则使下式最小。IITS,4TU21P1Q假定UTN0,U2,T1,T，且不存在自相关，则条件对数似然函数为LOGLTLOGU52T之所以称之为条件对数似然函数是因为依赖于过去的不可知观测值X0,X1,XP1和U0,U1,UQ2TU1。比如U1X11X02X1PXP11U0QUQ16对（5）式求极大即等同于对求极小。对求极小时需要先确定X0,X1,XP1和U0,U1,U2TU2TUQ1的值。此问题的一般处理方法是取这些变量等于他们的无条件期望值。U0,U1,UQ1的无条件期望值为零。若模型（2）中不含有漂移项，则X0,X1,XP1的无条件期望值也为零。当样本容量T与滞后长度P,Q值相比充分大，且1,P的值不接近1时，这种近似非常理想。若2式中不含有移动平均项，对于自回归参数来说3式是一个线性函数。可以用OLS法估计参数。如果2式中含有移动平均项，那么对于移动平均参数来说，3式是一个非线性函数。对3式必须采用非线性估计方法。首先假定模型为纯自回归形式，LXTUT7或XT1XT1PXTPUT8这是一个线性回归模型，极大似然估计与OLS估计结果近似相同。当模型中含有移动平均成分时UT1LLXT9对于参数来说，模型是非线性的。对于非线性模型，通常由三种估计方法。直接搜索法。通过改变参数的取值，反复计算残差平方和的值。然后从中选择最小的那个2TU值所对应的参数值作为对参数的估计值。这种方法只有在参数个数较少时才是可行的。当参数个数较多时，计算量将非常大。例如当含有四个被估参数，每个参数需选择20个计算值时，则需要计算204160000次。直接优化法。求误差平方和函数对每一个参数的偏导数并令其为零，从而求得正规方程0,I1,PQ10ITU2其中（1,PQ）（1,P,1,Q）。因为PQ个方程中都含有PQ个参数，所以必须联立求解。由于计算上的困难，这种方法很少直接采用。线性迭代法。对任何非线性函数通常都可以按泰勒级数展开。FXFX0FX0XX0FX0FX0X0FX0X首先为参数选一组初始值（1,0,PQ,0）（下标零表示初始值。怎样确定初始值并不重要。），然后将XTFXT1,XTP按泰勒级数在（1,0,PQ,0）点展开。XTFXT1,XTP,1,0,PQ,00,1IQIIF112