时间序列模型归纳总结复习.doc

时间序列模型归纳总结复习随机时间序列分析的几个基本概念一、随机过程(Stochastic Process)定义 设（,F,P）是概率空间，T是给定的参数集，如果对于任意tT，都有一定义在（,F ,P）上的随机变量X(t,)与之对应，则称随机变量族X(t,),tT为随机过程。简记为X(t,),tT或Xt,tT 或XT离散参数的随机过程也称为随机序列或（随机）时间序列。上述定义可简单理解成：随机过程是一簇随机变量Xt,tT，其中T表示时间t的变动范围，对每个固定的时刻t而言，Xt是一普通的随机变量，这些随机变量的全体就构成一个随机过程。当t=0,1,2,时，即时刻t只取整数时，随机过程Xt,tT可写成如下形式，Xt,t=0,1,2,。此类随机过程Xt是离散时间t的随机函数，称它为随机序列或时间序列。对于一个连续时间的随机过程的等间隔采样序列，即Xt,t=0,1,2,就是一个离散随机序列。二、时间序列的概率分布和数值特征1、时间序列的概率分布一个时间序列便是一个无限维的随机向量。一个无限维随机向量X=(,X-1,X0,X1,)/的概率分布应当用一个无限维概率分布描述。根据柯尔莫哥夫定理，一个时间序列的概率分布可以用它有限维分布簇来描述。时间序列所有的一维分布是：，F-1()，F0()，F1(),所有二维分布是：Fij(，)， i，j=0,1,2,(ij)一个时间序列的所有有限维分布簇的全体，称为该序列的有限维分布簇。2、时间序列的均值函数一个时间序列的均值函数是指：其中EXt表示在t固定时对随机变量Xt的求均值，它只一维分布簇中的分布函数Ft()有关。3、时间序列的协方差函数与自相关函数与随机变量之间的协方差相似，时间序列的协方差函数定义为：其中Ft,s(X,Y)为（Xt，Xs）的二维联合分布。类似可以定义时间序列的自相关函数，即：时间序列的自协方差函数有以下性质： （1） 对称性：（2） 非负定性：对任意正整数m和任意m个整数k1, k2,。 km，方阵为对称非负定矩阵。时间序列的自相关函数同样也具有上述性质且有(t,t)=1。三、平稳随机过程平稳时间序列是时间序列分析中一类重要而特殊的随机序列，时间序列分析的主要内容是关于平稳时间序列的统计分析。（一）两种不同的平稳性定义： 1、 严平稳：如果对于时间t的任意n个值和任意实数，随机过程的n维分布满足关系式：则称为严平稳过程。 2、宽平稳：若随机过程的均值（一阶矩）和协方差存在，且满足（1）（2）则称为宽平稳随机过程。通常说的平稳是指宽平稳。二者的联系：（）严宽：因为宽平稳要求期望和协方差存在，而严平稳要求概率分布存在，而不能断言一、二阶矩存在。（）宽严，这是不言而喻的。（）严平稳+二阶矩存在宽平稳。但反过来一般不成立。（）对于正态过程来说，有：严平稳宽平稳（二）平稳时间序列自协方差函数和自相关函数为了叙述方便，常假定平稳时间序列的均值为零，即。用以下记号表示平稳序列的自协方差函数，即相应地，的自相关函数用以下记号平稳序列的自协方差函数列和自相关函数列具有以下性质：（1） 对称性：；（2） 非负定性：对于任意正整数m，为非负定对称方阵；（3） 。（三）平稳序列的样本统计量（1） 样本均值时间序列无法获得多重实现，多数时间序列仅包含一次实现，对于一个平稳序列用时间均值代替总体均值。即 上式的估计是无偏的。（2） 样本自协方差函数第一式是有偏估计，第二式是无偏估计，但有效性不如第一式。其它概率性质和偏自相关函数的定义将在以后章节介绍。四、几类特殊的随机过程（序列）：1、纯随机过程：随机过程如果是由一个不相关的随机变量的序列构成的，则称其为纯随机过程。2、白噪声序列（White noise）：如果时间序列满足以下性质：（1）（2）式中，当ts时，。称此序列为白噪声序列，简称白噪声。白噪声是一种最简单的平稳序列。（3）独立同分布序列：如果时间序列中的随机变量Xt,t=0,1,2,为相互独立的随机变量，而且Xt具有相同的分布，称这样的时间序列为独立同分布序列。独立同分布序列是一种最简单的严平稳序列。一般说，白噪声序列与独立同分布序列是不同的两种序列，当白噪声序列为正态序列时，它也是独立同分布序列，此时称之为正态白噪声序列。（4）独立增量随机过程：对于任意正整数n，任意，随机变量相互独立。简单地讲，就是任意两相邻时刻上的随机变量之差（增量）是相互独立的。（5）二阶矩过程：若随机过程对每个的均值和方差存在，则称之为二阶矩过程。（6）正态过程：若的有限维分布都是正态分布，则称为正态随机过程。主要介绍三种单变量模型：自回归（AR）模型、移动平均（MA）模型和自回归移动平均（ARMA）模型。第一节 自回归模型一、一阶自回归模型AR(1) 如果时间序列独立，就是说事物的后一时刻的行为主要与其前一时刻的行为毫无关系。这样的资料所揭示甲统计规律就是事物独立地随机变动，系统无记忆能力。如果情况不是这样，资料之间有一定的依存性。后一时刻的行为主要与前一时刻的行为有关，而与其前一时刻以前的行为无直接关系，即已知Xt-1；Xt主要与Xt-1相关。用记忆性来说，就是最短的记忆，即一期记忆，也就是一阶动态性。描述这种关系的数学模型就是一阶自回归模型。即 记作AR（1）。其中Xt 零均值平稳序列，t 为随机扰动。1、 一阶自回归模型的特点Xt对Xt-1有线性相关关系t为独立正态同分布序列2、 AR（1）与普通一元线性回归的关系一元线性回归一阶自回归两个变量，Y为随机变量，X为确定性变量；一个变量，为随机变量；为白噪声序列，;；;还可假定为正态分布。主要区别：（1） 普通线性回归模型需要一组确定性变量值和相应的观测值；（）模型只需要一组随机变量的观测值。（2） 普通一无线性回归表示的是一随机变量对另一个确定性变量的依存关系；而AR（1）表示的是一个随机变量对其自身过去值的依存关系。（3） 普通线性回归是在静态的条件下研究的；AR（1）是在动态的条件下研究的。（4） 二者的假定不同。（5） 普通回归模型实质是一种条件回归，而AR（1）是无条件回归。主要联系：固定时刻t-1，且观察值Xt-1已知时，AR（1）就是一个普通的一元线性回归。二、 AR（1）模型的特例随机游动、 随机游动模型 、模型的特性（） 系统具有极强的一期记忆性，系统在t-1和t时刻的响应，除随机扰动外，完全一致，差异完全是由扰动引起的。（） 在时刻t-1时，系统的一步超前预测就是系统在t-1时的响应Xt-1，即。（） 系统行为是一系列独立随机变量的和，即 三、一般自回归模型AR(n)其中：为白噪声，。第二节 移动平均模型一、 一阶移动平均模型MA（1）如果系统的响应Xt仅与其前一时刻进入系统的扰动t存在一定的相关关系，则有MA（1）模型： 其中：为白噪声。MA（1）模型的基本假设为：（1）系统的响应Xt仅与其前一时刻进入系统的扰动t有一定的依存关系；（2）为白噪声。二、 一般移动模型MA（m）模型的形式：其中：（1）Xt仅与， ，有关，而与（j=m+1,m+2,）无关；（2）为白噪声。第三节 自回归移动平均(ARMA)模型一、 ARMA（2，1）模型 1、ARMA（2，1）模型的形式：其中：与、和有相关关系，白噪声。2、ARMA（2，1）模型的结构：ARMA（2，1）模型是由一个AR（2）和一个MA（1）两部分构成。3、ARMA（2，1）与AR（1）的区别从模型形式看，ARMA（2，1）比AR（1）的项数多；从模型的动态性看，ARMA（2，1）比AR（1）具有更长的记忆；从计算所需的资料看，ARMA（2，1）需要用t期以前的，这需要从初期开始递归地计算出来，通常取零；从参数估计来看，ARMA（2，1）比AR（1）困难。二、 ARMA（n，n-1）模型ARMA（n，n-1）模型的基本假设为：独立于（j=n,n+1,）,从而独立于（j=n+1,n+2,）.三、ARMA(n，n-1)模型的合理性 为什么我们以ARMA(n，n-1)模型为一般形式来建立时序模型呢?难道一个ARMA(n，n-1)模型总可以描述一个时间序列吗?对于平稳系统来说，这是毫无疑问的。之所以以ARMA(n，n-1)为基本模型是因为下述理由： 第一，AR、MA、ARMA(n，m)模型都是ARMA(n，n-1)模型的特殊情形。 第二，理论依据：用Hilbert空间线性算子的基本理论可以证明，对于任何平稳随机系统，我们都可以用一个ARMA(n，n-1)模型近似到我们想要达到的程度；用差分方程的理论也可以证明，对于n阶自回归，MA模型的阶数应该是n-1。第三，从连续系统的离散化过程来看，ARMA(n，n1)也是合理的。在一个n阶自回归线性微分方程和任意阶的移动平均数的形式下，如果一个连续自回归移动平均过程在一致区间上抽样，那么，这个抽样过程的结果是ARMA(n，n-1)。【章节实验】利用Eviews软件生成AR序列、MA序列和ARMA序列。第三章 ARMA模型的特性本章为本书重点之一，主要掌握三类模型的格林函数形式、平稳性和可逆性条件、AFC和PAFC的形式和特点。第一节 线性差分方程一、 后移(Backshift)算子:1. 定义：后移算子B定义为，从而。2. 后移算子的性质：(1) 常数的后移算子为常数：(2) 分配律：(3) 结合律：(4) 后移算子B的逆为前移算子(5) 对于，无限求和得前面的MA(m)模型、AR(n)模型和ARMA(n,m)模型可分别表示为： 其中：二、 线性差分方程 可将写成 这里 差分方程通解为： 这里，C (t)是齐次方程解，I (t)是特解。三、 齐次方程解的计算无重根 考虑齐次差分方程 其中 假定G1，G2，Gn是互不相同，则在时刻t的通解： 其中Ai为常数（可由初始条件确定）。重根 设有d个相等的根，可验证通解为 对一般情形，当的因式分解为 齐次方程解便是 因此，齐次方程解是由衰减指数项Gt、多项式tj、衰减正弦项Dtsin(2f0t+F)，以及这些函数的组合混合生成的。上述过程中计算并不方便，通常通过解方程得到其根为：。由于的根与的根互为倒数，因此。非齐次方程的特解通常情况下不容易得到，没有一个“万能钥匙”，需要具体问题具体分析，只能对一些具有特殊形式非齐次项的方程进行讨论。此处丛略。第二节 格林函数(Greens function)和平稳性(Stationarity)一、 格林函数(Greens function)1、 定义：设零均值平稳序列能够表示为 （1）则称上式为平稳序列的传递形式，式中的加权系数称为格林（Green）函数，其中。2、 格林函数的含义：格林函数是描述系统记忆扰动程度的函数。式（1）可以记为 （2）其中。式（1）表明具有传递形式的平稳序列可以由现在时刻以前的白噪声通过系统“”的作用而生成，是j个单位时间以前加入系统的干扰项对现实响应的权，亦即系统对的“记忆”。二、 AR（1）系统的格林函数由AR（1）模型 即： 则AR(1)模型的格林函数。如若，则随着j的增大而缓慢减小，表明系统的记忆较强；相反，若，则随着j的增大而急剧减小，表明系统的记忆较弱.例：下面是参数分别为0.9、0.1和-0.9的AR（1）系统对扰动的记忆情况（三个序列由同一正态白噪声序列模拟生成）： 比较前后三个不同参数的图，可以看出：（） 取正值时，响应波动较平坦。（） 取负值时，响应波动较大。（） 越大，系统响应回到均衡位置的速度越慢，时间越长。由于其中，因此AR（1）模型可用一个无限阶MA来逼近，这说明AR模型是一种长效记忆模型。三、AR系统的平稳性1、由平稳性的定义求AR(1)系统的平稳性条件将AR（1）模型两边平方再取数学期望，得到 如果序列是平稳的，则有，由上式可得 由于是非负的，所以，从而，这就是AR（1）模型的平稳性条件。利用滞后算子B，AR（1）模型可以写为 式中，那么平稳性条件就等价于的根在单位圆外（或的根落在单位圆内）。上述平稳条件可以推广到AR（n）模型，即其中：的平稳性条件为：的根在单位圆外（或的根在单位圆内）。2、由格林函数求AR(1)模型的平稳性条件对于AR(1)系统来说，其平稳性条件也可以由格林函数得出。如果系统受扰后，该扰动的作用渐渐减小，直至趋于零，即系统响应随着时间的增长回到均衡位置，那么，该系统就是平稳的。相对于格林函数来说，就是随着j，扰动的权数，由于故必有j，显然， 这就是AR(1)系统平稳性条件。反过来，若，则称AR(1)为渐近稳定的，也必是平稳的。 时，=1; 当=1时,=(-1)j 当=-1时这时，虽然响应不回到其均衡位置，但仍是有界的，这时系统为临界稳定的，系统可能存在某种趋势或季节性。 当时，j，任意小的扰动只要给定足够的时间，就会使系统响应正负趋于无穷，永远不会回到其均衡位置，这时系统便是不稳定的，当然是非平稳的。例：求AR（2）模型的平稳域解：特征方程 的根，根据AR模型的平稳性的条件由于是实数，必同为实数或共轭复数，由于，因此 故AR（2）模型的平稳域为四、格林函数与Wold分解(Wolds Decomposition)所谓Wold分解也叫正交分解，其核心就是把一个平稳过程分解成不相关的随机变量的和。由于这一思想是由Wold引入(1938年)到时序分析中的，故叫做Wold分解。他认为可以用线性空间来解释ARMA模型的解。在n维线性空间Ln中，n个线性无关的向量称为空间的一组基。设可由线性表示： 其中由向量和唯一确定，称为向量关于基的坐标。如果用线性空间的观点来看AR(1)模型的解由于是相互独立的，可看作线性空间的基(或无限维坐标轴)，显然可由线性表示，其系数就是对于的坐标，就是的正交向量的和。因而上式也叫做Wold分解式，其系数叫Wold系数。格林函数和Wold系数是同一客体从不同角度观察的结果，二者是完全一致的。Wold系数是线性空间解释，格林函数是系统解释。五、ARMA模型格林函数的通用解法ARMA(n,m)模型 且 则 令 则化为比较等式两边B的同次幂的系数，可得由上式，格林函数可从开始依次递推算出。思考：MA(m)模型的格林函数为 例：ARMA（2，1）系统的格林函数ARMA（2，1）模型可以看作是一个二阶差分方程，设该方程的解是将上式代入模型中： 利用比较系数法，B的同次幂必相等，于是：B的指数：上式可以写成：即： 上式为一关于齐次差分方程的形式，其通解为其中：和是特征方程的根；和是任意常数，其值由初始条件确定。这里的初始条件是：则ARMA（2，1）系统的格林函数为：ARMA（2，1）模型的格林函数也可以通过下面的过程求得。根据Wold分解，平稳ARMA（2，1）模型可以写成即：AR（2）为ARMA（2，1）模型的特殊形式，同样具有上述关系。例：ARMA（n，n-1）系统的格林函数与上面方法相同，ARMA（n，n-1）系统的格林函数的隐式的递推式为：其中 由下列式子导出 即 其最终解为：其中：例：ARMA（2，1）系统的平稳性条件ARMA（2，1）的平稳性条件要求：。由得：，即的根在单位圆内。由于ARMA（2，1）的特征方程和AR（2）和形式一样（或者说和其移动平均项系数无关），因此其平稳域与AR（2）系统的平稳域相同，都是：思考：MA模型的平稳性条件。第三节 逆函数和可逆性（Invertibility）所谓可逆性(Invertibility)是指移动平均模型可以用AR模型表示。一、 逆函数的定义设是零均值平稳序列，如果白噪声序列能够表示为则称上式为平稳序列的逆转形式，式中的加权系数称为逆函数。二、ARMA模型的逆函数1、ARMA（n,m）模型逆函数通用解法对于ARMA（n,m）模型的逆函数求解模型格林函数求解方法相同。令 ，则平稳序列的逆转形式可表示为 由ARMA(n,m)模型可得仍由先前定义的和，则上式可化为比较上式两边B的同次幂的系数，得到即 由此可从开始推算出。2、AR模型的逆函数 对于AR（1）模型 有 则其逆函数 类似对于AR（n）模型有 其逆函数为：3、MA模型的逆函数对于MA（1）模型，则， ， ，即 比较上式两边B的同次幂的系数得从而有 也可以用以下方法求MA（1）模型的逆函数由得 即可见 与AR（1）讨论相类似，上面推导所隐含的可逆性条件为 对于MA（m）模型的可逆性讨论与AR（n）模型平稳性的讨论是类似的，即： MA（m）模型的可逆性条件为其特征方程的特征根满足下面所讲的逆函数与格林函数的关系也作为求逆函数的一种选择。三、和之间的关系对于AR（1）模型和MA（1）模型， 注意到 格林函数 逆函数AR（1）： MA（1） 可以看出，AR（1）的和MA（1）的形式一致，只是符号相反，参数互换。此对偶性对其它模型仍然存在，如：ARMA（2，1）的格林函数为ARMA（1，2）的逆函数为综上可知，在格林函数的表达式中，用代替，代替，代替，即可得到相对应的逆函数。四、关于ARMA模型平稳性与可逆性的说明通过上面的讨论可知，AR模型不存在可逆性性条件，MA模型不存在平稳性条件。因此，对于ARMA模型的平稳性条件是针对其AR系数而言，可逆性条件是针对其MA系数而言。只有同时满足平稳性可可逆性条件，ARMA模型才是有意义的。第四节 自协方差函数一、理论自协方差函数和自相关函数对于ARMA系统来说，设序列的均值为零，则自协方差函数 自相关函数 二、样本自相关函数的计算在拟合模型之前，我们所有的只是序列的一个有限样本数据，无法求得理论自相关函数，只能求样本的自协方差函数和自相关函数。样本自协方差有两种形式：则相应的自相关函数为 在通常的情况下，我们常采用第一种的计算方法。三、AR模型的自协方差函数和自相关函数（1） AR（1）模型的自协方差函数和自相关函数AR（1）模型为： 假设为零均值序列。将上式两端乘以，并取期望，得 当k=0时，有： 即： 当 k=1时，有 即： 当k=2时，有 依此类推，便有一般式：将代入，有， 相应的自相关函数为，即(2)、AR（n）模型的自协方差函数和自相关函数自相关函数两边同乘以 得到取期望，得： 上式两边除以 ，可得差分方程：我们注意到，上式类似于过程 自身所满足的差分方程。假定将上式记为 这里， 记 则差分方程通解： 这里，是特征方程： =0的根。为了保证平稳性，则要求 。在实际应用中，如果假定根是互异的，会出现两种情况：1 Gi是实根，这时在通解 k 中AiGik 随k增大等比例地衰减到零，我们常称之为指数衰减。2 Gi和Gj是一对共轭复根，导致在通解出现：使得自相关函数呈衰减的正弦振荡，衰减系数 ，频率f满足：方差：当k=0时， 上式两边除以 ，并有 ，故方差 可以写成四、MA模型的自协方差函数和自相关函数（1）MA（1）模型的自协方差函数和自相关函数：将MA（1）模型 两端同乘以取期望，得当k=0时，有当k=1时，有当k=2时，有可见，对于MA（1）模型来说（2）MA（m）模型的自协方差函数和自相关函数自相关函数 因此该过程的方差是 且 由此得出自相关函数是 对于MA(m)过程，当滞后超出过程的阶数m时自相关函数为零。换言之，滑动平均过程的自相关函数具有超出m步滞后的截尾性。（上述性质用来在B-J建模过程中，识别MA模型）五、偏自相关函数对于一个k阶AR模型，有：由此得到Yule-Walker 方程，记为： 或 Pkk=k当已知时，由该方程组可以解出，。遗憾的是，用该方程组求解时，需要知道自回归过程的阶数。因此，我们可以对连续的k值求解Yule-Walker方程。对k=1，2，3， 依次求解方程，得 上述序列为AR模型的偏自相关函数。如果自回归过程的阶数为n，则对于kn应该有fkk=0。（） 偏自相关性是条件相关，是在给定的条件下，和的条件相关。换名话说，偏自相关函数是对和之间未被所解释的相关的度量。（） 由最小二乘原理易得，是作为关于线性回归的回归系数。（） 由（2）可得，对于AR（n）模型，当kn时，=0。（此性质用来在B-J建模过程中，识别AR特征）（） 对于任何平稳过程，都可以由Yule-Walker 方程定义偏自相关函数，当然也都是作为自相关函数的函数。六、自回归和滑动平均过程之间的对偶性自回归和有限滑动平均过程之间存在对偶关系的特征：1 在一个n阶平稳自回归模型中，at可表示为既往X的有限加权和，换言之，Xt可表为既往a的无限加权和： 同样，在一个m阶滑动平均模型中，Xt可表示为既往a的有限加权和，换言之，at可表为既往X的无限加权和： 2 有限的MA过程具有在某点之外全为零的自相关函数，但由于它等价于一个无限阶的AR过程，因此其偏自相关函数无限伸延，且被衰减指数和（或）衰减正弦波所控制。与此相反，AR过程具有在某点之外全为零的偏自相关函数，但是它的自相关函数无限伸延，且有衰减指数和（或）衰减正弦波混合生成。3 对于一个有限m阶自回归过程，其参数不必满足任何条件就能保证可逆性，然而，为满足平稳性，(B)=0的根必须都在单位圆外。与此相反，MA过程的参数不需要满足任何条件就能保证平稳性，然而，为满足可逆性，(B)=0的根必须都在单位圆外。4 滑动平均过程的谱与对应的自回归过程的谱存在互逆关系。七、本章小结零均值时间序列统计分析结果类别模 型AR(n)MA(m)ARMA(n,m)模型方程平稳性条件特征根全在单位圆内无条件平稳特征根全在单位圆内可逆性条件无条件可逆特征根全在单位圆内特征根全在单位圆内传递形式逆转形式Green函数拖尾截尾拖尾逆函数截尾拖尾拖尾自相关函数拖尾截尾拖尾偏相关函数截尾（截尾应该是快速趋于0）拖尾拖尾自相关系数拖着长长的尾巴，就是拖尾，AC（自相关autocorr）值是慢慢减少的。而偏相关系数是突然收敛到临界值水平范围内的，这就是截尾，PAC（偏相关parcorr）突然变的很小。AR模型：自相关系数拖尾，偏自相关系数截尾；MA模型：自相关系数截尾，偏自相关函数拖尾；ARMA模型：自相关函数和偏自相关函数均拖尾。ACF, Lags, Bounds = autocorr(y)ACF, Lags, Bounds = parcorr(y)【本章思考题】叙述AR、MA和ARMA模型的格林函数形式、平稳性和可逆性条件、AFC和PAFC的形式和特点。【实验内容】1、观察前面生成的几个自回归序列的波动变化不同之处； 2、观察生成的AR模型和MA模型自相关函数和偏自相关函数的不同之处。平稳时间序列模型的建立本章讨论平稳时间序列的建模问题，也就是从观测到的有限样本数据出发，通过模型的识别、模型的定阶、参数估计和诊断校验等步骤，建立起适合的序列模型。学习重点为模型的识别和模型的检验。第一节 模型识别一、 识别依据模型识别主要是依据SACF和SPACF的拖尾性与截尾性来完成。常见的一些ARMA类型的SACF和SPACF的统计特征在下表中列出，可供建模时，进行对照选择。表 ARIMA过程与其自相关函数偏自相关函数特征 模 型 自相关函数特征 偏自相关函数特征ARIMA(1,1,1)D xt = j1D xt-1 + ut + q1ut-1缓慢地线性衰减AR（1）xt = j1 xt-1 + ut若j1 0，平滑地指数衰减若j1 0，k=1时有正峰值然后截尾若j11 0，k=1时有正峰值然后截尾若q1 0，交替式指数衰减若q1 0，j2 0）（j1 0，j2 0，q2 0，q2 0）指数或正弦衰减（q1 0，q2 0，q2 0）ARMA（1，1）xt = j1 xt-1 + ut + q1 ut-1k=1有峰值然后按指数衰减（j1 0，q1 0）（j1 0，q1 0，q1 0）（j1 0，q1 0，j2 0）k=1, 2有两个峰值然后按指数衰减（j1 0，j2 0）ARMA（1，2）xt = j1 xt-1+ ut + q1 ut-1+ q2 ut-2k=1, 2有两个峰值然后按指数衰减（j1 0，q1 0，q2 0，q1 0，q2 0）k=1有峰值然后按指数或正弦衰减（j1 0，q1 0，q2 0，q1 0，q2 0）ARMA（2，2）xt=j1xt-1+j2xt-2+ ut +q1ut-1+q2ut-2k=1, 2有两个峰值然后按指数或正弦衰减（j1 0，j2 0，q2 0，j2 0，q2 0）k=1, 2有两个峰值然后按指数或正弦衰减（j1 0，j2 0，q2 0，j2 0，q2 0）二、 拖尾性与截尾性的判定理论上，对于MA(q)过程，其自相关函数在q步之后全部为零，实际上并非如此，因为为样本数据的估计值。同样地，偏自相关函数也存在类似的问题。判定在m步之后截尾的做法是：实际判断时，以频率代概率。判定在n步之后截尾的做法是：实际判断时，以频率代概率。拖尾：即被负指数控制收敛于零。三、 实例【例4-1】现有磨轮资料250个，试判断该数据的零均值及平稳性。1时间序列趋势图2零均值化后的图形3ACF与PACF图形ACFPACF第二节 模型定阶一、 残差方差图法基本思想：以AR模型为例。对于时间序列，如果其合理（真正的）阶数为p，当我们用一个小于p的值为阶数去拟合它，所得到的剩余平方和必然偏大， ，不仅受剩余平方和的影响，而且还受自由度的影响。将比真正模型的大。原因在于它把模型中原本有的一些高阶项给省略了，而这些项的存在对减小残差的方差是有明显贡献的。反之，如果我们用一个大于p的值作为阶数去拟合它（过度拟合），虽然剩余平方和减少，但已不明显，这时可能还会增大。因此，我们可以用一系列阶数逐渐递增的模型对进行拟合，每次都求出，作出阶数n和残差方差的图形，进行判断。这种方法直观简单，但没有量的准则，具有主观性。二、 自相关函数（ACF）和偏自相关函数（PACF）定阶法它们不仅可以用来识别模型，而且还可以用来确定模型的阶。三、 F检验定阶法基本思想：首先用ARMA(n,m)对进行过度拟合，再令为零，用F检验判定阶数降低之后的模型ARMA(n-1,m-1)与ARMA(n,m)之间是否存在显著性差异。如果有显著性差异，阶数能够升高；如果没有差异，阶数可以降低。四、 最佳准则函数定阶法最佳准则函数法，是构造一个准则函数，该函数既要考虑用某一模型对原始数据拟合的接近程度（残差的大小），同时又要考虑模型中所含待定参数的个数。建模时，根据函数的取值确定模型优劣，使准则函数值达到最小的模型是最佳模型。准则函数法是日本学者赤池弘次(Akaike)最先提出。主要有FPE准则，AIC准则，BIC准则，SC准则。1 FPE准则基本思想：根据模型的预报误差来判断自回归模型的阶数是否恰当，合理的阶数应该能够使得模型的最终预报误差最小。基本理论：对于模型，时间序列的一步预报误差的方差为：，而是的无偏估计，于是 （1）（1）中第一个因子，随着阶数的增加而增加；第二个因子随着阶数的增加而减少。因此它实质上就是一个最佳准则函数。该最佳准则函数还可写成： 详见教材中P103的证明。基本操作：按照从低阶到高阶的方式建立AR模型，并计算出相应的FPE的值，从中选择最小的FPE对应的n作为模型的阶，即。2 AIC准则（Akaike Information Criterion）基本思想：建立模型时，根据准则函数取值来判断模型的优劣，使准则函数达到极小的是最佳模型，该准则是在模型极大似然估计的基础上建立起来的。基本理论：最小信息准则AIC函数的一般形式： （2）在（2）式中“模型极大似然度”一般用似然函数表示，设样本长度N充分大时，ARMA模型得到近似极大似然估计的对数似然函数为： 详细的证明，参见顾岚：时间序列分析在经济中的应用，中国统计出版社，1994年2月。 （3）由于（3）中第二项与模型及参数个数无关，可以舍弃。于是得到采用ARMA（n,m）模型拟合的AIC准则函数： 在EVIEWS软件中的定义与此不同。 （4）使得AIC信息量取值最小的n和m，即是模型理想的阶。由（4）可以看出AIC信息量由两部分构成：前一部分体现模型的拟合好坏，后一部分表明模型参数的多少。显然我们希望模型拟合得越精确真好，但过高的精度要求又会导致参数的增多及模型的复杂，可能反而影响模型的拟合效果，因此，实质上，它就是对拟合精度和参数个数二者加以适当权重。可以想象，当模型中参数个数K由少至多增加时，拟合误差改进显著，（4）中第一项起主要作用，AIC明显下降；随着模型阶数增加，模型拟合残差改进甚微，AIC上升。AIC的最小值处对应着最佳模型的阶数。3 BIC准则AIC准则为时间序列模型定阶带来了许多方便，但AIC准则也有不足之处。从理论上已证明了AIC准则不能给出模型阶数的相容估计，即当样本趋于无穷大时，由AIC准则选择的模型阶数不能收敛到其真值（通常比真值高）。Akaike于1976年提出了BIC准则弥补了AIC准则的不足。定义：，其中K是模型的自由参数个数，对于ARMA(n,m)模型，。从理论上已证明，BIC准则确定的模型阶数是真实阶数的相容估计。若，则是要选择的最佳阶数。注：与的关系见图，用AIC准则往往比用BIC准则确定的阶数高。KK0/K0我们还可以定义其它类型的准则函数，如 （5）其中C是选定的常数。定义不同的准则函数是为了对拟合残差与参数个数之间进行不同的权衡，以体现使用者对于二者重要性的不同侧重。当然，对于同一数据序列使用不同准则挑选的最优模型不同，其渐近性质也不同。在实际问题中，相应于不同阶数的准则函数值往往不是理想的下凸函数，而是总的趋势符合下凸函数变化规律，同时有随机起伏，有时可能出现准则函数下降到某值后，没有明显的增长趋势，而是随机的起伏摆动。遇到这种情形，如果适当地增大（5）中常数系数C的值，可以使准则函数在后一段有明显的增长趋势。五、 实例【例4-2】沿用例4-1中的数据，进行模型的定阶。第三节 参数估计一、 矩估计1自回归模型的参数估计：采用YULE-WALK方程 （1）2移动平均模型的参数估计： 可采用：直接法、迭代法、牛顿-拉普森算法。 （2）（1）直接解法（2）线性迭代法（3）牛顿-拉普森算法 详见顾岚：时间序列分析在经济中的应用，中国统计出版社，P120。3自回归移动平均模型的参数估计：将模型分成两个部分，先对AR部分应用YULE-WALK方程，计算得到剩余序列，对剩余序列应用MA模型的参数估计方法。二、 最小二乘估计（LS）1线性最小二乘估计2非线性最小二乘估计：高斯-牛顿法；最速下降法；三、 极大似然估计（ML）对于时间序列模型，一般采用极大似然法估计参数。对于一组相互独立的随机变量xt,（t = 1, 2, , T），当得到一个样本 (x1, x2, , xT) 时，似然函数可表示为 L (g | x1, x2, , xT) = f (x1| g ) f (x2| g ) f (xT | g ) = | g ) (1)其中g =（g1, g2, , gk）是一组未知参数。对数似然函数是 log L = f (xt | g ),通过选择 g 使上式达到最大，从而求的极大似然估计值 。具体步骤是用上述对数似然函数对每个未知参数求偏导数并令其为零，即 = 0, : = 0, （k个方程联立）一般来说似然函数是非线性的，必须采用迭代计算的方法求参数的极大似然估计值。极大似然估计量 (MLE) 具有一致性和渐近有效性。现在讨论怎样对时间序列模型的参数进行极大似然估计。对于非平稳过程yt ，假定经过d次差分之后可以表达为一个平稳、可逆的自回归移动平均过程xt ， F (L) Dd yt = F (L) xt = Q (L) ut. (2)对于yt 假定可以观测到T + d个观测值，即y- d+1, , y0, y1, , yT ，则经过d次差分之后， xt 的样本容量为T。 以 x1, , xT 为样本估计ARMA (p, q) 模型参数 (f1, , fp, q1, , qq )。 对随机过程xt的参数估计就如对回归模型的参数估计一样，目的是使xt与其拟合值的残差平方和 = .最小。把 (2) 式改写为 ut = . (3)若用，和分别表示对fi, q i和ut的估计，则使下式最小。 = S (, , , , , ) (4)假定ut N (0, su2), t = 1, T，且不存在自相关，则条件对数似然函数为 log L = -T logsu - (5)之所以称之为条件对数似然函数是因为依赖于过去的不可知观测值x0, x-1, , x- p+1和u0, u-1, , u- q +1。比如 u1 = x1 - f1 x0 - f2 x-1 - - fp x-p+1 - q1u0 - - qqu- q+1. (6)对（5）式求极大即等同于对求极小。对求极小时需要先确定x0, x1, , x-p+1和u0, u-1, , u- q +1的值。此问题的一般处理方法是取这些变量等于他们的无条件期望值。u0, u-1, , u- q +1的无条件期望值为零。若模型（2）中不含有漂移项，则x0, x-1, , x- p +1的无条件期望值也为零。当样本容量T与滞后长度p, q值相比充分大，且f1, , fp的值不接近1时，这种近似非常理想。若 (2) 式中不含有移动平均项，对于自回归参数来说 (3) 式是一个线性函数。可以用OLS法估计参数。如果 (2) 式中含有移动平均项，那么对于移动平均参数来说， (3) 式是一个非线性函数。对 (3) 式必须采用非线性估计方法。首先假定模型为纯自回归形式， F (L) xt = ut (7)或 xt = f1 xt-1 + + fp xt-p + ut . (8)这是一个线性回归模型，极大似然估计与OLS估计结果近似相同。当模型中含有移动平均成分时 ut = Q -1(L) F (L) xt (9)对于参数来说，模型是非线性的。对于非线性模型，通常由三种估计方法。直接搜索法。通过改变参数的取值，反复计算残差平方和的值。然后从中选择最小的那个值所对应的参数值作为对参数的估计值。这种方法只有在参数个数较少时才是可行的。当参数个数较多时，计算量将非常大。例如当含有四个被估参数，每个参数需选择20个计算值时，则需要计算 (20) 4 = 160000次。直接优化法。求误差平方和函数对每一个参数的偏导数并令其为零，从而求得正规方程 = 0, i =1, , p + q (10)其中（g1, , gp+q）=（f1, , fp, q1, , qq）。因为 p + q 个方程中都含有 p + q 个参数，所以必须联立求解。由于计算上的困难，这种方法很