时域离散随机信号的分析.ppt

第一章 时域离散随机信号的分析,1.2 时域离散随机信号的统计描述,1.1 引言,1.3 随机序列数字特征的估计,1.4 平稳随机序列通过线性系统,1.5 时间序列信号模型,现 代 信 号 处 理,信息工程学院 广播电视工程系 牛力丕,数字信号处理 -时域离散随机信号处理 丁玉美 等 西安电子科技大学出版社,教 科 书,参 考 书,3、数字信号处理-理论、算法与实现 胡广书 清华大学出版社,2、现代数字信号处理 姚天任 华中理工大学出版社,1、现代信号处理 张贤达 清华大学出版社,第一章 时域离散随机信号的分析,第二章 维纳滤波和卡尔曼滤波,第三章 自适应数字滤波器,第四章 功率谱估计,本 书 内 容,第一章 时域离散随机信号的分析,1.2 时域离散随机信号的统计描述,1.1 引言,1.3 随机序列数字特征的估计,1.4 平稳随机序列通过线性系统,1.5 时间序列信号模型,1.1 引 言,信号有确定性信号和随机信号之分：,确定性信号：就是信号的幅度随时间的变化有一定的规律性，可以用一个明确的数学关系进行描述，是可以再现的。,随机信号：随时间的变化没有明确的变化规律，在任何时间的信号大小不能预测，因此不可能用一明确的数学关系进行描述，但是这类信号存在着一定的统计分布规律，它可以用概率密度函数、概率分布函数、数字特征等进行描述。,(1)连续随机信号：时间和幅度均取连续值的随机信号。,实际中的随机信号常有四种形式：,(2)时域离散随机信号：时间变量取离散值，而幅度取连续值的随机信号。,(3)幅度离散随机信号：幅度取离散值，而时间变量取连续值的随机信号。例如随机脉冲信号，其取值只有两个电平，不是高电平就是低电平，但高低电平的选取却是随机的。 ,(4)离散随机序列(也称为随机数字信号)：幅度和时间变量均取离散值的信号。 ,随机信号X(t)是由它所有可能的样本函数集合而成的,样本函数用xi(t),i=1,2,3,表示,图1.1.1 n部接收机的输出噪声电压,图1.1.2 n部接收机输出噪声的时域离散化,1.2 时域离散随机信号的统计描述,概率分布函数,概率密度函数,N维概率分布函数和N维概率密度函数,概率密度函数、概率分布函数能对随机序列进行完整的描述, 但实际中往往无法得到它。因此，引入随机序列的数字特征。在实际中，这些数字特征比较容易进行测量和计算，知道这些数字特征也足够用了。常用的数字特征有数学期望、方差和相关函数等。,随机信号用概率密度函数、概率分布函数描述：,1.2.2 随机序列的数字特征,式中E表示求统计平均值。 由上式可见，数学期望是n的函数，如果随机序列是平稳的，则数学期望是与n无关常数。,1. 数学期望(统计平均值),2.均方值与方差,随机序列的方差定义为,数学期望、均方值和方差三者的关系为：,随机序列均方值定义为,一般均方值和方差都是n的函数，但对于平稳随机序列，它们是与n无关的常数。将x 称为标准方差。,3. 随机序列的相关函数和协方差函数,在随机序列不同时刻的状态之间，存在着关联性，或者说不同时刻的状态之间互相有影响，包括随机序列本身或者不同随机序列之间。这一特性常用自相关函数和互相关函数进行描述。,自相关函数定义为,自协方差函数定义为,式中的“*”表示复共轭。上式也可以写成,对于零均值随机序列，mXn= mXm=0, 则,此时，自相关函数和自协方差函数没有什么区别。,对于两个不同的随机序列之间的关联性，我们用互相关函数和互协方差函数描述。 ,当 mXn= mYm = 0 时，,cov(Xn, Ym)= rxy(n, m),互相关函数的定义为,互协方差函数定义为,在信息处理与传输中，经常遇到一类称为平稳随机序列的重要信号。所谓平稳随机序列，是指它的N维概率分布函数或N维概率密度函数与时间n的起始位置无关。换句话说，平稳随机序列的统计特性不随时间而发生变化。,1.2.3 平稳随机序列及其数字特征,上面这类随机序列称为狭义(严)平稳随机序列，这一严平稳的条件在实际情况下很难满足。,许多随机序列不是平稳随机序列，但它们的均值和方差却不随时间改变，其相关函数仅是时间差的函数。一般将这一类随机序列称为广义(宽)平稳随机序列。,平稳随机序列的一维概率密度函数与时间无关，因此均值、方差和均方值均是与时间无关的常数。,二维概率密度函数仅决定于时间差，与起始时间无关；自相关函数与自协方差函数是时间差的函数。,两个各自平稳且联合平稳的随机序列, 其互相关函数为,显然, 对于自相关函数和互相关函数, 下面公式成立:,则称两个随机序列互为正交,则称两个随机序列互不相关,1)自相关函数和自协方差函数是m的偶函数:,2) rxx(0)数值上等于随机序列的平均功率,实平稳随机序列的相关函数、协方差函数有如下性质,3),4),上式说明大多数平稳随机序列内部的相关性随着时间差的变大，愈来愈弱。,5),随机序列的自相关函数是非周期序列，但随着时间差m的增大，趋近于随机序列的均值。如果随机序列的均值为0，rxx(m)是收敛序列。,1.2.4 平稳随机序列的功率密度谱,随机序列自相关函数的z变换为：,平稳随机序列是非周期函数，且是能量无限信号，无法直接利用傅里叶变换进行分析。,进行z变换，得,类似地，互相关函数的z变换用Pxy(z)表示,如果z1是其极点，1/z*1也是极点,如果z1在单位圆内，1/z*1必在单位圆外,所以收敛域一定包含单位圆，Pxx(z)的收敛域为:,进行z变换，得,Pxx(z)的收敛域包含单位圆，rxx(m)的傅里叶变换存在,将m= 0代入反变换公式，得,将 代入，有,称为功率谱密度，简称功率谱,离散 周期,非周期 连续,离散、非周期序列,周期、连续的频谱,rxx(0) 等于随机序列的平均功率,1)功率谱是的偶函数,实、平稳随机序列的功率谱，有如下的性质:,2)功率谱是实的非负函数,集合平均要求对大量的样本进行平均, 实际中这种的做法是不现实的。在很多情况下，可以用研究一条样本曲线来代替研究整个随机序列。,其时间自相关函数为,式中表示时间平均算子,1.2.5 随机序列的各态历经性,设x(n)是平稳随机序列X(n)的一条样本曲线，其时间平均值为,如果平稳随机序列的集合平均值与集合自相关函数值依概率趋于平稳随机序列样本函数的时间平均值与时间自相关函数,平稳随机序列虽有各态历经性的和非各态历经性的两种，但在实际中遇到的平稳随机序列，一般都是各态历经性的。用研究平稳随机序列的一条样本曲线代替研究其集合，用时间平均代替集合平均，这给研究平稳随机序列带来很大的方便。,则称该平稳随机序列具有各态历经性,正态随机序列的概率密度函数是钟形曲线,1.2.6 特定的随机序列,1. 正态（高斯）随机序列,具有指数型自相关函数的平稳高斯过程称为高斯马尔可夫过程。这种信号的自相关函数和谱密度函数为,高斯马尔可夫是一种常见的随机信号，适合于大多数物理过程，具有较好的精确性，数学描述简单。 过程的自相关函数特性完全描述了过程的特性。,随机序列的变量不同时刻之间是两两不相关的，即,式中,称序列为白噪声序列;,2. 白噪声序列,2是常数。设均值mx=0，其功率谱Pxx(ej)=2，在整个频带上功率谱是一个常数。,如果该序列是平稳的，则,注意：正态和白色是两种不同的概念，正态是指信号取值的规律服从正态分布，白色是指信号不同时刻取值的关联性。,服从正态分布的白噪声序列，称为正态白噪声序列,白噪声是随机性最强的随机序列，实际中不存在，是一种理想的噪声。一般只要信号的带宽大于系统的带宽，并且在系统的带宽内信号的频谱基本恒定，便可把该信号认为是白噪声。,3. 谐波过程,其中，Ai和i(i=1, 2, 3, , N)是常数，i(i=1, 2, 3, , N)是服从均匀分布的随机变量，其概率密度为：,谐波过程也可以写成下式:,谐波过程用下式描述,设N=1, 计算它的统计平均值和自相关函数：,由于谐波过程的统计平均值与时间n无关，自相关函数仅与时间差m有关，所以谐波过程是平稳的。,当N大于1时，也有同样的结论,白噪声序列的相关性最差，谐波序列的相关性最强,1.2.7 随机信号的采样定理,采样频率fs必须满足：,对于平稳随机信号，如果其功率谱严格限制在某一有限频带内，该随机信号称为带限随机信号。,1.3 随机序列数字特征的估计,1.3.1 估计准则,根据观测数据对一个量(参数)或者同时对几个量(参数)进行推断，是估计问题。无论对那种量估计，都必须根据观测数据进行估计，而观测是存在观测误差的(或者把观测误差看成噪声)，虽然被估计的参数是确定量，但观测数据却是随机的，所以由观测数据推算出的估计量存在着随机估计误差。因此如何判定估计方法的好坏，是统计估计的基本问题。,假定对随机变量x观测了N次，得到N个观测值：x0, x1, x2, , xN-1，希望通过这N个观测值来估计参数,图 1.3.1 估计量的概率密度曲线,的估计值用 表示。它是观测值的函数：,偏移性,方差,一致性,1.偏移性,如果B=0，称为无偏估计。无偏估计表示估计量仅在它的真值附近摆动，这是我们希望的估计特性。,则称为渐近无偏估计，这种情况在实际中是常见的。,估计量的统计平均值与真值之间的差值为偏移,如果随着观察次数N的加大，能够满足下式：,如果B0，则称为有偏估计,和 都是x的无偏估计值，如果对任意N，它们的方差满足：,则称 比 更有效。一般希望当N时，,2. 估计量的方差,如果两个估计量在观察次数相同时，都是无偏估计，哪一个估计量在真值附近的摆动更小一些，即估计量的方差更小一些，则这个估计就更有效。,比较两个有偏估计是较麻烦的。偏移较小的估计，可能有较大的方差，而方差较小的估计可能有较大的偏移。此时使用估计值的均方误差会更方便。,如果估计量的均方差随着观察次数的增加趋于0，即估计量随N的加大，在均方意义上趋于它的真值，则称该估计是一致估计。,3. 一致性均方误差,估计量的均方误差为：,通常对于一种估计方法的选定，往往无法使上述的三种性能评价一致，此时只能对它们折衷考虑，尽量满足无偏性和一致性。,估计量的均方误差与估计量的方差和偏移的关系：,随N的加大，偏移和估计量方差都趋于零，是一致估计的充分必要条件。,1.3.2 均值的估计,下面评价它的估计质量。 ,对于样本数据：xi ( i = 0, 1, 2, , N-1)，均值的估计用下式计算：,1.偏移,B=0，说明这种估计是无偏估计,2.估计量的方差与均方误差,在计算上式时，与数据内部的相关性有关，先假设数据内部不相关,上式表明，估计量的方差随观察次数N增加而减少，当N时，估计量的方差趋于0。,B= 0，当N时， ， ，是一致估计。结论是：当数据内部不相关时，按照上式估计均值，是一种无偏的一致估计。 ,当数据内部存在关联性，会使一致的效果下降，估计量的方差比数据内部不存在相关情况的方差要大,估计量的均方误差为,已知N点观测数据xi ( i=0, 1, 2, , N-1)，假设数据之间不存在相关性，且信号的均值mx已知，方差估计：,但实际中mx是不知道的。下面分析数据之间不存在相关性，均值也不知道的情况下，方差的估计,1.3.3 方差的估计,可以证明这是一致估计。,偏移性,式中的第二项已经推出，下面推导第三项：,是有偏估计，但是渐进无偏。,为了得到无偏估计，可以用下式计算：,如果数据之间存在相关性，按照上式计算方差，可以证明是有偏估计，但是渐近无偏估计。,1.3.4 随机序列自相关函数的估计,1.无偏自相关函数的估计,写成一个表达式：,分析这种自相关函数的估计质量,B=0，是无偏估计,估计量的方差:,偏移性：,只有当N m，N时，估计量的方差才趋于0， 当mN时，方差将很大。不是一种好的估计，虽然 是无偏估计，但不是一致估计。,对比无偏估计公式，不同的是求平均时只用N去除。,2.有偏自相关函数的估计,有偏自相关函数与无偏自相关函数的关系式为：,说明 是有偏估计，但是渐近无偏，其偏移,两种估计的方差关系为,将无偏估计的方差公式代入, 得有偏估计的方差,虽然是有偏估计，但是渐近一致估计，估计量的方差小于无偏估计的方差。因此实际中多采用这种有偏自相关函数估计。,当N时,相关函数应用举例,1.4 平稳随机序列通过线性系统,1.4.1 系统响应的均值、自相关函数和平稳性分析,输入是平稳随机序列,设线性系统是稳定非时变的，其单位脉冲响应为h(n), 输入是平稳随机序列x(n)，系统的输出为,输出的均值为,输出的自相关函数为,x(n)是平稳的,输出是平稳随机序列,令 l = r - k,v(l)称为h(n)的自相关函数，可以将v(l)写成卷积形式,线性系统输出的自相关函数等于输入的自相关函数与线性系统单位脉冲响应的自相关函数的卷积。,1.4.2 输出响应的功率谱密度函数,将 代入，得到输出功率谱：,利用上式证明功率谱密度函数的非负性,随机序列的平均功率,故Pxx(ej)0，信号的功率谱是实、偶、非负函数,和 均是的偶函数,理想带通滤波器的幅度特性,假设系统的幅度特性如下图所示,线性非时变系统输入与输出之间互相关函数为,设x(n)是零均值平稳随机序列，上式的z变换为,输入、输出的互功率谱表示为,1.4.3 系统的输入、输出互相关函数,输入、输出互相关定理：输入、输出互相关函数等于系统的单位脉冲响应与输入自相关函数的卷积。,将系统输出的自相关函数公式重写：,该公式用语言叙述如下：x(n)与h(n)卷积的自相关函数等于x(n)的自相关函数和h(n)的自相关函数的卷积。,1.4.4 相关卷积定理,或者简单地说：卷积的相关等于相关的卷积,例1.4.1 假设系统的输入、输出和单位脉冲响应分别用x(n)、y(n)和h(n)表示，试求输入、输出互相关函数和输入自相关函数之间的关系。 ,解 按照相关卷积定理，得到,输出、输入互相关函数和输入自相关函数之间的关系：,这就是已经推导出的输入、输出互相关卷积定理。,解：,按照相关卷积定理, 有,例1.4.3 已知实平稳白噪声x(n)的功率谱是2x，使通过一个q阶的FIR网络，求输出自相关函数ryy(m)、功率谱Pyy(ej)、互相关函数rxy(m)和互功率谱Pxy(ej),网络输出的功率谱为：,解：,q阶FIR网络的传输函数为：,输出信号的自相关函数有限长，存在于q之间。,同样方法，可求出互功率谱和互相关函数：,例1.4.4 设实平稳白噪声x(n)的方差是2x, 均值mx=0，让x(n)通过一个网络，网络的差分方程为 y(n)=x(n)+ay(n-1) 式中a是实数。求网络输出的功率谱和自相关函数。,解：,令m = 0,则,先用归纳法求网络输出的自相关函数,令m = 1，则,令m = 2，则,网络输出功率谱为,a是网络的极点，为了稳定，要求|a|1。,y(n)=x(n)+ay(n-1),a愈接近于单位圆，功率谱峰愈尖锐，带宽愈窄，但相关函数衰减愈慢；反过来，a愈小，功率谱下降愈慢，自相关函数衰减愈加快。,1.5 时间序列信号模型,图1.5.1 平稳随机序列的信号模型,假设信号模型用一个P阶差分方程描述,式中，w(n)是零均值、方差为2w的白噪声; ,1.5.1 三种时间序列模型,根据系数取值情况，将模型分成以下三种：,x(n)是要研究的随机序列,当差分方程中ai=0, i=1, 2, 3, , p时，该模型称为MA模型。模型差分方程和系统函数分别用下式表示：,该模型只有零点, 没有除原点以外的极点，因此模型也称为全零点模型。如果模型全部零点都在单位圆内，则是一个最小相位系统，且模型是可逆的。,1.滑动平均模型（Moving Average，简称MA模型）,当差分方程中bi=0, i=1, 2, 3, ，q时，该模型称为AR模型。模型差分方程和系统函数分别用下式表示：,上式表明该模型只有极点, 没有除原点以外的零点，因此该模型也称为全极点模型。只有当全部极点都在单位圆内部时，模型才稳定。,2.自回归模型（Autoregressive, 简称AR模型）,分子部分称为MA部分，分母部分称为AR部分，这两部分无公共因子，应分别满足稳定性和可逆性的条件。,3.自回归-滑动平均模型（简称ARMA模型）,当差分方程中 时，该模型称为ARMA模型。模型的系统函数为：,对于FIR滤波器或者MA模型的阶数，是指分子多项式中q的大小，或者说是它的长度减1。,滤波器长度一般是指滤波器的单位脉冲响应h(n)的长度,对于FIR滤波器或者MA模型，其单位脉冲响应的长度是有限长的，长度就是系数的个数；,对于IIR滤波器或者AR模型、ARMA模型，其单位脉冲响应的长度则是无限长的，一般只讲它的阶数；,阶数是指分母多项式中的p的大小.,该定理说明MA信号模型具有普遍适用的性质。由于ARMA信号模型包含了MA模型部分，因此ARMA信号模型也具有普遍适用的性质。,1.5.2 三种时间序列信号模型的适应性,(1) 沃尔德分解定理：,式中u(n)是确定性信号, v(n)是具有连续谱分布函数的平稳随机MA序列。确定性部分可以不存在或者事先去掉，MA部分常常是有限阶的。,一个实平稳随机序列x(n)均可以分解:x(n) = u(n) + v(n),(2) 任意一个MA序列均可用无限阶AR信号模型表示，或者用阶数足够大的AR信号模型近似表示。,例如：ARMA模型系统函数为,设AR模型系统函数为：,以上说明MA和ARMA模型可以用无限阶AR模型表示,例如：,同样，ARMA模型也可以用无限阶的MA模型表示,以上表明三种信号模型可以相互转化，而且都具有普遍适用性。但是对于同一时间序列用不同的信号模型表示时，却有不同的效率。,AR模型较其它两种模型计算简单，研究人员喜欢采用AR模型，只要阶数选高些，近似性较好。,一般AR模型适合表示时间序列的功率谱有尖峰而没有深谷的信号，MA模型适合表示功率谱有深谷而没有尖峰的信号，ARMA模型则适合尖峰和深谷都有的情况。,1.5.3 自相关函数、功率谱与时间序列信号模型的关系,如果信号模型输出的功率谱是ej或者cos的有理函数，这种随机信号称为有理谱信号。,1.有理谱信号,如果 是 的极点， 就是 的极点， 一定包含下面的因子：,有理函数(rational function):分子分母都是多项式函数,有理谱信号的功率谱是