随机信号分析课件第5章.ppt

1、随机过程,第一章：随机过程的概念与基本类型,第一章：随机过程的概念与基本类型,*1.1 概率空间 *1.2 随机变量 *1.3 随机变量函数的分布 *1.4 随机变量的数字特征 1.5 随机过程的定义和统计描述 1.6 随机过程分布律和数字特征 1.7 复随机过程 1.8 随机过程基本类型,*1.1 概率空间,预备知识（概率论） 简要回顾一下概率论中与本课程有关的基本概念： 随机试验 概率空间 样本空间 概率,随机试验,试验结果事先不能准确预言，三个特征： （1）可以在相同条件下重复进行； （2）每次试验结果不止一个，可预先知道试验所有可 能结果； （3）每次试验前不能确定那个结果会出现。,概

2、率空间,概率空间是随机试验和概率的数学模型。概率空间由三个要素组成：（1）样本空间；（2）定义于样本空间的事件集；（3）定义于事件集上的概率集。,样本空间,随机试验所有可能结果组成的集合，记为。中的元素e称为样本点，样本点是试验的每一个不可分解的结果。就是样本空间。,事件,样本空间的子集A称为事件。 基本事件和复合事件。必然事件和不可能事件。,集合运算,和事件,“事件A和事件B至少一个发生”构成的事件。,积事件,“事件A发生而事件B不发生”构成的事件。,“ 事件A和事件B同时发生”构成的事件。,差事件,互不相容关系,事件A与事件B不可能同时发生。,互逆关系,事件A与事件B必有一个发生，且仅有一

3、个发生。,古典概率,随机试验中一切可能结果是有限多个； 每个结果出现的可能性是相等的； 则事件A发生的概率可表示为：,例如：一批产品共100件，其中次品4件，从这批产品中任取1件，求取到正品的概率。,几何概率,计算无穷个基本事件的情形； 样本点具有均匀分布的性质； 设用 L（ ）作为区域大小的量度，而区域中任意可能出现的小区域A的量度用L（A）表示； 则事件A（或某一区域）发生的概率表示为：,例如：跳伞运动员降落在某一区域的概率。,例题1-1 在时间间隔T内的任何瞬间，两个不相关的信号等可能地进入收音机。如果当且仅当这两个信号进入收音机的间隔时间不大于t，则收音机受到干扰，试求收音机收到干扰的

4、概率。,统计概率,用于计算前两种概率概括不了的随机事件概率； 用事件的频率近似地去表达事件的概率； 若在同样的条件下，将随机试验独立的重复做n次，事件A出现了nA次，则事件A的频率是：,当试验次数n增大时，其中大量的频率聚集在一个常数周围； 这个常数是客观存在的，反映了事件A出现可能性的大小，我们认为这个常数就是事件的概率。,公理化定义的概率,(1933年前苏联科学家柯尔莫哥洛夫) 对于一个事件A样本空间，赋予一个实数P，若满足： 0P(A) 1; (非负性) P()=1; (规范性) 若A1,A2,.,Ak两两互斥，则: (可加性) 我们称P（A）为事件A的一个概率。,概率空间,规定一个随机

5、试验，所有样本点之集合构成样本空间 ，在样本空间中一个样本点或若干个样本点之适当集合F称为事件域，F中的每一个集合称为事件。若A F，则P(A)就是事件A的概率，并称这三个实体的结合（ ，F，P）为一个概率空间。,条件概率,在事件B已发生这一条件下，事件A发生的概率：,全概率,若有N个互斥事件An（n=1,2,N），它的并集等于整个样本空间，则:,其中，事件B伴随事件An发生。,10箱同规格产品，其中5箱为甲厂生产， 3箱为乙厂生产， 2箱为丙厂生产，而甲厂、乙厂，丙厂生产的次品率分别为0.1， 0.06，0.03，现在任取1箱，在从箱子中任取1件，问取得正品的概率?,例题1-2,(后验概率公

6、式或逆概率公式) 设事件A1，A2，An构成一个完备事件组，概率P(Ai)0,i=1,2,n,对于任何一个事件B，若P(B)0, 有,贝叶斯公式,事件A1，A2，An看作是导致事件B发生的“因素”，P(Ai)是在事件B已经出现这一信息，得知前Ai出现的概率，通常称为先验概率。 公式给出的P(AiB)是在经过试验获得事件B已经发生这个信息之后，事件Ai发生的概率，称为后验概率。,例题1-3 设一个二进制的数字通信系统，主要由1和0两种符号组成，如下图，且P(B1)=0.6，P(B2)=0.4，求条件 概率。,10箱同规格产品，其中5箱为甲厂生产， 3箱为乙厂生产， 2箱为丙厂生产，而甲厂、乙厂，

7、丙厂生产的次品率分别为0.1， 0.06，0.03，现在任取1箱，若取得的是1件正品，问该箱产品是甲厂生产的概率是多少？,例题1-2 （续）,独立事件,设（ ，F，P）为一概率空间，事件AF，BF且P(A)0，若P(B|A)=P(B)，则称事件B随机独立于事件A。,例题1-4 设每个家庭有3个孩子，男孩、女孩排列的八种可能性的概率均为1/8，定义如下事件： A既有男孩又有女孩的家庭 P(A)=(8-1-1)/8=3/4 B最多只有一个女孩的家庭 P(B)=(1+3)/8=1/2 问：A，B是否统计独立？ P(AB)=P (1女)=3/8,*1.2 随机变量,定义： 设（ ，F，P）是概率空间，

8、对任一个e ，都有实数 X(e)与之对应，则称X(e)为随机变量，简记为X。 引入随机变量后，随机事件就可以表示为随机变量在某一范围内的取值。,只取有限个数值或可列无穷多个数值。,从原样本空间到新样本空间的映射是某一个范围，是一段（或几段）实线（也可能是整个坐标轴），随机变量可以取值于某一区间中的任一连续数值。,离散型随机变量,连续型随机变量,（一个描述随机变量取值的概率分布情况的统一方法）,性质： F(x)是非降函数； (单调不减性) 0F(x) 1； (有界性) Px1Xx2=F(x2)-F(x1) F(x+0)=F(x) (右连续),分布函数,离散型随机变量的所有取值为 xi (i=1,

9、2) Pi是X取xi的概率，称： P(X=xi )= Pi， i=1,2 为离散型随机变量X分布律。,设F(x)是连续型随机变量X的分布函数，若存在非负函数 f(x)，有：,则f(x)为连续型随机变量X概率密度函数。,离散分布律,概率密度函数,离散型随机变量的概率分布用分布列（律）描述:,连续型随机变量的概率分布用概率密度描述:,0-1分布,二项分布,泊松分布,均匀分布,正态分布,指数分布,*1.3 随机变量函数的分布,在给定某任意的随机变量X，以及它的概率分布函数FX(x)，希望进一步求出给定的随机变量的某些可测函数（如Y=g(X)）的概率分布函数。,Y的概率分布函数公式为:,如果上式右端概

10、率的导数对于y处处存在，那么这个导数就给出了随机变量Y的概率密度:,边际分布,若二维联合分布函数中有一个变元趋于无穷，则其极限函数便是一维分布函数，对于这种特殊性质，我们称其为边际分布。 对于任意两个随机变量X，Y，其联合分布函数为FXY(x,y)，则,分别称F1(x)和F2(y)为FXY(x,y)关于X和关于Y的边际分布函数。,离散型随机变量（X，Y）边际分布函数计算如下:,连续型随机变量（X，Y）边际分布函数计算如下:,相互独立的随机变量,设 X，Y是两个随机变量，若对任意实数x，y有:,则称 X，Y为相互独立的随机变量。,若X，Y为相互独立随机变量，则有:,条件分布函数,在给定条件随机变

11、量Y=y下，随机变量X的条件概率密度函数为：,*1.4 随机变量的数字特征,统计平均与数学期望 方差 协方差 相关系数 独立与不相关,统计平均与数学期望,设离散随机变量X，它可能取4个值x1，x2，x3，x4，做试验n次，计算X的算术平均可得：,P(X=xk),对于离散型随机变量可以用脉冲函数来表示其概率密度：,冲激函数,随机变量数学期望定义：,随机变量函数的数学期望值：,已知随机变量X的数学期望值，求随机变量函数Y=g(X)的数学期望：,K阶原点矩，k阶中心矩,随机变量X，若E|X|k，称EXk为k阶原点矩。,离散随机变量,连续随机变量,又若EX存在，且E|X-EX|k ，称,为X的k阶中心

12、矩。,离散随机变量,连续随机变量,一阶原点矩就是随机变量的数学期望：,数学期望大致的描述了概率分布的中心值。,二阶中心矩就是随机变量的方差：,方差反映随机变量取值偏离中心值的离散程度。,中心化的两个随机变量X-EX，Y-EY的互相关称为随机变量X和Y的协方差，,协方差是描述随机现象中，随机变量X和Y线性相关的程度。,引入一个描述两个随机变量相关程度的系数：,XY称为归一化的相关系数。,若XY0，则称随机变量X和Y不相关。,若两个随机变量X和Y的联合矩满足,则称随机变量X和Y统计独立。,例题1-5 设Z是一个随机变量，具有均匀概率密度：,令X=sinZ，Y=cosZ，求随机变量X和Y是否相关，是

13、否独立？,总结,概率论中的基本概念随机试验、样本空间、事件、概率、概率空间、条件概率、全概率。 随机变量及分布函数随机变量、分布函数、随机变量函数的分布、n维随机变量、边际分布、条件分布。 随机变量的数字特征统计平均、数学期望、方差、协方差、相关系数、相关性和统计独立。,作业,复习概率论与数理统计方面的知识。,预备知识结束,自然界事物的变化过程分为两大类： （1）具有确定形式的过程，可以用一个时间 t 的确定函数来 描述。 （2）另外一种过程没有确定的变化形式，不能用一个时间 t 的确定函数来描述。 例如：液面上的质点的运动。用 x(t), y(t) 表示 t 时刻该质点在液面上的坐标。,1.

14、5 随机过程的定义和统计描述,随机变量,在每次随机试验的结果中，以一定的概率取某个事先未知，但为确定的数值。,在实际应用中，我们经常要涉及到在随机试验过程中随时间 t 而改变的随机变量。此时，这种随机现象是个“过程”。 随机过程也是有规律的，如何描述一个随机过程？,电话交换台接入呼叫次数问题：,某电话交换台在一定时间段内 0，t 内接到的呼叫次数是与 t 有关的随机变量，记为 Z(t)；对于固定的时刻 t， Z(t) 是一个取非负整数的随机变量，故 Z(t), t 0,)是一个随机过程。 对于一个固定的时刻 t, Z(t)是一个随机变量。,随机过程,天气预报问题： 每天的天气（晴，雨，阴）是随

15、机的，对于确定的一天（假设 t=1，代表第一天），天气状况是一个离散型的随机变量，记为 Zt ，所以，每天的天气状况 Zt ，t=1,2,3 是一个随机过程。 对于一个固定的时刻 t , Zt 是一个随机变量。,对于一个固定的时刻 t ，电阻的噪声电压 X(t) 是一个随机变量， X(t) 是随时间变化的， 所以噪声电压 X(t)， t 0,) 是一个随机过程。,电阻的噪声电压：,对于一个固定的时刻 t， X(t) 是一个随机变量。,我们必须对一些随机现象的变化过程进行研究，必须考虑无穷多个随机变量。针对这个问题，我们必须用一族随机变量才能刻画这种随机现象的全部统计规律。我们通常将随机变量族称

16、为随机过程。,定义1： 随机过程,设E是随机实验，= e 是样本空间，T 是给定的参数集，若对每个固定的时刻 tT，X(t,e) 或者 X(t) 都是一个随机变量，则称随机变量族 X(t,e),t T 是一个随机过程，简记为X(t)。,在第Wi次试验中测量获得的噪声电压X(t)是一个样本函数：,设E是随机实验， = e 是样本空间，对于每一个样本e，总可以以某种规则确定一个时间函数 X(t,e) (称为样本函数或者轨道），t T，则对于所有的e ，就得到一个样本函数的集合，称此集合为随机过程，简记为 X(t)。,定义2：随机过程,随机过程 X(t,e), t T 可以认为是定义在 T 上的一个

17、二元函数。 对固定的t，X(t,e)是一个随机变量； 对固定的e， X(t,e)是随机过程 X (t,e), t T 的一个 样本函数（轨道），即定义在T上的普通函数； 对于固定的 t， X(t,e) 是一个标量，它表示时刻t所处的 状态，X(t )所有可能的状态构成的集合称为状态空间； 当t和e都是变量时， X(t,e)是一个随机变量族或者时间函 数族都称为随机过程。,判断以下现象是否是一个随机过程？ （1）示波器产生的余弦波X(t)=acos(wt+B)，其中，a，w为常量，B为初始相位，并为（0，2）上均匀分布的随机变量。 （2）正弦波X(t)=Vcoswt,其中，V为在(0,1)均匀分

18、布的随机变量，并画出X(t)的一个样本函数。,通常我们可以根据随机变量 X(t) 在时间和状态上的类型区分随机过程的类型。,设XT = X(t), tT 是随机过程，对任意n1和t1,t2, ,tn T，随机向量 (X(t1),X(t2), ,X(tn) 的联合分布函数为:,这些分布函数的全体：,称为XT= Xt,t T 的有限维分布函数。,随机过程的一维分布函数：,1.6 随机过程分布律和数字特征,提示:,例题1-6：,例题1-7：,随机过程的二维分布函数：,例题1-8：,设XT= X(t),tT 是随机过程，对任意n1和t1,t2, ,tn T，随机向量(X(t1),X(t2), ,X(t

19、n)的n维联合分布函数为,称为随机过程X(t)的n维分布函数。,n维概率密度函数为：,这些分布函数的全体：,称为XT= Xt,t T 的有限维分布函数族。,有限维分布函数的性质：,对于 t1,t2, ,tn 的任意排列,当mn时，,对称性,相容性,Kolmogorov存在定理（柯尔莫哥洛夫）；,设已给参数集T及满足对称性和相容性条件的分布函数族F1，则必存在概率空间（,F,P）及定义在其上的随机过程 X(t), tT ，它的有限维分布函数族是F1。,设XT = X(t), tT 是随机过程，如果对任意tT，EX(t)存在，则称函数：,为 XT 的均值函数，反映随机过程在时刻 t 的平均值。,均

20、值函数,均方值函数和方差函数,自相关函数,若对任意tT，E(X(t)2 存在，则称 XT 为二阶矩过程，而称：,为 XT 的协方差函数(混合中心矩)，反映随机过程在时刻 t 和 s 时的状态起伏值的线性相关程度。,协方差函数,协方差函数和相关函数有如下关系：,例题1-9： 设随机过程：,其中，Y 和 Z 是相互独立的随机变量，且EY = EZ = 0，DY = DZ = 2，求X(t)的均值函数和协方差函数。,课堂练习： 设随机过程 X(t) = Vcos4t，其中V是随机变量，其数学期望是5，方差为6，求随机过程X(t)的均值Mx(t)、方差Dx(t)、相关函数 RX(t1, t2) 和协方

21、差函数Bx (t1, t2)。,定义： 设X(t),tT，Y(t), tT是两个二阶矩过程，则称：,为 X(t),tT 与 Y(t), tT 的互协方差函数，称：,为 X(t),tT 与 Y(t), tT 的互相关函数。,两个随机过程 X(t),tT 与 Y(t), tT 的互不相关定义：,互协方差函数与互相关函数之间的关系：,例题1-10： 设 X(t) 为信号过程，Y(t) 为噪声过程，令W(t) = X(t) + Y(t)，求 W(t) 的均值函数和相关函数。,当两个随机过程互不相关且均值函数为零时:,解：,复随机过程定义：,设Xt, tT，Yt, tT是取实数值的两个随机过程，若对任意

22、tT， ，其中 ，则称Zt, tT为复随机过程。,复随机过程的数字特征函数：,1.7 复随机过程,两个复随机过程Xt，Yt的互相关函数定义为：,互协方差函数定义为：,随机过程的几种基本类型：,（1）正交增量过程； （2）独立增量过程； （3）马尔可夫过程； （4）正态过程； （5）维纳过程； （6）平稳过程。,1.8 随机过程基本类型,定义： 设 X(t), tT 是零均值的二阶矩过程，若对任意的t1t2t3t4 T，有：,则称X(t)是正交增量过程。,（1）正交增量过程,例题1-11： 设 X(t),tT 是正交增量过程，T=a,b为有限区间，且规定 X(a)=0，当astb时，求其协方差函

23、数BX(s,t)。 结论: 正交增量过程的协方差可以由它的方差确定.,定义： 设 X(t),tT 是随机过程，若对任意的正整数n和t1t2tn T，随机变量X(t2)-X(t1),X(t3)-X(t2), ,X(tn)-X(tn-1)是互相独立的，则称 X(t),tT 是独立增量过程。,（2）独立增量过程,特点： 独立增量过程在任一个时间间隔上过程状态的改变，不影响任一个与它不相重叠的时间间隔上状态的改变。,例如： 电话交换台 0，t 时间内接受到的电话呼叫数量。,定义： 设 X(t),tT 是独立增量过程，若对任意st，随机变量 X(t)-X(s) 的分布仅依赖于t-s，则称 X(t),tT 是平稳独立增量过程。,平稳独立增量过程,例题： 考虑一种设备一直使用到损坏为止，然后换上同类型的设备。假设设备的使用寿命是随机变量，令N(t) 为在时间段 0,t 内更换设备的件数，通常可以认为N(t)，t0是平稳独立增量过程。,定义： 设X(t),tT是随机过程，若对任意正整数n及t10，且其条件分布 ：,则称 X(t),tT 是马尔可夫