应用数学基础 随机过程-0.ppt

1、随机过程,主讲教师 段禅伦 2008年秋季学期,硕士研究生学位课程应用数学基础,(演示文稿),(Random process),序言:天道酬勤求真务实,追求卓越,接天莲叶无穷碧，亭亭玉立荷花红。 扎实自信、开拓自尊，独立自主、自强不息。 人生大计，学业为本；国家兴旺，学子有责。 基础不固，木凋树枯；基础坚牢，大厦凌霄。 博览群书，寻真取识，学以致用，唯求创新。 形而上（深入思考）谓之道，形而下（知识基础） 谓之器（周易系辞）。 提其要，钩其玄（韩愈劝学解）；悠然心会， 妙处难与君说（张孝祥，南宋）。 昨夜西风凋碧树,独上高楼,望尽天涯路（晏殊）。 众里寻他千百度,蓦然回首,那人却在灯火阑珊处

2、(辛弃疾)。 衣带渐宽终不悔,为伊消得人憔悴（柳咏）。,有 教,无 类,上善若 水，厚 德载物,境 界,杨叔子 院士语,课程内容,硕士研究生课程应用数学基础主要讨论随机过程,包括: 随机过程的基本概念; 泊松过程; 马尔可夫过程; 平稳随机过程. 为了教学的方便, 对概率论的一些有关知识,也作了必 要的回顾. 在马尔可夫过程中介绍:马尔可夫链和连续时间的马尔 可夫链;在平稳随机过程中介绍:平稳随机过程,平稳过 程的谱分析以及时间序列分析. 主参考书目: 陆大铨编著,随机过程及其应用,清华版, 1986; S.M.Ross著, 何声武等译,随机过程, 统计版, 1997; 刘次华编著, 随机过程

3、, 华中理工版, 2001.,第一章 预备知识,1.1 概率空间 随机试验 试验的结果事先不能准确预言,但具有特性 (1) 可以在相同的条件下重复进行; (2) 每次试验的结果不止一个,但预先知道试验的所有 可能的结果; (3) 每次试验前不能确定哪个结果会出现. 样本空间 由随机试验所有可能结果组成的集合(). 样本点或基本事件 中的元素e. 事件 的子集A. 称必然事件;空集称不可能事件. -代数F, F上的概率,独立事件族G : 定义1.1 设是一个集合,F 是的某些子集组成的集合 族. 如果,概率空间,(1) F ; (2) 若AF ,则A=AF ; (3) 若AnF ,n=1,2,则

4、 F , 那么F 称为-代数(Borel域).(,F )称为可测空间,F中 的元素称为事件. 由定义1.1且有: (4) F ; (5) 若A,BF ,则ABF ; (6) 若AiF ,i=1,2,则 , , F . 定义1.2 设(,F )是可测空间,P()是定义在F 上的实值 函数.若 (1) 任意AF ,0P(A)1; (2) P()=1;,概率空间,(3) 对两两互不相容事件A1,A2,(当ij时,A1A2= ),有P( )= P(Ai), 则称P是(,F )上的概率. (,F ,P)称为概率空间,P(A) 为事件A的概率. 由定义1.2且有: (4) P()=0; (5) 若A,BF

5、 ,A B,则P(BA)=P(B)-P(A),即概率具 有单调性; (6) 设AnF ,n=1,2,则 P(An)= 定义1.3 设(,F ,P)是概率空间,G F,若对于任意的A1, A2,AnG,n=1,2,有P( )= ,则称G为 独立事件族.,P( ),A1 A2 ,P( ),A1 A2 ,随机变量及其分布,1.2 随机变量及其分布 随机变量是概率论的主要研究对象,随机变量的统计规 律用分布函数来描述. 定义1.4 设(,F ,P)是概率空间. X=X(e)是定义在上 的实函数, 若对任意实数x,e:X(e)xF,则称X(e) 是F上的随机变量,简记为X. 称 F(x)=P(e:X(e

6、)x), -x+ 为随机变量X的分布函数. 分布函数F(x)具有性质: (1) F(x)是非降函数,即当x1x2时,F(x1)F(x2); (2) F(-)= F(x)=0, F(+)= F(x)=1; (3) F(x)右连续,即F(x+0)=F(x).,随机变量的分布函数,重要事实:定义在R=(-,+)上的实值函数F(x),如果 具有上述三个性质, 则必存在一个概率空间(,F ,P)及 该概率空间上的随机变量X, X的分布函数是F(x). 常用的随机变量有两种类型: 离散型随机变量,连续型 随机变量. 离散型随机变量X的概率分布用分布列描述: pk=P(X=xk), k=1,2, ; 其分布

7、函数F(x)= pk . 连续型随机变量X的概率分布用概率密度f(x)描述, 其 分布函数F(x)= . 常见随机变量的分布见下页的表:,常见随机变量的分布,分布 分布律或概率密度 期望 方差 特征函数 0-1 分布 二项分布 泊松分布 几何分布 均匀分布 正态分布 指数分布,P(X=1)=p, P(X=0)=q, 0p1, p+q=1.,p pq q+peit,P(X=k)= pkqn-k,k=0,1, ,n; 0p1, p+q=1.,np npq (q+peit)n,P(X=k)= ,0, k=0,1, ,P(X=k)=pqk-1,0p1, p+q=1,k=1,2,1/(b-a),axb

8、0, 其它,f(x)=,f(x)= ,-x+, 2,f(x)= ,0,e-x,x0,0, x0,n维随机变量及其概率分布,定义1.5 设(,F,P)是概率空间,X=X(e)=(X1(e),Xn( e)是定义在上的n维空间Rn中取值的向量函数.如果 对任意x=(x1,x2,xn)Rn,e: X1(e)x1,X2(e)x2, ,Xn(e)xnF,则称X=X(e)为n维随机变量或n维随 机向量. 称 F(x)=F(x1,x2,xn)=P(e: X1(e)x1,X2(e)x2, Xn(e)xn), x=(x1,x2,xn)Rn 为X=(X1,X2,Xn)的联合分布函数. n维联合分布函数F(x1,x2

9、,xn)具有性质: (1)对于每一个变元xi(i=1,2,n),F(x1,x2,xn)都 是非降函数; (2)对于每一个变元xi(i=1,2,n),F(x1,x2,xn)都,n维随机变量及其概率分布,是右连续函数; (3)对于Rn中的任意区域(a1,b1;an,bn),其中aibi, i=1,2,n, 成立 F(b1,b2,bn)- F(b1,bi-1,ai,bi+1,bn) + F(b1,bi-1,ai,bi+1,bj-1,aj,bj+1,bn) +(-1)nF(a1,a2,an)0 ; (4) F(x1,x2,xi,xn)=0, i=1,2,n , 而 F(x1,x2,xn)=1. 重要事

10、实:定义在Rn上的实值函数F(x1,x2,xn),如果 具有上述四个性质, 则必存在一个概率空间(,F ,P)及 其上的n维随机变量X=(X1,X2,Xn),X的联合分布函数为,n维随机变量及其概率分布,F(x1,x2,xn). 在应用中,常见的n维随机变量也有两种类型: (1)若随机向量X=(X1,X2,Xn)的每个分量Xi, i=1,2, ,n都是离散型随机变量,则称X是离散型随机向量. 离散型随机向量X=(X1,X2,Xn)的联合分布列为: =P(X1=x1,X2=x2,Xn=xn) 其中xiIi, Ii是离散集,i=1,2,n. X的联合分布函数 F(y1,y2,yn)= (y1,y2

11、,yn)Rn. (2)若存在定义在Rn上的非负函数f(x1,x2,xn),对于 任意(y1,y2,yn)Rn,随机向量X=(X1,X2,Xn)的联合 分布函数F(y1,y2,yn)= 则称X是连续型随机向量, f(x1,x2,xn)称为X的联合概,n维随机变量及其概率分布,率密度. 定义1.6 设Xt,tT是一族随机变量,若对任意的n2, t1,t2,tnT, x1,x2,xnR, 有 P( x1, x2, xn)= 则称Xt,tT是独立的. 若Xt,tT是一族独立的离散型随机变量, 则上式等 价于P( =x1, =x2, =xn)= ; 若Xt,tT是一族独立的连续型随机变量, 则上式等 价

12、于 (x1,x2,xn)= , 其中 (x1, x2,xn)是随机向量(X1,X2,Xn)的联合概率密度且 是随机变量 的概率密度,i=1,2,n. 独立性是概率论中的重要概念,独立性的判断通常是根 据经验或具体情况来决定的.,随机变量的数字特征,1.3 随机变量的数字特征 随机变量的的概率分布完全由其分布函数描述,但分布函数的确定却是不容易的.在实际问题中往往只需要知道随机变量的某些特征值就足够了. 定义1.7. 设随机变量X的分布函数为F(x),若 ,则称 为X的数学期望或均值,记为E(X). 也称Lebesgue-Stieltjes积分. 若X是连续型随机变量,概率密度为f(x),则E(

13、X)= ; 若X是离散型随机变量,分布列pk=P(X=xk),k=1,2,则 E(X)= , 随机变量的数学期望是随机变量的取值依概率的平均.,随机变量的数字特征,数学期望的重要性质: (1)设a,b,c是常数,则有E(c)=c, E(aX+bY)=aEX+bEY; (2)设X,Y是相互独立的随机变量,则有E(XY)=E(X)E(Y); (3)(单调收敛定理)若0XnX,则 EXn=EX; (4)(Fatou引理)若Xn0,则 E( Xn) E(Xn) E(Xn)E( Xn).,注: 设R是实数集,若存在一个实数,对任意的正数有 (1) R中的元素x满足-x的只有有限个(+,); (2) R中

14、的元素x满足+x的有无穷多个(-,), 则称是R的下(上)极限.,定义1.8. 设X是随机变量, 若EX2,则称E(X-EX)2为X 的方差,记为D(X)或Var(X).,随机变量的数字特征,方差及二阶矩的重要性质: (1)设c是常数,则D(c)=0, D(cX)=c2D(X); (2)设a,b是常数,随机变量X,Y独立,则D(aX+bY)=a2D(X) +b2D(Y); (3)D(X)=0 X以概率1取常数c(=E(X),即PX=c=1; (4)(Schwarz不等式)若EX2,EY2,则E(XY)2 EX2EY2. 随机变量的方差反映随机变量取值的离散程度. 定义1.9. 设X,Y是随机变

15、量,EX2,EY2,则称 EX-E(X)Y-E(Y)为X与Y的协方差, 记为BXY或Cov (X,Y). 称XY=BXY/( )为X、Y的相关系数. 若XY=0,则称X,Y不相关.XY反映X,Y之间的线性相关,随机变量的数字特征,程度的大小. XY是一个无量纲的量; |XY|1. 对任意两个随机变量X和Y,成立等式: D(X+Y)=D(X)+D(Y)+2Cov(X,Y). 将Cov(X,Y)的定义式:Cov(X,Y)=EX-E(X)Y-E(Y) 展开,有Cov(X,Y)=E(XY)-E(X)E(Y)(协方差的计算式). 协方差具有性质: (1) Cov(X,Y)=Cov(Y,X); (2) 设

16、a,b是常数,则Cov(aX,bY)=abCov(X,Y); (3) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y). k阶矩. 设X和Y是随机变量.若E(Xk),k=1,2,存在,则 称之为X的k阶原点矩(简称k阶矩);若EX-E(X)k,k= 1,2,存在,则称之为X的k阶中心矩.,分布函数,概率密度函数的函数曲线,均匀分布的分布函数与概率密度: F(x)= 正态分布的分布函数及其概率密度: 设连续型随机变量X的概率密度为f(x)= , -x,其中,(0)为常数,则称X服从参数 为,的正态(或高斯Gaoss)分布,记为XN(,). 特别,当=0,=1时,称X服从标准正态分

17、布. F(x)= .,f(x),x,a,b,xa,axb,xb,F(x),x,a,b,1,F(x),x,o,0.5,f(x),x,o,-,+,特征函数和母函数,1.4 特征函数和母函数 特征函数是研究随机变量分布律的一个重要工具.由于 分布律与特征函数之间存在一一对应关系,因此在得知 随机变量的特征函数之后,就可以知道它的分布律. 用 特征函数求分布律比直接求分布律容易得多,而且特征 函数具有良好的分析性质. 定义1.10 设随机变量X的分布函数为F(x),则称 g(t)=E(eitX)= , -x+ 为X的特征函数. 特征函数g(t)是实变量t的复值函数,由于|eitX|=1, 故 随机变量

18、的特征函数总存在. 当X是离散型随机变量,分布列pk=P(X=xk),k=1,2,时,特征函数,g(t)= ; 当X是连续型随机变量,概率密度为f(x)时, g(t)= . 随机变量的特征函数具有性质: (1)(有界性). 设g(t)是特征函数,则g(0)=1;|g(t)|1;g(-t)=g(t). (2)(一致连续性). 特征函数g(t)在(-,+)上一致连续. (3)(非负定性). g(t)是非负定函数. 即对任意的正整数n及任意实数t1, t2,tn和复数z1,z2,zn有 0.,特征函数,证明: = =E =E 0. (4) 若X1,X2,Xn是相互独立的随机变量,则X=X1+X2+

19、+Xn的特征函数g(t)=g1(t)g2(t)gn(t).其中gi(t), i=1,2,n是随机变量Xi的特征函数. 证明: 因为X1,X2,Xn相互独立,所以 也相互独立. 因而 g(t)=EeitX=E =E( ),特征函数,=E E E =g1(t)g2(t)gn(t). (5) 若随机变量X的n阶原点矩EXn存在,则X的特征函数 g(t)的n阶导数存在,且当kn时,有g(k)(0)=ikEXk. (6)(惟一性). 随机变量的分布函数由其特征函数惟一确定(相互).当 X为连续型随机变量,且有F(x)=f(x)及 ,则 如何求指数分布的g(t)?设f(x)= ,求g(t).,e-x,x0

20、,0, x0,(Laplace变换),特征函数,因为,g(t)=EeitX= eitxf(x)dx= eitxe-xdx = e-x(costx+isintx)dx = e-xcostxdx+i e-xsintxdx = +i =(1- )-1. 对n维随机变量也可定义特征函数, 且有类似于一维随 机变量的特征函数的性质. 定义1.11 设X=(X1,X2,Xn)是n维随机量,t=(t1,t2, tn)Rn,则称g(t)=g(t1,t2,tn)=E( )为n维随 机变量X的特征函数.,特征函数,例1.1 设X服从B(n,p),求X的特征函数g(t)及EX,EX2和DX. 解: X的分布列为:P

21、(X=k)= pkqn-k,q=1-p,k=0,1,2,n. g(t)= eitk pkqn-k= (peit)kqn-k=(peit+q)n. 由性质(5)知 EX=-ig(0)=-i (peit+q)n|t=0=np ; EX2=(-i)2g(0)=(-i)2 (peit+q)n|t=0=npq+n2p2. DX=EX2-(EX)2=npq. 例1.2 设XN(0,1),求X的特征函数g(t). 解: g(t)= .由| |=|x| , 知, 对g(t)的表出式可在积分号下求导. 求导得:,特征函数,g(t)= = =- - =-tg(t). 于是得微分方程: g(t)+tg(t)=0.

22、这是一个可分离变量的方程,故有: =-tdt. 两边积分得:lng(t)=-t2/2+c,因而通解g(t)= . 由于g(0)=1,所以c=0. 于是X的特征函数:g(t)= . 例1.3 (特征函数具有线性性) 设随机变量X的特征函数为gX(t),Y=aX+b,其中a、b为任 意实数.证明随机变量Y的特征函数gY(t)=eitbgX(at).,特征函数,证明: gY(t)=Eeit(aX+b)=Eei(at)Xeibt=eibtEei(at)X =eitbgX(at). 例1.4 设随机变量XN(a,2),求Y=X+a的特征函数. 解: 设XN(0,1),则由例1.2知X的特征函数gX(t)

23、= . 令Y=X+a,则YN(a,2).由例1.3知,Y的特征函数为 gY(t)=eiatgX(t)=eiat = . 例1.5 设随机变量X服从参数为的泊松分布,求X的特征 函数. 解: 因为PX=k= ,k=0,1,2,故g(t)= eitk =e- = .,特征函数,例1.6 证若随机变量X的n阶原点矩EXn存在,则X的特征函 数g(t)的n阶导数存在,且当kn时有g(k)(0)=ikEXk.(5) 证明: X的n阶矩存在, , X的特征函数 gX(t)= ,由于 =|x|k, 所以有 = = = . 于是得 即g(k)(0)=ikEXk. 在常见随机变量分布表右栏中,给出了相应的特征函

24、数. 例1.7 求X2分布的特征函数,数学期望和方差. 解:首先:设随机变量XN(0,1),求X2的特征函数.由定义,特征函数,有: = = = = = . 接着:求X2分布的特征函数,数学期望和方差. 设X1,X2,Xn相互独立且同服从标准正态分布N(0,1), 则X2= 服从自由度为n的卡方分布.由上证已知 的特征函数为 ,j=1,2,n. X1,X2,Xn相互独立, 也相互独立. 由特征函数性质4得X2的特征函数:,特征函数,由 的表达式,易知: , ; , . 再由特征函数的性质5,便得X E(X2)=g(0)/i=in/i=n; E(X2)2=g(0)/i2=i2n(n+2)/i2=

25、n(n+2), 从而有 D(X2)=E(X2)2-E(X2)2=n(n+2)-n2=2n.,.,(t),概率母函数,母函数是研究非负整数值随机变量非常方便的工具. 定义1.12 设X是非负整数值随机变量,分布列 pk=P(X=k), k=0,1,2, 当|s|1时, 则称P(s)=E(sX)= pksk为X的概率母函数,简称母函数. 母函数具有以下性质: (1)非负整数值随机变量的分布列由其母函数唯一确定. (2)设P(s)是X的母函数. 若EX存在,则EX=P(1); 若DX存在,则DX=P(1)+P(1)-P(1)2. (3)独立随机变量之和的母函数等于母函数之积. (4)若X1,X2,是

26、相互独立且同分布的非负整数值随机 变量, N是与X1,X2,独立的非负整数值随机变量, 则 Y= Xk的母函数H(s)=G(P(s),其中G(s),P(s)分别,概率母函数,是N,X1的母函数. 证明: (1)P(s)= pksk= pksk+ pksk,n=0,1,. 上式两边对s求n阶导数,得 P(n)(s)=n!pn+ k(k-1)(k-n+1)pksk-n. 令s=0,则P(n)(0)=n!pn ,故pn=P(n)(0)/n!, n=0,1,2,. (2)由P(s)= pksk知,P(s)= kpksk-1. 令s1,得 EX= kpk=P(1). 又由P(s)= k(k-1)pksk

27、-2= k2pksk-2- kpksk-2知, 当s1时,P(1)=EX2-EX .但 DX=EX2-(EX)2,所以有 DX=P(1)+EX-(EX)2=P(1)+P(1)-P(1)2.,概率母函数,(3)设随机变量X=X1+X2+Xn, 且X1,X2,Xn相互独立.因而 也相互独立. 由数学期望重要性质(2)即知 PX(s)=E(sX)=E( ) =E( ) =E( )E( )E( ) = (s) (s) (s). (4)H(s)= P(Y=k)sk= P(Y=K, N=t)sk = P(N=t)P(Y=k)sk = P(N=t) P(Y=k)sk,概率母函数,= P(N=t) P( Xj

28、=k)sk = P(N=t)P(s)t=GP(s). 由EX1=P(1),EY=H(1),EN=G(1)及H(s)=GP(s)知 H(s)=GP(s)P(s)=P(s)GP(s) 令s1, 得H(1)=P(1)GP(1),但P(1)=E( )=E(1) =1, 故有 EY=ENEX1(). 例1.8 设商店在一天的顾客数N服从参数=1000人的泊 松分布,而每位顾客所花的钱Xi服从N(100,502).求商店 的日销售额Y的平均值. 解: 由题设知EN=1000, EX1=100, 再由()式得 EY=ENEX1=1000100=100000(元).,概率母函数,概率母函数的例 概率母函数的概

29、念在19世纪初由拉普拉斯引入,是概率 论中第一个被系统应用的变换方法.运用于处理整值随机 变量的场合,既简单也方便. 从 pk=1及|s|1知,概率母函数对任何整值随机变 量都存在. 二项分布的概率母函数 P(s)= C(n,k)pkqn-ksk=(q+ps)n. 泊松分布的概率母函数 P(s)= =e-es=e(s-1). 几何分布的概率母函数 P(s)= qk-1psk=ps (qs)k-1=ps/(1-qs).,概率母函数,对概率母函数性质的简释 1.惟一性 由概率分布及P(s)= pksk所确定的母函数显然是惟一 的.反过来,由概率母函数也能惟一确定随机变量的概率分 布.事实上,如果p

30、k与qk分别具有概率母函数G(s),H(s) 且若G(s)=H(s),因G(s)和H(s)均为幂级数,在|s|1的条 件下绝对收敛,故G(s)与H(s)的k次导数存在,于是有: k!pk=G(k)(0)=H(k)(0)=k!qk 所以,对k=0,1,2,成立pk=qk,即pk=qk. 2.概率母函数与数字特征间成立 P(s)|s=1=E(X); P(s)|s=1=E(X2)-E(X). 由此式及二 项分布,泊松分布等的概率母函数很容易求其期望和方差.,概率母函数,3.求取二项分布的概率母函数. 解:设在贝努利试验中,A事件出现的概率为p.用Xi=1表 示事件A出现,Xi=0表示事件A不出现,其

31、概率q=1-p.于是 得到一相互独立的随机序列X1,X2,Xn.设Y=X1+X2+ +Xn,则Y服从二项分布. Xi的概率母函数P(s)=q+sp,所 以Y的母函数为P(s)=(q+ps)n. 从中可以看出,利用概率母函数解决一些古典概型问题 往往是很便捷的. 设X1,X2,Xn是列非负整值随机变量, PXi=k=fk, 其母函数F(s)= fksk.又若是正整数的随机变量, P=n=gn,其母函数G(s)= gnsn且与X1,X2,Xn, 相互独立.,概率母函数,定义=X1+X2+X,是随机个独立同分布非负整值 随机变量之和. 求的概率母函数及其数字特征. 解: 记P=r=hr,由条件概率公

32、式及与Xi相互独立, 有hr=P=r= P=nP=r|=n = P=nPX1+X2+X=r|=n = P=nPX1+X2+Xn=r 由于X1+X2+Xn是n个相互独立同分布非负整值随机变 量之和,故其母函数为 PX1+X2+Xn=rsr=F(s)n. 记的母函数为H(s)= hrsr,则,概率母函数,H(s)= P=nPX1+X2+Xn=rsr = P=n PX1+X2+Xn=rsr = P=nF(s)n =GF(s). 可见,随机个相互独立同分布非负整值随机变量之和的概 率母函数是原来两个母函数的复合. 于是从 H(s)=GF(s)F(s)知: 当EXi和E存在时,在上式中令s1,即有E=E

33、EXi.而 从 H(s)=GF(s)F(s)2+GF(s)F(s)及令s=1,得 D=E2-(E)2=H(1)+H(1)-H(1)2 =(EXi)2(D)+(E)(DXi).,概率母函数,其具体的运算过程是: D=H(1)+H(1)-H(1)2 =G(1)F(1)2+G(1)F(1)+G(1)F(1)-G(1)2F(1)2 =F(1)2G(1)+G(1)-G(1)2+ G(1)F(1)+F(1)- F(1)2=(EXi)2(D)+(E)(DXi). 考虑若服从参数为的泊松分布,Xi的母函数为F(s),则 如何求 =X1+X2+X 的母函数的表示式呢? 由的母函数G(s)=e(s-1)知的 母函

34、数 H(s)=eF(s)-1. 在正文的讨论中,将用到此结果,即H(s)为复合泊松分布的 母函数,亦即服从复合泊松分布. 特别,F(s)=q+ps时,H(s)=ep(s-1),仍服从泊松分布.,矩母函数,定义1.13 设X是随机变量,则称随机变量函数 (t)=E(etX) 为X的矩母函数. 由定义1.13知 (1)若X有任意阶原点矩k(k=1,2,),则X的矩母函数 (t)=1+ tk; k=(k)(0). (2)若X是离散型随机变量,其可能的取值为 x1,x2, PX=xk=pk,则(t)= pk. (3)若X是连续型随机变量,其分布密度函数为f(x),则 (t)= etxf(x)dx. 概

35、率母函数,矩母函数和特征函数之间的关系: P(et)=(t); P(eit)=g(t); (it)=g(t).,条件期望,1.5 条件期望 设X,Y是离散型随机变量,对一切使PY=y0的y,定义 给定Y=y时,X的条件概率为 PX=x|Y=y= , 给定Y=y时,X的条件分布为 F(x|y)=PXx|Y=y, 给定Y=y时,X的条件期望为 E(X|Y=y)= xdF(x|y)= xPX=x|Y=y. 若X,Y是连续型随机变量,其联合概率密度为f(x,y),则 对一切使fY(y)0的y,给定Y=y时,X的条件概率密度定义 f(x|y)= ,为,条件期望,给定Y=y时,X的条件分布为 F(x|y)

36、=PXx|Y=y= f(x|y)dx, 给定Y=y时,X的条件期望定义为 E(X|Y=y)= xdF(x|y)= xf(x|y)dx. E(X|Y=y)是y的函数,y是Y的一个可能值. 若在已知Y的条 件下,全面地考虑X的均值,需要以Y代替y, E(X|Y)是随机 变量Y的函数,也是随机变量,称为X在Y下的条件期望. 条件期望在概率论、数理统计和随机过程的讨论中是一 个十分重要的概念,而以下是它的一个极其有用的性质: 性质.若随机变量X与Y的期望存在,则 EX=EE(X|Y)= E(X|Y=y)dFY(y)(); 如果Y是离散型随机变量,则()式为,条件期望,EX= E(X|Y=y)PY=y;

37、 如果Y是连续型随机变量,则()式为 EX= E(X|Y=y)f(y)dy. 证明: 以下就X与Y都是离散型的随机变量证明()式. E(X|Y=y)PY=y= xPX=x|Y=yPY=y = xPX=x,Y=y = x PX=x,Y=y = xPX=x =EX.,条件期望,从()式看出,EX是给定Y=y时,X的条件期望的一个加 权平均值,每一项E(X|Y=y)所加的权是作为条件的事件的 概率PY=y. 若先对一个适当的随机变量取条件,则不仅使我们能求 得期望,也可以用这种方法计算事件的概率: 设A为一个任意事件,A的示性函数 IA(e)= 是一个二值随机变量,显然 EIA(e)=P(A), E

38、(IA(e)|Y=y)=P(A|Y=y). 对任意的随机变量Y,用()式,有P(A)= P(A|Y=y)dFY(y).,1,eA, 0,eA.,条件期望,例1.9 设X与Y是相互独立的随机变量,其分布函数分别是 FX(x)和FY(y),记(X+Y)的分布函数为FX*FY,则 FX*FY(a)=PX+Ya= PX+Ya|Y=ydFY(y) = PX+yadFY(y) = FX(a-y)dFY(y). 例1.10(选票问题)在一次选举中,候选人A得到n张选票而 候选人B得到m张选票,这里nm. 假定选票的一切排列 次序是等可能的,证明,在计票过程中A的票数始终领先 的概率为(n-m)/(n+m).

39、 证明: 记所求概率为Pn,m. 以得到最后那张选票的后选人 为条件,有,条件期望,Pn,m=PA始终领先|A得到最后一票PA得到最后一票 +PA始终领先|B得到最后一票PB得到最后一票 =PA始终领先|A得到最后一票 +PA始终领先|B得到最后一票 . 注意到,在A得到最后一票的条件下,A始终领先的概率与A 得到(n-1)票而B得到m张票的概率一样;以及在B得到最后 一票的条件下,A始终领先的概率与B得到(m-1)票而A得到 n张票的概率一样. 因而有 Pn,m= Pn-1,m+ Pn,m-1 .() 以下采用数学归纳法,对n+m做归纳证明Pn,m= .,条件期望,当n+m=1时,1=P1,

40、0= ,结论为真. 假设n+m=k时结论真, 则当n+m=k+1时,由()式及归纳假设,有 Pn,m= Pn-1,m+ Pn,m-1 = + = . 例1.11(匹配问题)设有n个人,将他们的帽子寄放之后,离 开时每人随机地选取一顶. 求恰好有k个人选到自己帽 子的概率. 解: 记E为全不匹配的事件.M为某一个人选取到自己帽子 的事件,自然M是某一个人没有选取到自己帽子的事件.,条件期望,令 Pn=P(E), 则Pn与n有关. 取条件概率,有 Pn=P(E|M)P(M)+P(E|M)P(M). 由于P(E|M)=0,所以 Pn=P(E|M) . () 而P(E|M)是n-1个人从n-1顶帽子中

41、,各取一顶都不匹配 的概率,且其中有一个人的帽子不在这n-1顶帽子中.该 事件由两个互不相容的事件所组成:一个事件是都不匹 配且多余的那个人(即他的帽子已被第一个人取走的那 个人)未能选中多余的帽子(即第一个人的帽子); 另一 个事件是都不匹配,但多余的那人选取到了那顶多余的 帽子.前一个事件的概率是Pn-1(此时视多余的那帽子为 多余人的);注意到多余的人是任意的,所以第二个事件,条件期望,的概率是 Pn-2,因而有 P(E|M)=Pn-1+ Pn-2. 从而有(由()式) Pn= Pn-1+ Pn-2, 等价地,有: Pn-Pn-1=- (Pn-1-Pn-2). 由于P1=0, P2= ,

42、 故P3-P2=- (P2-P1)=- =- . 从而有: P3=P2- = - . 一般地有 Pn= - + -+(-1)n .(错排问题解),条件期望,对于固定的k个人,只有他们选中自己帽子的概率为: Pn-k= Pn-k, 其中Pn-k是其余n-k个人,从他们自己的那些帽子中选取 但全不匹配的概率. 考虑到k个人的选择法有 种, 故恰有k个匹配的概率 为: Pn-k= - + . 显然,当n充分大时,上式近似地等于: .,数理统计知识,总体与个体.被研究对象的全体称总体; 组成总体的每一 基本单位称个体. 样本和样本容量.从总体中抽出若干个个体而成的集体称 样本;样本中所含个体的个数称样

43、本容量. 简单随机抽样.满足(1)样本具有代表性; (2)样本具有独 立性的有放回重复抽样. 于是,所谓总体其实是一个随机变量X, 样本是n个相互 独立且与总体具有相同分布的随机变量X1,X2,Xn;一 次抽样所得的观测值(x1,x2,xn)称抽样结果; X1,X2, ,Xn独立且与总体X同分布,称之为容量为n的简单随机 样本(简称样本);由(x1,x2,xn)的所有值组成的集合 称样本空间.,数理统计知识,总体与样本的分布和密度之间的相互联系. 设总体X有分 布函数F(x), 则X的样本(X1,X2,Xn)的联合分布函数 F(x1,x2,xn)=PX1x1,X2x2,Xnxn= F(xi).

44、 若总体X为连续型随机变量且有密度函数(x), 则X的 样本(X1,X2,Xn)为n维连续型随机变量且其密度函数 (x1,x2,xn)= (xi).(离散型时为分布列) 统计量.设X1,X2,Xn为总体X的一个样本,f(x1,x2,xn) 为x1,x2,xn的n维连续函数, 且其内不含有任何未知 参数,则称f(X1,X2,Xn)为一个统计量. 五个常用的统计量(设X1,X2,Xn为总体X的样本). 1.样本均值: . 2.修正样本方差: .,数理统计知识,3.样本方差: . 4.样本k阶原点矩: ,k=1,2,3,. 5.样本k阶中心矩: ,k=1,2,3,. 顺序统计量.设(X1,X2,Xn

45、)为总体X的样本,(x1,x2,xn) 为样本观测值.建立样本(X1,X2,Xn)的n个函数: X(k)=fk(X1,X2,Xn),k=1,2,n. 式中X(k)为这样的统计量:其观测值为x(k),而x(k)为样本 观测值x1,x2,xn的不减序x(1)x(2)x(n)中第k 个数值,同时相应作随机变量排序并得X(1),X(2),X(n), 称之为样本X1,X2,Xn的顺序统计量.称X(k)为第k个顺,数理统计知识,序统计量. 显然X(1)=min(X1,X2,Xn),X(n)=max(X1,X2, ,Xn).记R=X(n)-X(1);X=X(n+1)/2)(n奇数),X=X(n/2)+X(n

46、 /2+1)/2(n偶数),并分别称之为样本极差和样本中位数. 设F(x)为总体X的分布函数,X1,X2,Xn是X的样本,X(1), X(2),X(n)为样本的顺序统计量,F(1)(x),F(n)(x)分别是 X(1),X(n)的分布函数.则对任意实数x有 F(n)(x)=F(x)n ; F(1)(x)=1-1-F(x)n . 当X为连续型随机变量且有密度函数(x)时,则X(1),X(n) 也是连续型随机变量,并有 (n)(x)=nF(x)n-1(x); (1)(x)=n1-F(x)n-1(x). 下面是样本分布函数的两种近似求法.,数理统计知识,1.经验分布函数 (用来近似描述总体的分布函数

47、,样本 容量n越大,近似程度越好). 设X1,X2,Xn是总体X的样本,X(1),X(2),X(n)为样本 的顺序统计量,x1,x2,xn为样本观值,x(1),x(2),x(n) 为顺序统计量的观测值.对任意实数x,定义 称之为总体X的经验分布函数. 2.直方图(用来近似描述连续型总体的密度函数,容量n 越大,近似程度越好).1求样本观测值的极差;2定组距,小 区间数m=1.87(n-1)0.4;3算入组点数和频率;4描直方图.,数学分析知识-第二类Eulei积分,Gamma函数(s)(第二类Eulei积分) (s)= (当s0时收敛). 第二类欧拉积分 具有性质: (1)(s+1)= = =

48、s(s). (2)(n+1)=n(n)=n(n-1)(n-1)=n!(1)=n!,因为 (1)= =1. (3)对积分(s)= 作变换x=u2, 得(s)= .于是有( )= = .这一个 广义积分称Euler-Poisson积分,其值由概率积分 = 以及变换x= ,经计算 = 而得.,数理统计知识,四个常用统计量的分布 1.Gamma分布 若连续型随机变量X的密度函数为(x)= , 0,0,则称X服从参数为和的 伽玛分布,记为X(,). 且X的k阶(原点)矩E(Xk)= ,作变换x= t,便= =(+k)/k().进而知X 的期望E(X)=(+1)/()=/;再由X的2阶矩 E(X2)=(+

49、2)/2()=(+1)/2又得X的方差 D(X)=E(X2)-E(X)2=/2. 若X(1,),Y(2,)且X与Y独立,则X+Y (1+2,).另外当=1时即(1,)为指数分布E().,数理统计知识,2.卡方分布 设X1,X2,Xn是n个相互独立的随机变量, 且都服从标 准正态分布.记X 2= ,则称X 2所服从的分布是自由度 为n的卡方分布,记为X 2= X 2(n). 卡方分布的概率密度函数为:(x)= . 卡方分布的数学期望和方差是: E(X 2)=n; D(X 2)=2n. 与伽玛分布的密度函数相比较,其实X 2(n)=( ). 卡方分布具有性质: 若XX 2(m),YX 2(n),如

50、果X与Y 相互独立,则X+YX 2(m+n). 3.t分布(亦称student分布) 设XN(0,1),YX 2(n),且X与Y相互独立,记T= ,数理统计知识,则称T所服从的分布是自由度为n的t分布,记为Tt(n). t分布的密度函数 (x)= , -x+. (x)是偶函数. 当n1时,E(T)=0;当n2时,D(T)= .当n=1时,T的 密度函数为(x)= ,称这时的T服从标准哥 西(Cauchy)分布;当n+时,(x) ,近似 服从标准正态分布. 4.F分布 设XX 2(m),YX 2(n)且X与Y相互独立,记F= = , 则称F所服从的分布是自由度为m与n的F分布.,数理统计知识,F

51、分布记为FF(m,n). F分布的密度函数(x)= . F分布具有性质: (1)FF(m,n), F(n,m);(2)若Tt(n),则T2F(1,n). 两类七个抽样分布定理 1.设总体XN(,2),X1,X2,Xn是总体X的样本,X,S2, S2分别是样本均值,样本方差和修正样本方差,则 (1)XN(,2/n), N(0,1). (2) (= )X2(n-1). (3)X与S2相互独立.,数理统计知识,(4) t(n-1). (5)E(S2)= ,D(S2)= . 2.设总体XN(1, ),X1,X2,Xm是总体X的样本,总体 YN(2, ),Y1,Y2,Yn是总体Y的样本,且两样本相 互独

52、立, , ; , 分别是X;Y的样本均值和样本方差, 则 (6)F= F(m-1,n-1).特别,当 时,有 (7)T= t(m+n-2).,第二章 随机过程的概念与基本类型,1.1 随机过程的基本概念 初等概率论研究的主要对象是一个或有限个随机变量 (或随机向量). 尽管有时也讨论随机变量序列,但它们之 间是被假定相互独立的. 随着科学技术的发展,我们必须 对一些随机现象的变化过程进行研究,因而就要考虑无穷 多个且相互有关的随机变量,记为X(t),tT, 其中T是 一个无穷集合. X(t)是一族随机变量称之为随机过程. 例2.1(生物群体的增长问题) 在描述群体的发展或演变过程中, 以Xt表

53、示在时刻t的 群体个数,则对每一个t, Xt是一个随机变量. 假设从t=0 开始我们每隔24小时对群体的个数观测一次,则X(t),t= 0,1,2,是随机过程.,随机过程的基本概念,例2.2 某电话交换台在时间段0,t内接到的呼叫次数是 与t有关的随机变量X(t). 对于固定的t,X(t)是一个取非 负整数的随机变量. 故X(t),t0,)是随机过程. 例2.3 在天气预报中, 若以X(t)表示某地区第t次统计所 得到的该天最高气温,则X(t)是随机变量. 为了预报该地 区未来的气温,我们必须研究随机过程X(t),t=0,1,2, 的统计规律性. 例2.4 在海浪分析中,需要观测某固定点处海平

54、面的垂直 振动. 设X(t)表示在时刻t该处的海平面相对于平均海平 面的高度,则X(t)是随机变量, 而X(t),t0,)是随 机过程. 从上述4例看出:实际问题要求扩大概率论研究范围,进,随机过程的基本概念,而讨论随机过程的有关性质. 定义2.1 设(,F,P)是概率空间,T是给定的参数集.若对 每个tT, 有一个随机变量X(t,e)与之对应,则称随机 变量族X(t,e),tT是(,F,P)上的随机过程, 简记 为随机过程X(t,e),tT. T称参数集,一般表示时间. 通常将随机过程X(t,e),tT解释为一物理系统.X(t) 表示系统在时刻t所处的状态. X(t)的所有可能状态构 成的集

55、合称为状态空间(或相空间),记为I. 参数t可以指通常的时间,也可以别指其它.为简单起见, 一般认为t指时间,且tT R=(-,+). 特别,当t是向量时,称此时的随机过程为随机场. 从数学的观点说,随机过程X(t,e),tT是定义在T,随机过程的基本概念,上的二元函数.对固定的t,X(t,e)是(,F,P)上的随机 变量;对固定的e,X(t,e)是定义在T上的普通函数,称为 随机过程X(t,e),tT的一个样本函数(或轨道), 样 本函数的全体称为样本函数空间. 根据参数T和状态空间I是至多可列集或非至多可列集, 随机过程被分为四种类型: . T与I都至多可列; . T非至多可列,I至多可列

56、; . T至多可列,I非至多可列; . T与I都非至多可列. 例2.1, 2.2, 2.3, 2.4分别与之相对应. 随机过程也根据Xt之间的概率关系进行分类,如独立增 量过程, 马尔可夫过程, 平稳过程, 鞅过程等.,T至多可列的随机过程称 随机序列,或称时间序列 记为Xt,t=0,1,2,I至多可列的随机 过程,称可列过程,随机过程的基本概念,例2.5(热噪声电压)在无线电通讯中接收机在接收信号时, 机内的热噪声电压要对信号产生持续的干扰,为消除这 种干扰,必须考虑热噪声电压随时间变化的过程. 为此, 通过某种装置,对电阻两端的热噪声电压进行长时间的 测量,并把结果自动记录下来,作为一次试验结果,得到 一个电压-时间函数(即电压关于时间t的函数)ve(t): 在相同条件下独立地再进行的测量,所得到的记录是不 同的. 由于热骚动的随机性,这相同条件下的每次测量 都将产生不同的电压-时间函数. 热噪声电压的变化过 程,即观测得到的电压-时间函数,就是一个随机过程.,o,o,o,v1(t),v2(t),vk(t),t,t,t,随机过程的基本概念,这里的热噪声电压变化过程,是用电阻所产生的一族 电压-时