数理统计基础知识.ppt

1,应用数理统计,2,赵选民等，数理统计，科学出版社，2002 茆诗松等，概率论与数理统计教程，高等教育出版社，2004 中山大学数学系，概率论与数理统计，高等教育出版社，2001 吴翊等，应用数理统计，国防科技大学出版社，1995,参 考 书 目,3,数理统计与概率论是两个有密切联系的学科，它们都以随机现象的统计规律为研究对象。,但在研究问题的方法上有很大区别：,概率论 已知随机变量服从某分布,寻求分布的性质、数字特征、及其应用；,数理统计 通过对实验数据的统计分析, 寻找所服从的分布和数字特征, 从而推断整体的规律性。,数理统计的核心问题由样本推断总体,4,统计学从方法上讲有两大类:描述性统计方法和数理统计方法(即抽样统计方法). 描述性统计方法: 全部资料 数理统计方法: 部分资料 抽样统计方法,5,数理统计学是数学的一个分支，它研究怎样用有效的方法去收集、整理、分析带随机影响的数据，并在此基础上对所讨论的问题给出统计性的估计和推断。 数理统计学的内容:概括为两大类 用有效的方法去收集数据。 抽样理论和试验设计 有效地使用数据。中心内容统计推断 它包括参数估计，假设检验，回归分析，方差分析，多元统计分析等等。,6,有效性的含义,上述有效性有两个含义： 可以建立一个在数学上便于处理的模型来描述所得的数据， 数据中要包含尽可能多的与所研究的问题有关的信息。,7,关于统计推断,由于统计推断中使用的仅仅是部分数据，且带有随机性，故所得结论只能做到尽可能而非绝对的精确可靠，而结论的正确性程度显然可以用概率来度量，因此概率论是数理统计的基础。 统计方法的具体使用并不需要很高深的数学知识，但不具备较多较深的数学知识，这些方法的理论依据就说不清楚。本课主要介绍数理统计方法，也给出一些必要的数学推导，但不追求其严密性和完整性。,8,数理统计方法的应用,几乎在人类活动的一切领域中都能够不同程度地发现数理统计方法的应用。 实验数据的处理离不开数理统计方法； 在工农业生产中，最佳生产工艺的安排，最佳配方的确定，优良品种的对比试验，产品质量的控制管理，产品验收方案的制定，电子元器件寿命的计算等都要用到数理统计方法。,9,在医药卫生领域，流行病的研究、新药的药效试验以及某种疾病的发病率与其它因素的关系的研究都是数理统计方法的用武之地。 在生物遗传学、气象预报、地震研究、地质探矿等方面的研究中，数理统计方法是必备工具之一。 数理统计方法在社会科学方面的应用也愈来愈广泛，教育学，人口学，社会保险业，各种社会问题的抽样调查，市场预测，民意测验等都有数理统计方法涉足。 总之，只要安排试验和处理数据，就可以用数理统计方法。,10,数理统计学发展简史,统计学的起源：统计学起源于古代，早在公元前3050年的古埃及就为建造金字塔进行过全国国力统计。到了16世纪，西欧各国政府对收集公民有关资料发生兴趣。Statistics（统计学）源于State. 数理统计的正式诞生。在数学家建立了概率论后，才奠定了数理统计发展的理论基础。一般认为，它诞生于19世纪后期。,11,19世纪后期到20世纪四十年代。在这时期，英国人高尔顿、皮尔逊、费歇等作了大量开创性工作。尤其，费歇于1922年的一篇论文是数理统计学建立过程的一个里程碑，该文主要观点至今仍基本有效。到了四十年代，数理统计学已发展成为一个成熟的数学分支，它的重要标志是瑞典统计学家H.Cramer于1949年的著作Mathematical Methods of Statistics,12,二战后。这时期的一个突出特点是计算机的发明和使用。它使人们能够处理大量的数据及其运算，把数理统计的研究引入到宏观世界和微观世界，又出现了一些新的分支。 最后，特别提一下我国的许宝禄教授在极限理论、马氏过程、多元分析、正交设计、过程设计和判别函数等许多方面都有突出的贡献，他的许多研究成果都达到了世界先进水平。,13,第一章 基础知识,经典的数理统计是以概率统计为基础的，概率论与数理统计的关系极为密切，为以后学习的方便，这里对概率论做一个简单的回顾。,1、 概率论的回顾 2、 数理统计简介,14,1、概率论的回顾,确定性现象和不确定性现象、随机现象 概率论：研究和揭示随机现象的统计规律性的一个数学分支 随机事件的定义、运算及运算律 古典概型、几何概型、统计概型的定义及性质 概率的公理化定义 条件概率,乘法公式,全概率公式,贝叶斯公式(逆概率公式、后验公式），独立性,15,随机变量、分布函数及其性质 随机变量函数的分布 多维随机变量及其分布 随机变量的数字特征：期望、方差、协方差、相关系数及其性质,16,条件数学期望,定义 设 X是一个r.v.，且EX存在. 则记,称E(X|Y=y)为已知Y=y时X的条件期望.,定义 设g(y)= E(X|Y=y)，随机变量g(Y)就可记作E(X|Y), 且称为已知Y时X的条件数学期望。,17,条件数学期望的性质,如果 X 和 Y 独立,且EX存在,则 E(X|Y)=EX E(h(Y)|Y)=h(Y) E(q(X,Y)|Y=y)=E(q(X,y)|Y=y) E(E(X|Y)=E(X) 重期望定理,18,2、随机变量的特征函数,定义 称随机变量eitX的数学期望(t)=EeitX为X的特征函数。 随机变量的特征函数(t)是实变量t的复值函数，总是存在的,且与随机变量一一对应。 当X为连续型时， 当X为离散型时，,19,特征函数基本性质,20,21,几个常见随机变量的特征函数,22, 非降的右连续函数；,3 多元随机向量,一、多元随机的分布函数,1、多元联合分布函数,随机向量 的概率分布函数定义为,2、联合分布函数的性质,23, 分布函数的取值范围为0，1，即, 分布函数当变量取值为无穷大时，函数值收敛到1，即,24,二、两个常用的离散多元分布,1、多项分布,则称 服从多项分布。,25,2、多元超几何分布,则 服从多元超几何分布。,26,三、多元随机变量的概率密度函数,1、定义,随机向量 的联合分布函数可以表示为,则称 为连续型随机向量。称 为的多元联合概率密度函数。,27,若 在点 连续，则,28,四、边际分布,设有连续随机向量,不妨设 是 的前q个分量组成。则 的分布为,29,所以 的边际密度为,例 有概率密度函数,试分别求 的边际密度。,30,31,五、条件分布,1、问题的引入,若A和B是任意两个事件，且 ，则称 为在B事件发生的条件下，事件A发生的条件概率。,考虑随机向量 ，其中 表示人的身高（单 位：米）， 表示人的体重（单位：公斤），在 身高为1.9米的人群中，体重 的分布就再也不是 原来的分布了。而是在 的条件分布。,32,2、条件分布 连续随机向量,不妨设 是 的q个分量组成。 是余下的n-q个分量组成。,是 条件下， 的条件概率密度函数。,33,例 设X=(X1,X2)有概率密度函数,试求条件密度函数 f(x1|x2)和 f(x2|x1)。,34,所以先求,35,所以当 时,当 时,36,3、设 是n个随机向量，若 对一切 成立，则 相互独立。,六、 独立性,1、定义 设 和 是两个随机向量，若 对一切 、 成立，则称 和 相互独立。,2、设 和 是两个连续随机向量， 和 相互 独立，当且仅当 对一切 、 成立。,37,例 设X=(X1，X2，X3)的联合概率密度函数为,试证 X1，X2，X3相互独立。,38,4 随机矩阵,一、数学期望,1、定义,是有随机变量构成的随机矩阵，定义X的数学期望为,39,特别当时 ，便可得到随机向量 的数学期望为,2、性质,1） 设a为常数，则 ；,2）设 分别为常数矩阵，则,3）设 为n个同阶矩阵，则,40,二、协方差矩阵,1、定义：设 和 分别为p维和q维随机向量，则其协方差矩阵为,41,42,2、性质,1）若 和 相互独立。则,43,若 的分量相互独立, 则协方差矩阵，除主对角线上的元素外均为零，即,44,2）随机向量X的协方差矩阵是非负定矩阵。 证：设a为任意与X有相同维数的常数向量，则,3）设A是常数矩阵，b为常数向量，则,45,4) 若 和 分别是p和q维随机向量，A和B为常数矩阵，则 证明,5） 若 是p个不全为零的常数， 是相互独立的p维随机向量，则,46,三、相关系数矩阵 若 和 分别是p和q维随机向量，则其相关系数矩阵为,47,5 随机向量的变换,一、一元随机变量的变换,设X具有概率密度函数fx(x)，函数y=(x)严格单调，其反函数x=(y)有连续导数，则Y=(X)的概率密度函数为,其中y的取值范围与x的取值范围相对应。,48,y的取值范围为(0,),则,例 设随机变量X服从均匀分布U(0,1),即密度函数,49,二、多元随机向量的变换,若 有密度函数 ， 有函数组,其逆变换存在,则 的概率密度函数为,50,其中,特别：若 ，其中 为 阶可逆常数矩阵， 为 维常数向量，则,51,6、常见分布族,分布族 分布族 多元正态分布族 指数分布族,52,若连续型 r.v X具有概率密度,其中 均为正常数,分别称为形状参数和尺度参数。,的 分布,记作,则称 X 服从参数为,一、分布族,这里 是含参变量的广义积分。,53,函数具有以下性质:,(3) 对自然数n,(1),(2),分布在水文统计、最大风速或最大风压的概率计算中经常要用到.,54,当 时, 分布则是统计学中十分重要的 分布,其概率密度为,当 时, 分布即是参数为的指数分布;,不少常见的重要分布是分布的特殊情形.,55,性质1 设 X (, )，则 ，它的数学 期望与方差分别为： E(X)= /, D(X)= / 2.,性质2 设 X (, )， 则它的特征函数为：,性质3 设 Xi (i, )， i=1,2,n，且 Xi相互独立，则 X1X2+Xn (1+ 2+ n ,),56,定义 若连续型 r.v X具有概率密度,其中 均为正常数。,的 分布,记作,则称 X 服从参数为,二、分布族,57,性质2 设 且相互独立，则 （提示：作变量变换 ，求出（U，V）的联合 密度函数。）,性质1 设XBe (a, b)，则 它的数学期望与方差分别为： E(X)= a /(a+b), D(X)=ab/(a+a)2(a+b+1).,58,二维正态随机变量的性质,设,则 (1),(2),(3),服从正态分布,(4) X与Y独立,X与Y不相关,59,如果p维随机向量 (随机变量),多元正态分布族,定义,(联合)概率密度函数为,则称随机向量X为p维正态随机向量，,其中,称为均值向量，,V为协方差矩阵(协差阵)，且,60,(3) 设 ，A是 常数矩阵，b是m 维向量，若令Y=AX+b，则,多元正态分布的性质,（1） p维正态分布