医学数理统计第3章.ppt

第三章 参数估计,统计推断是数理统计的重要内容，大致可分为两,类：,估计问题与假设检验问题，,估计问题 参数估计和非参数估计，,假设检验问题 参数假设检验和非参数假设检验，,参数估计：点估计和区间估计.,如果已知总体的分布类型，但不知道其中某些参,数的真值.,通过样本对未知参数(或未知参数的函数),就是参数估计问题.,作出估计，,3.1 (未知参数的) 点估计概述,什么是点估计？,通俗地讲，点估计就是“确定”未知参数是多少！,那么，如何“确定”未知参数呢？,简单地讲，就是寻找,一个合适的统计量作为未知参数.,绝不是针对一组具,体的观测值确定一个估计值.,因为这样将会得到许多,估计值，但并不知道估计值的“好坏”.,点估计的思想,假设 是待估计的未知参数，,可以是单一的参,数，也可以是多个参数,假设 的参,取值范围 已知，,称为参数空间.,设 是取自总体X 的一组样本，样本,的观测值为,构造一,为了估计未知参数，,个统计量,然后用,来估计未知参数,的真值，,记作,称,为未知参数 的估计量.,的值,参数的估计量和估计值统称为点估计，简称为估计.,3.1.1 矩估计法,矩法估计是由英国统计学家皮尔逊（K.Pearson）,在1894年提出的估计参数的方法.,由大数定律可知：,子样的k 阶矩依概率收敛于总体的k 阶矩 .,矩法估计的理论依据：,矩法的基本思想,一般地，记总体X 的k 阶矩为,即,矩法估计:,用样本的k 阶矩来代替总体的k 阶矩.,矩法估计的求法（步骤）,都存在, 并且是待估参数,容易证明,假设总体有k 阶矩，即 存在，,对任意的,子样 的j 阶矩为,的函数,得到含k个未知数 的k个方程式. 解这k个联,令,列方程式组就可以得到 的一组解:,用解 估计参数 就是矩法估计.,即,补例1 设总体X 的概率密度为,是未知参数, X1, X2, Xn 是取自X 的样本,求参数 的矩估计.,解:,由矩法估计,从中解得,数学期望是一阶矩，,即为 的矩估计.,例3.1 设总体X 的概率密度为,是未知参数, X1, X2, Xn 是取自X 的样本,求参数 的矩估计量.,解:,用一阶样本矩代替,解此方程得,即得 的矩估计量为,解 因为,根据矩法估计，,所以，,的矩估计量为,3.1.2 最大似然估计法,最大似然估计法最早由德国数学家高斯(Guass)在,最大似然估计法是在总体类型已知条件下使用的一种参数估计方法.,其后由英国统计学家费歇(Fisher)在1912,1821年提出，,年正式提出，并证明了这个方法的一些性质.,最大似然估计的理论依据: (或者小概率原理):,即小概率事件在一次试验中几乎不可能发生.,换言,之，若事件A 在一次试验中发生了， 一般认为此事件,或者说试验条件对事件A 发生有利,不是小概率事件.,也就是 A 出现的概率很大.,一、离散型总体X 下的最大似然估计法,设(X1, X2, Xn )是取自总体X的一个样本，X 的,若总体X 为离散型随机变量，其概率分布为,则样本 (X1, X2, Xn) 的联合概率分布为,的概率；,在 固定时，上式表示 取值,反之，当样本值给定时，它可看作 的函数，,我们把它记作,并称,（3-2）,分布类型已知，参数 未知，但 的取值范围已知，,为样本的似然函数.,似然函数 的大小意味着该样本值出现的可能,性的大小，,由极大似然原理 (或者小概率原理):,选取应使 达到最大值.,也就是，使得,达到最,称为 真值的最大似然估计.,的,大值的,（2）若总体X 为连续型随机变量，其密度函数为,则样本 (X1, X2, Xn) 的联合密度函数为,二、连续型总体X 下的最大似然估计法,时的密度函数值；,在 固定时，上式表示 取值,它的大小与,落在点,的邻域内的概率成正比.,而当样本值,仍把它记作,并称,为似然函数.,（3- 3）,给定时，,联合密度函数是 的函数.,我们,的选取应使 达到最大值.,也就是，使得,最大值的,称为 真值的最大似然估计.,达到,综上所述，确定最大似然估计的问题，就归结为,求似然函数的最大值问题.,求最大似然估计的一般步骤：,（1）写出似然函数,（2）为简化运算，一般先对似然函数两边求对数，,因为对数函数lnx 是严格增函数，,所以，lnx与似然函,数具有相同的最大值点.,从以上方程构成的方程组中解得驻点.,（4）判断驻点为最大值点；,（5）求得各参数的最大似然估计.,例3.5 设有一批产品，其废品率为 现,从中随机抽取80件产品，其中6 件废品，试求 p 的最大,似然估计.,解 设,则总体X 服从0-1分布，分布律为,设有样本观测值,则似然函数为,两边取对数,两边对p 求导数，并令导数为零，,解似然方程得,即,于是 p 的最大似然估计值为,补例1 设X1, X2, Xn 是取自总体X 的一个样本,求未知参数 的极大似然估计.,解：似然函数为,对似然函数两边取对数得,从中解得,函数 对参数 求导并令其为0，,即为 的最大似然估计值.,补例2 设总体X 服从均匀分布，其密度函数为,求未知参数 的极大似然估计.,解:设 是取自总体的一组样本观测值,则似然函数为,最大似然估计值为,解:设 为样本 的一组观测值，,似然函数为,两边取对数得,因为L 是 的可导函数，可以用导数求极值的方法,求关于 的偏导数，并使其等于0，于是得方程：,解这一方程得,从而推出 的极大似然估计量为,解：正态分布的似然函数为,两边取对数得,分别求关于 和 的偏导数，得似然方程组,解这方程组得,3.2 估计量的评选标准,3.21 无偏性,定义3.1,设 为参数 的估计量，若,则称 为参数 的无偏估计量，,否则称 为,的有偏估计量.,3.2.2 有效性,设 与 为参数 的无偏估计量，若,定义3.2,3.2.3 相合性（略）,3.2 区间估计,点估计可以给出未知参数 的一个估计，,但是，,点估计的效果如何？,估计值和未知参数的真值的偏,差是多少？,估计量和未知参数的真值的偏差有多大,的把握？,这些问题点估计都不能回答.,为了搞清点估计的效果，我们必须搞清估计值,和未知参数的真值的偏差，,就是给出伴有把握性的,一个偏差范围，即给出一个未知参数的置信区间.,因估计量和未知参数的真值的偏差伴有不确定,性，所以还要搞清偏差的可能性的大小.,定义3.4,设 为总体X 分布的未知参数，取自总,体的样本为,对于事先给定的,存在两个统计量,满足,和,则称区间 为参数 的置信度为 的置信区间，,分别称为置信度 的置信下限和置信上限.,置信区间 是一个随机区间,个端点是不依赖未知参数 的随机变量,注1:,并且它的两,在重复取样下，将得到许多不同的区间,这些区间中大约有100 ,的区间包含未知参数. 但,绝不能说不等式,(3-4),(3-4)的意义是,成立的概率为,因为,是两个,确定的数，从而只有两种可能：,区间,要么包含,要么不包含,注2:,置信区间,计.,也是对未知参数 的一种估,若在包含 的区间 中任取一点作为的估计值，,其绝对误差不会超过区间 的长度，,所以区间,的长度刻画出了未知参数的估计精度.,注3:,置信度与估计精度是一对矛盾.,一般地，对,于给定的样本容量n，置信度 越大，,即置信区间,包含 的真值的概率越大，,置信区间 的长度,就越大，,从而对未知参数 的估计精度就越低.,反之-,一般准则：,在保证置信度的条件下，尽可能使置,信区间短.,例3.10 设总体 为已知， 为未知，,是取自总体X 的样本，求 的置信水平,为 的置信区间.,由于子样均值 是总体均值 的无偏估计，,解:,由此构造一个子样函数,使得,对于给定的置信度 可以查表得出,U 含有求置信区间的未知参数,但 N(0, 1)不含有其,它未知参数，,相应的分位点,(3-5),即,(3-6),这样，我们得到 的置信度为 的置信区间为,(3-7),这样的置信区间常写成 ：,查正态N(0, 1)表得,如果取,于是得到一个置信水平为0.95的置信,区间.,即,再将样本均值的观测值代入,即得一个确定,的区间.,显然，对于,有多个确定的区间.,注意： 的置信度为 的置信区间不唯一.,细节请看课本 43页（3-10）.,但是，以上方法得到的置信区间最短.,三个步骤得到：,寻求未知参数 的置信区间的一般可通过下列,(1) 寻找子样 的一个函数,含有所要求置信区间的未知参数 而不含其它未知参,数, 且其分布也不含任何未知参数(当然也不包括待估,估参数 ).,点估计经过变换获得，称此函数为枢轴量.,在不少场合, 这个函数可以从未知参数的,(2) 对于给定的置信度 有等式,(3) 解不等式,由W 的分布及概率,查表确定,得：,则,就是所求的置信区间.,3.3.2 正态总体参数的区间估计,设 为取自总体 的样本