[理学]08第8章 相关与回归分析庞皓.ppt

41(1),第8章 相关与回归分析,1.相关与回归的基本概念 2.简单线性相关与回归分析 3.多元线性相关与回归分析 4.非线性相关与回归分析,41(2),学习目标,1. 变量间的相关关系与相关系数的计算 2. 总体回归函数与样本回归函数 3. 线性回归的基本假定 4. 简单线性回归参数的估计与检验 5. 多元线性回归参数的估计与检验 6. 多个变量的线性相关关系：复相关系数和偏相 关系数 7. 常用的可以转换为线性回归的非线性函数 8. 非线性相关指数,41(3),实例1:中国妇女生育水平的决定因素是什么?,妇女生育水平除了受计划生育政策影响以外，还可能与社会、经济、文化等多种因素有关。 影响中国妇女生育率变动的因素有哪些？ 各种因素对生育率的作用方向和作用程度如何？ 哪些因素是影响妇女生育率主要的决定性因素？ 如何评价计划生育政策在生育水平变动中的作用？ 计划生育政策与经济因素比较,什么是影响生育率 的决定因素？ 如果某些地区的计划生育政策及社会、经济、文化等因素发生重大变化，预期对这些地区的妇女生育水平会产生怎样的影响？,41(4),据世界卫生组织统计，全球肥胖症患者达3亿人，其中儿童占2200万人，11亿人体重过重。肥胖症和体重超常早已不是发达国家的“专利”，已遍及五大洲。目前，全球因”吃”致病乃至死亡的人数已高于因饥饿死亡的人数。 (引自光明日报刘军/文） 问题: 肥胖症和体重超常与死亡人数真有显著的数量 关系吗? 这些类型的问题可以运用相关分析与回归分析的方法去解决。,实例2:全球吃死的人比饿死的人多?,41(5),8.1 相关与回归的基本概念,一、变量间的相互关系 二、相关关系的类型 三、相关分析与回归分析,41(6),一、变量间的相互关系,确定性的函数关系 Y=f (X) 不确定性的统计关系相关关系 Y=f（X）+ (为随机变量) 没有关系 变量间关系的图形描述： 坐标图(散点图),41(7),相关关系的类型, 从涉及的变量数量看 简单相关 多重相关（复相关） 从变量相关关系的表现形式看 线性相关散布图接近一条直线(左图) 非线性相关散布图接近一条曲线(右图),41(8), 从变量相关关系变化的方向看 正相关变量同方向变化 A 同增同减 (A) 负相关变量反方向变化 一增一减 (B) B 从变量相关的程度看 完全相关 (B) 不完全相关(A) C 不相关 (C),相关关系的类型,41(9),回归的含义,回归的古典意义：,高尔顿遗传学的回归概念,父母身高与子女身高的关系: 无论高个子或低个子的父母，其子女都有向人的平均身高回归的趋势,41(10),回归的现代意义,一个因变量对若干解释变量依存关系的研究 回归的目的（实质）：由固定的自变量去估计因变量的平均值,41(11),相关分析与回归分析的联系,共同的研究对象：都是对变量间相关关系的分析 只有当变量间存在相关关系时，用回归分析去寻求相关的具体数学形式才有实际意义 相关分析只表明变量间相关关系的性质和程度，要确定变量间相关的具体数学形式依赖于回归分析 相关分析中相关系数的确定建立在回归分析的基础上,41(12),8.2 简单线性相关与回归分析,一、简单线性相关系数及检验 二、总体回归函数与样本回归函数 三、回归系数的估计 四、简单线性回归模型的检验 五、简单线性回归模型预测,41(13),一、简单线性相关系数及检验,总体相关系数 对于所研究的总体，表示两个相互联系变量相关程度的总体相关系数为： 总体相关系数反映总体两个变量X和Y的线性相关程度。 特点：对于特定的总体来说，X和Y的数值是既定的 总体相关系数是客观存在的特定数值。,41(14),样本相关系数,通过X和Y的样本观测值去估计样本相关系数变量 X和Y的样本相关系数通常用 表示 特点：样本相关系数是根据从总体中抽取的随机样本的观测值计算出来的，是对总体相关系数的估计，它是个随机变量。,41(15),相关系数的特点：,相关系数的取值在-1与1之间 当r =0时，表明X与Y没有线性相关关系。 当0 |r| 1时，表明X与Y存在一定的线性相关关系: 若r 0，表明X与Y为正相关; 若r 0，表明X与Y为负相关。 当|r|1时，表明X与Y完全线性相关: 若r 1，称X与Y完全正相关； 若r1，称X与Y完全负相关,41(16),使用相关系数的注意事项,X和Y都是相互对称的随机变量，所以 相关系数只反映变量间的线性相关程度，不能说明非线性相关关系。 相关系数不能确定变量的因果关系，也不能说明相关关系具体接近于哪条直线。,41(17),相关系数的检验,为什么要检验？ 样本相关系数是随抽样而变动的随机变量,相关系数的统计显著性还有待检验。 检验的依据： 如果X和Y都服从正态分布，在总体相关系数 的假设下，与样本相关系数 r 有关的 t 统计量服从自由度为n-2的t 分布：,41(18),相关系数的检验方法,给定显著性水平， 查自由度为 n-2 的临界值t /2 若 | t | t /2 ，表明相关系数 r 在统计上是显著的，应否定 0而接受 0的假设； 反之，若| t | t /2 ，应接受 0的假设,41(19),二、总体回归函数与样本回归函数（基本概念）,Y 的条件分布: Y 在 X 取某固定值条件下的分布。 对于 X 的每一个取值，都有Y 的条件期望与之对应，在坐标图上 Y 的条件期望的点随X而变化的轨迹所形成的直线或曲线，称为回归线。 如果把Y的条件期望 E(Y|Xi) 表示为 X 的某种函数： E(Y|Xi) f(Xi), 这个函数称为回归函数。 如果其函数形式是只有一个自变量的线性函数,如 E(Y|Xi) Xi ,称为简单线性回归函数。,41(20),总体回归函数（PRF）,概念：将总体因变量Y的条件均值表现为自变量X的某种函数，这个函数称为总体回归函数（简记为PRF）。 表现形式： （1）条件均值表现形式 （2）个别值表现形式（随机设定形式）,41(21),样本回归函数（SRF）,概念： Y的样本观测值的条件均值随自变量X而变动的轨迹，称为样本回归线。 如果把因变量Y的样本条件均值表示为自变量X的某种函数，这个函数称为样本回归函数（简记为SRF）。 表现形式：线性样本回归函数可表示为 或者,41(22),样本回归函数与总体回归函数的关系 相互联系,样本回归函数的函数形式应与设定的总体回归函数的函数形式一致 。 和 是对总体回归函数参数的估计。 是对总体条件期望 的估计 残差 e 在概念上类似总体回归函数中的随机误差u。,回归分析的目的：用样本回归函数去估计总体回归函数。,41(23),样本回归函数与总体回归函数的关系 相互区别,总体回归函数虽然未知，但它是确定的；样本回归线随抽样波动而变化，可以有许多条。 样本回归线不是总体回归线，至多只是未知总体回归线的近似表现。 总体回归函数的参数虽未知，但是确定的常数；样本回归函数的参数可估计，但是随抽样而变化的随机变量。 总体回归函数中的ui是不可直接观测的；而样本回归函数中的ei是只要估计出样本回归的参数就可以计算的数值。,41(24),三、回归系数的估计,回归系数估计的思想： 为什么只能对未知参数作估计? 参数是未知的、不可直接观测的、不能精确计算的，能够得到的只是变量的样本观测值 结论:只能通过变量样本观测值选择适当方法去近似地估计回归系数。 前提: u是随机变量，其分布性质不确定，必须作某些假定，其估计才有良好性质，其检验才可进行 原则: 使参数估计值“尽可能地接近”总体参数真实值,41(25),简单线性回归的基本假定,假定1：零均值假定 假定2：同方差假定 假定3：无自相关假定 假定4：随机扰动 与自变量 不相关 假定5：正态性假定,41(26),回归系数的最小二乘估计,基本思想： 希望所估计的 偏离实际观测值 的残差 越小越好。可以取残差平方和 作为衡量 与 偏离程度的标准最小二乘准则 估计式：,41(27),最小二乘估计的性质 高斯马尔可夫定理,前提： 在基本假定满足时 最小二乘估计是因变量的线性函数 最小二乘估计是无偏估计，即 在所有的线性无偏估计中，回归系数的最小二乘估计的方差最小。 结论： 回归系数的最小二乘估计是最佳线性无偏估计,41(28),最小二乘估计的概率分布性质,和 都是服从正态分布的随机变量，其期望为 方差和标准误差为 结论：,41(29),2的无偏估计,为什么要估计2？ 确定所估计参数的方差需要 2 由于ui不能直接观测，2也是未知的，对 2的数值只能通过样本信息去估计。 怎样估计 2 ？ 可以证明 2的无偏估计为：,41(30),拟合优度的度量,基本思想：样本回归直线是对样本数据的一种拟合，不同估计方法可拟合出不同的回归线。样本回归拟合优度的度量建立在对因变量总离差平方和分解的基础上 总离差平方和 回归平方和 残差平方和 可决系数定义：,或,41(31),对可决系数的理解,41(32),可决系数的特点,可决系数是非负的统计量； 可决系数取值范围： ； 可决系数是样本观测值的函数，可决系数是随抽样而变动的随机变量； 在一元线性回归中，可决系数在数值上是简单线性相关系数的平方： ，,41(33),回归系数显著性的 t 检验,目的： 根据样本回归估计的结果对总体回归函数回归系数的有关假设进行检验，以检验总体回归系数是否等于某个特定的数值。 思想： 是未知的，而且不一定能获得大样本，这时可用 的无偏估计 代替 去估计参数的标准误差：,41(34),回归系数显著性的 t 检验(续),用估计的参数标准误差对估计的参数作标准化变换，所得的 t 统计量将不再服从正态分布，而是服从 t 分布：,可利用 t 分布作有关的假设检验。,41(35),回归系数显著性 t 检验的方法,(1) 提出假设 一般假设: 常用假设: (2) 计算统计量 (3) 给定显著性水平，确定临界值 (4)检验结果判断 若 ，则拒绝原假设，接受备择假设 若 ，则接受原假设, 拒绝备择假设,41(36),回归系数显著性的P值检验 P值的意义,P值的意义: 在既定原假设下计算回归系数的t统计量 t*，可求得 统计量大于 t*的概率* ： 这里的是t 统计量大于t*值的概率，是尚不能拒绝原假设 的最大显著水平，称为所估计的回归系数的P值。,41(37),回归系数显著性的P值检验 检验方法,回归系数显著性的P值检验方法: 将所取显著性水平与P值对比 所取的显著性水平（例如取0.05）若比P值更大，就可在显著性水平下拒绝 所取的若小于P值，就应在显著性水平下接受,41(38),五、简单线性回归模型预测,Y的平均值和个别值的点预测值 ：,Y的平均值置信度为1的预测区间：,Y的个别值置信度为1的预测区间：,41(39),因变量的区间预测的特点,（1）个别值的预测区间大于平均值的预测区间: Y平均值的预测值与真实平均值有误差，主要是受抽样波动影响；Y个别值的预测值与真实个别值的差异不仅受抽样波动影响，而且还受随机扰动项的影响 （2）对Yf 预测区间随Xf 变化而变化: 当 时， =0，此时预测区间最窄，Xf越是远离 ， 越大，预测区间越宽。,41(40),因变量的区间预测的特点(续),（3）预测区间与样本容量有关：样本容量n越大， 越大，预测误差的方差越小，预测区间也越窄。 （4）当样本容量趋于无穷大（即n）时, 不存在抽样误差，平均值预测误差趋于0，此时个别值的预测误差只决定于随机扰动的方差。,41(41),为了研究深圳市地方预算内财政收入与深圳国内生产总值的关系，得到以下数据。 要求：(1)绘制散点图，说明深圳市地方预算内财政收入与深圳国内生产总值的相关关系；(2)建立深圳市地方预算内财政收入与深圳国内生产总值的回归模型。(3)对估计的回归模型的斜率做出解释。,课堂练习,41(42),结束,41(43),8.3 多元线性相关与回归分析,一、多元线性回归模型及假定 二、多元线性回归模型的估计 三、多元线性回归模型的检验 四、多元线性回归模型的预测 五、复相关系数和偏相关系数,41(44),一、多元线性回归模型及假定,多元总体线性回归函数 一般形式 条件均值形式,多元线性样本回归函数： 一般形式 条件均值形式,41(45),多元线性回归模型的矩阵表示,多元总体线性回归模型的矩阵表示 Y=X+U 多元线性样本回归函数的矩阵表示,Y=X,+ e,偏回归系数：多元线性回归模型中，回归系数表示当控制 其它自变量不变的条件下，第j个自变量的单位变动对因变 量均值的影响，这样的回归系数称为偏回归系数。,41(46),二、多元线性回归模型的估计,多元回归模型的假定,相同的假定: 零均值、同方差、无自相关、 随机扰动项与自变量不相关、U正态性 增加的假定：各自变量之间不存在线性关系。 在此条件下，自变量观测值矩阵X列满秩,Rank( X ) = k,方阵,满秩,Rank(,)= k,意义： 可逆，,存在,41(47),多元回归参数的最小二乘估计,使残差平方和 达到最小，其充分必要条件,正规方程组,-,41(48),多元线性回归的最小二乘估计式,正规方程组可简记为矩阵形式,存在,参数向量的最小二乘估计为,参数最小二乘估计的性质,可以证明：多元线性回归的最小二乘估计也是最佳线性无偏估计。,41(49),随机误差项方差的估计,方差 未知，需要利用样本回归的残差平方和 去估计。,可以证明，,是随机扰动项方差,的无偏估计,41(50),三、多元线性回归模型的检验,拟合优度检验 多元线性回归离差平方和的分解式,变差,TSS = RSS + ESS (总离差平方和) (残差平方和) (回归平方和) 自由度 n-1 = n-k + k-1,多重可决系数：,41(51),修正的可决系数,为什么要修正？ 可决系数是自变量个数的不减函数，比较因变量相同而自变量个数不同的两个模型的拟合程度时，不能简单地对比多重可决系数。需要用自由度去修正多重可决系数中的残差平方和与回归平方和,相互关系：,41(52),回归参数的显著性检验 t 检验,在多元回归中可以证明,其中：,是矩阵,第j行第j列的元素。,因为,未知，故,也未知。现用,代替 对原假设 分别作t检验,，可构造统计量,：,41(53),回归方程的显著性检验 F 检验,目的: 检验多个变量联合对因变量是否有显著影响 方法: 在方差分析的基础上利用F检验进行 假定:,不全为零,方 差 分 析 表,41(54),F检验的方法,给定显著性水平，在F分布表中查出自由度为k-1和n-k 的临界值,F服从自由度为 k-1 和 n-k 的 F 分布。,F检验：在,成立的条件下，统计量,:,若 ，则拒绝 ， 说明回归方程中所有自变量联合起来对因变量有显著影响,若 ，则接受 ， 说明回归方程中所有自变量联合起来对因变量影响不显著,41(55),四、多元线性回归模型的预测,点预测值 预测的残差 可证明 用 代替 ，则 构造 t 统计量 给定显著性水平 ,可得临界值 置信度为 的预测区间为,-,41(56),五、复相关系数和偏相关系数,复相关系数： 度量一个变量与其他若干个变量联合线性联系程度 在数值上: 多重可决系数的平方根等于复相关系数 偏相关系数: 对于相互联系的多个变量，当控制其他变量保持不变的条件下，度量其中两个变量之间线性相关程度的指标称为偏相关系数。,41(57),偏相关系数与简单相关系数的内在联系,可以证明： （以三个变量为例）,41(58),8.4 非线性相关与回归分析,一、非线性回归的函数形式与估计方法,二、非线性相关指数,41(59),一、非线性回归的函数形式与估计方法,常用的可以转换为线性的非线性函数形式 幂函数 参数度量了变量Y对变量X的弹性，即X的单位百分比 变动引起Y变动的百分比 对数函数 参数说明当变量X每变动一个百分点，引起因变量Y 绝对量的变动量,41(60),非线性回归的函数形式（续）,指数函数 如 可转换为线性函数 双曲函数 多项式函数 注意：各种函数参数的经济意义不同 共同特点: 虽然对于变量而言都是非线性的，但对 于参数而言却是线性的，可以转换为线性回归去估计其参数。,41(61),二、非线性相关指数,非线性相关指数: 度量非线性相关程度 非线性相关指数就是非线性回