三章两变量线回归ppt课件

1、 第三章第三章 两变量线性回归两变量线性回归本章主要内容第一节 两变量线性回归模型第二节 参数估计第三节 最小二乘估计量的性质第四节 回归拟合度评价和决定系数第五节 统计推断第六节 预测引言引言 本章介绍两变量线性回归分析。两变量线性回归分析的对象是两变量单向因果关系，模型的核心是两变量线性函数，分析方法是回归分析。两变量线性回归分析是经典计量经济分析的基础，掌握两变量线性回归分析的原理和技术，对进一步学习多元回归和其他计量经济分析方法都有帮助。第一节第一节 两变量线性回归模型两变量线性回归模型一、模型的建立 二、模型的假设一、模型的建立一、模型的建立n变量和函数式n变量关系的随机性变量和函数

2、式n两变量线性因果关系：Y = + X n Y被解释变量n X解释变量 n 、待定参数 1、模型根据：（1研究问题的需要；（2经济理论和观点；（3利用经验和数据分布情况；（4非线性函数和线性变换。YaebX11YabX2、例子：（1上海经济消费函数研究 P66； （2科布道格拉斯生产函数 P68；例例3-1 上海经济的消费规律研究上海经济的消费规律研究年份可支配收入Y消费性支出CC年份可支配收入Y消费性支出C1981637585199230092509198265957619934277353019836866151994586846691984834726201971725868198510

3、7599220198159676319861293117020198439682019871437128220198773686619881723164820191093282481989197618122000117188868199021821936201912883933619912485216720191325010464例例3-1 上海经济的消费规律研究上海经济的消费规律研究变量关系的随机性变量关系的随机性1、在经济问题中精确的因果关系实际上不存在。 人类经济行为本身的随机性；两变量线性关系 通常只是抓了主要矛盾，而忽略的其他众多因素的影响。2、正确的计量经济模型应该是随机模型： Y

4、 = + X + ； 为随机扰动项。二、模型的假设二、模型的假设1、特定的方法适用的模型是有条件的，因此必须对模型先作设定。2、六条假设（1变量间存在随机函数关系Y= + X + ；（2误差项均值为0；（3误差序列同方差；（4误差序列不相关；（5X是确定性的，非随机变量；（6误差项服从正态分布。对假设的进一步分析1、前五条假设是古典线性回归模型的基本假定；2、假设2是反映线性回归模型本质的基本假设 ；3、假设3的意义是对应不同观测数据组误差项分布的发散趋势相同，或有相同形状的概率密度函数；4、假设4的意义是对应不同观测值的误差项之间没有相关性； 5、假设5和6都是为了回归分析和统计推断的方便而

5、要求的，人为性较大的假设 。 第二节第二节 参数估计参数估计n一、最小二乘估计n二、消费函数参数估计 一、最小二乘估计一、最小二乘估计n建立两变量线性回归模型后，根据样本数据估计模型的参数，是线性回归分析的核心步骤。 n对满足模型假设两变量线性回归模型的参数，最有效的估计方法是最小二乘法。 n最小二乘法是根据随机变量理论值和实际值的拟合程度估计参数的。n线性回归模型的理论值可以用样本回归直线上点的坐标表示，实际值就是样本观测数据，n因此线性回归模型理论值与实际值的拟合，就是样本回归直线对观测数据的拟合。 n若两变量线性回归模型为：n参数估计的思路就是找到能很好拟合样本数据的样本回归直线，近似模

6、型总体回归直线E(Y ) =+ X，从而得到和 的估计a和b。 XYn判断拟合程度最基本的标准是样本点与回归直线的偏差 ，称为“回归残差或“残差” 。n 越小回归直线离样本点越近，如果所有样本点的回归残差都较小，回归直线对样本趋势的拟合当然最好。 n一般采用残差平方和 = 作为判断回归直线对样本数据拟合程度的标准，残差平方和越小就认为拟合程度越好。 )(iiibXaYeieeii2iiibXaY2)( 核心：残差平方和 最小。eii222()00iiiiiVeYabXVaVb参数估计值参数估计值222()()()iiiiiiiiiiYYXXX YnXYbXXXnXaYbXn若两变量线性回归模型

7、无常数项，即模型为 ，这时只有一个需要估计的参数，上述最小二乘估计的方法仍然是一致的。 n最小二乘估计的残差平方和为 n 令该残差平方和对b的偏导数等于0，不难求得：n b = XYiiibXY2iiiiiXXY2二、消费函数参数估计二、消费函数参数估计 以例31建立的消费函数模型为例，具体说明如何用最小二乘法估计模型中的参数。例例3-3上海经济的消费规律研究上海经济的消费规律研究年份可支配收入Y消费性支出CC年份可支配收入Y消费性支出C1981637585199230092509198265957619934277353019836866151994586846691984834726201

8、9717258681985107599220198159676319861293117020198439682019871437128220198773686619881723164820191093282481989197618122000117188868199021821936201912883933619912485216720191325010464例例3-3 上海经济的消费规律研究上海经济的消费规律研究nEstimation Command:n=nLS Y C XnEstimation Equation:n=nY = C(1) + C(2)*XnSubstituted Coeffi

9、cients:n=nY = 237.5 + 0.75*X例例3-3 上海经济的消费规律研究上海经济的消费规律研究nDependent Variable: YnMethod: Least SquaresnDate: 10/04/04 Time: 20:14nSample: 1981 2019nIncluded observations: 18n-nVariable CoefficientStd. Error t-Statistic Prob. nC 237.5 35.50781 4.074556 0.0009nX 0.75 0.008022 98.45858 0.0000n-nR-squared

10、 0.998352 Mean dependent var 2807.444nAdjusted R-squared 0.998249 S.D. dependent var 2333.000nS.E. of regression 97.61747 Akaike info criterion 12.10443nSum squared resid 152466.7 Schwarz criterion12.20336nLog likelihood-106.9399 F-statistic9694.092nDurbin-Watson stat1.082919 Prob(F-statistic) 0.000

11、000第三节第三节 最小二乘估计量的性质最小二乘估计量的性质一、最小二乘估计的线性性二、最小二乘估计的均值和无偏性三、最小二乘估计的方差和最小方差性四、最小二乘估计的一致性一、最小二乘估计的线性性：一、最小二乘估计的线性性：n参数估计量可以表示为被解释变量观测值的线性组合。nb的线性性n n biiiiiXXXXYY2)()(iiiiiXXXXY2)()(iiiiiYXXXX2)(n若把每项因子 记为 ，就得到：n b = ，这表明b是随机变量Y 的线性组合。na 的线性性：n XXXXiii()2iiiiYiiYnXbYa1XiiiY()1nXYiiin令 = V ，得a =n这表明a同样是

12、随机变量Y 的线性组合。n线性性对于确定最小二乘估计量服从什么分布非常重要。由于解释变量X是确定性的，与最小二乘估计量的分布性质无关，因此最小二乘估计量可以表示为被解释变量观测值Y的线性组合，就与Y有相同类型的概率分布。 1nXiiV Yiiii和V 两个指标的性质 n 0， 1，n n 1， 0n iiiiiXX()iiiXiiiiXX22)(1ViiV Xiii二、最小二乘估计的均值和无二、最小二乘估计的均值和无偏性偏性n定义：参数估计量的均值就是真实值：nb的无偏性的证明( )()()()()( )00iiiiiiiiiiiiiiiiiiE bEXEEXEXE aEbEna的无偏性同理可

13、证。n意义：参数估计量是以参数真实值为分布中心的随机变量，反复抽样估计可得真实值。这是重要的分布性质，是推断分析的基础。n因为同时具有线性性和无偏性，因此最小二乘估计量是线性无偏估计量。 三、最小二乘估计的方差和最小方差性n在参数估计是无偏估计、线性无偏估计的基础上，方差较小的则意味着参数估计的精确程度较高，统计推断的效果也较好。nb的方差：na的方差： iibVar22)(1222iiXXXnaVarn在所有可能的线性无偏估计中，最小二乘估计a和b的方差最小。n这个性质称为最小方差性，也称为有效性。n最小二乘估计是参数真实值的最小方差线性无偏估计，也称为最优线性无偏估计或BLUE估计。 四、

14、最小二乘估计的一致性n定义：参数估计量的概率极限等于参数真实值。n意义：属于大样本性质。保证增加样本容量可以逼近参数真实值。n最小二乘估计在模型假设下是一致估计。第四节第四节 回归拟合度评价和决定系数回归拟合度评价和决定系数一、拟合度评价的意义二、离差分解和决定系数一、拟合度评价的意义一、拟合度评价的意义n评价回归分析、参数估计优劣的根本标准，是回归直线对样本数据的吻合程度，也称为“拟合度或“回归拟合度”。n回归拟合度是判断和检验参数估计方法的方法之一。 n回归拟合度也是检验模型变量关系真实性，判断模型假设是否成立的重要方法。 二、离差分解和决定系数二、离差分解和决定系数n残差平方和不适用作为

15、拟合度的评价指标。 n用Y 的离差被回归值或X 的离差决定的程度作为评价拟合度的标准。 n离差分解 SST = SSR + SSE （式33）。1、离差分解n总离差平方和 SST= n其中 称为“回归平方和”，记为SSR 。n残差平方和 记为SSE。 ()YYii2()YYii2eii2+ ()YYii2bXXii22()eii2n（3-3式表明被解释变量Y的离差平方和可以分解为两部分，一部分是回归平方和，另一部分则是残差平方和。 n前一部分SSR相对后一部分SSE越大，说明回归拟合程度越好，Y与X之间的线性决定关系越明显。 2、决定系数n为了突出这几部分之间的相对关系，将3-3式两边同除以S

16、ST 得到：n 1= +n 式中的 正是反映解释变量或回归直线对被解释变量决定程度的指标，称为“决定系数”，通常用R 表示。 SSRSSTSSESSTSSRSST2nR 的数值在0到1之间，是一个相对比重指标，可以避免样本数量和样本数值、单位的影响，因此在不同模型和不同样本的回归分析中具有可比性，是比残差平方和更合理的回归拟合度指标。 2第五节第五节 统计推断统计推断一、最小二乘估计的分布和标准化二、误差项方差的估计三、参数的置信区间和假设检验一、最小二乘估计的分布和标准化一、最小二乘估计的分布和标准化n线性回归模型的统计推断需要以参数估计量的概率分布为基础。 n根据对最小二乘估计量性质的分析

17、，已知最小二乘估计量服从以参数真实值为中心，以误差项方差的一个比例为方差的正态分布。iiXXNb22)(,iiXXXnNa222)(1,n参数最小二乘估计量的这种分布性质，使得参数估计量与真实值通过概率分布联系在一起，从而可以通过参数估计量的分布性质推断参数真实值的情况等 。n在利用正态分布随机变量进行统计推断分析之前，需要先把它们变换为服从标准正态分布的统计量。对于b可以通过下列变换转化为服从标准正态分布的随机变量iibXXbZ22)(二、误差项方差的估计二、误差项方差的估计标准状态分布中包含未知参数 ,必须先估计出来。 本身也是线性回归模型的重要组成部分，是反映这一部分情况的基本参数。 因

18、为 因而 是 的无偏估计。22iineE22)2(222neSii2n 称“残差的标准差”。n用 代 ，得到的统计量服从t分布，而不是正态分布。如：n 服从自由度为n-2的t分布。22S2SS iibXXSbt22)(三、参数的置信区间和假设检验三、参数的置信区间和假设检验n1、参数的置信区间n2、模型参数的显著性检验n3、其他假设检验1、参数的置信区间以参数 为例）n假设要求的置信度是95%，也就是显著性水平n根据t分布的意义，有：n整理该式得到：05. 0%951iiiibXXSbXXSbt2222)()(025. 02ttb025. 0tiiXXS22)(n这就是参数 的置信度为95%的

19、置信区间，或者说区间估计。n构造参数的置信区间是非常重要的。置信区间限定了参数估计量与参数真实值的偏差程度，使我们对变量关系的了解更加深入和明确，对经济规律的可靠程度和适用情况更有把握。区间估计常常比点估计更加重要。 2、模型参数的显著性检验n模型参数的显著性检验，即检验模型参数是否显著异于0，是其中基本的一种假设检验。 n两变量线性回归模型的基本出发点就是两个变量之间存在因果关系，认为解释变量是影响被解释变量变化的主要因素，而这种变量关系是否确实存在或者是否明显，会在参数中反映出来。 n检验的具体方法如下：作原假设n 备择假设n仍然选择95%置信度，那么95%的可能性 应该满足n 0:0H0

20、:1HbtiiiibXXSbXXSbt2222)()()2(025. 0ntn如果原假设 成立，也就是说可以认为 是等于0的，那么就意味着：n n 95%的可能性会成立。n如果结果该不等式不成立，应该拒绝接受原假设，认为参数是显著的，变量关系是存在的。如果该不等式不成立，就不能拒绝接受原假设，只能认为没有显著性，变量关系并不明显存在。 n 0HiiXXSb22)()2(025. 0nt第六节第六节 预测预测一、点预测二、点预测的性质三、区间预测一、点预测一、点预测n预测就是以估计出参数的线性回归模型为基础，对对应解释变量特定水平、未来值的被解释变量水平进行估计判断。 n检验模型时通常把观测数据分成两部分，一部分用来进行回归估计参数，一部分用来进行预测和评估模型的预测效果。 n点预测公式n预测残差误差）：n由于 未知，因此预测误差也未知。n *bXaY)(*bXaYYYe*Y二、点预测的性质1、线性性 是一个线性预