计量经济学基础 第3版 课件 第6章多元线性回归模型的估计

第6章

多元线性回归模型的估计第6章多元线性回归模型的估计了解多元线性回归模型的设定了解多元线性回归模型的矩阵表示理解多元线性回归偏回归系数的意义掌握多元线性回归直线的代数性质掌握估计多元线性回归模型的方法LEARNINGTARGET学习目标前面我们讨论了一元线性回归模型。在经济领域里，变量之间的关系是复杂的，往往一个变量会受到多个变量的影响。例如，在消费模型中，消费不仅受到收入的影响，还会受到物价的影响，这样我们就有必要考虑建立多元线性回归模型的问题。6.1多元线性回归模型的设定多元线性回归模型的设定有其广阔的经济背景，在很多情况下我们都需要设定多元线性回归模型。【例6-1】多元消费回归模型。消费不仅受到收入的影响，还会受到物价变动的影响，特别是在时间序列模型里。这样我们可以设定一个二元线性回归模型：其中--消费--收入--物价6.1多元线性回归模型的设定【6-2】影响经济增长的因素很多，主要的有消费、投资和净出口。以GDP作为一国经济状况的代表变量，则可以设定一个三元线性回归模型：其中--消费--投资--净出口一般的，多元线性回归模型的基本形式为：其中--回归系数（j=0，1，2，…，k）--随机扰动项6.1多元线性回归模型的设定随机扰动项的设定与一元线性模型时一样的，它代表了那些我们无法知道的因素、或者“周边变量”，它对被解释变量的影响是随机的，我们有足够的理由认为其均值为0。即：因此有：我们将式（6-3）称为总体多元线性回归模型，它是真实的统计模型；式（6-5）称为总体多元线性回归方程，它是真实的回归“直线”。6.1多元线性回归模型的设定和一元线性回归模型一样，总体是不能完全观测的，我们只能通过样本来对总体做推断。假如我们抽到一个样本，对应的有n个观测值，这样就得到了样本的回归模型和样本回归方程：其中--参数的估计值（j=0，1，2，…，k）

--残差项比较式（6-6）和式（6-7），容易得到：6.1多元线性回归模型的设定样本回归模型是估计的统计模型，样本回归方程是估计的回归“直线”

在总体多元线性回归模型中，诸（j=1，2，…，k）称为偏回归系数，其意义是在其他解释变量不变的条件下，某一个变动对平均变动的影响。例如，总体的二元线性回归模型为，其中，Y是消费，X1是收入，X2是物价。当物价保持不变，即X2保持不变，则X1变动一个单位，Y平均变动个单位；当收入保持不变，即X1保持不变，则X2变动一个单位，Y平均变动个单位。6.2多元线性回归模型的矩阵表示设多元线性回归模型如式（6-3），对应的方程为（6-5）。假设k个解释变量X有n次取值，于诸X对应的Y有一“簇”取值，这样得到这些变量的n组观测值，则有：………于是，这个方程组可以用矩阵表示为：6.2多元线性回归模型的矩阵表示其中称Y是被解释变量Y的数据矩阵，X是解释变量X的数据矩阵，是偏回归系数矩阵，u是随机扰动项数据矩阵。这样，总体多元线性回归模型和方程可以写成矩阵形式：同样，我们将样本多元线性回归模型和方程可以写成矩阵形式：6.2多元线性回归模型的矩阵表示其中Y是被解释变量Y的样本数据矩阵，是被解释变量估计值的样本数据矩阵，X是解释变量X的样本数据矩阵，是偏回归系数估计值矩阵，e是残差项数据矩阵。从上面的分析可以看出，多元线性回归模型用矩阵表示后，在形式上与一元线性回归模型是一样的。如果我们运用矩阵的运算法则，可以预期能够得到与一元线性回归相似的结果，6.3多元线性回归模型的估计多元线性回归模型的估计同样运用最小二乘法，在原理上是一样的，但要比一元线性回归模型不同的是计算过程要复杂一些。下面以二元线性回归模型为例来说明多元线性回归模型估计方法。设样本的二元线性回归模型为：样本的二元线性回归方程为：则有：要使估计的误差为最小，则要满足即6.3多元线性回归模型的估计上式能否取得最小值取决于诸，所以式（6-18）是关于的三元函数，而这个三元函数取得最小值的必要条件是其偏导数为0，即：6.3多元线性回归模型的估计将式（6-19）、（6-20）、（6-21）整理得：式（6-25）、（6-26）、（6-27）称为正规方程，由其组成的方程组称为正规方程组。这个正规方程组是一个三元一次方程组，可从中解出诸：上述三式也可以写为：注意6.3多元线性回归模型的估计式中--的平均值--

的离差从上面各式中可以看出，二元线性回归模型的最小二乘估计结果是一元线性回归模型的最小二乘估计结果自然推广；并且在表现形式上是对称的，即将其表达式中的互换位置就可得到另一个估计值。6.3多元线性回归模型的估计二元线性回归模型的最小二乘估计结果要比一元线性回归模型的最小二乘估计结果复杂的多，可以推测，更多元的线性回归模型的最小二乘估计结果要更复杂。为了较便捷的表示和得到多元线性回归模型的最小二乘估计的结果，我们可以用矩阵来表示多元线性回归模型，从而得到其最小二乘估计的结果。。我们还可以用矩阵得到最小二乘法的估计结果。注意到式（6-19）、（6-20）、（6-21）是二元线性回归模型的偏导数，一般的，k元线性回归模型的偏导数可以表示为：6.3多元线性回归模型的估计在样本回归方程两边同乘以X的转置矩阵得到正规方程组：由于模型中无多重共线性，则矩阵X满秩，故存在，从式（6-34）中可解出：用矩阵表示多元线性回归模型会使其表达式变得简洁，还可以引入矩阵的运算使计算过程简化。但一般情况下，我们是用矩阵来表示或推导一些性质，最小二乘法的估计结果用Eviews得到。6.3多元线性回归模型的估计【例6-3】居民的消费支出除了受到收入的影响外，还会受到物价的影响。以全国居民2000-2020年的全国居民人均消费支出（元）、全国居民人均可支配收入（元）、居民消费价格指数（1978=100）为变量设定二元线性回归模型（数据见教学资源data6-3，数据来源：中国统计年鉴2021）,运用Eviews对模型进行估计。解：打开Eviews录入数据，并对变量命名：其中Y—居民消费水平、X1—职工平均工资X2—定基价格指数在命令栏中输入命令：lsycx1x2回车后即得到估计的结果：6.3多元线性回归模型的估计DependentVariable:Y

Method:LeastSquares

Date:04/29/22Time:08:12

Sample:20002020

Includedobservations:21

VariableCoefficientStd.Errort-StatisticProb.

C-4844.1781908.169-2.5386520.0206X10.5522160.04207413.125010.0000X213.527384.6244402.9251920.0090

R-squared0.998085Meandependentvar10704.80AdjustedR-squared0.997872S.D.dependentvar6347.613S.E.ofregression292.8291Akaikeinfocriterion14.32862Sumsquaredresid1543479.Schwarzcriterion14.47784Loglikelihood-147.4505Hannan-Quinncriter.14.36100F-statistic4689.861Durbin-Watsonstat1.438891Prob(F-statistic)0.000000

6.3多元线性回归模型的估计这个回归结果说明，在居民消费者价格指数保持不变的条件下，人均可支配收入平均增加1元，消费水平增加约0.552216元；在人均可支配收入不变的条件下，居民消费价格指数每增加一个百分点，人均消费平均会增加约13.52738元。6.4多元线性模型最小二乘估计量的代数性质与一元线性OLS回归一样，多元线性OLS回归也具有相同的性质。1.多元线性回归OLS回归直线的代数性质我们运用最小二乘法得到了多元线性回归模型的样本方程，由这个方程决定的直线具有与一元线性回归直线相同的性质，下面我们以二元线性回归直线进行说明：（1）各变量的均值在回归直线上由式（6-28）即得：6.4多元线性模型最小二乘估计量的代数性质(2)Y估计值的均值等于Y的实际值的均值即：。由于，将式（6-24）代入得：对上式两边求和再平均，注意到，故（3）残差的均值为0即，由式（6-22）即得6.4多元线性模型最小二乘估计量的代数性质（4）残差与解释变量不相关

即、，由式（6-23）、（6-24）可得。（5）残差与Y的估计值不相关即：。由于

，则有：再由性质（3）、（4）可得。6.4多元线性模型最小二乘估计量的代数性质这些结果很容易推广到一般的多元线性OLS回归直线的情形。利用这些结果，我们可以得到多元线性回归模型和方程的离差形式。式中--的离差（j=1，2，…，k）6.4多元线性模型最小二乘估计量的代数性质２.多元线性回归方程拟合优度的度量与一元线性回归一样，我们可以得到其总变差的分解结果：TSS＝ESS+RSS式中我们定义为多元线性回归方程的可决系数，其含义是由回归方程（诸X）对Y所做出解释的程度。显然，的值越接近1，表明回归方程解释的程度越高。但是，在多元的情况下，可决系数的取值会随着解释变量X个数的增加而增加，如果我们在模型中加入无关的解释变量就会增加的值，这样就不能很好的说明拟合的程度了。6.4多元线性模型最小二乘估计量的代数性质下面我们来说明的值是怎样随着解释变量X个数的增加而增加的。由于而。由式（6-34）、（6-35）、（6-36）得：所以6.4多元线性模型最小二乘估计量的代数性质于是有：所以:上式中的分母项总大于0，一般情况下分子项则会随着项数的增加而增加。这是因为分子中每项的是Y与X的偏回归系数，如果Y与X正相关，则，如果Y与X负相关，则，而于对应的和式是Y与X的相关系数的分子项，其符号与相同。故，只有当时才有。所以式（6-38）中的分子项一般情况下会随着项数的增加而增加，也就是说会随着解释变量个数的增加而增加。6.4多元线性模型最小二乘估计量的代数性质由于多元线性回归方程的可决系数有这样的性质，所以不能非常好的描述拟合的程度。这样，我们就需要对其进行必要的调整，方法是剔除多个解释变量对可决系数的影响，在其计算式中除以各自的自由度。调整后的可决系数记为在多元的条件下，我们一般会用调整后的可决系数判断拟合的程度。在Eviews回归结果中会自动计算出调整后的可决系数，例如在【例6-3】的回归结果中，AdjustedR-squared即为调整后的可决系数，其结果为，从数值上看，调整后的判定系数要比没有经过调整的判定系数要小。6.5案例分析【例6-4】投资、消费、净出口是影响经济发展的基本因素。为了测算三种基本因素对经济发展的影响，选取中国1990-2020年GDP（亿元）、全体居民消费水平（元）、全社会固定资产投资额（亿元）、净出口额（亿元）的数据（数据见教学资源data6-4，数据来源：中国统计年鉴2021），建立多元线性回归模型，测试这些因素对GDP影响的程度。解：设Y—GDP，X1—固定资产投资，X2—居民消费水平，X3—净出口。多元线性回归估计结果如下：6.5案例分析DependentVariable:Y

Method:LeastSquares

Date:04/29/22Time:08:12

Sample:19902020

Includedobservations:31

VariableCoefficientStd.Errort-StatisticProb.

C-15778.323868.228-4.0789520.0004X126.113411.88307913.867400.0000X20.3603260.0930213.8735990.0006X30.3184220.0498786.3839960.0000

R-squared0.999288Meandependentvar334902.7AdjustedR-squared0.999209S.D.dependent