第1讲经典多元线性回归

第 1讲 经典多元线性回归分析 School of Management, 2006计计 量量 经经 济济 学学Econometrics李平2006年 1月第 1讲 经典多元线性回归分析 School of Management, 2006主要内容v回归分析的基本概念v普通最小二乘估计（ OLS）v假设检验（ t检验和 F检验）v拟合优度（ R2）v预测v多元线性回归模型的拓展v案例分析v建模过程中应注意的问题第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念v回归（ Regression）是计量经济学的主要工具v回归的现代释义：回归分析是关于研究一个叫做因变量的变量（ Y） 对另一个或多个叫做自变量的变量（ X） 的依赖关系 ;其用意在于通过自变量在重复抽样中的已知或设定值，去估计或预测因变量的总体均值。第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念v一个自变量的例子：收入消费问题XY周家庭收入 X80 100 120 140 160 180 周家庭消费 支出 Y55 65 79 80 102 110 60 70 84 93 107 115 70 80 94 103 116 130 共 计 325 462 445 707 678 750 条件均 值E(Y|X) 65 77 89 101 113 125 尽管每个收入组中的周消费支出可以变化，甚至低收入组的个别家庭的消费支出高于高收入组中的个别家庭，但从平均来讲，周消费支出随收入的上升而增加。第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念v总体回归曲线就是自变量取给定值时因变量的条件期望值的轨迹 （ PRL） ， 也即是 Y对 X的回归。总体回归曲线第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念v总体回归函数的概念被称为条件期望函数或总体回归函数（ PRF）， 它刻画了 Y的均值是怎样随 X而变化的。若 PRF的函数形式为线性，则 为未知的但固定的参数，称为回归系数，分别为截距和斜率系数。第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念v注意：线性回归是指对参数 为线性的一种回归（即参数只以 一 次方出现），对自变量 X则可以是或不是线性的。因此， 是非线性回归模型，而 则仍属于线性回归模型。第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念v总体回归函数的随机设定随着家庭收入的增加，家庭消费支出平均地说也增加，但对某一个别家庭来说，不一定存在这种关系，如存在低收入组的个别家庭的消费支出高于高收入组中的个别家庭的情况。第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念v总体回归函数的随机设定给定收入水平 的个别家庭的消费支出 聚集在收入为 的所有家庭的平均消费支出周围，其离差定义为：其中离差 是一个不可观测的可正可负的随机变量，称为随机干扰或随机误差项。第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念随机干扰项的性质说明对收入水平为 的个别家庭而言，其它变量对其消费支出的总体影响的期望值为 0。第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念v样本回归函数的概念实际情况中，通常仅能采集到对应于某些固定 X的 Y值的一个样本（而非总体），因此要在样本信息的基础上估计总体回归函数 PRF。但是从总体中可抽取 N个不同的随机样本，会得到 N个不同的样本回归线。第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念v样本回归函数的概念同样，从总体中可抽取 N个不同的随机样本，会得到 N个不同的样本回归函数 SRF：其中 分别是 的估计量， 表样本残差项，即用样本信息不能解释总体的部分。第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念由于抽样的波动，根据 SRF估计出来的 PRF充其量只是真实 PRF的一个近似的结果。问题是，能否设计一种规则或方法，使得这种近似结果的误差尽可能小？即怎样构造的 SRF能使 尽可能接近真实的 ？尽管真实的 永远不得而知，但不可思议的是在一系列假设条件下可以通过残差来实现上述目的。第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念v多个自变量的回归模型假定多元线性回归模型那么对被解释变量 Y与解释变量 X2， X3， ， Xk作了n次观测后，讲所得的 n组样本代入上式有 第 1讲 经典多元线性回归分析 School of Management, 2006回归分析的基本概念以矩阵形式表示，有nk第 1讲 经典多元线性回归分析 School of Management, 2006普通最小二乘估计v多元线性回归模型假定 1： 假定 1是很自然的，因为 通常被看作是许多个别影响的总和，而这些影响的符号都是未知的，所以毫无理由来期望其它的均值。换句话说，如果我们没有理由设定干扰项的均值是非零的什么数，我们将把它构造在回归的系统的部分，而在干扰项中只留下 的未知部分。 第 1讲 经典多元线性回归分析 School of Management, 2006普通最小二乘估计v普通最小二乘估计法（ OLS）1、原理：残差平方和最小 若矩阵 的逆存在，则上述方程有解（设为 b） 假定 2： 数据矩阵 X列满秩，即矩阵 的逆存在。 列满秩的隐含意思是各个回归量之间相互独立。 对 求导并令其等于 0可得 nn第 1讲 经典多元线性回归分析 School of Management, 2006普通最小二乘估计v普通最小二乘估计法（ OLS）2、估计方法优劣的评判无偏性：估计值的均值等于真实值 估计值的均值为若无偏，则有 假定 3： 因在假定 1之下有 若有 则有 有效性：最小方差 假定 4： 可以证明这就是最小方差。 高斯 马尔可夫定理： 若前述假定条件成立， OLS估计量是 最佳线性无偏估计量 。 一致性：在 有限样本情形中，经典回归模型假定数据 X是固定变量，否则最小二乘估计量可能是有偏的。但在大样本情况下，即便 X是随机的，只要 X满足一些条件，最小二乘估计量将依概率收敛于真实值。1. X的每一列 xk不退化。2. 随着样本量的增加，个体观测值变得不重要。3. X列满秩。第 1讲 经典多元线性回归分析 School of Management, 2006普通最小二乘估计v普通最小二乘估计法（ OLS）3最小二乘估计系数的特征 若一个多元回归中的变量是无关的，则多元回归的斜率与在多个简单回归中的斜率相同。 回归超平面通过数据的均值点，回归拟合值的均值等于实际值的均值。 M： 用它乘以任一向量 y， 都将产生 y对 x回归的残差向量。 注意两个特殊矩阵 M和 P P（ 射影矩阵，投影矩阵）：用它乘以任一向量 y，都将产生 y对 x回归的最小二乘拟合值。 令拟合值 ，则有 偏回归系数其中 ， 。 解释： 是 X2对 X1进行回归后的残差变量， 是 y对 X1进行回归后的残差变量。 这个过程排除了或筛掉了的影响，所以叫偏回归系数。 偏回归系数的解释： 当其它变量相同时，特定变量对解释变量的边际影响（贡献）。 推论： 在时间序列环境中，首先通过筛掉时间的影响而消除数据趋势，然后用消除趋势后的数据进行简单回归与直接带有一个时间趋势变量拟合所得的结果是一样的，所以即便有时模型的主要目的是考察两个变量之间的关系，但仍然要考虑加入其它变量（控制变量）进行多元回归。 第 1讲 经典多元线性回归分析 School of Management, 2006一个例子：美国国防预算支出为