七章节岭回归

1、第七章第七章 岭回归岭回归 7.1岭回归估计的定义 7.2 岭回归估计的性质 7.3 岭迹分析7.4 岭参数k的选择7.5 用岭回归选择变量7.6 本章小结与评注7.1岭回归估计的定义岭回归估计的定义一、普通最小二乘估计带来的问题一、普通最小二乘估计带来的问题 当自变量间存在复共线性时，回归系数估计的方差就很大， 估计值就很不稳定，下面进一步用一个模拟的例子来说明这一点。例例7.17.1 假设已知x1，x2与y的关系服从线性回归模型y=10+2x1+3x2+7.1岭回归估计的定义岭回归估计的定义7.1岭回归估计的定义岭回归估计的定义7.1岭回归估计的定义岭回归估计的定义二、岭回归的定义二、岭回

2、归的定义 岭回归(ridge regression,简记为rr)提出的想法是很自然的。 当自变量间存在复共线性时，xx0，我们设想给xx加上一个正常数矩阵ki，（k0)，那么xx+ki接近奇异的程度就会比xx接近奇异的程度小得多。 考虑到变量的量纲问题，我们先对数据做标准化，为了记号方便，标准化后的设计阵仍然用x表示7.1岭回归估计的定义岭回归估计的定义我们称 y yx xi ix xx x-1)k(k)为的岭回归估计，其中k称为岭参数。 由于假设x已经标准化，所以xx就是自变量样本相关阵，（7.2）式计算的实际是标准化岭回归估计。 （7.2）式中因变量观测向量y可以经过标准化也可以未经标准化

3、。显然，岭回归做为的估计应比最小二乘估计稳定，当k=0时的岭回归估计就是普通的最小二乘估计。（7.2）7.1岭回归估计的定义岭回归估计的定义表表7.27.1岭回归估计的定义岭回归估计的定义7.2 岭回归估计的性质岭回归估计的性质 在本节岭回归估计的性质的讨论中，假定（7.2）式中因变量观测向量y未经标准化。 7.2 岭回归估计的性质岭回归估计的性质 7.2 岭回归估计的性质岭回归估计的性质 7.2 岭回归估计的性质岭回归估计的性质 7.3岭迹分析岭迹分析 7.3岭迹岭迹分析分析 7.4 岭参数岭参数k的选择的选择 一、岭迹法一、岭迹法 岭迹法选择k值的一般原则是： （1）各回归系数的岭估计基本

4、稳定；（2）用最小二乘估计时符号不合理的回归系数，其岭估计的符号变得合理；（3）回归系数没有不合乎经济意义的绝对值；（4）残差平方和增大不太多。 7.4 岭参数岭参数k的选择的选择 7.4 岭参数岭参数k的选择的选择 二、方差扩大因子法二、方差扩大因子法 7.4 岭参数岭参数k的选择的选择 三、由残差平方和来确定三、由残差平方和来确定k值值 岭估计在减小均方误差的同时增大了残差平方和，我们希望岭回归的残差平方和sse（k）的增加幅度控制在一定的限度以内，可以给定一个大于1的c值，要求：sse（k）csse （7.3）寻找使（7.3）式成立的最大的k值。在后边的例子中我们将会看到对该方法的应用。

5、7.5 用岭回归选择变量用岭回归选择变量岭回归选择变量的原则： （1）在岭回归中设计矩阵x已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小。可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量。 （2）随着k的增加，回归系数不稳定，震动趋于零的自变量也可以剔除。 （3）如果依照上述去掉变量的原则，有若干个回归系数不稳定，究竟去掉几个，去掉哪几个，这并无一般原则可循，这需根据去掉某个变量后重新进行岭回归分析的效果来确定。 7.5 用岭回归选择变量用岭回归选择变量例例7.2 空气污染问题。mcdonald和schwing在参考文献18中曾研究死亡率与空气污染、气候以及社会经济状况等因

6、素的关系。考虑了15个解释变量，收集了60组样本数据。x1average annual precipitation in inches 平均年降雨量x2average january temperature in degrees f 1月份平均气温x3same for july 7月份平均气温x4percent of 1960 smsa population aged 65 or older 年龄65岁以上的人口占总人口的百分比x5average household size 每家人口数x6median school years completed by those over 22 年龄在22

7、岁以上的人受教育年限的中位数7.5 用岭回归选择变量用岭回归选择变量x7percent of housing units which are sound & with all facilities 住房符合标准的家庭比例数x8population per sq. mile in urbanized areas, 1960 每平方公里人口数x9percent non-white population in urbanized areas, 1960 非白种人占总人口的比例x10percent employed in white collar occupations 白领阶层人口比例x11perc

8、ent of families with income $3000 收入在3000美元以下的家庭比例x12relative hydrocarbon pollution potential 碳氢化合物的相对污染势x13 same for nitric oxides 氮氧化合物的相对污染势x14same for sulphur dioxide 二氧化硫的相对污染势x15annual average % relative humidity at 1pm 年平均相对湿度ytotal age-adjusted mortality rate per 100,000 每十万人中的死亡人数7.5 用岭回归选择

9、变量用岭回归选择变量计算x xx x的15个特征为：4.5272，2.7547，2.0545，1.3487，1.22270.9605，0.6124, 0.4729，0.3708，0.21630.1665，0.1275，0.1142，0.0460，0.0049条件数 396.30918.9230049. 0/5275. 4/151k注：以上特征根是按照原文献的计算方式，自变量观测阵未包含代表常数项的第一列1，与用spss计算结果有所不同7.5 用岭回归选择变量用岭回归选择变量7.5 用岭回归选择变量用岭回归选择变量进行岭迹分析 把15个回归系数的岭迹画到图7.4中，我们可看到，当k=0.20时岭

10、迹大体上达到稳定。按照岭迹法，应取k=0.2。 若用方差扩大因子法，因k=0.18时，方差扩大因子接近于1，当k在0.020.08时，方差扩大因子小于10，故应建议在此范围选取k。 由此也看到不同的方法选取k值是不同的。 7.5 用岭回归选择变量用岭回归选择变量 在用岭回归进行变量选择时，因为从岭迹看到自变量x4,x7,x10,x11和x15有较稳定且绝对值比较小的岭回归系数，根据变量选择的第一条原则，这些自变量可以去掉。 又因为自变量x12和x13的岭回归系数很不稳定，且随着k的增加很快趋于零，根据上面的第二条原则这些自变量也应该去掉。 再根据第三条原则去掉变量x3和x5。 这个问题最后剩的

11、变量是x1，x2，x6，x8，x9，x14。7.5 用岭回归选择变量用岭回归选择变量 例例7.3gorman-torman例子(见参考文献2)。本例共有10个自变量，x已经中心化和标准化了，xx的特征根为： 3.692，1.542，1.293，1.046，0.972， 0.659，0.357，0.220，0.152，0.068 最后一个特征根10=0.068，较接近于零。 7.5 用岭回归选择变量用岭回归选择变量368. 7294.54068. 0/692. 3/101k 条件数k=7.36810。从条件数的角度看，似乎设计矩阵x没有复共线性。但下面的研究表明，作岭回归还是必要的。 关于条件数

12、，这里附带说明它的一个缺陷，就是当xx所有特征根都比较小时，虽然条件数不大，但多重共线性却存在。7.5 用岭回归选择变量用岭回归选择变量7.5 用岭回归选择变量用岭回归选择变量7.5 用岭回归选择变量用岭回归选择变量7.5 用岭回归选择变量用岭回归选择变量7.5 用岭回归选择变量用岭回归选择变量7.5 用岭回归选择变量用岭回归选择变量7.5 用岭回归选择变量用岭回归选择变量 例例7.4 用岭回归方法处理民航客运数据的多重共线性问题。spss软件的岭回归功能要用语法命令实现，菜单对话框中没有此功能。运行岭回归程序的步骤如下：7.5 用岭回归选择变量用岭回归选择变量1进入spss软件，录入变量数据

13、或调入已有的数据文件。2进入syntax语法窗口。方法是依次点选file-new-syntax。3录入如下的语法命令：include c:program filesspssridge regression.sps.ridgereg dep=y /enter x1 x2 x3 x4 x5 .4运行。依次点选主菜单的run-all.7.5 用岭回归用岭回归选择变量选择变量 k rsq x1 x2 x3 x4 x5.00000 .99823 2.447386 -2.48510 -.083140 .530538 .563537.05000 .99037 .223417 .179160 -.083524

14、 .370635 .250365.10000 .98873 .239543 .214116 -.073407 .324407 .227824.15000 .98729 .243335 .224695 -.065966 .303476 .218969.20000 .98571 .243539 .228490 -.059635 .290298 .213730.25000 .98393 .242291 .229504 -.054040 .280606 .209925.30000 .98195 .240355 .229147 -.049021 .272829 .206823.35000 .97978

15、.238068 .228038 -.044482 .266245 .204118.40000 .97743 .235599 .226490 -.040356 .260473 .201660.45000 .97493 .233041 .224676 -.036590 .255291 .199367.50000 .97228 .230447 .222700 -.033141 .250558 .197194.55000 .96949 .227850 .220626 -.029975 .246181 .195112.60000 .96659 .225269 .218497 -.027060 .2420

16、95 .193102.65000 .96359 .222719 .216340 -.024372 .238253 .1911517.5 用岭回归选择变量用岭回归选择变量ridge tracek1.00.75.50.250.00rr coefficients3.00002.00001.00000.0000-1.0000-2.0000-3.0000x5 with kx4 with kx3 with kx2 with kx1 with k图图7.6 (a)7.5 用岭回归选择变量用岭回归选择变量通过上面的分析，我们决定剔除x1，用y与其余4个自变量做岭回归。把岭参数步长改为0.02，范围减小到0.2

17、。这需要增加一句语法程序，点选主菜单的window-syntax editor返回语法窗口，语法命令如下：include c:program filesspssridge regression.sps. ridgereg dep=y /enter x2 x3 x4 x5 /start=0.0/stop=0.2/inc=0.02. 7.5 用岭回归选择变量用岭回归选择变量 k rsq x2 x3 x4 x5.00000 .99518 -.232694 -.134119 .787697 .516538.02000 .99273 .191301 -.104683 .518190 .333153.04

18、000 .99161 .260930 -.097765 .464546 .305788.06000 .99084 .287851 -.093137 .438607 .295463.08000 .99012 .301168 -.089162 .422128 .289970.10000 .98938 .308468 -.085489 .410136 .286374.12000 .98859 .312599 -.082010 .400676 .283666.14000 .98773 .314871 -.078687 .392810 .2814257.5 用岭回归选择变量用岭回归选择变量ridge tracek.20.15.10.050.00rr coefficients1.00000.0000-1.0000x5 wit