第6章-多项式回归

MACHINELEARNING机器学习第6章多项式回归6.1多项式回归介绍6.2过拟合和欠拟合6.3训练数据集与测试数据6.4模型正则化-Regularization第6章多项式回归下面的数据，虽然我们可以使用线性回归来拟合这些数据，但是这些数据更像是一条二次曲线，相应的方程是y=ax2+bx+c：如果将x2理解为一个特征，将x理解为另外一个特征，本来我们的样本只有一个特征x，现在我们把他看成有两个特征的一个数据集。我们为样本多添加了一些特征，这些特征是原来样本的多项式项，增加了这些特征之后，我们可以使用线性回归的思路更好的拟合数据，这就是所谓的多项式回归。6.1多项式回归介绍第6章多项式回归我们用一跟直线来拟合一根有弧度的曲线，效果不好。解决方案：原来所有的数据都在X中，现在对X中每一个数据都进行平方，再将得到的数据集与原数据集进行拼接，在用新的数据集进行线性回归。当我们添加了一个特征（原来特征的平方）之后，再从x的维度来看，就形成了一条曲线，显然这个曲线对原来数据集的拟合程度是更好的6.1多项式回归介绍第6章多项式回归多项式线性回归在机器学习算法上并没有新的地方，完全是使用线性回归的思路。他的关键在于为原来的样本，添加新的特征。而我们得到新的特征的方式是原有特征的多项式的组合。采用这样的方式，我们就可以解决一些非线性的问题。PCA是对数据进行降维处理，而多项式回归是对数据升维，在升维之后算法可以更好的拟合高纬度的数据。6.1多项式回归介绍第6章多项式回归两项均方误差：1.0987392142417856十项均方误差：1.0508466763764164百项均方误差：0.687435778343369446.2过拟合和欠拟合拟合评价指标：均方误差第6章多项式回归总有一条曲线，他能拟合所有的样本点，使得均方误差的值为0。degree从2到10到100的过程中，虽然均方误差是越来越小的，从均方误差的角度来看是更加小的。但是他真的能更好的预测我们数据的走势吗，例如我们选择2.5到3的一个x，使用上图预测出来的y的大小（0或者-1之间）显然不符合我们的数据。我们使用了一个非常高的维度拟合样本数据，虽然误差更小，但是得到的曲线完全不是我们想要的样子。曲线为了拟合所有的样本点，变的太过复杂了，这种情况就是过拟合【over-fitting】。我们直接使用一根直线来拟合我们的数据，也没有很好的拟合我们的样本特征，太过简单了，这种情况，我们成为欠拟合-【under-fitting】。对于上面特征数据，低于2项就是欠拟合；高于2项就是过拟合。6.2过拟合和欠拟合过拟合与欠拟合第6章多项式回归过拟合结果，可以得知，虽然训练出的曲线将原来的样本点拟合的非常好，总体的误差非常的小，但是一旦来了新的样本点，他就不能很好的预测了，在这种情况下，我们就称我们得到的这条弯弯曲曲的曲线的泛化能力（由此及彼的能力）非常弱。6.3训练数据集与测试数据集模型的泛化能力第6章多项式回归训练的模型目的是为了使得预测的数据能够尽肯能的准确。在这种情况下，我们观察训练数据集的拟合程度是没有意义的，我们真正需要的是，模型的泛化能力更高。解决这个问题的方法也就是使用训练数据集和测试数据集。6.3训练数据集与测试数据集训练数据集和测试数据集的意义第6章多项式回归测试数据对于我们的模型是全新的数据，如果使用训练数据获得的模型面对测试数据也能获得很好的结果，那么我们就说我们的模型泛化能力是很强的。如果我们的模型面对测试数据结果很差的话，那么他的泛化能力就很弱。对于多项式模型来说，我们回归的阶数越高，我们的模型会越复杂，在这种情况下对于我们的机器学习算法来说，通常是有下面一张图的。横轴是模型复杂度（对于不同的算法来说，代表的是不同的意思，比如对于多项式回归来说，是阶数越高，越复杂；对于KNN来说，是K越小，模型越复杂，k越大，模型最简单，当k=n的时候，模型就简化成了看整个样本里，哪种样本最多，当k=1来说，对于每一个点，都要找到离他最近的那个点），另一个维度是模型准确率（也就是他能够多好的预测我们的曲线）6.3训练数据集与测试数据集训练数据集和测试数据集的意义第6章多项式回归6.3训练数据集与测试数据集训练数据集和测试数据集的意义第6章多项式回归通常对于这样一个图，会有两根曲线：一个是对于训练数据集来说的，模型越复杂，模型准确率越高，因为模型越复杂，对训练数据集的拟合就越好，相应的模型准确率就越高对于测试数据集来说，在模型很简单的时候，模型的准确率也比较低，随着模型逐渐变复杂，对测试数据集的准确率在逐渐的提升，提升到一定程度后，如果模型继续变复杂，那么我们的模型准确率将会进行下降（欠拟合->正合适->过拟合）欠拟合：算法所训练的模型不能完整表述数据关系。过拟合：算法所训练的模型过多的表达了数据间的噪音关系。6.3训练数据集与测试数据集训练数据集和测试数据集的意义第6章多项式回归随着训练样本的逐渐增多，算法训练出的模型的表现能力下图观察线性回归的学习曲线：观察线性回归模型，随着训练数据集增加，性能的变化横轴代表用于训练的数据，纵轴表示误差6.3训练数据集与测试数据集学习曲线第6章多项式回归从趋势上看：在训练数据集上，误差是逐渐升高的。这是因为我们的训练数据越来越多，我们的数据点越难得到全部的累积，不过整体而言，在刚开始的时候误差变化的比较快，后来就几乎不变了。在测试数据集上，在使用非常少的样本进行训练的时候，刚开始我们的测试误差非常的大，当训练样本大到一定程度以后，我们的测试误差就会逐渐减小，减小到一定程度后，也不会小太多，达到一种相对稳定的情况。在最终，测试误差和训练误差趋于相等，不过测试误差还是高于训练误差一些，这是因为，训练数据在数据非常多的情况下，可以将数据拟合的比较好，误差小一些，但是泛化到测试数据集的时候，还是有可能多一些误差。6.3训练数据集与测试数据集学习曲线第6章多项式回归线性回归、2阶多项式、20阶多项式学习曲线比较2阶多项式和线性回归的学习曲线是类似的，不同在于线性回归的学习曲线误差在1.5至1.8左右；2阶多项式回归学习曲线误差稳定在了1.0，0.9左右；2阶多项式稳定的误差比较低，说明使用二阶线性回归的性能是比较好的。20阶多项式在数据量偏多的时候，训练数据集拟合的是比较好的，但是测试数据集的误差增大了很多。这就是过拟合的结果，他的泛化能力是不够的。6.3训练数据集与测试数据集学习曲线第6章多项式回归对于欠拟合比最佳的情况趋于稳定的那个位置要高一些，说明无论对于训练数据集还是测试数据集来说，误差都比较大。这是因为我们本身模型选的就不对，所以即使在训练数据集上，他的误差也是大的，所以才会呈现出这样的一种形态。6.3训练数据集与测试数据集过拟合与欠拟合总结第6章多项式回归对于过拟合的情况，在训练数据集上，他的误差不大，和最佳的情况是差不多的，甚至在极端情况，如果degree取更高的话，那么训练数据集的误差会更低，但是问题在于，测试数据集的误差相对是比较大的，并且训练数据集的误差和测试数据集的误差相差比较大（表现在图上相差比较远），这就说明了此时我们的模型的泛化能力不够好，他的泛化能力是不够的6.3训练数据集与测试数据集过拟合与欠拟合总结第6章多项式回归使用分割训练数据集和测试数据集来判断我们的机器学习模型性能的好坏，虽然是一个非常好的方案，但是会产生一个问题：针对特定测试数据集过拟合。我们每次使用测试数据来分析性能的好坏。一旦发现结果不好，我们就换一个参数（可能是degree也可能是其他超参数）重新进行训练。这种情况下，我们的模型在一定程度上围绕着测试数据集打转。也就是说我们在寻找一组参数，使得这组参数训练出来的模型在测试结果集上表现的最好。但是由于这组测试数据集是已知的，我们相当于在针对这组测试数据集进行调参，那么他也有可能产生过拟合的情况，也就是我们得到的模型针对测试数据集过拟合了6.3训练数据集与测试数据集验证数据集与交叉验证第6章多项式回归那么怎么解决这个问题呢？解决的方式其实就是：我们需要将我们的问题分为三部分，这三部分分别是训练数据集，验证数据集，测试数据集。我们使用训练数据集训练好模型之后，将验证数据集送给这个模型，看看这个训练数据集训练的效果是怎么样的，如果效果不好的话，我们重新换参数，重新训练模型。直到我们的模型针对验证数据来说已经达到最优了。这样我们的模型达到最优以后，再将测试数据集送给模型，这样才能作为衡量模型最终的性能。换句话说，我们的测试数据集是不参与模型的创建的，而其他两个数据集都参与了训练。但是我们的测试数据集对于模型是完全不可知的，相当于我们在使用这个模型完全不知道的数据。6.3训练数据集与测试数据集验证数据集与交叉验证第6章多项式回归6.3训练数据集与测试数据集验证数据集与交叉验证这种方法还会有一个问题。由于我们的模型可能会针对验证数据集过拟合，而我们只有一份验证数据集，一旦我们的数据集里有比较极端的情况，那么模型的性能就会下降很多，那么为了解决这个问题，就有了交叉验证。第6章多项式回归交叉验证相对来说是比较正规的、比较标准的。在我们调整我们的模型超参数的时候评价我们的性能的方式。交叉验证：在训练模型的时候，通常把数据分成k份，例如分成3份（ABC）（分成k分，k属于超参数），这三份分别作为验证数据集和训练数据集。这样组合后可以分别产生三个模型，这三个模型，每个模型在测试数据集上都会产生一个性能的指标，这三个指标的平均值作为当前这个算法训练出的模型衡量的标准。由于我们有一个求平均的过程，所以不会因为一份验证数据集中有比较极端的数据而导致模型有过大的偏差，这比我们只分成训练、验证、测试数据集要更加准确。6.3训练数据集与测试数据集交叉验证CrossValidation第6章多项式回归6.3训练数据集与测试数据集交叉验证CrossValidation第6章多项式回归之前使用多项式回归过拟合一个样本的例子，可以看到这条模型曲线非常的弯曲，而且非常的陡峭，可以想象这条曲线的一些θ系数会非常的大。模型正则化需要做的事情就是限制这些系数的大小。6.4模型正则化-Regularization第6章多项式回归6.4模型正则化-Regularization模型正则化基本原理第6章多项式回归对于θ的求和i是从1到n,没有将θ0加进去，因为他不是任意一项的系数，他只是一个截距，决定了整个曲线的高低，但是不决定曲线每一部分的陡峭和缓和。θ求和的系数二分之一是一个惯例，加不加都可以，加上的原因是因为，将来对θ2求导的时候可以抵消系数2，方便计算。不要也是可以的。α实际上是一个超参数，代表在我们模型正则化下新的损失函数中，我们要让每一个θ尽可能的小，小的程度占我们整个损失函数的多少，如果α等于0，相当于没有正则化；如果α是正无穷的话，那么我们主要的优化任务就是让每一个θ尽可能的小。6.4模型正则化-Regularization模型正则化基本原理第6章多项式回归选择不同α的岭回归20阶多项式回归6.4模型正则化-Regularization岭回归RidgeRegression第6章多项式回归岭回归（α=0.0001，degree=20；）通过使用岭回归，使得我们的均方误差小了非常多,曲线也缓和了非常多6.4模型正则化-Regularization岭回归RidgeRegression第6章多项式回归岭回归（α=1，degree=20；）α值等于1，均差误差更加的缩小，并且曲线越来越趋近于一根倾斜的直线6.4模型正则化-Regularization岭回归RidgeRegression第6章多项式回归岭回归（α=100，degree=20；）α值等于100，得到的误差依然是比较小，但是比之前（α=1）大了些，说明正则化做的有些过头了6.4模型正则化-Regularization岭回归RidgeRegression第6章多项式回归岭回归（α=10000000，degree=20；）α值等于10000000，我们的模型实际上相当于就是在优化θ的平方和这一项，使得其最小（因为MSE的部分相对非常小）。而使得θ的平方和最小，就是使得每一个θ都趋近于0，这个时候曲线就趋近于一根直线了6.4模型正则化-Regularization岭回归RidgeRegression第6章多项式回归使用|θ|代替θ2来标