第1章-机器学习概述

MACHINELEARNING机器学习第1章机器学习概述1.1什么是机器学习1.2

机器学习的一般形式1.3机器学习的分类of4121.4机器学习过程1.5机器学习解决的问题1.6常用机器学习模型举例第1章机器学习概述of4131.1什么是机器学习第1章机器学习概述of414机器学习（MachineLearning）：人工智能的一个子学科，研究人工智能领域的基本算法、原理、思想方法，机器学习研究的内容在其它子学科都会用到。卡耐基梅隆大学机器学习和人工智能教授汤姆.米切尔（TomMitchell）在他的经典教材《机器学习》中，给出了更为具体的定义：对于某类任务（Task，简称T）和某项性能评价准则（Performance，简称P），如果一个计算机在程序T上，以P作为性能度量，随着经验（Experience，简称E）的积累，不断自我完善，那么我们称计算机程序从经验E中进行了学习。例如，射击运动员的训练过程：射击标靶（任务T），以准确率为性能度量（P），随着不断练习（经验E），准确率不断提高，这个过程称为学习。1.1什么是机器学习第1章机器学习概述of4151、建模所谓机器学习，在形式上可近似等同于在数据对象中通过统计、推理的方法，来寻找一个接受特定输入X，并给出预期输出Y功能函数f，即Y=f(x)这个函数以及确定函数的参数被称为模型2、评估针对已知的输入，函数给出的输出（预测值）与实际输出（目标值）之间存在一定误差，因此需要构建一个评估体系，根据误差大小判定函数的优劣

3、优化学习的核心在与改善性能，通过数据对算法的反复锤炼，不断提升函数预测的准确性，直至获得能够满足实际需求的最优解，这个过程就是机器学习1.2机器学习的形式第1章机器学习概述of416在已知数据输出（经过标注的）的情况下对模型进行训练，根据输出进行调整、优化的学习方式称为有监督学习1.3机器学习的分类1、有监督学习第1章机器学习概述of417没有已知输出的情况下，仅仅根据输入信息的相关性，进行类别的划分1.3机器学习的分类2、无监督学习第1章机器学习概述of418先通过无监督学习划分类别，再人工标记通过有监督学习方式来预测输出.例如先对相似的水果进行聚类，再识别是哪个类别

1.3机器学习的分类3、半监督学习第1章机器学习概述of419通过对不同决策结果的奖励、惩罚，使机器学习系统在经过足够长时间的训练以后，越来越倾向于接近期望结果的输出

1.3机器学习的分类4、强化学习将学习过程和应用过程分开，用全部训练数据训练模型，然后再在应用场景中进行预测，当预测结果不够理想时，重新回到学习过程，如此循环

5、批量学习将学习过程和应用过程统一起来，在应用的同时，以增量的方式不断学习新的内容，边训练、边预测

6、增量学习第1章机器学习概述of4110根据样本数据，建立用于联系输入和输出的某种数学模型，将待预测输入带入该模型，预测其结果

1.3机器学习的分类7、基于模型学习根据以往经验，寻找与待预测输入最接近的样本，以其输出作为预测结果（从数据中找答案）

8、基于实例学习第1章机器学习概述of41111、数据采集：手段如手工采集、设备自动化采集、爬虫等2、数据清洗：数据规范化，具有较大误差的、没有意义的数据进行清理3、选择模型（算法）4、训练模型5、模型评估6、测试模型7、应用模型8、模型维护1.4机器学习的过程第1章机器学习概述of4112根据已知的输入和输出，寻找某种性能最佳的模型，将未知输出的输入代入模型，得到连续的输出。根据房屋面积、地段、修建年代以及其它条件预测房屋价格根据各种外部条件预测某支股票的价格根据农业、气象等数据预测粮食收成计算两个人脸的相似度1.5机器学习解决的问题1、回归问题第1章机器学习概述of4113问题根据已知的输入和输出，寻找性能最佳的模型，将未知输出的输入带入模型，得到离散的输出，例如：手写体识别（10个类别分类问题）水果、鲜花、动物识别工业产品瑕疵检测（良品、次品二分类问题）识别一个句子表达的情绪（正面、负面、中性）1.5机器学习解决的问题2、分类问题第1章机器学习概述of4114根据已知输入的相似程度，将其划分为不同的群落，例如：根据一批麦粒的数据，判断哪些属于同一个品种根据客户在电商网站的浏览和购买历史，判断哪些客户对某件商品感兴趣判断哪些客户具有更高的相似度1.5机器学习解决的问题3、聚类问题在性能损失尽可能小的情况下，降低数据的复杂度，数据规模缩小都称为降维问题.4、降维问题第1章机器学习概述of4115一栋600平方英尺（约56m2）的房子，价格是220000英镑（约1942578元）。这个房子的确很不错，但是它并不满足你的要求——你将和你的家人一同居住，而这个房子面积太小，并不能让每个人都住得舒适。所以，你继续研究并找到一栋1700平方英尺（约158m2）的房子，价格是730000英镑（约6445827元）。这个房子满足你的要求，但是它的价格有些超出你现在的预算——你的预算与小面积房子的价格相比要高一些，但也不像大房子的价格那么高。然而，只有当你与业主或代理人见面并提交详细资料后，才能得到房子的实际价格。但是你并不想与每一个业主或者代理人见面。

1.6常用机器学习模型举例1、线性回归第1章机器学习概述of4116找到一栋面积在这两栋房子之间的房子。这栋新房子的面积大约有1250平方英尺（约116m2），但你还不知道价格。所以，你想预测房子的价格，看其是否符合预算和要求。将新房子的信息放在同一个二维平面上，试着预测这个房子的价格。1.6常用机器学习模型举例1、线性回归第1章机器学习概述of4117为了预测房屋的价格，将设置一条符合已知结果（即房屋价格和房屋面积）的直线，这里得到了一条直线。1.6常用机器学习模型举例1、线性回归第1章机器学习概述of4118通过这条直线，可以预测出1250平方英尺（约116m2）的房子的价格是475000英镑（约4194202.5元）。所以，我们得到了一条根据房子面积来预测房子价格的直线，这种技术称为线性回归（LinearRegression）。可以把这种技术理解为在现有数据点上寻找最佳直线。比如，计算3个点到直线距离之和的最小值。首先，随机选择一条线，直线上方有A、B、C共3个点1.6常用机器学习模型举例1、线性回归第1章机器学习概述of4119计算每个点到直线的距离可以得到总距离是a+b+c。现在，移动直线的位置（向下移动）并再次计算点到直线的距离改变了线的位置，但总距离a+b+c增加了。显然，这不是我们想要的结果。让我们将直线朝另一个方向（向上移动）移动1.6常用机器学习模型举例1、线性回归第1章机器学习概述of4120这条直线比第一条直线要更符合要求。现在移动这条线，并试着重复进行同样的步骤。最终通过这种方式结束直线的选择，从而确定直线位置对于给定的3个点（A、B、C）来说，下图所示的直线是最符合条件的。在这里取3个点到直线的非负距离，找到这条线的方法称为梯度下降法1.6常用机器学习模型举例1、线性回归第1章机器学习概述of4121有时在所有数据点上拟合一条直线并没有多大意义，如果尝试使用线性回归技术来拟合一条直线。1.6常用机器学习模型举例2、多项式回归第1章机器学习概述of4122上图直线不适合用来预测。相反，曲线来对数据建模更合适。这就是所谓的多项式回归（PolynomialRegression）

——因为其参数是多项式1.6常用机器学习模型举例2、多项式回归第1章机器学习概述of4123有一个售鞋网站，其中包含来自不同公司的各种鞋子，可以通过其网上商店订购鞋子。鞋子成功交付后，公司将发送电子邮件获取顾客的反馈。顾客在评论区内留言，其中有些评论是正面的，有些评论则是负面的。该公司每天销售数千双鞋，需要跟踪每一个评论并采取相应的行动。如果顾客评论说鞋子质量不佳，则需向生产商询问有关产品的质量问题；有些鞋子反响很好，则最好将它们放在网站的首页。为了解决这个问题，首先需要从一组顾客评论开始，将每个评论分为负面评论或者正面评论，下面给出部分示例。1.6常用机器学习模型举例3、朴素贝叶斯分类器（NaïveBayesClassifier）第1章机器学习概述of4124正面评论A1：质量不错！我很喜欢这双鞋子。A2：非常好的产品。A3：给我爸爸买的，他很喜欢。负面评论B1：材质不好，不适合。B2：很不喜欢这个产品，包装也很不好。B3：千万不要买这个产品。分析示例中的正面评论和负面评论，会发现，如果评论中包含“喜欢”这个词，那么它更可能是一个正面评论。因此，创建这条规则并检查所有数据集，会发现60%的正面评论中包含“喜欢”这个词；另一方面，只有10%的负面评论中包含“喜欢”这个词1.6常用机器学习模型举例3、朴素贝叶斯分类器（NaïveBayesClassifier）第1章机器学习概述of4125其他词语所占的比例如表因此，对于将来可能获得的评论，根据其所包含的词的复合概率，可以判定该评论是正面评论还是负面评论，这就是朴素贝叶斯分类器（NaïveBayesClassifier）1.6常用机器学习模型举例3、朴素贝叶斯分类器（NaïveBayesClassifier）第1章机器学习概述of4126一个向不同的人推荐杂志的例子。假设已经记录了用户的年龄、性别、位置以及他们阅读的杂志类型1.6常用机器学习模型举例4、决策树第1章机器学习概述of4127现在，通过对这些数据进行观察，可以发现小于15岁的人喜欢阅读儿童杂志。根据其制作一个节点和它的决策。每个圆节点表示决策节点，图的边缘（箭头）则表示相应的决策，每个矩形节点表示通过图分支之后采取的决策。1.6常用机器学习模型举例4、决策树第1章机器学习概述of4128可以说每个年龄小于或等于15岁的人都有可能阅读儿童杂志。现在再来处理大于15岁的读者的分支。现在，第二个观察特征是男性，他们喜欢阅读政治杂志。为其创建相同的决策节点和分支1.6常用机器学习模型举例4、决策树第1章机器学习概述of4129需要看一下年龄在15岁以上的女性的选择。还有一个信息可以利用——地区。因此，可以说，来自美国的女性喜欢阅读体育杂志，而其他地区的女性则喜欢商业杂志。1.6常用机器学习模型举例4、决策树第1章机器学习概述of4130正确地对每个数据点进行分类，这个过程中形成了决策树。可能存在多种创建决策树的方法。根据现有的数据，这些方法可以做出正确的预测。1.6常用机器学习模型举例4、决策树第1章机器学习概述of4131有几个人每年申请贷款，银行根据他们的收入和贷款额从而决定是否对其提供贷款，目标是向那些在规定时间内偿还债务，且没有任何违约的人提供贷款。如果一个人月收入是20000美元，他申请了100000美元的贷款，银行根据他的收入来源可以批准贷款；如果一个人月收入是3000美元，他申请了600000美元的贷款，则银行可能会早早地拒绝他。1.6常用机器学习模型举例5、逻辑回归第1章机器学习概述of4132因此，银行基于以往违约者的历史创建了一个数据散点图。红点表示银行拒绝受理的申请，绿点表示银行批准的申请。横坐标是请求的贷款额度，纵坐标是月收入。1.6常用机器学习模型举例5、逻辑回归第1章机器学习概述of4133现在，一个月收入20000美元的人想要贷款300000美元，银行是否会给予批准呢？可以通过一条直线来分割数据。1.6常用机器学习模型举例5、逻辑回归第1章机器学习概述of4134根据上面的直线，可以预测银行将同意月薪20000美元的人申请300000美元的贷款申请。现在，已经有一条合适的直线来分割现有的数据点。我们使用的算法（梯度下降法）与在线性回归过程中使用的算法相同。在这里，目标变量是类别而不是在线性回归情况下连续的预测值，这种技术称为逻辑回归（LogisticsRegression）。1.6常用机器学习模型举例5、逻辑回归第1章机器学习概述of4135接上面例子，现在银行来了一位新的经理，他要检查所有记录，他认为银行批准或拒绝贷款申请的参数是荒谬的，一些像10000美元或20000美元的贷款申请并没有风险，银行可以同意这部分贷款申请。所以，他改变了规则和数据。1.6常用机器学习模型举例6、神经网络第1章机器学习概述of4136仅仅使用一条直线并不能将红点和绿点分开，可以用两条线把数据分开。1.6常用机器学习模型举例6、神经网络第1章机器学习概述of4137与一条直线相比，使用两条直线可以将红点和绿点分开。这种技术被称为神经网络（NeuralNetwork）。神经网络是基于大脑中的神经元的概念提出的。大脑中的神经元收集信息并将其传递给其他神经元。简单来说，就是基于先前神经元的输入，下一个神经元接收要求并决定输出，它还将信息传递给其他神经元。最后，通过处理不同的神经元，大脑做出决定。1.6常用机器学习模型举例6、神经网络第1章机器学习概述of4138两个神经元通过使用不同的假设建立模型，并且将它们的发现发送给另一个神经元。根据收集到的信息，输出神经元做出决策。1.6常用机器学习模型举例6、神经网络第1章机器学习概述of4139在处理数据时，对于一条分割数据点的直线，可能有不同的选择。与直线1相比，直线2的边距更大，其在分割数据方面似乎更好。要寻找最佳分割路线，而梯度下降并不能解决这个问题，需要线性优化才能实现。这种技术被称为最大间隔分类器或支持向量机（SupportVectorMachine，SVM）1.6常用机器学习模型举例7、支持向量机第1章机器学习概述在现实世界中，数据并不能完全分割开。所以，不能通过一条直线就把红点和绿点分开。但是如果通过一个平面来区分红点和绿点，就可以用一个分类器对它们进行分类。创建一个新的维度并用这个平面来分割红点和绿点。使用一个新的维度将红点和绿点分开。这种技术被称为