人工智能：第六章 机器学习

《人工智能》第六章机器学习第六章机器学习概述实例学习基于解释的学习决策树学习神经网络学习《人工智能》第六章机器学习第六章机器学习概述实例学习基于解释的学习决策树学习神经网络学习《人工智能》第六章机器学习机器学习—

概述什么是机器学习？(machinelearning)学习是一种具有多侧面的现象。学习的过程有：获取新的陈述性知识、通过教育或实践发展机械技能和认知能力、将新知识组织成为通用化和有效的表达形式、借助观察和实验发现新的事实和新的理论。

Simon（1983）：学习就是系统中的变化，这种变化使系统比以前更有效地去做同样的工作。Minsky(1985)：学习是在我们头脑中（心里内部）进行有用的变化。《人工智能》第六章机器学习机器学习—

概述Learningtypes知识获取学习的本质就是获取新的知识。包括物理系统和行为的描述和建模，构造客观现实的表示。(Theoryemphasized)

技能求精通过实践逐渐改造机制和认知技能。Learningfromexperience

例：骑自行车。这些技能包括意识的或机制的协调。这种改进又是通过反复实践和从失败的行为中纠正偏差来进行的。(Skillemphasized)《人工智能》第六章机器学习机器学习—

概述知识获取的本质可能是一个自觉的过程，其结果是产生新的符号知识结构和智力模型。技能求精则是下意识地借助于反复地实践来实现的。本章只涉及学习的知识获取问题。《人工智能》第六章机器学习机器学习—

概述为什么要研究机器学习？--AIrequired)人工智能主要是为了研究人的智能，模仿其机理将其应用于工程的科学。在这个过程中必然会问道：“人类怎样做才能获取这种特殊技能（或知识）？”。《人工智能》第六章机器学习机器学习—

概述为什么要研究机器学习？-Currentdifficulties当前人工智能研究的主要障碍和发展方向之一就是机器学习。包括学习的计算理论和构造学习系统。现在的人工智能系统还完全没有或仅有很有限的学习能力。系统中的知识由人工编程送入系统，知识中的错误也不能自动改正。也就是说，现有的大多数人工智能是演绎的、没有归纳推理，因而不能自动获取和生成知识。解决新问题,需要新知识《人工智能》第六章机器学习机器学习—

概述为什么要研究机器学习？---howtolearnTroublesforearlyexpertsystemisknowledgeacquisition.未来的计算机将有自动获取知识的能力直接由书本学习通过与人谈话学习通过观察学习。Advantagesofmachinelearning它们通过实践自我完善，克服人的存储少、效率低、注意力分散、难以传送所获取的知识等局限性。一台计算机获取的知识很容易复制给任何其它机器。《人工智能》第六章机器学习机器学习—

概述实现的困难：

学习后的结果难以预测：学习后知识库发生了什么变化，系统功能的变化的预测困难。学好学坏?机器统治人类?

归纳推理(证伪方法论)：现有的归纳推理只保证假，不保证真。演绎推理保真。而且，归纳的结论是无限多的，其中相当多是假的，给生成的知识带来不可靠性。

机器目前很难观察什么重要、什么有意义。(Thisisalsodifficultforhumanbeingtomakedecision,asdecisiondependsontime,mind,etc.)《人工智能》第六章机器学习机器学习—

概述发展历史

神经系统模型和决策理论50年代开始。模拟大脑,构造基于神经模型的机器。这些系统一般称为神经网络或自组织系统。由于当时计算机技术状态，多停留在理论和硬件上。这些元件类似于神经元，他们实现简单的逻辑功能。………《人工智能》第六章机器学习机器学习—

概述发展历史

神经系统模型和决策理论1965年左右，神经网络经验模式导致了模式识别这一新学科以及机器学习的决策理论方法。这种方法中学习就是从给定的一组经过选择的例子中获得判断函数，有线性的、多项式的、或相关的形式。(车牌条码等)当时，Samuel(1959-1963)的跳棋程序是最著名的成功的学习系统之一。达到了跳棋大师的水平。

NeuralNetworkhasbeenappliedtoclassificationandprediction《人工智能》第六章机器学习机器学习—

概述符号概念获取(InstanceLearning)1975年左右提出的。这类学习过程通过分析一些概念的正例和反例构造出这些概念的符号表示。表示的形式一般是逻辑表达式、决策树、产生式规则或语义网络。代表有Winston的ARCH。《人工智能》第六章机器学习机器学习—

概述机器学习进入新阶段的重要表现：（近十年）（1）

机器学习已成为新的边缘科学(crossoverscience)并在高校形成一门课程。它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。

《人工智能》第六章机器学习机器学习—

概述机器学习进入新阶段的重要表现：（近十年）（2）结合各种学习方法，取长补短的多种形式的集成学习系统的研究正在兴起。特别是连接学习，符号学习的耦合可以更好地解决连续性信号处理中知识与技能的获取与求精问题而受到重视。《人工智能》第六章机器学习机器学习—

概述机器学习进入新阶段的重要表现：（近十年）（3）机器学习与人工智能各种基础问题的统一性观点正在形成。例如：学习与问题求解结合进行，知识表达便于学习的观点产生了通用智能系统的组块学习。类比学习与问题求解结合的基于案例学习已成为经验学习的重要方向。

《人工智能》第六章机器学习机器学习—

概述机器学习进入新阶段的重要表现：（近十年）（4）各种学习方法的应用范围不断扩大，一部分已形成商品。(1)归纳学习的知识获取工具已在诊断分类性专家系统中广泛应用。(2)连接学习在声图文识别中占优势。(3)分析学习用于设计综合性专家系统。(4)遗传算法与强化学习在工程控制中有较好的应用前景。(5)与符号系统耦合的神经网络连接学习将在企业的智能管理与智能机器人运动规划中发挥作用。《人工智能》第六章机器学习机器学习—

概述机器学习进入新阶段的重要表现：（近十年）（5）与机器学习有关的学术活动空前活跃。国际上除每年一次的机器学习研究会外，还有计算机学习理论会议及遗传算法会议ManifoldLearning(NowHot)。

《人工智能》第六章机器学习机器学习—

概述分类：按学习策略机械式学习，直接输入新知识（记忆学习） 学习者不需要进行任何推理或知识转换，将知识直接装进机器中。根据示教学习（suchasClassification） 从老师或其它有结构的事物获取知识。要求学习者将输入语言的知识转换成它本身的内部表示形式。并把新的信息和它原有的知识有机地结合为一体。……….《人工智能》第六章机器学习机器学习—

概述通过类推学习（演绎学习） 学习者找出现有知识中所要产生的新概念或技能十分类似的部分。将它们转换或扩大成适合新情况的形式，从而取得新的事实或技能。从例子中学习（归纳学习） 给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述，使它适合于所有的正例且排除所有的反例。（目前研究较多的一种方法）ClassificationandPrediction……….《人工智能》第六章机器学习机器学习—

概述

……….

类比学习

演绎学习与归纳学习的组合。匹配不同论域的描述、确定公共的结构。以此作为类比映射的基础。寻找公共子结构是归纳推理，而实现类比映射是演绎推理。《人工智能》第六章机器学习机器学习—

概述研究目的TheoryStudy---Newmachinelearningmodel,involvingincognitivescienceInvestigatenewandgeneralalgorithmBuildtheknowledgebaseandsystemforrealapplications《人工智能》第六章机器学习机器学习—基本系统结构机器学习模型学习是建立理论、形成假设和进行归纳推理的过程。

环境学习环节知识库

执行环节环境:数据或信息知识库:知识表示执行环节:评价学到的知识,指导进一步的学习(推理)《人工智能》第六章机器学习第六章机器学习概述实例学习基于解释的学习决策树学习神经网络学习《人工智能》第六章机器学习第六章机器学习概述实例学习基于解释的学习决策树学习神经网络学习《人工智能》第六章机器学习实例学习概述50年代兴起的实例学习是归纳学习的一种。目前实例学习在某些系统中的应用已成为机器学习走向实践的先导。环境提供给系统一些特殊的实例，这些实例事先由施教者划分为正例和反例。实例学习系统由此进行归纳推理得到一般规则。环境提供给学习环节的正例和反例是低水平的信息，这是特殊情况下执行环节的行为。学习环节归纳出的规则是高水平的信息，可以在一般情况下用这些规则指导执行环节的工作。《人工智能》第六章机器学习实例学习实例学习的两个空间模型例子空间规则空间选择例子解释例子用规则表示概念《人工智能》第六章机器学习实例学习－两个空间模型例：取实例空间为所有的人。

正例集合为张衡、华罗庚、李四光、吴有训、张光斗反例为马克思、罗斯福、斯大林、丘吉尔。

学到的概念可以是中国人，或科学家，或中国科学家，等。而电影明星,政治家等待是不可能学到的。学到的概念可能是不唯一的，除非正例集和反例集加起来正好等于整个实例空间。《人工智能》第六章机器学习实例学习－两个空间模型Winston的积木世界中的“拱”的概念。《人工智能》第六章机器学习实例学习－两个空间模型《人工智能》第六章机器学习实例学习－两个空间模型例子的描述(知识表示)例子空间的描述语言可以描述所有例子；规则空间的描述语言可以描述所有规则。例如：纸牌，同花5张正例：{(2,c),(3,c),(5,c),(J,c),(A,c)},其中c，草花club规则：描述一手牌的全部谓词表达式的集合。符号：SUIT(牌,花色)，RANK（点数）常量：A,2,3,…,10.J,Q,K,clubs(草花),diamonds(方块),hearts（红桃）,spades(黑桃)合取连接词∧，存在量词所以有规则：对c1,c2,c3,c4,c5SUIT(c1,*)∧SUIT(c2,*)∧SUIT(c3,*)∧SUIT(c4,*)∧SUIT(c5,*)FLUSH(c1,c2,c3,c4,c5)《人工智能》第六章机器学习实例学习－两个空间模型例子空间示教例子的质量：不能有错，同时提供正例和反例，逐步分批由选择地送入。选择的条件：最有力地划分规则空间；证实肯定假设规则的集合(正例)；否定假设规则的集合(反例)。《人工智能》第六章机器学习实例学习－两个空间模型解释例子解释例子的目的是把示教例子变换成易于进行符号归纳的形式(如语义网络)。（有时很难）例如：Winston的积木世界中的“拱”的概念。《人工智能》第六章机器学习实例学习－两个空间模型规则空间（最根本，真正学习的部分）定义：一套符号来规定表示规则的算符、术语，所有的描述都在其中(知识表示)。归纳方法：从特殊到一般的推理常量化为变量。例P189，从几个正例中找到共性的部分改成变量。去掉条件。同上例。去掉牌点数这个条件增加选择（析取）。例人脸牌。从RANK(c1,J),RANK(c2,K)推出还有RANK(c3,Q)曲线拟合。几组值，解方程或用最小二乘法拟合成一条曲线或曲面。《人工智能》第六章机器学习实例学习－两个空间模型规则空间（最根本，真正学习的部分）归纳方法：从特殊到一般的推理常量化为变量。1.SUIT(c1,clubs)∧SUIT(c2,clubs)∧SUIT(c3,clubs)∧SUIT(c4,clubs)∧SUIT(c5,clubs)FLUSH(c1,c2,c3,c4,c5)2.SUIT(c1,spades)∧SUIT(c2,spades)∧SUIT(c3,spades)∧SUIT(c4,spades)∧SUIT(c5,spades)FLUSH(c1,c2,c3,c4,c5)=SUIT(c1,x)∧SUIT(c2,x)∧SUIT(c3,x)∧SUIT(c4,x)∧SUIT(c5,x)FLUSH(c1,c2,c3,c4,c5)《人工智能》第六章机器学习实例学习－两个空间模型规则空间（最根本，真正学习的部分）归纳方法：从特殊到一般的推理去掉条件。SUIT(c1,clubs)∧SUIT(c2,clubs)∧SUIT(c3,clubs)∧SUIT(c4,clubs)∧SUIT(c5,clubs)∧RANK(c1,2)∧RANK(c2,5)∧RANK(c3,8)∧RANK(c4,9)∧RANK(c5,6)FLUSH(c1,c2,c3,c4,c5)=SUIT(c1,x)∧SUIT(c2,x)∧SUIT(c3,x)∧SUIT(c4,x)∧SUIT(c5,x)FLUSH(c1,c2,c3,c4,c5)《人工智能》第六章机器学习实例学习－两个空间模型规则空间（最根本，真正学习的部分）归纳方法：从特殊到一般的推理增加选择（析取）。例人脸牌。RANK(c1,J)----->FACE(c1)RANK(c1,K)----->FACE(c1)=RANK(c1,J)VRANK(c1,K)----->FACE(c1)推出还有RANK(c3,Q)RANK(c1,J)VRANK(c1,K)VRANK(c1,Q)----->FACE(c1)《人工智能》第六章机器学习实例学习－两个空间模型（规则空间）应用实例学习:不管是去掉还是增加，都是扩大范围。把已有的知识总结归纳推广。但是要小心。越快越强的方法越容易出错。原因是归纳推理方法是保假不保真。因此，用归纳方法的过程就是搜索过程。找到包含在少数例子中的正确信息。归纳出错就要回溯。要经常检验，用新例子去否定归纳出的错误规则。即解释例子和选择例子的反复，反复于例子空间和规则空间之间。《人工智能》第六章机器学习实例学习－两个空间模型（规则空间）对规则空间的要求表示应适应于归纳。如：有谓词才可以增减；有状态空间才能拟合。不同的归纳方法要求不同的规则表示方法。如果规则空间描述的语言的表达能力较弱，可以使用的归纳方法就比较少，规则空间的搜索范围就比较小，搜索就比较容易。但解决的问题就较少。因此，设计是在规则空间表达能力与规则空间搜索难度之间进行权衡。表示和例子的一致。如相差很大，解释例子和选择例子的过程就很复杂。引入新术语（规则空间）。当表示语言不能描述学习过程中产生的新状态时，要产生新的术语。《人工智能》第六章机器学习实例学习－两个空间模型（规则空间）搜索规则空间的方法 最终的目的是为了搜索，先建立一个假设空间，在其中进行搜索。

方法：怎样改进假设规则集，以便求得要求的规则。变形空间法Version-space：数据驱动

改进假设法Hypothesis-refinement：数据驱动产生与测试GenerateandTest：模型驱动方案示例法SchemaInstantiation：模型驱动选择例子。选择合适的例子，以能更好的搜索。《人工智能》第六章机器学习实例学习－实例学习的分类

实例学习的分类按搜索方法分类：

变形空间法；改进假设法；产生与测试法；方案示例法按论域分类：数字表示：多用于电子工程、系统理论和模式分析 知识：多项式、矩阵；系统：自适应系统；任务：模式分类、自适应控制、滤波等。符号表示：AI领域主要研究对象。 知识：符号的特征向量、一阶谓词、产生式规则、框架、语义网络；《人工智能》第六章机器学习实例学习－实例学习的分类按任务复杂程度分类：学习单个概念：最基本的学习多个概念：归纳出多个相互独立的概念学习执行多步任务： 一个操作序列去完成任务，即执行环节对任务要规划。《人工智能》第六章机器学习实例学习学习单个概念概念：采用谓词逻辑的知识表示时，一个概念就是一个谓词公式。学习单个概念就是给系统一个概念的若干正例合反例，系统由此归纳出表示这个概念的谓词公式。过程：给定：概念的表示语言；正例和反例寻找：一条规则。覆盖全部正例，不覆盖 全部反例。《人工智能》第六章机器学习实例学习－学习单个概念变形空间法变形空间方法以整个规则空间为初始的假设规则集合H。依据示教例子中的信息，对集合H进行一般化或特殊化处理。逐步缩小集合H，最后使H收敛为只含有要求的规则由于被搜索的空间H逐步缩小，故称为变形空间。变形空间图《人工智能》第六章机器学习实例学习－学习单个概念（变形空间法）搜索：使用一个可能合理的假设规则的集合H，H是规则空间的子集，是规则空间中间的一段。H中最一般的元素组成的子集称为G集合，最特殊的元素组成的子集称为S集合。（H是上界G和下界S之间的一段。）学习基本思想：尽可能合理的进行特殊化和一般化处理，通过搜索减小H，找到一个假设规则。具体方法：消除候选元素法。《人工智能》第六章机器学习实例学习－学习单个概念（变形空间法）结论S是规则充分条件，G是规则必要条件的集合。学习结束时找到的应是充分必要条件。正例的主要工作是对S一般化，反例是对G特殊化。搜索的过程是在例子的引导下，数据驱动。遵循的是变量优先的原则。正例去掉G中不符合的概念，然后修改S,归纳出最特殊的结果,尽量少改S。反例去掉S中符合的概念，然后修改G,做特殊化得到最一般的结果,尽量少改G.《人工智能》第六章机器学习实例学习《人工智能》第六章机器学习实例学习－学习单个概念（变形空间法）变形空间法的优缺点：搜索空间太大，有可能引起计算爆炸问题（规则总地来说是越扩越多）抗干扰性差，所有数据驱动方法的通病。解决方法：例子一组一组地给。采用析取规则，即此算法不可能发现“或”的关系。《人工智能》第六章机器学习实例学习学习多个概念单个规则：可存在规则将空间一分为二规则集合有相交，主要问题是重叠部分。学习多步任务多步学习就是选择一系列规则，去完成一系列步骤。如下棋，积分。难点多规则一起使用，规则之间的相互联系，影响。奖罚分配问题透明度《人工智能》第六章机器学习第六章机器学习概述实例学习决策树学习神经网络学习《人工智能》第六章机器学习第六章机器学习概述实例学习决策树学习神经网络学习《人工智能》第六章机器学习第六章机器学习概述实例学习决策树学习神经网络学习《人工智能》第六章机器学习决策树学习决策树(DecisionTree)

一种描述概念空间的有效的归纳推理办法。基于决策树的学习方法可以进行不相关的多概念学习，具有简单快捷的优势，已经在各个领域取得广泛应用。《人工智能》第六章机器学习决策树学习（应用）根据病情对病人分类根据起因对故障分类根据付款信用情况对贷款申请者分类这些都是将输入样本分类成可能离散集

分类问题《人工智能》第六章机器学习《人工智能》第六章机器学习《人工智能》第六章机器学习《人工智能》第六章机器学习简介决策树方法的起源是概念学习系统CLS，然后发展到ID3方法而为高潮，最后又演化为能处理连续属性的C4.5。有名的决策树方法还有CART和Assistant。是应用最广的归纳推理算法之一一种逼近离散值目标函数的方法对噪声数据有很好的健壮性且能学习析取表达式《人工智能》第六章机器学习决策树的表示法决策树通过把实例从根节点排列到某个叶子节点来分类实例，叶子节点即为实例所属的分类。树上的每一个节点说明了对实例的某个属性的测试，并且该节点的每一个后继分支对应于该属性的一个可能值《人工智能》第六章机器学习决策树

根结点个子大可能是松鼠可能是老鼠可能是大象在水里会吱吱叫鼻子长脖子长个子小不会吱吱叫鼻子短脖子短可能是长颈鹿在陆地上可能是犀牛可能是河马判定结构可以机械的转变成产生式规则。可以通过对结构进行深度优先搜索，并在每个节点生成“IF…THEN”规则来实现。如图6-13的决策树可以转换成下规则：

IF“个子大”THENIF“脖子短”THENIF“鼻子长”THEN可能是大象形式化表示成《人工智能》第六章机器学习图《人工智能》第六章机器学习表达式《人工智能》第六章机器学习决策树学习（ID3根据实例构造决策树）设学习的实例集为其中Si为学习实例，T实例集大小。对于有指导的学习，任一个Si具有明确标定的类别，向量表示该实例的特性，即Si的信息为，如果一个观测值具有属性s则应该划归为u类，应该有下面的规则总结出来式中xi为事件所具有的第i个属性。每次引用一个属性分裂,相当于引入一个信息源,该层结点的信息熵下降,叶结点的信息熵为0ID3降信息熵下降速度作为属性选择标准《人工智能》第六章机器学习决策树学习的适用问题实例是由属性-值对表示的目标函数具有离散的输出值可能需要析取的描述训练数据可以包含错误训练数据可以包含缺少属性值的实例《人工智能》第六章机器学习决策树学习（决策树）构造一棵决策树要解决四个问题：收集待分类的数据设计分类原则，即数据的哪些属性可以被用来分类，以及如何将该属性量化。分类原则的选择，即在众多分类准则中，每一步选择哪一准则使最终的树更令人满意。设计分类停止条件，实际应用中数据的属性很多，真正有分类意义的属性往往是有限几个，因此在必要的时候应该停止数据集分裂：该节点包含的数据太少不足以分裂，继续分裂数据集对树生成的目标(例如ID3中的熵下降准则)没有贡献，树的深度过大不宜再分。《人工智能》第六章机器学习属性选择构造好的决策树的关键在于如何选择好的逻辑判断或属性。对于同样一组例子，可以有很多决策树能符合这组例子。人们研究出，一般情况下或具有较大概率地说，树越小则树的预测能力越强。要构造尽可能小的决策树，关键在于选择恰当的逻辑判断或属性。由于构造最小的树是NP-难问题，因此只能采取用启发式策略选择好的逻辑判断或属性。通用的决策树分裂目标是整棵树的熵总量最小，每一步分裂时，选择使熵减小最大的准则，这种方案使最具有分类潜力的准则最先被提取出来《人工智能》第六章机器学习决策树学习（学习）信息熵自信息量设信源X发出ai的概率p(ai)，在收到符号ai之前，收信者对ai的不确定性定义为ai的自信息量I(ai)。I(ai)=-logp(ai)。信息熵自信息量只能反映符号的不确定性，而信息熵用来度量整个信源整体的不确定性，定义为：

其中，r为信源X发出的所有可能的符号类型。信息熵反应了信源每发出一个符号所提供的平均信息量。条件熵设信源为X，收信者收到信息Y，用条件熵H(X|Y)来描述收信者在收到Y后对X的不确定性估计。设X的符号ai，Y的符号bj，p(ai|bj)为当Y为bj时，X为ai的概率，则有：平均互信息量用平均互信息量来表示信号Y所能提供的关于X的信息量的大小，用I(X,Y)表示：

《人工智能》第六章机器学习《人工智能》第六章机器学习用熵度量样例的均一性（纯度）H(X)H(X)《人工智能》第六章机器学习《人工智能》第六章机器学习决策树学习（ID3根据实例构造决策树）设学习的实例集为其中Si为学习实例，T实例集大小。对于有指导的学习，任一个Si具有明确标定的类别，向量表示该实例的特性，即Si的信息为，如果一个观测值具有属性s则应该划归为u类，应该有下面的规则总结出来式中xi为事件所具有的第i个属性。每次引用一个属性分裂,相当于引入一个信息源,该层结点的信息熵下降,叶结点的信息熵为0ID3降信息熵下降速度作为属性选择标准《人工智能》第六章机器学习决策树学习（ID3应用）假设我们希望用ID3决定天气是否适合打垒球。在过去的两周中，收集了14天的数据帮助ID3建立决策树。目标分类是“我们可以去打垒球吗？”，它有两种选择，可以或不可以。天气可以用四个属性来刻画，户外，温度，湿度和风速。它们的属性值分别为:户外={晴天,阴天,雨天}温度={炎热,温柔,凉爽}湿度={高,正常}风速={弱,强}根节点的选择：根节点的选择标准就是看哪一个属性的增益最大。下面是计算四个属性的增益：《人工智能》第六章机器学习《人工智能》第六章机器学习决策树学习（ID3应用）1.准备训练数据天数(A8)户外(A8)温度(A8)湿度(A8)风速(A8)活动(A8).D1 晴天 炎热 高 弱 取消D2 晴天 炎热 高 强 取消D3 阴天 炎热 高 弱 进行D4 雨天 温柔 高 弱 进行D5 雨天 凉爽 正常 弱 进行D6 雨天 凉爽 正常 强 取消D7 阴天 凉爽 正常 强 进行D8 晴天 温柔 高 弱 取消D9 晴天 凉爽 正常 弱 进行D10 雨天 温柔 正常 弱 进行D11 晴天 温柔 正常 强 进行D12 阴天 温柔 高 强 进行D13 阴天 炎热 正常 弱 进行D14 雨天 温柔 高 强 取消《人工智能》第六章机器学习决策树学习（ID3应用）2.计算决策属性的熵决策属性活动有14个记录，其中9个记录活动可以进行，5个记录不适合活动，那么使用公式1计算”活动”属性的熵H(活动)=-(9/14)Log2(9/14)-(5/14)Log2(5/14)=0.940第二步：计算条件属性的熵样本集共有四个条件属性，户外，温度，湿度和风速。使用公式2计算条件属性的熵。风速的熵：计算分两个过程，首先使用公式1计算属性值的熵，即风速强和风速弱。H(弱)=-(6/8)*log2(6/8)-(2/8)*log2(2/8)=0.811H(强)=-(3/6)*log2(3/6)-(3/6)*log2(3/6)=1.00然后使用公式2计算属性的熵。H(S|风速)=(8/14)*H(S弱)+(6/14)*H(S强)=(8/14)*0.811+(6/14)*1.00=0.892《人工智能》第六章机器学习决策树学习（ID3应用）H(S|风速)=0.892H(S|户外)=0.693H(S|温度)=0.911H(S|湿度)=0.789《人工智能》第六章机器学习决策树学习（ID3应用）第三步：计算条件属性的增益I(S,户外)=H(活动)-H(S|户外)=0.94-0.693=0.246I(S,温度)=H(活动)-H(S|温度)=0.94-0.911=0.029I(S,湿度)=H(活动)-H(S|湿度)=0.94-0.789=0.151I(S,风速)=H(活动)-H(S|风速)=0.94-0.892=0.048条件属性户外有最大的增益，所以它用于决策树的根节点。

《人工智能》第六章机器学习举例《人工智能》第六章机器学习《人工智能》第六章机器学习《人工智能》第六章机器学习决策树的优点可以生成可以理解的规则；计算量相对来说不是很大；可以处理连续和离散字段；决策树可以清晰的显示哪些字段比较重要

《人工智能》第六章机器学习不足之处对连续性的字段比较难预测当类别太多时，错误可能会增加的比较快一般的算法分类的时候，只是根据一个属性来分类。不是全局最优。

《人工智能》第六章机器学习第六章机器学习概述实例学习基于解释的学习决策树学习神经网络学习《人工智能》第六章机器学习第六章机器学习概述实例学习基于解释的学习决策树学习神经网络学习《人工智能》第六章机器学习人工神经元网络概述基本原理前馈型人工神经元网络自组织竞争人工神经网络神经网络的应用与人工智能原理的结合参考书：《人工神经网络的模型及其应用》

复旦大学出版社，张立明《人工智能》第六章机器学习概述什么叫人工神经网络采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。为什么要研究神经网络用计算机代替人的脑力劳动。计算机速度为纳秒级，人脑细胞反应时间是毫秒级。而计算机不如人。长期以来人类的梦想，机器既能超越人的计算能力，又有类似于人的识别、分析、联想等能力。《人工智能》第六章机器学习概述发展史1890年，美国生物学家W.James出版了《Physiology》（生理学）一书。首次阐明了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律。指出：人脑中当两个基本处理单元同时活动，或两个单元靠得比较近时，一个单元的兴奋会传到另一个单元。而且一个单元的活动程度与他周围的活动数目和活动密度成正比。图《人工智能》第六章机器学习概述－发展史1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法。——标志神经计算时代的开始输出表达式图

《人工智能》第六章机器学习概述－发展史MP模型的意义：M-P模型能完成一定的逻辑运算第一个采用集体并行计算结构来描述人工神经元和网络工作。为进一步的研究提供了依据（可以完成布尔逻辑计算）《人工智能》第六章机器学习概述－发展史1949年DonalaU.Hebb（心理学家）论著《TheOrganizationofBehavior（行为自组织）》，提出突触联系强度可变的假设，认为学习的过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。

——赫布规则（p129)

多用于自组织网络的学习。即：若两个神经元输出兴奋，则它们之间的连接权加强，反之减少。《人工智能》第六章机器学习概述－发展史赫布规则意义（提出了变化的概念）提出了一个神经网络里信息是储藏在突触连接的权中的概念连接权的学习律是正比于两个被连接神经细胞的活动状态值的乘积假设权是对称的细胞的互相连接的结构是他们权的改变创造出来的《人工智能》第六章机器学习概述－发展史1957年FrankRosenblatt定义了一个神经网络结构，称为感知器(Perceptron)。规则学习

意义：第一次把神经网络研究从纯理论的探讨推向工程实现，在IBM704计算机上进行了模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果。掀起了神经网络研究高潮。《人工智能》第六章机器学习概述－发展史1969M.Minsky和S.Papert发表了《Perceptrons》的论著，指出感知器仅能解决一阶谓词逻辑，只能做线性划分。对于非线性或其他分类会遇到很大困难。一个简单的XOR问题的例子就证明了这一点。——神经网络研究一度达到低潮。原因还有：计算机不够发达、VLSI还没出现、而人工智能和专家系统正处于发展高潮。图能划分的、不能划分的《人工智能》第六章机器学习概述－发展史七十年代,据说全球只有几十个人在研究，但还是成功的。如：芬兰Kohonen的自组织神经网络；StephenCrossberg的共振自适应理论ART网络等。《人工智能》第六章机器学习概述－发展史1982年JohnJ.Hopfield（物理学家）提出了全联接网络，离散的神经网络模型。——全新的具有完整理论基础的神经网络模型。基本思想是对于一个给定的神经网络，对于一个能量函数，这个能量函数是正比于每一个神经元的活动值和神经元之间的联接权。而活动值的改变算法是向能量函数减少的方向进行，一直达到一个极小值为止。证明了网络可达到稳定的离散和连续两种情况。３年后AT&T等做出了半导体芯片。——神经网络复兴时期开始。

《人工智能》第六章机器学习概述－发展史1986年美国的一个平行计算研究小组提出了前项反馈神经网络的BackPropagation（BP）学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望。《人工智能》第六章机器学习概述－发展史1987年在美国召开了第一届世界神经网络大会1000人参加。IJCNN等大会NeuralComputing,IEEENeuralNetwork等期刊《人工智能》第六章机器学习概述人工智能与神经网络共同之处：研究怎样使用计算机来模仿人脑工作过程。学习——实践——再学习——再实践。不同之处：人工智能研究人脑的推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题。神经网络企图阐明人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（联想、概括、并行搜索、学习和灵活性）《人工智能》第六章机器学习概述例如：人工智能专家系统是制造一个专家，几十年难以培养的专家。 神经网络是制造一个婴儿，一个幼儿，一个可以学习，不断完善，从一些自然知识中汲取智慧的生命成长过程。同样是模仿人脑，但所考虑的角度不同。成年人和婴儿。学习过程不一样。一个是总结出常人都不懂的规律；一个是没完没了向他出示、重复一样东西，就象教一个小孩子说话。《人工智能》第六章机器学习概述《人工智能》第六章机器学习基本原理－神经元模型《人工智能》第六章机器学习基本原理－神经元模型神经元每一个细胞处于两种状态。突触联接有强度。多输入单输出。实质上传播的是脉冲信号，信号的强弱与脉冲频率成正比。《人工智能》第六章机器学习基本原理－神经元模型转移函数：神经细胞的输出对输入的反映。典型的转移函数是非线性的。《人工智能》第六章机器学习基本原理－网络结构人脑神经网络： 人脑中约有１４０亿个神经细胞，根据Stubbz的估计这些细胞被安排在约１０００个主要模块内，每个模块上有上百个神经网络，每个网络约有１０万个神经细胞。《人工智能》第六章机器学习基本原理－网络模型前馈网络：每层只与前层相联接《人工智能》第六章机器学习基本原理－网络模型输入输出有反馈的前馈网络：输出层上存在一个反馈回路，将信号反馈到输入层。而网络本身还是前馈型的《人工智能》第六章机器学习基本原理－网络模型前馈内层互联网络：外部看还是一个前向网络，内部有很多自组织网络在层内互联着。《人工智能》第六章机器学习基本原理－网络模型反馈型全互联网络：所有计算单元之间都有联接。如：Hopfield网络反馈型局部联接网络：特例，每个神经元的输出只与其周围的神经元相连，形成反馈网络。《人工智能》第六章机器学习基本原理－网络分类分类前馈型；反馈型；自组织竞争；随机网络其它《人工智能》第六章机器学习基本原理－基本属性基本属性：非线性： 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制两种不同的状态。这种行为在数学上表现为一种非线性。非局域性： 一个神经网络通常由多个神经元广泛联接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互联接所决定。通过单元之间的大量联接模拟大脑的非局域性。联想记忆是非局域性的典型例子。《人工智能》第六章机器学习基本原理－基本属性非定常性： 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息有各种各样，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。非凸性： 一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。《人工智能》第六章机器学习基本原理－优缺点评价优点： 并行性；分布存储；容错性；学习能力缺点： 不适合高精度计算；学习问题没有根本解决，慢；目前没有完整的设计方法，经验参数太多。《人工智能》第六章机器学习前馈型神经网单层感知器：基本原理，结构简单。很少在实际应用中出现。采用阶跃函数作为传递函数。从２维空间可以很显然的看出其分类功能，但Minsky等揭示的致命弱点也一目了然。关键是学习算法及网络设计方法《人工智能》第六章机器学习《人工智能》第六章机器学习前馈型神经网－单层感知器例子：2维空间希望找到一根直线，把A,B两类样本分开，其分界线为:解有无数个。

单层感只能解决线性可分类的样本的分类问题。如样本不能用一个超平面分开，就会产生当年Minsky等提出的不可分问题。

《人工智能》第六章机器学习++++++++X1X2二维输入感知器及其在状态空间中的划分

《人工智能》第六章机器学习前馈型神经网Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。J.McClelland

DavidRumelhart

《人工智能》第六章机器学习BP神经网络结构三层BP网络《人工智能》第六章机器学习2.4.1BP神经网络模型激活函数必须处处可导一般都使用S型函数使用S型激活函数时BP网络输入与输出关系输入输出《人工智能》第六章机器学习2.4.2BP网络的标准学习算法学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。《人工智能》第六章机器学习2.4.2BP网络的标准学习算法-算法思想学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播误差的反向传播将误差分摊给各层的所有单元－－－各层单元的误差信号修正各单元权值《人工智能》第六章机器学习2.4.2BP网络的标准学习算法-学习过程正向传播：输入样本－－－输入层－－－各隐层－－－输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示－－－－修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止《人工智能》第六章机器学习前馈型神经网采用BP算法学习时要求传递函数为有界连续可微函数如sigmoid函数。因此，网络可以用一个连续的超曲面（而不仅仅是一个超平面）来完成划分输入样本空间的功能。先求误差，用梯度下降的方法求误差的传递。从后往前算。《人工智能》第六章机器学习《人工智能》第六章机器学习前馈型神经网n层网络可以以n-1个超曲面构成一个复合曲面，弥补了单层感知器的缺陷。基于BP算法，依据大量样本通过逐步调整神经元之间的联接权重来构造网络。理论上，多层前馈网络在不考虑结果规模的前提下，可以模拟任意的输出函数。《人工智能》第六章机器学习BP神经网络应用例2-3，下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。月份123456销量205623952600229816341600月份789101112销量187314781900150020461556《人工智能》第六章机器学习%以每三个月的销售量经归一化处理后作为输入P=[0.5152 0.8173 1.0000;0.8173 1.0000 0.7308;1.0000 0.7308 0.1390;0.7308 0.1390 0.1087;0.1390 0.1087 0.3520;0.1087 0.3520 0.0000;]';%以第四个月的销售量归一化处理后作为目标向量T=[0.73080.13900.10870.35200.00000.3761];%创建一个BP神经网络，每一个输入向量的取值范围为[0,1]，隐含层有5个神经元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为logsig，训练函数为梯度下降函数net=newff([01;01;01],[5,1],{'tansig','logsig'},'traingd');net.trainParam.epochs=15000;net.trainParam.goal=0.01;%设置学习速率为0.1LP.lr=0.1;net=train(net,P,T);《人工智能》第六章机器学习BP网络应用于药品预测对比图由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度业进一步缩小《人工智能》第六章机器学习BP神经网络的特点非线性映射能力能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。《人工智能》第六章机器学习自组织竞争人工神经网络概述在实际的神经网络中，存在一种侧抑制的现象。即一个细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制在脊髓和海马中存在，在人眼的视网膜中也存在。《人工智能》第六章机器学习自组织竞争人工神经网络概述这种抑制使神经细胞之间出现竞争，一个兴奋最强的神经细胞对周围神经细胞的抑制也强。虽然一开始各个神经细胞都处于兴奋状态，但最后是那个输出最大的神经细胞“赢”，而其周围的神经细胞“输”了。胜者为王。《人工智能》第六章机器学习自组织竞争人工神经网络概述自组织竞争神经网络是在“无师自通”的现象的基础上生成的。人类等生物的生长过程。自组织神经网络特别适合于解决模式分类和识别方面的应用问题。自组织神经网络属于前向神经网络类型，采用无导师学习算法，自组织特征映射神经网络不仅能够像自组织竞争神经网络一样学习输入的分布情况，而且可以学习神经网络的拓扑结构《人工智能》第六章机器学习自组织竞争神经网络类型自适应共振理论(AdaptiveResonanceTheory，ART)网络自组织特征映射(self-OrganizingMap，SOM)网络对传(CounterPropagation，CP)网络协同神经网络(SynergeticNeuralNetwork．SNN)《人工智能》第六章机器学习自组织特征映射神经网络结构由芬兰学者TeuvoKohonen于1981年提出基本上为输入层和映射层的双层结构,映射层的神经元互相连接，每个输出神经元连接至所有输入神经元I’mTeuvoKohonen《人工智能》第六章机器学习自组织特征映射神经网络结构竞争层输入层SOM神经网络结构《人工智能》第六章机器学习自组织特征映射神经网络结构SOM神经网络平面示意图竞争层输入层《人工智能》第六章机器学习自组织特征映射神经网络结构SOM神经网络立体示意图竞争层输入层x2x1输入层输出层《人工智能》第六章机器学习自组织竞争人工神经网络自组织映射模型是以实际神经细胞中的一种特征敏感的细胞为模型的。各个细胞分别对各种输入敏感，可以代表各种输入，反映各种输入样本的特征。如果在二维空间上描述这些细胞，则，功能相近的细胞聚在一起，靠得比较近。功能不同的离得比较远。网络形成过程： 开始是无序的，当输入样本出现后各个细胞反映不同，强者依照“胜者为王”的原则，加强自己的同时对周围细胞进行压抑。使其对该种样本更加敏感，也同时对其他种类的样本更加不敏感。此过程的反复过程中，各种不同输入样本将会分别映射到不同的细胞上。《人工智能》第六章机器学习自组织竞争人工神经网络网络中的权值是输入样本的记忆。如果输出神经元j与输入n个神经元之间的联接用wj表示，对应其一类样本x输入，使yj达到匹配最大。那么wj通过学习后十分靠近x，因此，以后当x再次输入时，yj这个神经元必定会兴奋，yj是x的代表。《人工智能》第六章机器学习自组织特征映射网络的学习算法

自组织特征映射学习算法原理Kohonen自组织特征映射算法，能够自动找出输入数据之间的类似度，将相似的输入在网络上就近配置。因此是一种可以构成对输入数据有选择地给予响应的网络。类似度准则欧氏距离

《人工智能》第六章机器学习自组织特征映射网络的学习算法自组织特征映射学习算法步骤(1)网络初始化用随机数设定输入层和映射层之间权值的初始值(2)输入向量把输入向量输入给输入层(3)计算映射层的权值向量和输入向量的距离映射层的神经元和输入向量的距离，按下式给出《人工智能》第六章机器学习自组织特征映射网络的学习算法自组织特征映射学习算法步骤(4)选择与权值向量的距离最小的神经元计算并选择使输入向量和权值向量的距离最小的神经元，把其称为胜出神经元并记为，并给出其邻接神经元集合。

(5)调整权值胜出神经元和位于其邻接神经元的权值，按下式更新：

(6)是否达到预先设定的要求如达到要求则算法结束，否则返回(2)，进入下一轮学习《人工智能》第六章机器学习自组织竞争人工神经网络网络学习时对权的调整不只是对兴奋的那个细胞所对应的权进行，而对其周围Nc区域内的神经元同时进行调整。因此，对于在Nc内的神经元可以代表不只是一个样本x，而是与x比较相近的样本都可以在Nc内得到反映。因此，这种网络对于样本的畸变和噪声的容差大。（调整区域函数有。。。）各种函数网络学习的结果是：比较相近的输入样本在输出平面上映射的位置也比较接近。