第3章机器学习.pptx

人工智能与机器人

第3章机器学习3.1机器学习概述3.2监督学习3.3非监督学习3.4强化学习3.5深度强化学习3.6迁移学习

本章思维导图

3.1机器学习概述机器学习是一门从数据中研究算法的多领域交叉学科，研究计算机如何模拟或实现人类的学习行为，根据已有的数据或以往的经验进行算法选择、构建模型，预测新数据，并重新组织已有的知识结构使之不断改进自身的性能的学科。3.1.1机器学习的发展阶段第一阶段：神经网络模型研究阶段。20世纪50年代中期到60年代中期，属于热烈时期。第二阶段：符号概念获取研究阶段。在20世纪60年代中期至70年代中期，称为冷静时期。

3.1.1机器学习的发展阶段第三阶段：基于知识的学习系统研究阶段。20世纪70年代中期至80年代中期，称为复兴时期。第四阶段：连接学习研究阶段。这一阶段始于1986年。由于多位神经网络学者也相继提出了使用隐节点和反向传播算法解决了线性不可分问题，使连接机制学习东山再起，向传统的符号学习发起挑战。第五阶段：支持向量机快速发展阶段。这一阶段始于1995年。第六阶段：深度学习的爆发阶段。这一阶段始2006年。GeoffreyHinton以及他的学生RuslanSalakhutdinov正式提出了深度学习（DeepLearing）的概念。

3.1.2机器学习系统的基本结构环境表示外部信息的来源，它将为系统的学习提供有关信息。知识库代表系统已经具有的知识。学习环节为系统的学习机构，它通过对环境的感知取得外部信息，然后经分析、综合、类比、归纳等思维过程知识获得知识，生成新的知识或改进知识库的组织结构。执行环节表示利用学习后得到的新的知识库，执行一系列任务，并将运行结果报告学习环节，以完成对新知识库的评价，然后知道进一步的学习工作，是该模型的核心。

3.1.2机器学习系统的基本结构环境表示外部信息的来源，它将为系统的学习提供有关信息。知识库代表系统已经具有的知识。学习环节为系统的学习机构，它通过对环境的感知取得外部信息，然后经分析、综合、类比、归纳等思维过程知识获得知识，生成新的知识或改进知识库的组织结构。执行环节表示利用学习后得到的新的知识库，执行一系列任务，并将运行结果报告学习环节，以完成对新知识库的评价，然后知道进一步的学习工作，是该模型的核心。

3.1.3机器学习的分类机器学习算法有很多，有分类、回归、聚类、推荐、图像识别领域等，具体算法比如线性回归、逻辑回归、朴素贝叶斯、随机森林、支持向量机、神经网络等。在机器学习算法中，没有最好的算法，只有“更适合”解决当前任务的算法。机器学习算法的分类方式有很多种。如果按照学习方式分类可分为：监督式学习、非监督式学习、强化学习。深度强化学习和迁移学习。

3.1.3机器学习的分类1、监督学习监督学习过程

3.1.3机器学习的分类2、非监督学习在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。有别于监督式学习网络，非监督式学习网络在学习时并不知道其分类结果是否正确，亦即没有受到监督式增强(告诉它何种学习是正确的)。其特点是仅对此种网络提供输入范例，而它会自动从这些范例中找出其潜在类别规则。当学习完毕并经测试后，也可以将之应用到新的案例上。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及K-means算法。

3.1.3机器学习的分类3、强化学习在强化学习框架中，强化学习通过让智能体（Agent）不断地对所处环境（Environment）进行探索和开发并根据反馈的奖励（Reward）进行的一种经验学习。如在双足行走的机器人例子中，当机器人往前走时，奖励就给予正反馈，退后或者摔倒就给予负反馈。

3.1.3机器学习的分类4、深度强化学习深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，直接通过高维感知输入的学习来控制智能体（Agent）的行为，为解决复杂系统的感知决策问题提供了思路。5、迁移学习在某些机器学习场景中，由于直接对目标域从头开始学习成本太高，因此我们期望运用已有的相关知识来辅助尽快地学习新知识。迁移学习（TransferLearning）通俗来讲就是学会举一反三的能力，通过运用已有的知识来学习新的知识，其核心是找到已有知识和新知识之间的相似性，通过这种相似性的迁移达到迁移学习的目的。

3.2监督学习xy函数f(x1,y1)(x2,y2)(x3,y3)(......)(xN,yN)数据集

回归和分类问题分类问题回归问题输出连续型变量，比如温度、房价、身高等输出定性比较结果，比如好或者快、阴或者晴

监督学习的应用输入输出应用