人工智能基础05-机器学习.pptVIP

5.4基于神经网络的学习5.4.1神经网络的组成与特性一个神经元把来自不同树突的兴奋性或抑制性输入信号(突触后膜电位)累加求和的过程，称为整合。考虑到输入信号的影响要持续一段时间(毫秒级),因此,神经元的整合功能是一种时空整合。当神经元的时空整合产生的膜电位超过阈值电位时,神经元处于兴奋状态,产生兴奋性电脉冲,并经轴突输出;否则,无电脉冲产生,处于抑制状态。5.4基于神经网络的学习5.4.1神经网络的组成与特性神经元由细胞体、树突和轴突组成。细胞体是神经元的主体,由细胞核、细胞质和细胞膜三部分构成.从细胞体向外延伸出许多突起,其中大部分突起呈树状,称为树突.树突起感受作用,接受来自其他神经元的传递信号.由细胞体伸出的一条最长的突起,用来传出细胞体产生的输出信号,称之为轴突;轴突末端形成许多细的分枝,叫做神经末梢;每一条神经末梢可以与其他神经元形成功能性接触,该接触部位称为突触。所谓功能性接触是指并非永久性接触,它是神经元之间信息传递的奥秘之处。125.3.6基于决策树的归纳学习最为典型的决策树学习算法是由J.RossQuinlan1979年提出的ID3算法。ID3（IterativeDichotomiser，迭代的二分器)算法是一种基于信息熵的决策树算法，以Shannon的信息论为依据。ID3改进、优化：C4.5算法：1993年，Quinlan出版了专著《机器学习规划》对C4.5算法进行详细描述。CART(ClassificationandRegressionTree)算法：描述了二叉决策树的产生，可对连续型因变量进行处理。5.3常见的几种学习方法5.3常见的几种学习方法5.3.6基于决策树的归纳学习决策树（又称判定树decisiontree)是一种树结构，其节点分为两类：一类是内节点，另一类是叶节点。内节点：一般用一个属性名来标记，代表对该属性的测试。与内节点连接的边表示对该属性测试的输出。叶节点：每个叶节点表示分类结果，一般用类标号属性值来标记。5.3常见的几种学习方法5.3.6基于决策树的归纳学习Male?gradegradeclass1class2class3class2yesno≥60≥6060605.3常见的几种学习方法5.3.6基于决策树的归纳学习如何构造一颗具有较高分类准确率的决策树？关键：如何确定当前要以哪个属性作为测试属性？1948年Shannon提出并发展了信息论，研究以数学的方法度量并研究信息。通过通信后对信源中各种符号出现的不确定程度的消除来度量信息量的大小。自信息量设系统S中有多个可能发生的事件：a1,a2,…an，事件ai发生的概率为p(ai),i=1,2,…,n，p(ai)∈[0,1]p(ai)越大，事件ai不确定程度越低，反之，则越高。5.3常见的几种学习方法04030102用-logp(ai)表示事件ai的不确定程度，称为ai的自信息量I(ai)I(ai)=--logp(ai)//log以2为底信息熵（entropy）如果将S看作一个信源，a1,a2,…an看成信源S发出的n种类型的信息，则信源S的不确定性可以用平均自信息量来度量，记为H(S)，定义：5.3.6基于决策树的归纳学习5.3常见的几种学习方法5.3.6基于决策树的归纳学习2.决策树的学习决策树学习的过程是从空树开始，从训练集中不断选择测试属性，逐步创建决策树的过程。设X为训练集，分为m类，第i类中的训练实例集合记为Ci，i=1,2,,…,m，那么X中任意一个实例属于类Ci的概率估计值为：p(Ci)=|Ci|/|X|其中|X|表示集合X中的元素个数。训练集X关于类簇C={C1,C2,…,Cm}的分类不确定性可用西面信息熵来度量：5.3常见的几种学习方法5.3.6基于决策树的归纳学习在C已知的情况下（训练集中已确定），H(X,C)简写为H(X)。构造决策树的目的：将训练集X的不确定程度H(X)降至最低。从而可以对未知数据（X集以外的数据）进行分类预测。构造决策树的过程是从空树开始不断添加节点的过程，关键是选择测试属性，使得构造起来的“半”决策树最大限度减低训练集X的信息熵H(X)。5.3常见的几种学习方法5.3.6基于决策树的归纳学习IDcolorsizeactageinflated1YELLOWSMALLSTRETCHADULTT2YELLOWSMALLSTRETCHCH