机器学习课件.ppt

小结候选消除算法利用一般到特殊序，通过渐进地计算极大特殊假设集合和极大一般假设集合发现变型空间候选消除算法缺少健壮性，第10章描述了几种基于一般到特殊序关系的概念学习算法，它们能够处理有噪声的数据和目标概念无法在假设空间中表示的情况归纳学习算法隐含了归纳偏置，候选消除算法的偏置是：目标概念可以在假设空间中找到。输出的假设和对新实例的分类可由归纳偏置和训练样例演绎推出第37页,共41页，星期六，2024年，5月补充读物Bruneretal.1957和HuntHovland1963研究了概念学习以及一般到特殊的偏序Winston1970的博士论文将概念学习看作是包含泛化和特殊化操作的有哪些信誉好的足球投注网站过程SimonLea1973将学习的过程看作是在假设空间中有哪些信誉好的足球投注网站的过程Mitchell1977,1982提出变型空间和候选消除算法Haussler1988证明，一般边界的大小随训练样例的数目成指数增长Mitchell1979扩展了候选消除算法，以处理可预见的有限数量的误分类样例Sebag1994,1996展示了一种被称为析取变型空间的方法来从有噪声数据中学习析取概念...第38页,共41页，星期六，2024年，5月第39页,共41页，星期六，2024年，5月更一般关系的例子（EnjoySport）训练样本第40页,共41页，星期六，2024年，5月变型空间例子（EnjoySport）训练样本候选消除法最优查询检验样本第41页,共41页，星期六，2024年，5月*。。。概念学习任务（2）YesChangeCoolStrongHighWarmSunny4NoChangeWarmStrongHighColdRainy3YesSameWarmStrongHighWarmSunny2YesSameWarmStrongNormalWarmSunny1EnjoySportForecastWaterWindHumidityAirTempSkyExample表2-1目标概念EnjoySport的训练样例候选消除法变型空间例一般到特殊Find_S第5页,共41页，星期六，2024年，5月概念学习任务（3）表示假设的形式一个简单的形式，实例的各属性约束(变量)的合取式令每个假设为6个约束(变量)的向量，每个约束(变量)对应一个属性可取值范围，为？任意本属性可接受的值明确指定的属性值?不接受任何值假设的例子?,Cold,High,?,?,??,?,?,?,?,? //所有的样例都是正例?,?,?,?,?,? //所有的样例都是反例第6页,共41页，星期六，2024年，5月EnjoySport概念学习任务

已知实例集X每个实例x由6个属性描述，每个属性的取值范围已确定假设集H每个假设h描述为6个属性的取值约束的合取目标概念c一个布尔函数，变量为实例训练样例集D目标函数（或目标概念）的正例和反例求解H中的一假设h，使对于X中任意x，h(x)=c(x)第7页,共41页，星期六，2024年，5月术语定义实例x和实例集X概念和目标概念c训练样例x和训练样例集D正例，目标概念成员反例，非目标概念成员假设h和假设集H机器学习的目标就是寻找一个假设h，使得对所有的h，都有h(x)=c(x)第8页,共41页，星期六，2024年，5月归纳学习假设什么是归纳学习？从特殊的样例得到普遍的规律归纳只能保证输出的假设能与训练样例相拟合归纳假设的一个基本假定对于未见实例最好的假设就是与训练数据最佳拟合的假设归纳学习假设任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数第9页,共41页，星期六，2024年，5月作为有哪些信誉好的足球投注网站的概念学习概念学习可以看作一个有哪些信誉好的足球投注网站的过程有哪些信誉好的足球投注网站范围：假设的表示所隐含定义的整个空间有哪些信誉好的足球投注网站目标：能够最好地拟合训练样例的假设当假设的表示形式选定后，那么就隐含地为学习算法确定了所有假设的空间例子EnjoySport的假设空间第10页,共41页，星期六，2024年，5月假设的一般到特殊序假设的一般到特殊序关系考虑下面两个假设h1=sunny,?,?,Strong,?,?h2=Sunny,?,?,?,?,?任何被h1划分为正例的实例都会被h2划分为正例，因此h2比h1更一般利用这个关系，无需列举所有假设，就能在无限的假设空间中进行彻底的有哪些信誉好的足球投注网站第11页,共41页，星期六，2024年，5月假设的一般到特殊序（2）关系“更一般