Slide2-归类公理概述.ppt

* * * * * 3. 归类公理 无论看到什么，人们都能自动将其归类。 归类包括回归、分类、聚类和特征降维。 样本可分性公理（ SS） 不重：一个对象总有唯一一个类与其最相似 类内非空：一个类至少有一个对象与其最相似 类可分性公理（CS） 归类等价公理(CE) 归类等价：对于任意一个类, 其对应的算法内部表示与外显表示的归类能力等价 （直心是道场，知行合一） 外显表示 内部表示 生成 判别 等价 概念化 实例化 类相异函数描述下的归类公理 归类公理讨论 SS 任何对象属于且仅属于一个类。 CS 任意一个类非空。 CE 内外一致，外延表示与主观表示一致。 类可分性公理的性质 定理1： 如果一个归类结果有c个类，并满足类可分性公理, 则有 1) 每个类的表示都不同。 2)至少存在c 个不同的对象 样本可分性公理与归类理论 原型理论: 一个对象归为A类而不是其它类仅仅因为 该对象更像A类的原型表示而不是其它类的原型表示 样例理论: 一个对象归为A类而不是其它类仅仅因为 该对象更像A类的样例表示而不是其它类的样例表示 . 上述归类理论与样本可分性公理一致 归类结果分类 正则归类结果 重叠归类结果 非正则归类结果 正则归类结果 正则归类结果: 如果一个归类结果满足样本可分性公理和类可分性公理，则该归类结果是正则的。 重叠归类结果 重叠归类结果: 如果一个归类结果满足类可分性公理但不满足样本可分性公理，则该归类结果是重叠归类结果。 非正则归类结果 非正则归类结果: 如果一个归类结果不满足类可分性公理，则该归类结果是非正则归类结果 正则划分 重叠划分 非正则划分 边界集 归类判据设计原则 可分性公理要求低，归类结果应该尽量远离违反可分性公理的情形。 由此， 有两个设计原则 类紧致性原则 类分离性原则 类表示唯一公理要求高，因此，归类结果应该尽量使得类表示唯一公理近似成立。由此，有设计原则： 归类一致性原则 类紧致性原则 类紧致性原则: 每个对象的最相似类与其次相似类的相似程度差别要大. 类紧致性原则 类内相似度最大 类内方差最小 类分离性准则 类一致性准则 . 总结与展望 1. 提出了归类的基本规则：归哪类，像哪类；像哪类，归哪类，建立了从认知科学到机器学习或者模式识别的理论桥梁。 2.将归类结果进行了分类. 3.提出了三条归类设计准则. 归类公理框架图 归类公理 样本可分 类可分 归类等价 类表示公理 存在性 唯一性 类紧致性 类分离性 类一致性 归类方法设计 参考文献 Yu J, Xu Z. Categorization Axiom, [J]. arXiv preprint arXiv:1403.2065, 2014. Yu J. Generalized Categorization Axioms, arXiv preprint arXiv:1503.09082, 2015 特别感谢合作者徐宗本先生 特此感谢高新波，张文生，胡包钢，张讲社，封举富，景丽萍，柴变芳等人的批评和建议！ 敬请各位批评指正。 * * * * * * * 归类公理 于剑 交通数据分析与挖掘北京市重点实验室 北京交通大学 Email: jianyu@bjtu.edu.cn 一对情侣在山东省济南市经十东路附近游玩，小伙子凝视着一个高大建筑的大门，感叹书法写的不错，并大声念道：心在情妇那！ 女孩子说：你个大傻，明明是山东情妇馆，贪官的情妇都关在这里。 一路人经过这里，心想：两个不学无术的东西，不认得还在这里充学问，明明是心系情妇波。 这时走过来一个看起来很斯文的学者说:都别争了，这不是很清楚吗？这是“山东情妇报”办公大楼！ 提要 1. 引言 2. 类表示与类表示公理 3. 归类公理 1. 引言 人接触世界，会将各种对象自动呈现为心智中的各种概念。即人具有归类能力。 自然希望计算机也具有这种能力。为此，机器学习作为一门学科应运而生。 一个六七岁的小孩可以正确归类各种对象。 人如何归类？ 直观观察： 每个对象应该归为与其最相似的类。 更简单的归纳为： 归哪类，像哪类。像哪类，归哪类。 2. 类表示与类表示公理 人是机器人的上帝， 人至少机器人制造者必须知道机器人的思考机理。 人的归类机理是归哪类，像哪类，像哪类，归哪类。 本书所有的研究内容围绕这四句话展开。 归哪类，像哪类的语义分析 归哪类对外可见，是类的外显表示，像哪类主观内在，不一定外显，属于类的内部表示。 人表示类，既有外显表示，也由内部表示。 机器如何表示类？ 应该也像人一样，有类的内部表示和外显表示。 归类问题的挑战 只