信息检索八TextCategorization.ppt

湖南大学计算机与通信学院 刘钰峰 文献信息的分类方法 Dewey decimal system（杜威十进分类法） 首创于1876年，目前有 9个大类 the Library of Congress catalog（国会图书馆图书分类法） 1902年颁布，目前有21个大类 the AMS Mathematics Subject Classification US Patent subject classification 中国图书馆图书分类法 1975年第一版发行，22类（5个大类） 中国科学院图书分类法 Dewey decimal system DDC杜威十进分类法是用传统的学科来分类，总共以10个主要的学科（main classes）来涵括所有的知识体系，每个大类下细分10类（divisions），接着又再分成10小类（sections）。DDC中每个学科都会给予特定范围的数字来表示，它的十个大类（main classes）分别是： 000 Generalities 总类 100 Philosophy 哲学类 200 Religion 宗教类 300 Social sciences 社会科学类 400 Language 语文类 500 Pure sciences 自然科学类 600 Technology 应用科学类 700 The arts 艺术类 800 Literature 文学类 900 General geography history 史地类 中国图书馆图书分类法简表 （22类）（5个大类） A 马克思主义、列宁主义、毛泽东思想、邓小平理论?B 哲学、宗教?C 社会科学总论?D 政治、法律?E 军事?F 经济?G 文化、科学、教育、体育?H 语言、文字?I 文学?J 艺术?? K 历史、地理 N 自然科学总论?O 数理科学和化学?P 天文学、地球科学?Q 生物科学?R 医药、卫生?S 农业科学?T 工业技术?U 交通运输?V 航空、航天?X 环境科学、安全科学?Z 综合性图书 Text Categorization Examples Assign labels to each document or web: Labels are most often topics such as Yahoo-categoriese.g., finance, sports, newsworldasiabusiness Labels may be genres e.g., editorials movie-reviews news“ Labels may be opinion e.g., “like”, “hate”, “neutral” Labels may be domain-specific binary e.g., interesting-to-me : not-interesting-to-me” e.g., “spam” : “not-spam” e.g., “contains adult language” :“doesn’t” Categorization/Classification Given: A description of an instance, x?X, where X is the instance language or instance space. Issue: how to represent text documents. A fixed set of categories: C = {c1, c2,…, cn} Determine: The category of x: c(x)?C, where c(x) is a categorization function whose domain is X and whose range is C. We want to know how to build categorization functions (“classifiers”). 实现自动文本分类的方法 自动文档分类 文档自动分类（Automatic Text Categorization，ATC）, 在给定的分类体系下，根据文本的内容用计算机程序确定文本所属类别的过程. 一般采用机器学习的方法进行自动文本分类。即:基于训练集的文本自动分类 机器学习的目的：根据给定的已知训练样本求取对系统输入输出之间依赖关系的估计，使它能够对未知输出作出尽可能准确的预测。 Recall: Vector Space Representation Each