知识库构建与应用PPT.ppt

徐源北京邮电大学知识库构建与应用1

目录语义信息抽取知识库语义检索海量数据处理22025/1/6

语义信息抽取泛网资源与信息语义抽取内容模式抽取层级构建32025/1/6

语义信息抽取——海量资源与信息泛在网为我们提供了无所不在的资源及信息。如何在海量信息中获取我们需要的信息？如何快捷的获取？机器理解？如何让机器更好的理解？语义抽取42025/1/6

语义信息抽取——语义抽取内容实体抽取(Namedentityextraction)：人物、地点、机构、疾病，等命名或专有实体。属性抽取(Attributeextraction)：实体的自身属性。关系挖掘(Relationmining)：实体之间的关系。事件挖掘(Eventmining)：由多个关系元组所构成。52025/1/6

语义信息抽取——实体抽取识别文本中出现的实体MUC(1997):Person,Location,Organization,Date/Time/CurrencyACE(2005):100多种更具体的类型针对不同实体类型与领域考虑不同方法封闭类(e.g.,geographicallocations,diseasenames,geneproteinnames)：人工规则+词典语法相关(e.g.,phonenumbers,zipcodes)：正则表达式语义相关(e.g.,personandcompanynames)：综合考虑上下文,句法特征,词典,启发式规则等62025/1/6

语义信息抽取——实体抽取人工规则方法某些情况构建简单:电话号码、邮政编码等。调试和维护简单拓展性问题机器学习方法当容易构建大量训练数据时适合采用能够捕捉复杂的模板主要方法：NaiveBayes；HiddenMarkovModels；MaximumEntropyMarkovModels；ConditionalRandomFields(CRF)72025/1/6

语义信息抽取——属性抽取属性包括：属性名属性值82025/1/6

语义信息抽取——属性抽取92025/1/6

语义信息抽取——属性抽取基于无结构化与前面方法类似模板改变:AofI—AofIisV;VisAofI种子改变:(China,capital)—(China,capital,Beijing)基于WikipediaInfobox基于HTML表格102025/1/6

语义信息抽取——关系抽取ACE（AutomaticContentExtraction）会议将关系抽取任务表述为：探测和识别文档中特定类型的关系，并对这些抽取出的关系进行规范化表示。一个比较完整的关系抽取系统应包括依次相连的5个模块：NLP处理和实体抽取、模式匹配或分类、共指消解、新关系处理以及规范化输出。关系抽取的困难可以归纳为3个方面：特定领域标引数据集的获取模式的获取共指消解112025/1/6

语义信息抽取——关系抽取基于模式匹配的关系抽取先构造出若干基于语词、基于词性或基于语义的模式集合并存储起来。当进行关系抽取时,将经过预处理的语句片段与模式集合中的模式进行匹配。一旦匹配成功,就可以认为该语句片段具有对应模式的关系属性。基于词典驱动的关系抽取基于词典驱动的关系抽取方法非常灵活，新的关系类型能够仅仅通过向词典添加对应的动词入口而被抽取。但只能识别以动词为中心词的关系。基于机器学习的关系抽取将关系抽取看作是一个分类问题。在人工标引语料的基础上构造分类器，然后将其应用在领域语料关系的类别判断过程中。目前使用比较多的学习算法有MBL算法和SVM算法。混合抽取方法基于词汇：“company?located?in?location”基于句法结构：“((Objcompany)(Verblocated)(*)(Subjlocation))”机器学习方法有监督学习：基于人工标注数据训练模型（SVM,MaxEnt,KNN等）1.基于特征的方法2.核方法：核函数Kernel(x,y)定义对象x与y之间的相似度,则可直接使用核函数代替上述公式中基于显式特征的点积运算半监督学习：基于自举方法从种子样例中训练模型

自举方法(Bootstrapping)轮流发现实体关系对与抽取模板。无监督学习：自动发现主