多模态知识图谱构建.pptx

哈尔滨工业大学社会计算与信息检索研究中心友爱力行乐学日新RESEARCHCENTERFORSOCIALCOMPUTINGANDINFORMATIONRETRIEVAL多模态知识图谱构建初探汇报人：

知识的分类非结构化数据结构化数据单模态数据多模态数据知识2HARBININSTITUTEOFTECHNOLOGY

单模态知识图谱到多模态知识图谱CEO库克苹果公司关系头实体尾实体intel芯片属于产品CEO库克人公司苹果公司知名人士机构物品电脑苹果电脑芯片文本图像3HARBININSTITUTEOFTECHNOLOGY

封闭域信息抽取VS开放域信息抽取“蒂姆·库克担任苹果公司的首席执行官”（“蒂姆·库克”，“首席执行官”，“苹果公司抽取路线1:封闭信息抽取（CloseIE）抽取路线2:开放信息抽取（OpenIE）蒂姆·库克人机构雇佣关系拥有关系学习关系苹果公司事先给定实体类别和关系类型标签（“蒂姆·库克”，雇佣关系，“苹果公司”）4

知识图谱中容纳的事实知识intel芯片苹果电脑属于产品CEO苹果公司库克发热量产品英特尔公司总部圣克克拉总部属于加利福尼亚库比蒂诺市上位词实体属性关系城市洲/省电子产品产品地点苹果公司和英特尔公司产品间的联系公司组织5

知识图谱中的矛盾事实？objsubj强于objsubj无法媲美ARM处理器的性能 Intel处理器的性能不限制功耗，ARM处理器的性能暂时无法媲美Intel处理器的性能ARM处理器的性能 Intel处理器的性能消耗相同的电能，ARM处理器的性能强于Intel处理器的性能6HARBININSTITUTEOFTECHNOLOGY

知识图谱中的矛盾事实消耗相同的电能，ARM处理器的性能强于Intel处理器的性能。不限制功耗，ARM 处理器的性能暂时无法媲美Intel处理器的性能Intel处理器的性能objsubjARM处理器的性能强于消耗obj相同的电能条件Intel处理器的性能objsubjARM处理器的性能无法媲美不限制obj功耗条件7HARBININSTITUTEOFTECHNOLOGY

条件性知识图谱2014年乌克兰发生橙色革命，2022年初乌克兰民间武装与乌克兰政府军爆发冲突，2022年2月24日俄罗斯在乌克兰进行特别军事行动，乌克兰宣布与俄罗斯断交。时间冲突时间乌克兰民间组织橙色革命特别军事行动断交2022初实体层关系层发生条件层次序层2014政府军归属K3.俄罗斯时间进行前 序后 序事 实条 件头实体尾实体T1.T2.2022年2月24日K1.8HARBININSTITUTEOFTECHNOLOGYK2.CCKS2023bestpaper

开放域事实和条件联合抽取数据集构建Sentences:MacwilabandonIntelprocessorsanduseARMprocessorsinstead.Withoutlimitationonpowerconsumption,theperformanceofARMprocessorscannotbecomparedwiththatofIntelprocessors.ButtheperformanceofARMprocessorsisbeterthanthatofIntelprocessorsinthecaseofconsumingthesamepower.tuple-1:(Mac,wilabandon,Intelprocessors)tuple-2:(Mac,use,ARMprocessors)tuple-3:({ARMprocessors:performance},cannotbecomparedwith,{Intelprocessors:performance})tuple-4:({ARMprocessors:performance},isbeterthan,{Intelprocessors:performance})tuple-5:(nul,withoutlimitingon,powerconsumption)tuple-6:(nul,inthecaseofconsuming,samepower)