HMM词性标注 - 南京大学.PPT

Institute of Computer Software Nanjing University Institute of Computer Software Nanjing University 地理高考试题的试题分析初探 戴新宇 博士 副教授 南京大学课题组 内容概要 试题分析框架 试题手动标注及总结 试题自动标注：分词、实体识别、术语 试题语义分析及表示 * * 试题分析框架 * * 试题手工标注 目的： 通过对若干试题进行规范化、系统化的标注,掌握试题中词法、句法、语义特性, 把握试题的类型、求解目标、知识点分布等, 进而抽象出人工标注过程中学习得到的知识和求解策略 标注结果将来可以作为标注数据,利用自然语言处理和机器学习方法,对新的试题进行自动的标注,这些标注的结果将用于解题。自动标注的时间、地点、术语等可以帮助分析理解试题,标注出的知识点、求解目标、问句模式可以帮助确定查询目标及确定解题策略。 * * 试题手工标注规范 给定的一道试题(选择题)及 ABCD 四个选项,对其进行手工的标注,需要标注的内容包括: 求解目标 (Answer Type): 多实体、单实体、判断、流程、其它; 问句模式 (Question type): 事实、因果、比较、关联、图表计算、其它。(注:四个 选项的求解模式可能不同,因此此项标注以选项为单位); 时间: 标注出该试题及选项中存在的时间名词及短语; 地点: 标注出该试题及选项中存在的地点名词和短语; 术语: 标注出该试题及选项中存在的地理学科专业术语; 课本知识点: 标注出该试题所考察的知识点在书本上对应的书号、章、节; 思维导图知识点: 标注出该试题所考察的知识点在思维导图中所处的位置; 图片: 标注出图片的类型，以及图片中包含的三元组信息。 * * 手工标注总结（求解目标） 共28套试卷, 486个选择题, 1944个选项进行了标注，试卷包括2006-2014年北京市高考地理试卷,以及近几年北京市海淀区、西城区、东城区、 朝阳区的模拟试卷。 求解目标: 486个选择题, 其中“判断”357个,“单实体”83 个,“多实体”36 个, “流程”9 个,“其它”1 个。题面中的某些词汇基本可以确定求解目标。 “分别”、“依次”：“多实体”题型 “顺序”、“阶段”：“流程”题型 “正确”、“原因”、“影响”：“判断”题型 …… * * 手工标注总结（求解目标标注示例） * * 2, 图2为某山地的垂直带谱示意图。读图，回答第4～5题。 2,4 图中所示山地 判断 4A 各自然带的界线随季节变化而移动 4B 北坡热量条件差，林带上界比南坡低 4C 南坡冰雪带下界因降水量大而较低 4D 南北坡山麓水平距离造成基带差异大 2,5 该山地位于 单实体 5A 喜马拉雅山脉 5B 天山山脉 5C 祁连山脉 5D 昆仑山脉 手工标注总结(问句模式) 问句模式:问句模式以选项为单位,但是有些试题4个选项的问句模式一致, 因此共标注1944个问句模式, 其中“事实”1177个, “因果”363个, “比较”218个,“图表计算”112个,“关联”70个,“其它”4 个。 题面中的某些词汇基本可以确定求解目标。 如“相比”、“最大”、“最高”：“比较”问 句 “看出”、“能够”：“关联”问句 “原因”、“导致”、“因为”、“因 素”：“因果”问句。 …… * * 手工标注总结(问句模式标注示例) 2, 图2为某山地的垂直带谱示意图。读图，回答第4～5题。 2,4 图中所示山地 判断 4A 各自然带的界线随季节变化而移动 事实 4B 北坡热量条件差，林带上界比南坡低 比较 比 4C 南坡冰雪带下界因降水量大而较低 因果 因...而... 4D 南北坡山麓水平距离造成基带差异大 因果 造成 2,5 该山地位于 单实体 事实 位于 5A 喜马拉雅山脉 5B 天山山脉 5C 祁连山脉 5D 昆仑山脉 * * 手工标注总结 (时间词) 时间词标注:486道试题共标注时间词251个。我们基于时间词及短语的形式进行了归类,将试卷中的时间词及短语分为 9 类,包括： 周期类,如“每天”“每年雨季”“每年10月4 日至10日”等; 时间段,如“1-3 月”“从 2010 年起”等; 季节(包括部分节气),如“春季”“秋冬季”“夏至日”“冬夏之交”等; 不同粒度的时间点,如“2013 年”“午后14点左右”“此日后20日”等; 有条件的时间点,如“气温最低时”“甲天气系统途径菲律宾时”“地震发生后”等; 某时期,如“甲时期”“十二五期间”等; 一天中的某时段,如“日出时间”“日出日落时间”“上午”等; 虚拟指代的时间,如“某年”“该日”等; other:其他。 *