英语与听力口语考试自动化系统.ppt

2007-9-19 英语听力口语考试自动化系统 江苏省英语听力口语自动化考试介绍 牛津大学出版社(中国)有限公司 中国科学院自动化研究所 2008年8月 目录 考试概要介绍 考试的模式和管理 计算机自动阅卷原理 评估报告及教学反馈 1.1 主要内容 1.2 本项目四大特点 人机对话的测试系统，将听力和口语合二为一，省时省力、减少事故； 现状：100万考生口语考试，3天组织，工作量很大； 人工：1老师/天/100份卷，总量100万考生； 机器：1个市，2台服务器/3天判卷； 大幅度减少考试可能出现的差错和事故率。 海量题库、人机对话，同一考场不同考卷； 题库的海量性从考试机制的角度有效阻止了考试作弊现象； 通过技术手段有效抑制猜题、押题等弊端； 从长远建设角度，经过3到5年努力建立起百万级题库，并且年更新10%。 1.2 本项目四大特点 计算机完成全部英语听力和口语考试及评卷 公正性：人工阅卷方式受制于教师体力和精力状况，很难保证成绩的客观性、准确性和公平性，不同老师之间可能出现较大差异； 计算机判卷不仅克服了人工判卷中这些很难避免的不利因素，极大提高阅卷和评估的客观性和公正性，而且为个性化评估和提供改进建议奠定了坚实的基础。 有效评估，反馈教学 六级评估报告，从省、市、区县，到学校、班级和个人； 中国第一次以量化方式提供考试评估反馈； 这样的评估报告对英语的教与学提供了真正的可信、可视化和可操作化的帮助。 目录 考试概要介绍 考试的模式和管理 计算机自动阅卷原理 评估报告及教学反馈 2.1 考试自动化系统架构 面向考试全程，全面、灵活、可定制的方案 考前：分级考务管理/考场编排系统、考试服务网站 考中：测试系统 考后：自动阅卷系统、报告生成系统 2.2 考务管理/考场编排系统 具有省、市、区县三级管理模式；可对考生考籍进行管理；提供多种考场编排方式，生成与考试相关的各种表格与文件，并能灵活打印 2.3 考试的组织与管理 2.4 考试系统 2.4 考试系统-学生人机交互 学生端软件操作简单易用，包括考号输入、设备测试、答题等，在语音提示下完成考试过程，出现误操作的几率很小 2.4 考试系统-考号输入 2.4 考试系统-设备测试 耳麦设备由省政府统一采购 2.4 考试系统-设备测试----录音样例 声音太小 2.4 考试系统-考试过程 考生面对计算机， 人机对话 2.4 考试系统-教师人机交互 教师端软件全程监控，学生端如有任何异常情况(设备测试、进度、录音异常等)，及时提示监考老师帮助学生解决问题 2.4 考试系统 - 测试现场 2.4 考试系统 -其它保障措施 每个考场预设10%的备用考试设备，以备设备故障的考生当场或下场重考； 考前制定应急处理方案和故障解决手册，做好对考生设备异常、迟到缺考、网络故障、数据传输等个别情况的处理准备。 考试机故障解决手册 监考机故障解决手册 2.5 自动阅卷系统 2.5 自动阅卷系统 导入考生的答卷文件；准确完成自动阅卷和评分； 目录 考试概要介绍 考试的模式和管理 计算机自动阅卷原理 评估报告及教学反馈 3.1 自动阅卷系统技术结构 3.2 语音识别用于口语评估的特殊性 限定条件下的语音识别 专门麦克风，一定题型； 有别于不受任何限制的自然口语识别； 口语评估基于标准语音库，而语音识别基于大量非标准库 中科院自动化所领先的语音识别技术 美国虽然还没有把语音技术应用于他们本国的学生评估，但是把这种技术应用到美国以外学生的英语考试已经很多年了。 3.3 阅卷特征提取 完整性 朗读型题目，能否顺利读完全文，以及顺利读完的比例； 话题简述型题目，能否完整表达题目的语意，清楚表达的语意比例； 完整性特征是评分的起评基本特征； 准确性 单词级评估，主要包括单词发音的元音、辅音、重音准确性 流利性 句子级评估，主要包括语速、插入（重复、修正）、连贯（连读、失去爆破、同化）等 韵律性 句子级评估，主要包括意群停顿（节奏）、重读弱读、语气语调 3.4 自动阅卷过程说明 3.4 自动阅卷过程说明 综合各种特征给出评分 完整性特征：根据漏读情况计算完整性 准确性特征：单词发音、重音准确性 流利性特征：语速、插入、连读、失去爆破、同化 韵律性特征：意群停顿、重读弱读、语气语调 综合决策模块：综合上述特征给出最后评分 目录 考试概要介绍 考试的模式和管理 计算机自动阅卷原理 评估报告及教学反馈 4.1 省、市、区(县)、校、班级、个人六级评估报告 评估报告的主要内容包括： 考试总分统计：分别按照个人、班级、学校、区(县)、市、省进行分析和比较，并可自定义比较单位，如平均分、最高分、单项分等； 主要错误的寻找和指正：给出发音、考点、语速、重音等方面的分档评价和主要错误