托幼机构教育质量评价多元概化理论研究.doc

托幼机构教育质量评价多元概化理论研究 　　[摘要]探讨托幼机构教育质量评价的信度，对提高评价的科学性和权威性具有重要意义。本文运用多元概化理论，对某次托幼机构教育质量的评价数据进行分析。评价工具为《中国托幼机构教育质量评价量表（试用版）》，评价对象为浙江省不同地区的22个托幼机构的48个班级。分析结果表明：在六个子量表中，子量表一（空间与设施）的方差分量最大，子量表三（集体教育活动）的方差分量最小；子量表三与其他五个子量表的协方差相对较小：各个子量表的可靠性指数都在0.8以上，合成可靠性指数也在0.9以上：通过增加评价者人数可以提高评价的信度，但是提高的幅度在逐步减小。 [关键词]多元概化理论；托幼机构；教育质量评价 [中图分类号]G617[文献标识码]A[文章编号]1004-4604（2013）10-0022-05 托幼机构教育质量评价是一项极其重要的工作，20世纪80年代末以来，我国就?始了示范园和幼儿园分等定级的评估实践，一些地方性的幼儿园评估标准也陆续出台。但是，现有的大量研究（刘焱，1998；戴爽翔、刘霞，2003；刘丽湘，2006）与实践均表明，我国托幼机构质量评价的过程不够严谨、评价的信效度不高、评价标准未经检验，评价的科学性存在着明显的缺陷。 托幼机构教育质量评价是一种多人参与、多维度展?的复杂的评价活动，其评价结果的准确性受到评价者、评价项目和评价情境等多方面因素的影响。在考察评分者信度时，我们常常运用求两个或多个评分者独立评分间相关的分析方法（例如有多个评分者时计算肯德尔和谐系数）。但实际情况是。当有两个或多个评价者对不同的幼儿园进行评价时，评价者间的任何系统误差都会影响评价者信度。比如某幼儿园因为由对标准的掌握相对较宽松的评价者来测评而导致得分偏高，而另一幼儿园因为由对标准的掌握相对较严的评价者来测评而导致得分偏低。当我们把不同评价者的评分放在一起比较时，每个评价者的系统偏差从总体上就构成了随机误差。因为他们的评价结果被放在了同一个参照系统中处理（如求算术平均数等），这样一来，肯德尔和谐系数就不能准确反应评价者信度的高低，评分者之间的相对一致性较高而系统误差却很大，这时的评价者信度并不高。不仅如此，这种传统的信度分析方法（如相关分析法）无法分解评价中的各种误差来源，难以考察因测量情境关系变化而引起的误差变化，缺乏一个综合统一的评价指标对多维度的评价活动进行信度分析。当多个评价者进行多维度测评活动时，运用多元概化理论（Multivariate Generalizability Theory，MGT）可以进行更深入、更精确的分析。 概化理论运用实验设计的思想，采用方差分析的统计分析技术，可以分析测评中的各种变异来源，并对此进行分解、估计与控制。近几十年来，概化理论因应实践的需要，已从单变量概化理论发展到多元概化理论。单变量概化理论主要用于单个维度的测评和分析，多元概化理论则主要用于多维度的测评和分析，尤其是面对多维度复杂测量与评价情境，多元概化理论对分析测评误差的来源、提高测评的精度、提升测评的质量具有重要的意义。 一、研究方法与过程 （一）研究对象 根据浙江省各地区不同的经济发展水平。研究者在经济发展较好、一般和欠发达的三个地区抽取了来自市、县、乡村三类行政区域的22所托幼机构的48个班级作为研究对象。 （二）评价工具与评价过程 本研究所使用的托幼机构教育评价工具是《中国托幼机构教育评价量表（试用版）》（以下简称《量表》）。《量表》共包括七个子量表，采用7点记分方式。评价者主要通过班级观察的方式进行评分。其中第七个子量表（对家长与教师的支持）主要通过对家长和教师的访谈收集信息，但研究者发现，其中的一些项目，大部分受访者无法做出清晰回答，说明该子量表需加以修订和完善。为此，本研究仅对前六个子量表的评价结果进行多元概化分析。这六个子量表分别是：空间与设施、幼儿保育、集体教育活动、幼儿游戏材料与活动、互动和一日活动。 （三）评价方案的设计 本研究共有12名评价者（r）运用《量表》对48个班级（c）进行了观察和评分。评价者为高校学前教育专业的教师和研究生，他们都曾参与《量表》的研制工作，并接受了规范的评价培训和施测训练。一般情况下，对同一班级的评价在同一时间由2-3名评价者独立进行。我们把托幼机构班级作为评价目标，评价者和量表作为测量侧面。其中，量表为固定测量侧面，评价者为随机测量侧面。量表包含六个子量表，所以我们从六个方面进行评价。我们把测量设计看作是单侧面的多元嵌套设计，即评价者嵌套于幼儿园班级（rc?）。 （四）数据格式与处理 评价者观察和评分工作结束后，我们对每位评价者的评价结果进行了整理，形成以下格式（如表1所示）。基于各