远程高等教育人才培养质量测评工具的多元概化理论分析.docx

?

?

远程高等教育人才培养质量测评工具的多元概化理论分析

?

?

?

摘要：远程高等教育人才培养质量已成为广泛关注的话题，但相关的实证研究却十分有限。而电大开展的远程教育毕业生质量追踪调查在这方面走在了前面。通过多元概化理论的研究发现，该项调查中使用的远程开放教育人才培养质量测评工具《毕业生质量评价表》（单位用）和《学习效果评价表》（毕业生用）的测量精度比较高，可适用于远程高等教育人才培养质量的测评；但各维度对总方差的贡献比例与专家预定的赋分比例有较大差异。研究者认为，在今后的测评中使用实际计算出来的各维度的方差贡献率作为合成分数的权系数应当更科学。而后经由决策研究发现，各维度的项目数量比较合理，但适当增加“业绩”维度的项目数量，其测量精度将高于原始测量精度。

关键词：远程教育，人才培养质量，测评工具，多元概化理论

引言

我国自实施现代远程教育工程以来，全国有68所高校先后参加基于网络的现代远程教育试点。截止2005年，试点高校累计开设专业854个，毕业生735546人，在校生数达2548899人，（其中全国电大的毕业生、在校生数分别占全国试点高校的61.23%、77.81%）（中央广播电视大学，2006）。远程高等教育的人才培养质量如何，这是社会各界及教育主管部门普遍关注的话题，但是，关于远程高等教育的人才培养质量测评的理论与实证研究却十分有限。

2004年，全国广播电视大学系统率先在全国范围内开展了大规模的远程开放教育毕业生质量追踪调查，将广播电视大学远程开放教育人才培养质量分解为思想品德、知识、能力和业绩4个维度及相关指标体系，构成《毕业生质量评价表》（单位用）和《学习效果评价表》（学生用）（中央广播电视大学，2004），从社会用人单位和毕业生本人的角度，测评电大远程教育的人才培养质量。数据分析结果显示，该测评工具的理论模型与调查数据的拟合程度比较好，但各维度的权重设计比较主观，测量精度还可进一步提高。如何根据测评结果推论范围或使用目的的不同而提供多个不同的测量误差估计指标，据以改进测评工具，使得人们的评价分析更加恰当和合理，目前尚未有深入研究。

概化理论（GeneralizabilityTheory，GT）是现代心理与教育测量理论之一，它把测量误差作为模型参数来处理，不仅保留了经典测验理论（ClassicalTestTheory，CTT）中控制误差的标准化技术（匹配或随机化技术），而且发展出了把误差控制与决策需要或测量结果的概括程度相结合的理论和方法（杨志明，张雷，2003），这为研究标准化和标准化程度不高的测评开辟了新思路。多元概化理论（Multivariategeneralizabilitytheory，mGT）是单变量概化理论的深化和发展，广泛应用于各种测评中，尤其在涉及多个潜在因子的测评方面有独到之处。

本文运用多元概化理论，旨在深入验证分析“远程开放教育人才培养质量”测评工具的总体信度和各维度的信度，以及各维度对整体评价所作的实际贡献，并根据概化系数与项目数量的关系，为改进测评工具、提高测量精度和评价水平提供新的思路和参考依据。

研究设计

1.研究样本

本研究利用全国电大毕业生追踪调查（2004）中的毕业生质量评价（用人单位）、学习效果评价（毕业生）数据作为研究样本。这部分数据涉及招生规模大、毕业人数多且具有代表性的本科和专科专业，其中回收有效的毕业生调查问卷共有15602份（约占到毕业生总体的5.57%），回收有效的社会用人单位调查问卷共有9926份（约占到毕业生用人单位总体的3.55%）。

电大系统具有近30年的远程教育实践经验，是我国远程高等教育的主力军，因此以电大系统为样本在现代远程教育试点高校中具有较好的代表性。本研究所采用的调查数据，样本容量大，地域分布广（遍及全国），亦具有较好的代表性。

2.测评工具的结构

《毕业生质量评价表》（用人单位用）、《学习效果评价表》（学生用）各由四个、三个评价维度组成，通过让各专家给出各维度的权重比例，计算每个维度权重的平均值，从而得出各维度的权重（表1）。

???

?

3.测量设计

运用多元概化理论研究问题的过程分为两个阶段：G研究（GeneralizabilityStudy，概化研究）和D研究（DecisionStudy，决策研究）。G研究主要确认测量目标和测量侧面及其关系、估计各种效应的方差和协方差分量；D研究主要考察概化系数与测量目标或各侧面等因素之间的变化关系，评估各种决策下测量的信度，为改进测验设计、提高测验质量提供依据（杨志明，张雷，2003）。

根据评价表的结构，本研究将毕业生质量评价、学习效果评价解析为随机单面交叉设计，记为p×i，p是测量目标，指毕业生质量、学生真