研究工具性能的测定.ppt

第八章 研究工具性能的测定 　　信度和效度是用来反映研究工具质量高低的两个指标，高信度和高效度的研究工具是良好科研的必需条件。 第一节　信度 一、概念 　　信度（reliability）是指使用某些研究工具所获得结果的一致程度或准确程度。 稳定性、内在一致性、等同性是信度的三个主要特征 信度 所谓的信度，是指使用相同指标或测量工具重复测量相同事物时，得到相同结果的可能性。如果说某个指标或测量工具的信度高，那它提供的测量结果就不会因为指标、测量工具或测量设计本身的特性而发生变化；反之亦然。 二、信度的计算方法 　（一）重测信度（稳定性） 　　1.定义：是用同一测量工具在不同的时间对同一群受试者前后测量两次，然后计算两次测量分数的相关系数，相关系数越大说明两次测量的一致性越高。相隔的时间不应该太长。 　　2.计算方法 1.重测信度(test-retest reliability) 常用来描述研究工具的稳定性大小，即用一研究工具两次或多次测定同一群体，所得结果的一致程度。一致性程度越高，则该工具的稳定性越好，重测信度也就越高。 重测信度的具体做法是先进行第一次测试，隔一段时间（间隔以可能忘却上次测验内容为宜）后进行重测，然后计算两次测试结果的相关系数。重测对象一般要达到总研究数目的1/10。 重测信度简单、直观，适用于评估性质相对稳定的问题，如个性、价值观、自尊等。 不足之处在于计算结果会受多种因素影响。例如时间、受测对象第二次反应、态度和记忆力等 R= 3.使用重测信度需考虑的问题 （1）两次测量之间的间隔时间 （2）研究工具所测量的变量的性质 （3）测量环境的一致性 　　 （二）折半信度、cronbach‘α 系数与KR值（内部一致性） 此三种方法可用来反映工具的内在一致性。当研究工具包含多条项目时，需要对各项目之间的关系进行评定。内在一致性（internal consistency）指各项目之间的同质性或内在相关性, 内在相关性越好，说明组成研究工具的各项目都在一致地测量同一个问题或指标，也就是说明工具的内在一致性越好，信度越高 (1)折半系数：折半系数是测定内在一致性的古老方法，具体方法是将项目分成两部分，分别记分（选奇偶项是最常见的划分方法），对两个部分进行相关分析，然后采用Spearman-Brown 公式计算信度 只用一个测量工具对同一群受试者实施一次测量，但将奇数题和偶数题分开计分，再计算奇数试题和偶数试题分数之间的相关系数。 (2)Cronbach’s a相关系数与KR-20值(Kuder-Richardson formula 20)： 折半信度的主要不足是不同折半方法会导致不同的结果。例如一个10项目的问卷，共可有126种不同的折半法。按奇偶项进行折半与按前半、后半部分折半计算所得的信度就很可能不同。而Cronbach’s a与KR20值所计算的是工具中所有项目的平均相关程度，避免了折半信度计算的缺点。与Cronbach’sα不同的是KR-20值适用于二分制的研究工具（包含两种反应，例如回答“是”或“不是”）的一种方法。 （三）评定者间信度和复本信度（等同性） 评定者间信度和复本信度：用来表示研究工具等同性这一特征。或准确性是指两个相似的测量工具反映被测量对象真实状况的能力。等同性的计算也是进行相关分析。 （1）不同观察者使用相同工具，同时测量相同对象，需计算评定者间一致性信度。可用一致数目与观察总数的比简单估算，或用方差分析、等级相关等来计算。 （2）两个大致相同的工具同时被用于研究对象，需计算复本信度，可直接用Pearson相关系数计算。 复本信度 复本信度是用两个完全等值的（平行的）复本对同一群受试者进行测试，计算两种复本测量分数的相关系数，相关系数越大说明两个复本构成带来的变异越小。如考试中使用的Ａ、Ｂ卷 信度 在进行预试验时，一般选取10-20例样本进行信度测量。到目前为止对于信度系数的标准尚无统一的标准，一般认为信度数值高于0.8时工具的信度才理想，但若使用的问卷项目数较少时，高于0.6或0.5即可接受。评估工具的信度时，最重要是要报告出工具的信度数值，并说明它是怎么计算出来的 第二节　效度 效度是指某一研究工具能真正反映它所期望研究的概念的程度。反映研究概念的程度越好，效度越高 效度(Validity) 即有效性，指此测验测查到所要测查的没有？测查到何种程度？如一个智力测验，若测验结果所表明的确实是受试的智力，而且量准了智力水平，那么这一智力测验的效度好；反之则不好。效度检查，也同信度检查一样，有多种方法，并有各种名称，如内容效度、预测效度、因素效度、内部效度等。 一、表面效度 二、内容效度