信度与效度分析精选.ppt

第2讲 信度与效度分析方法 根据调查目的设计的调查问卷是一种测量工具 。其质量高低对调查结果的真实性、适用性等具有 决定性的作用。为了保证问卷具有较高的可靠性和 有效性。在形成正式问卷之前，应当对问卷进行试 测，并对试测结果进行信度和效度分析，根据分析 结果筛选问卷题项，调整问卷结构，从而提高问卷 的信度和效度。 调查问卷的信度和效度分析绝非赘疣蛇足，而 是研究过程中必不可少的重要环节。信度和效度分 析的方法包括逻辑分析和统计分析。 一、信度的概念 二 误差的分类 误差( error)是指对事物某一特征的度量值偏 离真实值的部分，即测定值与真实值之差，样 本统计量与总体参数之差。 二 误差的分类 1. 抽样误差 2. 系统误差（systematic error） 系统误差是指由于偏倚（使测量结果系统地偏离真值， bias）产生的错误结果，与随机误差不同，可校正和消除。 3. 随机测量误差 随机测量误差（random measurement error） 是指在测量过程中，即使消除了系统误差，但由于各种偶然因素的影响也会造成对同一个体的多次测量结果的不一致，测量结果发生的偏差往往不具有方向性。信度主要受随机测量误差的影响， 问卷（量表）测量中的测量误差通常来源于两个方面： 一是产生于问卷（量表）测量过程中的误差，称为测量误差（measurement Error），也称为随机误差（random error）； 二是由问卷（量表）的结构质量造成的误差，称为系统误差（system Error）。 measurement Error reliability system Error validity 信度是用估计测量误差大小的尺度，来说明 测量结果中测量误差所占的比例。 信度可定义为真实分数(true score)的方差 与测量实得分数(observed score) 的方差之比 ，当实得分数变异可以全部由真实分数的变异解 释时，测量误差就是0，这时测量结果的信度为 1。 若用变异表示测量结果的信度，理论上应有 或 式中 表示真实分数的方差； 表示实得分数的方差； 表示误差的方差。 信度包含两层含义： 一是相同的个体在不同时间，以相同的测量工具测量，或以复本测量，或在不同的情景下测量，是否能得到相同的结果，即测量结果是否随时间和地点等因素而变化； 二是能否减少随机误差对测验结果的影响，从而能够反映测量工具所要测量的真实情况，即测量结果是否具有稳定性、可靠性和可预测性。一个好的测量工具必须是稳定可靠的，且多次测量结果应前后一致。 信度指标多以相关系数表示，大致可分为三类： 稳定系数（跨时间的一致性），等值系数（跨形式的一致性）和内在一致性系数（跨项目的一性）。 三、信度的种类及计算 信度主要分为四大类： 重测信度(Test-retest Reliability) 复本信度(Alternate-form Reliability) 内部一致性信度(Internal Consistency Reliability) 评分者信度(Scorer Reliability) 重测信度是指用同样的测量工具，对同一组被调查者间隔一定时间重复测试，两次测试结果的相关程度。重测信度可以通过两种途径进行考察： 重测信度法特别适用于事实式问卷，如性别、出生年月等在两次施测中不应有任何差异，大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变，这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次，被调查者容易受到各种事件、活动和他人的影响，而且间隔时间长短也有一定限制，因此在实施中有一定困难。 ??? 复本信度法是让同一组被调查者一次填答两份问卷复本，计算两个复本的相关系数。复本信度法要求两个复本除表述方式不同外，在内容、格式、难度和对应题项的提问方向等方面要完全一致，而在实际调查中，很难使调查问卷达到这种要求，因此采用这种方法者较少。 2. 复本信度（alternate form reliability） 复本通常是根据相同的设计说明分别独立编制的两个平行问卷，即题目不同但是内容相似的两份问卷。复本信度也叫等值性系数（coefficient of equivalence）。两个复本间隔一定时间或同