属性一致性分析.ppt

关于检查员能力评价的问题 可使用属性一致性分析对多个检验员给出的名义或顺序评级的一致性进行评估。属性一致性 分析是评估检验员一致性的技术。 Minitab 显示四个评估一致性表： “每个检验员自己”、“每个检验员与标准”、 “检验员之间”和“所有检验员与标准”。以上每个表中都包括 Kappa 和 Kendall 统计量。 总的来说，这些统计量表明一致性良好。 一般计数型测量系统的目标是90%，即一致率要达到0.9以上。 Kappa 表示在评估相同样本时多名评估员所做名义或顺序评估的一致程度。Kappa 统计量常用 于交叉分组（表）应用，或用在属性一致性分析中。 Kappa 值介于 -1 和 +1 之间。kappa 值越高，一致性就越强。 通常，kappa 值至少应该 为 0.70，但 kappa 值最好接近 0.90。 当进行顺序评级时（比如按 1 到 5 个等级对缺陷严重性进行评定）， Kendall 系数 （考虑了排序因素）通常比单独使用 kappa 更适合用来评估关联度。 Kendall 系数表示在评估相同样本时多名评估员所做顺序评估的关联程度。 Kendall 值介于 0 和 +1 之间。Kendall 值越高，关联程度就越强。一般而言，当 Kendall 系数为 0.9 或以上时，就认为关联程度非常强。较高或显著的 Kendall 系数意味着评估员评估 样本时采用的是基本一致的标准。 如果为每个样本提供一个已知评级，Minitab 还将计算 Kendall 的相关系数。这些相关 系数将提供给每位评估员以表示每位评估员与已知标准的一致性；而总体系数表示所有评估员 与标准的一致性。相关系数有助于确定某个评估员是否保持了一致性但却不准确。 例如：现要对4名检查员做评价，检查12个样品对3种不良进行判级，每种不良选择4个样品 让每一个检查员各检查5次 12个样品的标准值如下： 而4名检查员实际检查情况如下表： 解：首先把原始数据如右图编码输入到minitab 表格里。 然后依次点击 Stat Quality Tools Attribute Agreement Analysis 进入属性一致性分析的主页面 结果： Attribute Agreement Analysis for 测量值 Within Appraisers Assessment Agreement Appraiser # Inspected # Matched Percent 95 % CI A 12 3 25.00 (5.49, 57.19) B 12 3 25.00 (5.49, 57.19) C 12 1 8.33 (0.21, 38.48) D 12 2 16.67 (2.09, 48.41) # Matched: Appraiser agrees with him/herself across trials. Fleiss Kappa Statistics Appraiser Response Kappa SE Kappa Z P(vs 0) A 1 1.00000 0.0912871 10.9545 0.0000 2 0.47712 0.0912871 5.2266 0.0000 3 0.22978 0.0912871 2.5171 0.0059 4 0.48571 0.0912871 5.3207 0.0000 5 0.22414 0.0912871 2.4553 0.0070 Overall 0.44888 0.0558308 8.0400 0.0000 B 1 -0.01695 0.0912871 -0.1857 0.5736 2 0.35310 0.0912871 3.8680 0.0001 3