测验质量分析.ppt

例:5名被试参加一个包含6道试题的测验，测验结果如下表，求该测验的信度系数。题号被试Si2ABCDE1711811113.042697891.3636106892.5648116836.965711811113.046711811113.04合计41634357542070.24第23页，讲稿共63页，2023年5月2日，星期三第24页，讲稿共63页，2023年5月2日，星期三4．评分者信度系数对于无法完全客观记分的测验，评分者的主观因素对测验结果的影响是很大的，因此需要控制评分误差和研究评分者信度。评分者信度的估计可以分为两种情况：（1）2人同时评多份相同的试卷这种情况可以用2人评分的相关系数作为评分者信度的估计值。第25页，讲稿共63页，2023年5月2日，星期三例如:两位教师评三份试卷，求其评分者信度系数试卷教师X教师YDD2112-112211133300合计2第26页，讲稿共63页，2023年5月2日，星期三第27页，讲稿共63页，2023年5月2日，星期三第28页，讲稿共63页，2023年5月2日，星期三第29页，讲稿共63页，2023年5月2日，星期三第30页，讲稿共63页，2023年5月2日，星期三例如：三位教师评四份试卷，所评等级如下表，问该测验的评分者信度如何？教师试卷1234A3142B2141C2232Ri74115第31页，讲稿共63页，2023年5月2日，星期三第32页，讲稿共63页，2023年5月2日，星期三第33页，讲稿共63页，2023年5月2日，星期三第34页，讲稿共63页，2023年5月2日，星期三（5）查表，检验W的显著性因为，K=3，N=4时，临界值S0.05≈64.4，由于S＜S0.05，所以，W不显著性，即表明三位教师的评分者信度较低。（K在3——20之间，N在3——7之间时，查附表5求临界值S0.05或临界值S0.01；若N＞7，检验W的显著性用χ2=K（N-1）W，按df=N-1查χ2值表进行比较。）参考书目：1.王汉澜主编《教育测量学》2.宋岭梅主编《教育测量学》第35页，讲稿共63页，2023年5月2日，星期三四、影响信度的因素被试样本的影响。题目数量的影响。测验难度的影响。测验内容同质性的影响。评分客观性的影响。第36页，讲稿共63页，2023年5月2日，星期三

第四节测验的效度

一、效度的概念效度是测验能实际测量出其所要测量特性的程度。二、效度的统计学原理rxy=S2v/S2X式中，S2v潜在真分数方差；S2x实得分数方差。有关系式：X=T+E=V+I+E其中，V为潜在真分数；I为系统误差。第37页，讲稿共63页，2023年5月2日，星期三三、估计效度的方法1．内容效度(Contentvalidity)内容效度指的是测验题目对有关内容或行为取样的适当性。（1）专家判断法采用专家判断法可以按下面的步骤进行：①定义好内容总体的范围；②确定考查内容或行为的细目；③列出双向细目表；④制订评定量表。第38页，讲稿共63页，2023年5月2日，星期三（2）统计分析法统计分析法又称克龙巴赫估计法。克龙巴赫曾提出估计内容效度可以从同一教学内容范围的总体中抽取两套独立的测验试题，这两套测验试题对同一组考生分别进行两次测验，如测验得分求得的相关系数高，就可推论内容效度高；若相关系数低，这两套试题中至少有一套测验试题缺乏内容效度。第39页，讲稿共63页，2023年5月2日，星期三（3）再测法这种方法是，先对一组考生进行先期测验，这一组学生必须是对测验的内容知之甚少，然后对这一组学生进行有关内容的教学与训练活动，经过一段学习时间后，再进行后期测验，这样可以看出测验是否测量出深堂上所进行的教学与训练的效果。如果后期测验成绩好，就说明该测验对课程内容范围是有效的。第40页，讲稿共63页，2023年5月2日，星期三2.效标关联效度(Criterionrelatedvalidity)效标关联效度指的是测验分数与效标分数之间的一致性程度。效标（criterion)。效标实际上是指本测验所想测量或要预测的特性和功能。效标关联效度分为两种：效标与本测验分数同时获得的，称为同时效度或并存效度(concurrentvalidity)；效标在本测验之后相当时间获得的，称为预测效度(predictiv