概化理论(Generalizability Theory, GT)是现代心理与教育测量理论之一。概化理论广泛应用于心理与教育测量实践中。GT运用实验设计与方差分析(ANOVA)技术,对心理与教育测量中产生的总变异进行分解。进行GT分析包括G 研究(Generalizability study)和D 研究(Decisionstudy)两个过程, G 研究是概化研究,D研究是决策研究。
一、概化理论的基本概念
1、测量目标(Object ofmeasurement)
与经典测量理论不同的是,在概化理论中,测量目标不仅可以是被试的某种潜在特性,也可以是试题或评分者的某种特性。
2、全域分数(Universe Score)
概化理论认为,在讨论被试的某种潜在特质水平时,同时指出这种水平是在何种测量条件下取得的,在根据行为样本的表现(得分)估计行为总体的水平时,必须同时指出测量条件样本是否也推论到了各自所对应的条件总体(全域)。这种把被试的某种潜在特质水平定义在具体的测量条件全域(范围)上的分数,叫做全域分数。
3、测量侧面(facets)
除了测量目标以外,凡是会影响测验得分的条件因素都称之为测量侧面,类似于数学中的维度,也相当于实验设计中的干扰因素。注意的是,测量目标与测量侧面可以根据研究的需要,互相转化。比如,当研究目的是评分者的评分一致性时,评分者成为测量目标,被试分数成了测量侧面。
4、条件全域(Universe)
测量面的条件样本所对应的条件总体叫条件全域。比如,评分者作为测量侧面时,评分者样本所对应的评分者总体就是其条件全域。
5、观测全域(Universe of AdmissibleObservations)
实际测量活动中所有测量侧面条件全域的集合。例如,在一次人事面试中,试题面条件全域和评分者面条件全域的集合就通常构成了面试的观测全域。
6、测量模式
如果测量面的条件样本是从观测全域中随机抽取的,则称该测量模式为随机测量模式,这种测量的面为随机面;如果测量的所有面的条件样本都是固定不变的,则称这种测量模式为固定测量模式,其中的测量面称为固定测量面;如果一次测量中有部分面是随机而,另一部分面是固定测量面,则称它为混合测量模式。
7、测量结构
测量目标与测量条件(侧面)及条件之间的相互关系十分重要,不同的设计结构会有不同的测量信度。一般地,如果所有被试都要求回答所有试题,则称这种测量结构为交叉设计;如果要求被试分别回答不同的试题,则称试题面嵌套于被试中,这种测量结构称之为嵌套设计;如果存在多个测量面,且测量对象与测量面或测量面与面之间有部分是交叉设计,另一部分是嵌套设计,则称之为混合设计。
二、概化理论的误差观点
GT认为,测量误差不能粗糙地归结为随机误差和系统误差。实质上,每个测量面都是系统误差的来源,而测量对象自身的稳定性以及各种因素间的交互作用均是随机误差的来源。测量误差包括两种,其一为相对误差,即由所有随机误差引起的测量误差;其二是绝对误差,是指样本观测值与概化全域上的全域分数之差。
三、概化系数与可靠性指数
由于GT可以针对不同的概化全域作推论,因此,在不同条件下其测量误差会有所不同。于是,对同一次测量可以针对不同的推论范围估计出不同的测量精度值。
就标准化常模参照测验而言,我们的主要兴趣在于测量的相对误差,应用概化系数来衡量其大小,可以定义为:Sρ2=σ 2(p)/[σ 2(p)+σ 2(δ)],即用测量目标的有效变异占有效变异与相对误差变异之和的比值作为精度指标。
就非常模参照测验或非标准化测验而言,研究者必须考虑测量的绝对误差,应用可靠性指数来衡量其大小,其数学定义为:Φ=σ 2(p)/[σ 2(p)+σ 2(Δ)],即测量目标自身的分数变异在全体分数变异中所占的比率。其中σ 2(Δ)实质上包括了全部的系数误差和随机误差的变异。
四、概化理论研究问题的基本过程
1、概化研究(G研究)。G研究的主要任务是在观测全域(universe of admissible observations)上尽可能地“挖掘”出研究设计中各种潜在的测量误差来源, 并估计这些误差来源的方差分量(variancecomponent)。
第一步,明确测量对象和测量目标。
第二步,明确测量侧面和观测全域。
第三步,明确测量设计和测量模式。
第四步,依测量设计收集样本资料。
第五步,变异数分析。根据测量测量设计实测的样本数据,用实验设计的思想方法来分解总变异,将各种因素(测量目标以及众多的测量侧面)的效应及因素之间的交互效应一一估计出来。
2、决策研究(D研究)
D 研究的主要任务是在概化全域(universe of gen-eralizability)上, 为了某种特殊的决策需要, 以G 研究所得到的这些方差分量估计值为基础, 通过调整测量过程中的各种关系(如调整各个侧面样本水平数、调整各个侧面之间的关系或权重等), 来探索如何控制和调节测量误差。
第一步,根据测量目的确定概括全域。
第二步,根据概括全域中各侧面的样本容量的个数,在侧面样本均值的意义上重新估计G研究中各因素的效应或因素间的交互作用。进而求取各因素的均方值。
第三步,在具体的一个概括全域上分别估计相对误差变异和绝对误差变异。前者主要用来估计常模参照性测验的精度,后者主要用来估计标准参照性和非标准化测验的精度。
第四步,在特定的概括全域上估计整个测验的概化系数或可靠性指数。并以此作为整个测量工作的精度指标。
第五步,重新确立概括全域,并重复上述4个步骤。最后比较各概括全域上测验结果的估计精芳,并从中获得科学的或满意的推论与概括结论。
参考文献:
1.杨志明,张雷著.测评的概化理论与应用[M].北京:教育科学出版社,2003