(1)考察测验的内容效度,因为有些测验对所测内容或行为范围的定义或解释类似于理论构想的解释,所以内容效度高实质上也说明结构效度高。
(2)计算测验的同质性信度的方法来检测结构效度。若有证据表明测验不同质,则可以断定该测验结构效度不高。
(3)利用相容效度法,考察新编制的测验与某个已知的能有效测量相同特质的测验之间的相关。若两者相关较高,则说明新测验有较高的效度。
(4)利用区分效度法,考察新编测验与某个已知的能有效测量不同的特质的旧测验间的相关。若两者相关较高,表明测到了其他心理特质,则新测验效度不高。
(5)对一组测验进行因素分析,找出影响测验的共同因素,每个测验在共同因素上的负荷量(即测验与各因素的相关)就是测验的因素效度,测验分数总变异中来自有关因素的比例就是该测验结构效度的指标。
(6)综合应用相容效度法和区分效度法,若用多种极不相同的方法测量同一种特质相关很高,或用极为相似的方法测量不同特质相关很低,则说明测量效度很高。若有多种特质都接受了多种方法的测量,就可以分别计算出任意两种方法测量同一种特质的相关和测量不同特质的相关,以及任意两种特质接受同一方法和不同方法的相关。 (1)分析被试答题的过程。若有证据表明某一题的作答除了反映所要测的特质外,还反映其他因素的影响,则说明该题没有较好地体现理论构想,该题的存在会降低结构效度。
(2)根据所要预测的效标的性质和种类来推断结构效度,有两种做法:其一,根据效标把人分为两类,考察其得分的差异。若两组人得分差异显著,则说明该测验有效,具有较高的结构效度。其二,根据测验得分把人分成高分组和低分组,考察这两组人在所测特质方面是否有差异。若两组人在所测特质方面差异显著,则说明该测验有效,具有较高的结构效度。总结
效度分析有多种方法,其测量结果反映效度的不同方面。常用于调查问卷效度分析的方法主要有以下几种。
单项与总和相关效度分析
表面效度(Face Validity)。也称为内容效度或逻辑效度,指的是测量的内容与测量目标之间是否适合,也可以说是指测量所选择的项目是否“看起来”符合测量的目的和要求。主要依据调查设计人员的主观判断。
这种方法用于测量量表的内容效度。内容效度又称表面效度或逻辑效度,它是指所设计的题项能否代表所要测量的内容或主题。对内容效度常采用逻辑分析与统计分析相结合的方法进行评价。逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求。统计分析主要采用单项与总和相关分析法获得评价结果,即计算每个题项得分与题项总分的相关系数,根据相关是否显著判断是否有效。若量表中有反意题项,应将其逆向处理后再计算总分。
准则效度分析
准则效度(Criterion Validity)。又称为效标效度或预测效度。准则效度是指量表所得到的数据和其他被选择的变量(准则变量)的值相比是否有意义。根据时间跨度的不同,准则效度可分为同时效度和预测效度。准则效度分析是根据已经得到确定的某种理论,选择一种指标或测量工具作为准则(效标),分析问卷题项与准则的联系,若二者相关显著,或者问卷题项对准则的不同取值、特性表现出显著差异,则为有效的题项。评价准则效度的方法是相关分析或差异显著性检验。在调查问卷的效度分析中,选择一个合适的准则往往十分困难,使这种方法的应用受到一定限制。
结构效度分析
结构效度(Construct Validity)。是指测量结果体现出来的某种结构与测值之间的对应程度。结构效度分析所采用的方法是因子分析。最关心的问题是:量表实际测量的是哪些特征?在评价建构效度时,调研人员要试图解释“量表为什么有效”这一理论问题以及考虑从这一理论问题中能得出什么推论。结构效度包括同质效度、异质效度和语意逻辑效度。有的学者认为,效度分析最理想的方法是利用因子分析测量量表或整个问卷的结构效度。因子分析的主要功能是从量表全部变量(题项)中提取一些公因子,各公因子分别与某一群特定变量高度关联,这些公因子即代表了量表的基本结构。通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结构。在因子分析的结果中,用于评价结构效度的主要指标有累积贡献率、共同度和因子负荷。累积贡献率反映公因子对量表或问卷的累积有效程度,共同度反映由公因子解释原变量的有效程度,因子负荷反映原变量与某个公因子的相关程度。
信度分析也称为可靠性分析,用于测量样本回答结果是否可靠,即样本有没有真实作答量表类题项。
比如说,在对同一对象进行测量,多次测量结果都很接近,就会认为这个结果是可信的,真实的,也就是信度高。如果每次测量的结果都有很大的差异,则说明信度较低。
衡量信度的方法有很多种,常用的信度系数包括:克隆巴赫α系数、折半系数、重测信度,可在spssau中进行分析。
效度分析,简单来说就是问卷设计的有效性、准确程度,用于测量题项设计是否合理。
效度又可分为内容效度、结构效度和效标效度。
内容效度,通常是以文字来说明问卷的有效性。如通过参考文献,或者权威来源说明问卷的权威性和有效性。还有就是通过对问卷前测并结合结果进行题项的修正等工作来充分说明问卷的有效性。
结构效度,指测量题项与测量维度之间的对应关系。测量方法有两种,一种是探索性因子分析,另外一种是验证性因子分析。其中,探索性因子分析是当前使用最为广泛的结构效度测量方法,SPSSAU提供此两种分析方法。
效标效度,如果以前有一份权威且标准的量表数据,现在依旧使用该量表进行研究,并且收集回来一份数据。以前权威标准数据作为标准,当前数据与前一份数据之间进行相关分析,如果说相关系数值较高,则说明效标效度良好。但在实际分析中,效标效度很少使用。
相信你也知道,效度是指,测量工具能确切测得其所欲测量的特质之程度,它的测定大体可以分为内容效度(表面效度)、准则效度(效标效度)和建构效度三种。
例如,你除了手头上的量表,还同时用了其他的测量方法(methods)测量量表中的特质(traits),那麽,你可藉建构多重方法多重特质矩阵(Multitrait-multimethod matrix)以检测其效度,其中所用的统计技术只需相关系数(Relation Coefficient)就可以了。
又例如:你手头上的量表有一定的逻辑结构,你想从量表大堆题目(items)中抽出有用的因子或元素,或者要验证量表题目的归类是否与量表本身的结构相符,以检测其建构效度,那麽,可透过因子分析(Factor Analysis)技术来进行。
就以这个因子分析的统计过程来论,它看似简单,把题目送进SPSS执行,再转轴,之后系统自然会跑出一些因子负荷出来;但其间选用哪一种抽取因子方法、因子数目的判断、转轴与否及转轴方法的选用、因素的解释与命名等等,须视乎你量表本身的逻辑以及背后的理论基础。
这不是三言两语能说清的,建议你到图书馆找本书来看看。至於SPSS的实务操作,应该不太难,网上也有一大堆教程,下面这个是最常见,你不妨看看。
最后,建议你先做信度分析,信度是效度的必要条件,在信度低的情况下,效度不可能高。
测评信效度主要还是看常模。
解决方法:1、测评与选拔的可靠性分析 在人员测评与选拔中,结果的可靠性是由测评信度来鉴定,所谓信度是指人员测评与选拔结果的准确性或一致性程度。按照衡量测评信度程度的方法不同,信度可分为再测信度、复本信度、内在一致性信度和评分者信度。
(1)再测信度。指以同样的测评与选拔工具,按照同样的方法,对于相同的对象再次进行测评与选拔,所得先后结果的一致性程度。
再测信度的两次测评使用的是同一个测评工具,同一种测评方式,但较难把握的是两次测评间隔的时间长短。时间间隔过长,被测者特征将随时间的增加而发展变化,由此计算的稳定系数将失去意义;若时间间隔过短,又可能产生记忆与练习效应,这也将影响稳定系数。
一般来说,时间间隔不应是固定不变的,不同性质的人时间间隔应有区别,通常为1至3个月之间。在进行测评结果报告时,应报告两次测评的间隔时间,以及在此期间内被测者的相关经历。
(2)复本信度。指测评与选拔结果与另一个等值测评与选拔结果的一致性程度。
所谓等值,是指在测评内容、效度、要求、形式上都与原测评一样,其中一个测评可以看作是另一个测评的近似复写,即复本。如果两个复本测评相距一段时间分两次实施,则在鉴定复本信度的同时还可鉴定再测信度,可见它应用范围的广泛。
鉴定复本信度,首先要编制等值的复本。编制严格平行的复本难度较大,这也是制约复本信度的主要因素。
此外,复本信度虽能较好地克服再测信度的练习、记忆效应,但原测评中的一些技能技巧也会产生迁移效应。(3)内在一致性信度。
指所测素质相同的各测评项目分数间的一致性程度。若被测的第一个项目的分数高于他人,在第二个项目的分数还高于其他人,在第三个项目的分数仍高于他人……且这些测评项目所测评的是同一素质,那么有理由认为测评与选拔结果较可靠。
再测信度与复本信度都需要组织两次测评,而内在一致性信度只需要进行一次测评,增加了人员测评的可操作性,同时也为实际工作带来了极大的方便。 (4)评分者信度。
指多个测评者给同一组被测样组进行评分的一致性程度。测评与选拔结果的差异程度来自两方面:一是被测评者自身,二是被测评者及其测评。
信度主要是对后者的度量,测评者及其测评的无关差异越小,测评与选拔结果就越可靠。测评者的评分是引起主观性测评结果差异的主要原因。
客观性测评是利用计算机评分,不受主观因素影响,不存在评分误差。 2、测评与选拔的有效性分析 上面我们对测评信度进行了简要描述,目的是提高测评的可信度。
测评的有效性也即测评效度是人才测评与选拔质量检验的重要内容,尤其是对测评选拔反馈有重要的指导和参考修正价值。效度的具体内容主要包含以下几个方面: (1)内容效度。
是指实际测评到的内容与期望测评的内容的一致性程度。内容效度在实际操作中的鉴定主要采用定性分析的方法,有蓝图对照分析法与专家比较判断法。
所谓的蓝图对照法实际上就是将测评内容与设计蓝图对照,做出分析判断。专家比较判断法是由一组独立的专家组成专家评定组,对测评量表内容取样的充分性、必要性、适合性进行评定,对实际测评到的内容与所要测素质特征的符合程度做出判断。
(2)结构效度。又称作构想效度、构思效度、构建效度等。
在测评实践中,有些指标我们是不能直接测评得到答案的,例如智力、动机、态度、品德、善良、诚实等抽象概念,这时候我们只能借助于具体的行为测评来推断。把抽象素质构建成具体行为特征,是否抓住了该素质的本质特征进行构建是最关键的,这就是结构效度问题。
它表明了在多大程度上,实际的测评结果能够被看作是所要测评的素质在结构上的替代物。 不难看出,结构效度的判断是一个难点。
在实际操作中,这里也是最复杂的一个环节之一。构建一个素质结构模型是非常必要的,包括项目、指标、权重、标度等。
然后,根据事实材料评判结构效度。就是根据实际的测评结果,结合专家小组的意见和逻辑分析等方法,评判结构效度。
这一点对于测评结果的反馈修正具有重要价值。 (3)关联效度。
是指测评结果与效标的一致性程度。效标是一种用来衡量测评有效性的外在参照标准,它可以是一种测评的结果,也可以是标准测评分数。
根据效标是否可以同时获得,可将关联效度分为同时效度与预测效度。作为效标的结果与预测结果同时获得,这种效度称之为同时效度。
当作为效标的结果是后来测评中获得,这种效度称为预测效度。它反映了现在的测评结果对未来素质发展的预测程度。
不同的测评目的,对于效度的要求也不尽相同。例如,通过测评来选拔人才,则希望测评有较高的预测效度;通过测评来开发培训人才,则希望测评兼备较高的同时效度和预测效度。
四、总结 当然,影响信度的因素有很多,主要是系统误差和随机误差。包括测评者的专业性和素质、被测评者本人心理、测评工具的稳定性、环境稳定性等都会影响测评的可信度。
在实际测评过程中要把握各相关方面,不仅要有专业的测评人员,同时也要在稳定的环境中为被测评者提供一个放松真实的氛。
问题描述:因子分析里面Descriotives里面KMO和巴特利检验就可以了
答案1:: 首先必须要做KMO和Bartlett球形检验,这个你应该会了吧,
如果这两个检验合格的话说明数据是适合做因子分析的。
然后提取因子后,看主因子解释总变异的百分比和个因子的因子载
荷,主因子解释总变异一般若大于60%的和因子载荷大于0.6的话说明
结构效度很好。
pS: ,如果题目没有规定就是选特征值大于1的,如果题目事先要提取几
个因子,那么在操作的时候,用SPSS那个因子分析的选项里面有一个地
方可以著名,因子载荷在输出的结果直接可以看到(rotated
compoment matrpx),一定要是旋转后的因子载荷
:::::::::::::::::::请参考以下相关问题::::::::::::::::::::
用SPSS做问卷的结构效度分析,因子分析的范围
:::::::::::::::::::请参考以下相关问题::::::::::::::::::::
:::::::::::::::::::请参考以下相关问题::::::::::::::::::::
spss分析问卷效度
:::::::::::::::::::请参考以下相关问题::::::::::::::::::::
:::::::::::::::::::请参考以下相关问题::::::::::::::::::::
根据定义,可以得知结构效度具有如下一些特点:
(1)结构效度的大小首先取决于事先假定的心理特质理论(戴海崎, 张锋和陈雪枫,2007)。要使得关于某一特质测验的结构效度的研究结果可以进行比较,则对于该特质的假设和定义就应该相同。否则,不能进行比较。
(2)由于有可能出现理论假设不成立,或该试验设计不能对该假设作出适当的检验等情况,因此当实际测量的资料无法证实我们的理论假设时,并不一定就表明该测验结构效度不高。
(3)结构效度是通过测量什么和不测量什么的证据累加起来给以确定的,因而不可能有单一的数量指标来描述结构效度。
效度的验证通常包含以下几方面内容:
1、表面效度
这是说这个研究工具看起来是不是测到了要测量的内容,本质上来说他不算效度,他只是表现出了测量的友好性,但实际研究中有时也需要保证一定的表面效度。如果一道数学题看起来很像一个语文问题,那可能很多人就不会想到用数学的语言去回答问题,这道题也就测不出数学能力。表面效度通常不需要特别分析,因为他就是表示这个问卷看起来像不像那么回事
2、内容效度
内容效度是指测验是否测到了所要测的内容。对于内容效度的验证,通常需要有经验的专家来评定。当然有时也可以从研究对象群体当中抽取一些人来做评定,评定的方式可以采用李克特量表的形式。
3、结构效度
即问卷的结构或者说维度划分是否正确。通常采用探索性因子分析和验证性因子分析来研究结构效度。如果分析的结果和研究者的预想一致,则结构效度较好
4、效标关联效度
这是最常见的效度研究指标。其逻辑思路是如果一份测量工具测量到了所要测的内容,那么假如另一个成熟的研究工具也是测这方面内容,或与这方面内容高度相关的东西,则这两种测量工具的分数应当有较高的相关。通常采用相关分析法来研究。
声明:本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。
蜀ICP备2020033479号-4 Copyright © 2016 学习鸟. 页面生成时间:2.821秒