人文社会发展学院朱建春
高级定量研究
信度与效度分析
是一种测量工具，根据研究目的而设计。
其质量高低对调查结果的真实性、适用性等具有
决定性的作用。
在形成正式问卷之前，应当对问卷进行试测(试调查)，并对试测结果进行信度和效度分析，最后根据分析结果筛选问卷题项，调整问卷结构，从而提高问卷的信度和效度。
调查问卷的信度和效度分析是研究过程中必不可少的重要环节。
信度和效度分析的方法包括逻辑分析和统计分析。
调查问卷或量表
第一节信度分析
课外：所谓信度是衡量没有误差的程度，也是测验结果的一致(consistency)程度，信度是以衡量的变异理论为基础。
信度（Reliability；稳定性；精确度）即可靠性，是指根据测量工具所得到的测量结果的一致性或稳定性，反映客观事物被测特征真实程度的度量指标。
反映在相同条件下，对同一客观事物测量若干次，测量结果的相互符合程度或一致程度，说明数据的可靠性。
当使用同一测量工具重复测量某一客观事物时所得结果的一致程度越高，则该测量工具的信度就越高。
一般而言，两次或两个测量的结果越是一致，则误差越小，所得的信度越高。
1.信度的定义
误差(error)：指对事物某一特征的度量值偏离真实值的部分，即测定值与真实值之差，样本统计量与总体参数之差。
2.误差的分类
误差的分类：
误差类型
定义
备注
抽样误差sampleerror
造成的样本指标与总体指标之间及各样本指标之间的差异。与测量的优劣没有必然的联系。
进行信度和效度分析时，可忽略抽样误差
系统误差systematicerror
由于偏倚（使测量结果系统地偏离真值，bias）产生的错误结果，与随机误差不同，可校正和消除。
随机测量误差
randommeasurementerror
指在测量过程中，即使消除了系统误差，但由于各种偶然因素的影响也会造成对同一个体的多次测量结果的不一致，测量结果发生的偏差往往不具有方向性。
信度主要受随机测量误差的影响。
问卷（量表）测量中的测量误差通常来源于两方面：
测量误差(measurementerror;随机误差randomerror):产生于问卷(量表)测量过程中的误差；
系统误差(systemError):由问卷(量表)的结构质量造成的误差
信度是用估计测量误差大小的尺度，来说明测量结果中测量误差所占的比例。即真实分数(truescore)的方差与测量实得分数(observedscore)的方差之比，当实得分数变异可以全部由真实分数的变异解释时，测量误差就是0，这时测量结果的信度为1。
信度包含两层含义：
相同的个体在不同时间，以相同的测量工具测量，或以复本测量，或在不同的情景下测量，是否能得到相同的结果，即测量结果是否随时间和地点等因素而变化；
能否减少随机误差对测验结果的影响，从而能够反映测量工具所要测量的真实情况，即测量结果是否具有稳定性、可靠性和可预测性。一个好的测量工具必须是稳定可靠的，且多次测量结果应前后一致。
3.信度的种类
信度主要是指测量工具是否精准(precision)。
信度分析涉及了问卷测量结果的一致性和稳定性，其目的是如何控制和减少随机误差。
以相关系数表示，信度指标大致可分为三类：
稳定系数（跨时间的一致性）
等值系数（跨形式的一致性）
内在一致性系数（跨项目的一性）
信度主要分为四大类：
重测信度(Test-retestReliability)
复本信度(Alternate-formReliability)
内部一致性信度(InternalConsistencyReliability)
评分者信度(ScorerReliability)
定义：用同样的测量工具，对同一组被调查者间隔一定时间重复测试，两次测试结果的相关程度。两种方法：
方法：计算两次测试结果的相关系数，对两次重复测试结果进行两个相关样本差异的统计检验，如果差异有统计学意义、相关关系有统计学意义，则测量工具的信度高，否则信度低。可接受的标准是两次测试的相关系数≥0.7。
(1)重测信度
4.信度的计算方法
分类变量：
Kappa系数＞0.75重复信度很好；
0.4～0.75，较好；
≤低于0.4，较差。
连续或等级变量：
内部相关系数ICC＞0.75表示极好
0.6＜ICC＜0.75，较好。
重测信度法特别适用于事实式问卷，如性别、出生年月等在两次施测中不应有任何差异，大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。
如果没有突发事件导致被调查者的态度、意见突变，这种方法也适用于态度、意见式问卷。
由于重测信度法需要对同一样本试测两次，被调查者容易受到各种事件、活动和他