신뢰도와 타당도

신뢰도는 ‘얼마나 정확하게’, ‘얼마나 오차 없이’ 측정하고 있느냐의 개념이며, 측정하고 있는 정도의 일관성(consistency)이 있느냐의 문제에 관계한다. 즉, 신뢰도는 측정의 오차가 얼마나 작으냐 하는 문제에 관련되며 또한 신뢰도의 개념은 측정치의 안정성(stability), 신뢰성(dependability), 예민성(predictability), 정확성의 뜻 등이 포함된다.

신뢰도를 측정하는 방법에는 여러 가지가 있는데, 우선 검사-재검사 신뢰도(test-retest reliability)라는 것은 동일 피검자 집단에 동일한 검사를 두 번 실시하여 나온 점수의 상관계수를 구하여 신뢰도 추정치로 삼는 것으로, 첫 번째 시행에서 나온 점수가 두 번째 시행에서 나온 점수와 거의 유사하다면 일관성은 매우 높은 정적 상관 값으로 나타난다. 동형검사 신뢰도(equivalent-form reliability)라는 것은 짧은 시간간격 내에 내용과 난이도가 같은 동형검사를 실시하여, 두 점수의 상관계수를 구하여 신뢰도 추정치로 삼는다. 내적 합치도(internal consistency reliability)라는 것은 심리검사를 단 한번 수검자에게 시행되는 경우에 적합하며, 심리검사의 문항들의 상관계수를 근간으로 하는데, 반분신뢰도(split-half reliability)나 Cronbach's α 가 이에 해당한다.

 

타당도는 한 검사 또한 평가도구가 측정하려고 하는 것을 어느 정도로 측정하고 있느냐의 정도를 의미하며 얼마나 충실하게 목적하는 바를, 즉 “무엇을 재고 있느냐”의 개념이다. 타당도의 개념에는 준거(criteria)의 개념이 수반되는데, 다시 말해 타당도가 있다는 주장 뒤에는 무엇에 비추어 보아서인가라는 질문이 수반되는 것이다. 타당도는 측정하려고 한 이외의 것을 재지 않는 순수성의 정도를 나타내게 되며, 또한 한 검사나 평가도구에 의미를 주고 실용적 가치를 부여하게 된다.

타당도를 측정하는 방법에는 여러 가지가 있는데, 우선 내용타당도(content validity)라는 것은 측정도구가 측정하려고 하는 내용이나 개념을 어느 정도로 충실히 측정하고 있는가 하는 것으로, 검사내용에 대한 합리적 분석을 통하여 결정되며, 통계에 의존하기보다는 개인의 주관적 판단에 입각하여 논리적으로 평가된다. 예를 들어, 심리학개론 시험에서 수업시간에 다루지 않았거나, 교과서에 실리지 않은 내용에 관한 문제가 출제되었다면 내용타당도가 부족한 검사라고 할 수 있다. 내용타당도는 탁상타당도(armchair validity)라고도 하는 안면타당도(face validity)와 논리적 혹은 표집타당도(logical or sampling validity)로 분류된다. 안면타당도란 어떤 사람이 검사를 검토하고 그 검사가 적절한 특성을 측정한다고 결론을 내림으로 결정되는 것이고, 논리적 타당도는 검사가 측정하려고 하는 행동영역에 대한 정의와 이 영역의 중요한 분야를 모두 포함하는 문항의 논리적 설계를 수반하는 정밀한 타당도이다.

준거관련 타당도(criterion-related validity)라는 것은 예측되는 준거와 검사점수 간의 상관계수를 구하여 추정하는 방법이다. 예를 들어, 비행 조종사로서의 잠재력을 측정하기 위한 검사가 준거관련 타당도가 있다면, 검사점수가 높은 사람은 훈련점수가 높고, 검사점수가 낮은 사람은 훈련점수가 낮을 것이다. 준거관련 타당도는 예언타당도(predictive validity)와 공인타당도(concurrent validity)로 분류되는데, 예언타당도는 측정도구가 피검사의 미래의 행동이나 특성을 어느 정도로 정확하게 또한 완전하게 예언하느냐의 정도를 말하고, 공인타당도는 검사점수와 준거점수를 동시에 수집할 수 있을 때, 두 점수사이의 상관계수를 말한다.

구성타당도(construct validity)라는 것은 특정한 가설적 구성개념(hypothetical construct)을 측정하는 정도, 다시 말해 검사가 측정하려고 하는 속성에 대한 이론적 체계에 얼마나 적합한가를 측정한 정도이다. 심리검사는 인간 행동을 설명하기 위해서 만든 가설적 구성개념을 측정하기 위해서 개발되었기 때문이다. 구성타당도를 확립하기 위해서는 검사의 내적 구조가 측정하려는 개념에 대한 이론에 부합되는지, 측정하려는 구성개념을 설명하는 이론이 예언하는 외적 준거와의 관계가 실제 자료와 합치되는지를 고려해야 한다.

구성타당도와 관련한 타당도에는 수렴타당도(convergent validity)와 변별타당도(discriminant validity)가 있다. 수렴타당도는 검사점수가 그 검사에서 측정하는 것과 이론적으로 관련이 되는 구성개념들을 재는 다른 측정도구들 상의 점수들과 경험적으로 상관이 있다고 발견되는 정도를 말하고, 변별타당도는 검사점수가 그 검사에서 측정하는 것과 이론적으로 관련이 없는 구성개념들을 재는 다른 측정도구들 상의 점수들과 상관이 없다고 발견되는 정도를 말한다.

증가타당도(incremental validity)란 기존의 도구들로 이미 측정된 바 있는 심리적 특성들을 측정하기 위해 새로 고안된 검사가 기존의 검사들에 비해 심리측정적 성과에 있어서 향상된 정도는 얼마인지를 보는 것이다.