양적연구방법론 5- 타당도와 신뢰도

출처 : 양적연구방법론 서울대 사범대 사회교육과 은지용 교수님 강의노트 정리

 

7장. 타당도와 신뢰도

1. 타당도

1.1 의미 : 측정값과 실제 값의 일치도, 검사 도구가 측정하고자 하는 대상(개념)을 얼마나 정확하게 측정하는가.

-준거 타당도 : 보다 객관적인 외부 준거에 의해 추정되는 타당도. 외부 준거와 새로운 검사 도구 사이의 상관계수에 의해 추정되는 타당도.

• 구인 타당도 : 측정하고자 하는 추상적인 개념(구인)이 실제로 검사도구에 의해 제대로 측정되는지 나타내는 타당도

1. 신뢰도

2.1. 의미 : 측정값들 사이의 일치도 측정하려는 대상을 얼마나 오차없이 일관성있게 측정하는지 나타내는 정도. 동일한 개인들에게 반복적으로 사용되어 거의 동일한 응답을 산출해내었다면 측정도구 신뢰가능함. 연구자가 바뀌거나 여러 번 측정해도 결과가 일관되게 나타남.

• 재검사 신뢰도 : 동일한 검사를 동일한 피험자 집단에게 일정 시간 간격을 두고 두 번 실시하여 얻은 두 검사 점수 간의 상관계수에 의해 추정되는 신뢰도. 검사도구의 안정성 의미.  두 검사 점수 간의 상관계수로 재검사 신뢰도 추정함.
• 동형 검사 신뢰도 : 두개의 동형 검사를 제작한 뒤 동일 피험자 집단에게 검사를 실시하여 두 검사 점수 간 상관계수에 의해 추정되는 신뢰도 → 두 검사의 유사성 측정. 단, 검사를 연속적으로 두 번 시행하는 동안 동일한 검사 환경, 피험자의 동일한 검사 동기와 검사 태도를 유지하기 어려움
• 반분 검사 신뢰도 : 한 번 실시한 검사 점수를 두 부분으로 나누어 한 부분 검사 점수와 다른 부분 검사 점수의 유사성 정도에 의해 추정되는 신뢰도

① 한번 실시한 전체 검사를 두 부분으로 나눔

- 기우법(짝수 문항과 홀수 문항으로 나눔)

- 전후법(전체 검사를 문항 순서에 따라 전과 후로 나눔)

- 단순무작위법(무작위로 나눔)

 - 문항 특성에 의한 반분법(문항 난이도와 문항 변별도에 의해 나눔)

② 나눈 두 부분 검사에서 얻은 점수 산출

③ 두 점수 간의 상관계수 추정

④ Spearman-Brown 공식에 대입해서 (두 부분 검사 점수 간 상관계수를 조정하여) 반분 검사 신뢰도 추정

• 내적 일관성

검사를 두 부분으로 나누지 않고 문항 하나하나를 모두 독립된 한 개의 검사로 간주하여 문항 간 일치도에 의해 추정되는 신뢰도

→ 문항들이 동질적인 경우 피험자들이 각 문항에 얼마나 일관성 있게 반응하 였는지 파악함으로써 검사의 신뢰도 추정 가능

 * 문항 내적 일관성: 한 개념을 한 사람에게 여러 문항으로 물어볼 경우 같은 개념을 측정하는 것이므로 동일한 응답이 나타나야 한다는 논리