교육연구과 통계검증(10)- 회귀

1. 단순회귀분석의 기본개념

□ 상관분석과 회귀분석의 차이

■ 연구의 목적:

• 상관분석은 두 변수간 관련성의 크기를 분석
• 회귀분석은 독립변수를 이용해서 종속변수를 예측, 설명하고자 하는 경우에 사용
  ⇒ 회귀분석의 경우 “방향성” 존재

□ 회귀분석 (regression analysis)

• 독립변수를 사용해서 종속변수를 설명, 예측하고자 하는 경우에 사용
• 독립변수의 수에 따라서 단순회귀분석, 중다회귀분석

 

□ 왜 회귀분석(regression)이라고 하는가?

• Regression toward the mean
• 단순회귀분석의 경우, 표준점수로 변환된 종속변수는 역시
  “표준점수로 변환된 독립변수와 두 변수간 상관계수의 곱”으로 예측
• 대부분의 경우 X와 Y의 상관은 1.0보다 작은 값이므로, Y값은 X보다 더 평균에서 가까운 값으로 예측

예시:

X = 엄마 키, Y = 딸 키, rₓᵧ = 0.7인 경우

• 엄마 키가 평균이면, 딸 키도 평균으로 예측
• 엄마 키가 1표준편차 더 크면, 딸 키는 0.7 표준편차 더 클 것으로 예측

 

□ 회귀선을 도출하는 기본 원리

• "최소제곱법 (least squares method; LS, OLS)"
• 회귀선에 의해 예측되는 값과 실제 관찰된 Y값 간의 차이, 즉 “예측의 오차(잔차)”의 제곱합이 가장 작은 값이 되는 직선을 회귀선으로 추정

□ 표준화 회귀계수 (β)

• X로 Y를 예언함에 있어서 X와 Y를 모두 표준점수(Zₓ, Zᵧ)로 변환한 다음 회귀분석 실시했을 때 회귀계수
• 이 경우 두 변수의 평균이 모두 ‘0’으로 고정되므로, 회귀선은 (0,0)을 지나게 되어 회귀선의 기울기만 추정
• 단순회귀분석의 경우, 기울기에 대한 표준화 회귀계수는 상관계수 (β = rₓᵧ)
• 표준화 회귀계수의 의미: X가 1 표준편차만큼 증가할 때 Y는 몇 표준편차만큼 증가하는가

 

2. 단순회귀분석: 논의의 확장

 

□ r²

• 결정계수(coefficient of determination)
• 상관계수를 제곱하면, “설명량”이라는 의미로 해석 가능
• 단순회귀분석의 경우,

 

• 설명된 편차와 설명되지 않은 편차
•  

서울대학교 교육통계 강의 자료. 사범대학교 교육학과 박현정교수

성태제(2019). 현대기초통계학 이해와 적용 제 8판. 학지사. pp, 169-194.