EDA와 변수 관계

학습목표

• EDA와 변수 관계의 대상·가정·산출물을 설명한다.
• 공식 또는 절차를 작은 계산 사례에 적용하고 해석한다.
• Python으로 재현 가능한 점검의 출발점을 만든다.

핵심 용어

EDA · 교차표 contingency table · 공분산 covariance · 상관 correlation · 산점도 scatter plot · 교란변수 confounder
한·영 정의와 약어는 통합 용어집을 함께 참조한다.

개념 설명

EDA는 모델 전에 자료 패턴과 품질 문제를 탐색한다. 수치-수치는 산점도, 범주-범주는 교차표, 범주-수치는 그룹별 분포가 출발점이다. 상관계수는 선형 관계 요약일 뿐 비선형 관계·인과관계의 증거가 아니므로 시간 순서·공통 원인을 점검한다.

상세 이론

EDA의 목적과 반복성

EDA는 정해진 가설을 검정하기 전에 자료의 구조, 오류, 예상 밖 패턴을 발견하는 반복 과정이다. 질문을 만들고, 표·그림을 보고, 자료를 분할하거나 변환하고, 새 질문을 만드는 순환으로 진행한다. 탐색에서 발견한 가설을 같은 자료에서 확증적으로 검정하면 선택 편향이 생길 수 있으므로 별도 검증 자료나 후속 연구가 필요하다.

변수 조합에 따른 표현

수치-수치는 산점도·상관, 범주-수치는 그룹별 상자·바이올린 그림과 요약량, 범주-범주는 교차표와 조건부 비율을 사용한다. 시간 변수는 선그래프와 시차 그림, 공간 변수는 지도와 공간 이웃 구조가 적합하다. 시각화 선택은 미적 취향보다 변수의 척도와 질문에 의해 정해진다.

공분산과 상관계수

공분산은 두 편차의 곱 평균으로 같은 방향 변화면 양수, 반대 방향이면 음수가 된다. 단위의 곱을 가지므로 크기 비교가 어렵고, 이를 각 표준편차로 나눈 피어슨 상관은 -1과 1 사이가 된다. 상관은 선형 관계 강도이며 이상치 하나가 크기와 부호를 크게 바꿀 수 있다. 순위 기반 스피어만 상관은 단조 관계와 이상치에 더 강건하다.

교차표와 조건부 분포

교차표의 셀 빈도만 비교하면 그룹 크기 차이를 놓친다. 행 조건부 비율은 각 행 그룹 안에서 열 범주의 분포를, 열 조건부 비율은 반대 방향 질문을 답한다. 두 범주형 변수가 독립이면 결합확률은 주변확률의 곱과 같으며, 카이제곱 검정은 관측빈도와 이 기대빈도의 차이를 평가한다.

비선형성·하위집단·심슨의 역설

전체 자료에서 약한 관계라도 하위집단별로 강한 관계가 있을 수 있고, 반대로 각 집단의 관계가 전체 집계에서 뒤집힐 수 있다. 이는 그룹 비율과 공통 원인의 차이에서 발생하는 심슨의 역설과 연결된다. 산점도에 색·패싯을 적용하고 시간·지역·처치 집단을 나눠 보는 이유다.

상관과 인과의 구분

상관관계는 예측 신호가 될 수 있으나 원인 효과를 식별하지 않는다. 역인과, 누락된 공통 원인, 선택 편향, 측정오차가 같은 패턴을 만들 수 있다. 인과 주장을 위해서는 개입의 정의, 시간 순서, 비교 가능한 대조군, 무작위배정 또는 타당한 식별 가정이 필요하다.

개념 비교표

적용 조건과 진단

다음 조건은 공식을 대입하기 전에 확인한다. 하나라도 만족하지 않으면 결과를 버리기보다 원인을 기록하고 대안적 요약·변환·검증 설계를 선택한다.

• 변수 조합에 맞는 그림인가
• 이상치·비선형·하위집단을 확인했는가
• 상관을 인과로 표현하지 않았는가

개념 흐름

그림. 산점도는 상관계수 하나가 숨기는 군집과 이상치를 드러낸다.

공식과 해석

$r=Cov(X,Y)/(s_Xs_Y)$는 표준화된 선형 동반 변화다.

계산 예제

공부 시간과 점수가 함께 증가해도 반별 난이도가 다르면 반이 관계를 왜곡할 수 있어 반별 그림도 본다.

Python 예제

실행 안내: 예제는 각 장의 핵심 API와 해석 순서를 보여준다. 별도 실습 환경에서 필요한 입력 데이터를 준비한 뒤 실행한다.

import pandas as pd

df = pd.DataFrame({'x':[1,2,3,4], 'y':[51,58,64,73], 'group':['A','A','B','B']})
print(df[['x','y']].corr())
print(pd.crosstab(df['group'], df['y'] >= 60))
ax = df.plot.scatter(x='x', y='y', c='black')
ax.set_title('산점도')
print(df.groupby('group')[['x','y']].mean())
print('그림으로 비선형·이상치를 확인한다.')
# 상관은 인과 증거가 아니다.

장 요약

• EDA의 목적과 반복성: EDA는 정해진 가설을 검정하기 전에 자료의 구조, 오류, 예상 밖 패턴을 발견하는 반복 과정이다.
• 변수 조합에 따른 표현: 수치-수치는 산점도·상관, 범주-수치는 그룹별 상자·바이올린 그림과 요약량, 범주-범주는 교차표와 조건부 비율을 사용한다.
• 공분산과 상관계수: 공분산은 두 편차의 곱 평균으로 같은 방향 변화면 양수, 반대 방향이면 음수가 된다.
• 교차표와 조건부 분포: 교차표의 셀 빈도만 비교하면 그룹 크기 차이를 놓친다.
• 비선형성·하위집단·심슨의 역설: 전체 자료에서 약한 관계라도 하위집단별로 강한 관계가 있을 수 있고, 반대로 각 집단의 관계가 전체 집계에서 뒤집힐 수 있다.
• 상관과 인과의 구분: 상관관계는 예측 신호가 될 수 있으나 원인 효과를 식별하지 않는다.

더 읽을거리

• Exploratory data analysis
• Correlation and dependence