[개념노트] CN-3호 — 통계적 유의 ≠ 실질적 중요

DR.YUNSEUL · CONCEPT NOTE

📐 닥터윤슬의 연구 개념 노트

CN-3 · 2026.06.15

📚 매주 월요일, 논문 쓰다 막히는 개념 하나씩. 시리즈 전체 보기 →

통계적 유의 ≠ 실질적 중요

"유의했다"는 말이 "중요하다"는 뜻은 아니다

p<0.001이라는 화려한 숫자 뒤에, 현실에서는 아무도 체감하지 못할 만큼 작은 효과가 숨어 있을 수 있습니다. "유의하다"와 "중요하다"는 다른 말입니다.

10만 명을 모으면 생기는 일

한 다이어트 보조제 연구가 10만 명을 모아 실험했습니다. 결과는 "p<0.001로 통계적으로 매우 유의한 체중 감소". 그런데 실제 평균 감소량은 0.1kg이었습니다. 통계적으로는 확실하지만, 그 누구도 0.1kg을 위해 약을 먹지는 않습니다. 표본이 거대하면 아주 사소한 차이도 "유의"해집니다. p값은 효과가 있는지를 묻지, 그것이 쓸모 있는 크기인지는 묻지 않기 때문입니다.

핵심

통계적 유의성은 "효과가 0이 아니라는 증거가 있는가"를, 실질적 중요성은 "그 효과가 실제로 의미 있는 크기인가"를 묻는다. 둘은 별개이며, 후자는 효과크기로 따진다.

효과크기 — p값이 빠뜨리는 절반

효과크기(effect size)는 차이의 크기 자체를 표본 수와 무관하게 재는 지표입니다. 두 집단 평균 비교라면 코헨의 d가 대표적입니다. d는 "두 집단이 표준편차 몇 개만큼 떨어져 있는가"를 말해줍니다. 관행적 기준은 0.2(작음) · 0.5(중간) · 0.8(큼)이지만, 이 역시 분야 맥락에 따라 달라집니다.

🔍 비유 — 돋보기와 차이

표본 수는 돋보기의 배율과 같습니다. 배율(표본)을 충분히 키우면 먼지 한 톨(0.1kg)도 또렷이 "보입니다"(유의). 하지만 또렷이 보인다고 그 먼지가 커지는 건 아닙니다. 먼지의 실제 크기 = 효과크기는, 돋보기 배율과 무관하게 그대로입니다.

두 축으로 결과 읽기

상황	해석
유의 O · 효과크기 큼	신뢰할 만한 중요한 발견
유의 O · 효과크기 작음	확실하지만 실질적으로 사소할 수 있음
유의 X · 효과크기 큼	표본 부족 가능성 — 검정력 점검
유의 X · 효과크기 작음	효과가 없거나 무시할 수준

🛠 실제로 해보려면

R에서 t검정과 함께 효과크기를 계산해 두면, 결과를 두 축으로 한눈에 볼 수 있습니다.

t.test(그룹A, 그룹B)              # p값
effsize::cohen.d(그룹A, 그룹B)    # 효과크기(코헨 d)
# 둘을 함께 보고: p값은 '있는가', d는 '얼마나 큰가'

"유의했다"로 끝내지 말고, 늘 효과크기를 한 줄 덧붙이는 습관을 들이세요.

📚 출처

1. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum.
2. Sullivan, G. M. & Feinn, R. (2012). Using Effect Size—or Why the P Value Is Not Enough. Journal of Graduate Medical Education, 4(3), 279–282.
3. Wasserstein, R. L. & Lazar, N. A. (2016). The ASA Statement on p-Values. The American Statistician, 70(2), 129–133.

💌 다음 편 예고
CN-4 「'유의하지 않다 = 효과 없다'는 틀렸다」
p>0.05를 "효과 없음"으로 읽는 흔한 실수를 바로잡습니다.

📤 추천하기

📚 연구 개념 노트 전체 보기

— 닥터윤슬