[개념노트] CN-4호 — "유의하지 않다 = 효과 없다"는 틀렸다

DR.YUNSEUL · CONCEPT NOTE

📐 닥터윤슬의 연구 개념 노트

CN-4 · 2026.06.22

📚 매주 월요일, 논문 쓰다 막히는 개념 하나씩. 시리즈 전체 보기 →

"유의하지 않다"는 "효과 없다"가 아니다

증거의 부재는 부재의 증거가 아니다

p > 0.05가 나오면 논문에 "효과가 없었다"라고 쓰고 싶어집니다. 하지만 그 문장은 데이터가 한 말이 아닙니다. 검정이 한 말은 "이 표본으로는 모르겠다"에 가깝습니다.

스무 명으로 내린 사형 선고

한 대학원생이 새 교수법의 효과를 학생 20명으로 검정했습니다. 결과는 p = 0.21. 논문에는 이렇게 적었습니다 — "새 교수법은 효과가 없는 것으로 나타났다." 그런데 같은 데이터의 평균 차이는 오히려 꽤 컸고, 신뢰구간은 "효과 없음(0)"부터 "상당히 큰 효과"까지 넓게 걸쳐 있었습니다. 표본 20명으로는 애초에 웬만한 효과도 잡아낼 검정력이 없었던 것입니다. 이 연구가 증명한 것은 "효과 없음"이 아니라 "이 표본 크기로는 판정 불가"였습니다. 그런데도 "효과 없다"는 결론은 논문에 활자로 남아, 이후 연구자들이 그 교수법을 시도조차 하지 않게 만듭니다.

⚠️ 흔한 오해

아래는 모두 틀린 문장입니다.

• "p > 0.05이므로 효과가 없다." — 검정은 효과의 부재를 증명하지 못합니다. 기각에 실패했을 뿐입니다.
• "유의하지 않았으므로 귀무가설을 채택한다." — 귀무가설은 '채택'되지 않습니다. "기각하지 못했다"가 정확한 표현입니다.
• "A 집단은 유의, B 집단은 비유의 → 두 집단의 효과가 다르다." — 유의/비유의의 경계 차이 자체는 두 효과가 다르다는 증거가 아닙니다. 차이를 말하려면 차이를 직접 검정해야 합니다.

핵심

비유의(p > 0.05)는 "효과가 0이라는 증거"가 아니라 "효과가 0이라는 가설을 기각할 만큼의 증거를 이 표본에서 얻지 못했다"는 뜻이다. 증거의 부재(absence of evidence)는 부재의 증거(evidence of absence)가 아니다.

⚖️ 비유 — 법정의 무죄 판결

법정에서 "무죄" 판결은 피고인의 결백이 증명됐다는 뜻이 아니라, 유죄를 입증할 증거가 부족했다는 뜻입니다. 가설검정도 같은 구조입니다. 귀무가설(피고인은 무죄다)은 기각되거나, 기각에 실패할 뿐 — 검정은 결백(효과 없음)을 선고하는 절차가 아닙니다. 증인이 두 명뿐인 재판(표본 20명)에서 유죄 입증에 실패했다고 해서, 그것이 결백의 증거가 되지는 않습니다.

비유의 결과 뒤에 숨은 세 가지 시나리오

p > 0.05가 나온 이유	확인 방법
정말로 효과가 없거나 무시할 수준	신뢰구간이 0 주변에 좁게 모여 있는지 확인
효과는 있지만 표본이 작아 못 잡음 (검정력 부족)	신뢰구간이 넓고 의미 있는 효과 크기까지 걸쳐 있는지, 사전 검정력은 충분했는지 확인
측정 오차·노이즈가 커서 신호가 묻힘	측정 신뢰도, 분산 출처(이질적 표본 등) 점검

왜 이 오독이 사라지지 않나

교과서의 "귀무가설을 채택한다(accept)"라는 번역 관행이 한몫합니다. 기각/채택의 이분법은 마치 검정이 둘 중 하나를 확정해 주는 것처럼 들리게 만듭니다. 실제 논리는 비대칭입니다 — 검정은 귀무가설에 불리한 증거의 강도만 잽니다. 증거가 약하면 판단을 보류할 뿐, 귀무가설이 참이라고 말해주지 않습니다. 의학 학술지 분석에서는 비유의 결과를 "효과 없음"으로 잘못 서술한 논문이 절반 가까이 보고된 바 있고(Altman & Bland, 1995), 2019년에는 이 오독을 멈추자는 성명에 800여 명의 연구자가 서명하기도 했습니다(Amrhein et al., 2019). 그만큼 흔하고, 그만큼 끈질긴 실수입니다.

비유의 결과, 이렇게 보고하라

첫째, "효과가 없었다" 대신 "통계적으로 유의한 차이를 발견하지 못했다"로 씁니다. 둘째, 반드시 신뢰구간과 효과크기를 함께 제시합니다. 신뢰구간이 (-0.1, +1.2)처럼 넓다면 "효과 없음"부터 "큰 효과"까지 모두 데이터와 양립한다는 뜻이므로, 독자가 스스로 판단할 근거가 됩니다. 셋째, 정말로 "효과가 없다(또는 무시할 만큼 작다)"를 주장하고 싶다면 일반 검정이 아니라 동등성 검정(equivalence test, TOST) 같은 별도의 절차가 필요합니다. "효과 없음"도 하나의 주장이고, 주장에는 그에 맞는 검정이 따라야 합니다.

🛠 실제로 해보려면

R에서 비유의 결과가 나오면, p값 대신 신뢰구간 폭과 검정력을 먼저 확인하세요.

t.test(그룹A, 그룹B)$conf.int        # 신뢰구간이 넓으면 "판정 불가"에 가깝다
pwr::pwr.t.test(n = 20, d = 0.5)     # 이 표본으로 중간 효과를 잡을 확률(검정력)
TOSTER::tsum_TOST(...)               # "효과 없음"을 주장하려면 동등성 검정

비유의 결과 보고에 "신뢰구간 + 효과크기" 한 줄을 늘 덧붙이는 습관을 들이세요.

📚 출처

1. Altman, D. G. & Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311(7003), 485.
2. Amrhein, V., Greenland, S. & McShane, B. (2019). Scientists rise up against statistical significance. Nature, 567(7748), 305–307.
3. Greenland, S. et al. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350.
4. Lakens, D. (2017). Equivalence Tests: A Practical Primer for t Tests, Correlations, and Meta-Analyses. Social Psychological and Personality Science, 8(4), 355–362.

💌 다음 편 예고
CN-5 「신뢰구간이 p값보다 더 말해주는 것」
이번 편 내내 등장한 신뢰구간 — 왜 p값보다 정보가 많은지 본격적으로 다룹니다.

📤 추천하기

📚 연구 개념 노트 전체 보기

— 닥터윤슬