[개념노트] CN-2호 — p=0.049와 0.051은 정말 다른가

DR.YUNSEUL · CONCEPT NOTE

📐 닥터윤슬의 연구 개념 노트

CN-2 · 2026.06.01

📚 매주 월요일, 논문 쓰다 막히는 개념 하나씩. 시리즈 전체 보기 →

p=0.049와 0.051은 정말 다른가

0.002 차이가 논문의 운명을 가르는 이상한 관습에 대하여

거의 같은 두 결과가, 0.05라는 선 하나를 사이에 두고 한쪽은 "유의미한 발견", 다른 쪽은 "효과 없음"으로 갈립니다. 이 선은 어디서 왔고, 우리는 왜 이렇게까지 그것에 매달리게 됐을까요.

같은 실험, 갈라지는 운명

두 연구자가 거의 똑같은 실험을 했습니다. A는 p=0.049, B는 p=0.051을 얻었습니다. 차이는 0.002. 그런데 A의 논문은 "통계적으로 유의한 효과를 확인했다"며 게재되고, B의 논문은 "유의하지 않았다"며 서랍 속으로 들어갑니다. 데이터가 말해주는 실제 증거의 양은 사실상 같은데도요. 무언가 이상하지 않나요?

0.05는 어디서 왔나

놀랍게도 0.05에는 깊은 수학적 근거가 없습니다. 1920년대 통계학자 로널드 피셔가 "스무 번에 한 번꼴(1/20)이면 우연으로 치기엔 드물다"는 어림셈을 편의상 제시했고, 그것이 관습으로 굳어졌을 뿐입니다. 피셔 본인도 0.05를 고정된 절대 기준으로 쓰라는 뜻은 아니라고 분명히 했습니다. 맥락에 따라 더 엄격하거나 느슨한 기준을 쓰라는 것이었죠.

핵심

0.05는 자연 상수가 아니라 사회적 관습이다. p값은 연속적인 증거의 강도이지, 0.05에서 갑자기 켜지고 꺼지는 스위치가 아니다.

🌡 비유 — 36.9도와 37.1도

체온 37.0도를 "미열" 기준선이라 하자. 36.9도인 사람과 37.1도인 사람의 몸 상태가 본질적으로 다를까요? 거의 같습니다. 선은 행정 편의를 위한 약속일 뿐, 0.2도 차이로 사람이 갑자기 아프거나 건강해지지 않습니다. p=0.049와 0.051도 똑같습니다.

⚠️ 경계선이 만드는 위험 — p-해킹

0.05를 절대선으로 떠받들면, 연구자는 0.051을 0.049로 만들고 싶은 유혹에 빠집니다. 이렇게요.

• 표본을 몇 개 더 모아 p가 0.05 밑으로 내려갈 때까지 반복한다
• 유의해진 변수만 골라 보고하고 나머지는 숨긴다
• 이상치를 "그럴듯한 이유"를 붙여 빼거나 넣어 본다

이 모든 것이 p-해킹입니다. 경계선 숭배가 만들어내는 부작용이죠. (자세한 사례는 후속 편 CN-44에서 다룹니다.)

그럼 어떻게 읽어야 하나

관습적 사고	권장하는 사고
p<0.05 = 유의 / p>0.05 = 비유의	p값을 연속적인 증거의 정도로 보고하기
"유의했다"로 끝	효과크기 + 신뢰구간을 함께 제시
기준을 사후에 정함	유의수준을 분석 전에 사전 선언

🛠 실제로 해보려면

논문에 p값을 쓸 때 "p<0.05"라고만 뭉뚱그리지 말고, 정확한 값을 그대로 보고하세요. 대부분의 학술지 가이드라인도 이를 권장합니다.

# 나쁜 보고:  "유의했다 (p < .05)"
# 좋은 보고:  "t(48) = 2.03, p = .048, Cohen's d = 0.58, 95% CI [0.01, 1.15]"

효과크기·신뢰구간을 함께 적으면, 0.05 한 줄이 못 담는 '실질적 중요성'이 드러납니다.

📚 출처

1. Wasserstein, R. L. & Lazar, N. A. (2016). The ASA Statement on p-Values. The American Statistician, 70(2), 129–133.
2. Wasserstein, R. L., Schirm, A. L. & Lazar, N. A. (2019). Moving to a World Beyond "p < 0.05". The American Statistician, 73(sup1), 1–19.
3. Benjamin, D. J. et al. (2018). Redefine statistical significance. Nature Human Behaviour, 2, 6–10.

💌 다음 편 예고
CN-3 「통계적 유의 ≠ 실질적 중요」
p값이 작아도 효과는 사소할 수 있습니다. 그 둘을 가르는 법을 봅니다.

📤 추천하기

📚 연구 개념 노트 전체 보기

— 닥터윤슬