[개념노트] CN-1호 — p값의 진짜 정의와 흔한 오해 5가지

DR.YUNSEUL · CONCEPT NOTE

📐 닥터윤슬의 연구 개념 노트

CN-1 · 2026.05.18

📚 매주 월요일, 논문 쓰다 막히는 개념 하나씩. 시리즈 전체 보기 →

p값의 진짜 정의 — 연구자도 대부분 틀리게 안다

"이 약이 효과 없을 확률이 3%"라는 말이 왜 틀렸는가

통계 교과서 첫 장에 나오는 개념인데도, 논문을 쓰는 연구자조차 절반 이상이 p값을 한 줄로 잘못 말합니다. 오늘은 p값이 아닌 것부터 하나씩 지워가며 진짜 정의에 도달해 보겠습니다.

"이 약이 효과 없을 확률이 3%네요"

어느 학회 발표장에서 들은 말입니다. 발표자는 자신의 실험 결과를 두고 "p=0.03이니까 약이 효과 없을 확률은 3%밖에 안 됩니다"라고 설명했습니다. 객석 절반이 고개를 끄덕였습니다. 그런데 이 문장은 틀렸습니다. 그것도 아주 흔하게 틀리는 방식으로요. p값은 "효과가 없을 확률"이 아닙니다.

⚠️ p값이 '아닌' 다섯 가지

아래는 모두 틀린 문장입니다. 정의를 외우기 전에 이 다섯 개부터 버리는 편이 빠릅니다.

• 귀무가설이 참일 확률이다 — 빈도주의에서 "가설이 참일 확률"은 정의조차 되지 않습니다. 가설은 참이거나 거짓이지, 확률을 갖는 대상이 아닙니다.
• 결과가 순전히 우연일 확률이다 — p값은 이미 우연(귀무가설)을 참이라 가정한 뒤 계산합니다. 우연을 전제로 깔고 시작했는데 "우연일 확률"을 내놓을 수는 없습니다.
• 1 − p는 내 가설이 맞을 확률이다 — p값은 대립가설에 대해 아무 말도 하지 않습니다. 그건 베이즈 통계의 영역이고 사전확률이라는 별도 정보가 필요합니다.
• p값이 작을수록 효과가 크다 — 표본이 크면 미미한 차이도 p<0.001을 만듭니다. p값은 효과의 크기가 아니라 증거의 강도에 가깝습니다.
• p<0.05면 재현된다 — p값은 단 한 번의 실험, 그 한 번의 데이터에 대한 진술일 뿐입니다.

그래서 p값은 정확히 무엇인가

다섯 개를 지웠으니 이제 남은 자리에 진짜 정의를 놓겠습니다.

정의

p값이란, 귀무가설이 참이라고 가정했을 때, 실제로 관측된 것만큼 또는 그보다 더 극단적인 결과가 나올 확률이다.

핵심은 문장 앞머리의 "귀무가설이 참이라고 가정했을 때"입니다. p값은 "효과가 없는 세계"를 일단 진짜라고 가정하고 들어갑니다. 그 가상의 세계 안에서, 내가 얻은 데이터가 이만큼이나 튀어 나올 일이 얼마나 드문지를 재는 것이 p값입니다.

🪙 비유 — 정직한 동전이 사는 세계

친구가 동전을 던져 앞면이 8번 연속 나왔습니다. p값의 사고방식은 이렇습니다. "이 동전이 정직하다고(앞뒤 50:50) 치자. 그렇다면 앞면이 8번 연속 나올 일은 얼마나 드물까?" 정직한 동전이라는 가정 아래 그 확률은 약 0.4%, 아주 드뭅니다.

그런데 이 0.4%는 "동전이 정직할 확률"이 아닙니다. "동전이 정직하다고 가정했을 때 이런 결과가 나올 확률"입니다. 둘은 완전히 다른 문장이고, p값은 언제나 후자입니다.

한 줄로 정리하는 비교표

흔히 말하는 (틀린) 해석	정확한 해석
귀무가설이 참일 확률	귀무가설을 가정했을 때 데이터가 나올 확률
결과가 우연일 확률	우연을 전제로 했을 때의 데이터 희귀도
1−p = 내 가설이 맞을 확률	대립가설에 대해선 아무 말도 안 함
p가 작을수록 효과가 크다	효과 크기가 아니라 증거의 강도에 가까움
p<0.05면 재현된다	이번 한 번의 데이터에 대한 진술일 뿐

왜 이 구분이 실무에서 중요한가

"정의 좀 틀리게 안다고 결과가 달라지나?" 싶을 수 있습니다. 그런데 이 한 끗이 연구의 결론을 바꿉니다. p값을 "가설이 참일 확률"로 오해하면, p=0.06이 나왔을 때 "효과가 없다"고 성급히 결론짓게 됩니다. 하지만 p=0.06은 효과가 없다는 증거가 아니라, 이번 데이터로는 귀무가설을 기각할 만큼 충분히 드물지 않았다는 뜻일 뿐입니다.

🛠 실제로 해보려면

무료 통계 도구 jamovi나 R이면 클릭 몇 번, 코드 한 줄이면 됩니다. R에서 두 집단 평균을 비교한다면:

t.test(그룹A, 그룹B)
# 출력의 p-value를 읽을 때 정의를 떠올리세요:
# "두 집단에 차이가 없다고 가정했을 때, 이만큼의 차이가 나올 확률"

어느 검정에서 어떤 p값이 나오는지, 그래서 어느 검정을 언제 써야 하는지는 CN-7 「검정 선택 플로차트」에서 한 장으로 정리해 두었습니다.

📚 출처

1. Wasserstein, R. L. & Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133.
2. Greenland, S., Senn, S. J., Rothman, K. J. et al. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31, 337–350.
3. Goodman, S. (2008). A Dirty Dozen: Twelve P-Value Misconceptions. Seminars in Hematology, 45(3), 135–140.

💌 다음 편 예고
CN-2 「p=0.049와 0.051은 정말 다른가」
0.05라는 경계선이 사실 얼마나 자의적인지 이야기해 보겠습니다.

📤 추천하기

📚 연구 개념 노트 전체 보기

— 닥터윤슬