[개념노트] CN-6호 — 단측검정, 써도 되나 — 그 유혹의 위험

DR.YUNSEUL · CONCEPT NOTE

📐 닥터윤슬의 연구 개념 노트

CN-6 · 2026.07.06

📚 매주 월요일, 논문 쓰다 막히는 개념 하나씩. 시리즈 전체 보기 →

단측검정, 써도 되나 — 그 유혹의 위험

p값을 절반으로 만드는 한 줄의 대가

양측 p=0.07. 코드 한 줄만 바꾸면 단측 p=0.035, 유의해집니다. 이 전환이 언제 정당하고 언제 p-해킹인지 — 기준은 단 하나, 언제 결정했는가입니다.

p=0.07 앞에서 흔들리는 순간

학위논문 마감을 앞둔 연구자가 양측검정으로 p=0.07을 얻었습니다. 그때 누군가 속삭입니다 — "어차피 처치 효과가 좋아지는 방향일 거라고 예상했잖아. 단측으로 하면 0.035인데?" 그럴듯하게 들리지만, 결과를 본 뒤에 단측으로 바꾸는 순간 유의수준 5%라는 약속은 사실상 10%로 부풀려집니다. 동전을 던져 앞면이 나온 걸 확인하고 나서 "나는 처음부터 앞면에 걸었다"고 말하는 것과 같습니다.

⚠️ 흔한 오해

아래는 모두 틀린 문장입니다.

• "효과의 방향을 예상하고 있었다면 단측이 당연하다." — 거의 모든 연구자는 방향을 예상합니다. '예상'이 아니라 사전에 문서로 남긴 약속과 '반대 방향은 버려도 좋다'는 근거가 있어야 합니다.
• "단측은 검정력이 높으니 항상 유리하다." — 예상과 반대 방향의 효과는 아무리 커도 감지하지 못합니다. 부작용·역효과를 놓치는 비용이 따라옵니다.
• "결과를 본 뒤 단측으로 보고해도 계산만 맞으면 된다." — 사후 전환은 제1종 오류율을 두 배로 부풀리는 전형적 p-해킹입니다.

정의

단측검정은 유의수준 5% 전부를 한쪽 방향에 배정하는 검정이다. "효과는 이 방향이며, 반대 방향 결과는 어떤 크기라도 의미 없다고 취급하겠다"는 약속을 데이터 수집 전에 해야 성립한다.

🥅 비유 — 골대 반쪽을 포기한 골키퍼

단측검정은 "공은 반드시 오른쪽으로 온다"고 선언하고 골대 왼쪽을 완전히 비워둔 골키퍼입니다. 오른쪽 수비는 두 배로 두터워지지만(검정력 상승), 왼쪽으로 오는 공은 — 그것이 결승골이라도 — 그냥 들어갑니다. 경기 전에 그렇게 선언하는 건 전략이지만, 공이 오른쪽으로 온 걸 본 뒤에 "원래 오른쪽만 막기로 했었다"고 말하는 건 반칙입니다.

단측 vs 양측 — 판단 기준

상황	권장
일반적인 효과 검증 연구 (대부분의 경우)	양측 — 기본값. 반대 방향 결과도 과학적으로 의미 있음
방향 가설을 사전등록했고, 반대 방향이 실질적으로 무의미한 경우 (예: 비열등성 시험)	단측 가능 — 단, 사전 문서화 필수
양측으로 p=0.05~0.10이 나온 뒤 단측 전환을 고민 중	금지 — 사후 전환은 p-해킹
부작용·역효과 가능성이 조금이라도 있는 처치	양측 — 해로운 방향을 감지할 의무

단측이 정당해지는 두 가지 조건

첫째, 시점: 방향 가설이 데이터를 보기 전에 확정되어 있어야 하고, 사전등록·연구계획서·분석계획서처럼 제3자가 확인할 수 있는 기록이 있어야 합니다. 둘째, 비대칭의 실질적 근거: 반대 방향 결과가 나와도 행동이 달라지지 않는 구조여야 합니다. 예컨대 "신공정이 기존보다 나쁘지만 않으면 도입한다"는 비열등성 판단에서는 '더 나쁜가'라는 한 방향만 문제가 되므로 단측이 자연스럽습니다. 이 두 조건을 모두 갖춘 연구는 생각보다 드뭅니다 — 그래서 학술지 심사자들은 단측검정을 보면 일단 의심부터 합니다.

사후 전환이 위험한 이유 — 숫자로

"양측으로 해보고, 아쉬우면 예상 방향 단측으로 바꾼다"는 전략을 쓰면 실제 제1종 오류율은 5%가 아니라 7.5%까지 올라갑니다(양측 5% 기각역 + 예상 방향 쪽 2.5% 추가). 어느 방향이든 유리한 쪽 단측을 고른다면 사실상 10%입니다. 유의수준은 연구자가 독자와 맺는 계약입니다 — 결과를 본 뒤 계약 조건을 바꾸면, p값이라는 숫자 자체가 의미를 잃습니다. 단측을 쓰기로 했다면 논문에 그 근거와 결정 시점을 명시하는 것까지가 검정의 일부입니다.

🛠 실제로 해보려면

R의 t.test는 alternative 인자로 방향을 지정합니다. 기본값은 양측입니다.

t.test(처치군, 대조군)                          # 양측(기본값)
t.test(처치군, 대조군, alternative = "greater")  # 단측 — 사전등록 없이는 금물
# 단측을 썼다면 논문에: 방향 가설의 근거 + 결정 시점(사전등록 링크) 명시

망설여진다면 답은 양측입니다. 단측은 "쓸 수 있는가"가 아니라 "써야만 하는가"로 판단하세요.

📚 출처

1. Ruxton, G. D. & Neuhäuser, M. (2010). When should we use one-tailed hypothesis testing? Methods in Ecology and Evolution, 1(2), 114–117.
2. Cho, H.-C. & Abe, S. (2013). Is two-tailed testing for directional research hypotheses tests legitimate? Journal of Business Research, 66(9), 1261–1266.
3. Lombardi, C. M. & Hurlbert, S. H. (2009). Misprescription and misuse of one-tailed tests. Austral Ecology, 34(4), 447–468.

💌 다음 편 예고
CN-7 「검정 선택 플로차트 — 한 장으로 끝내는 결정 트리」
"어떤 검정을 써야 하나요?" — 세 가지 질문으로 답이 나오는 지도를 그립니다.

📤 추천하기

📚 연구 개념 노트 전체 보기

— 닥터윤슬