P값 계산기

P값(P-value)은 귀무가설(H₀)이 참이라고 가정할 때, 실제 관찰된 통계량 또는 그보다 더 극단적인 값이 나올 확률입니다. 예를 들어 P값이 0.03이라면 "귀무가설이 참일 때 이렇게 극단적인 결과가 나올 확률이 3%"라는 의미입니다. P값이 유의수준 α(보통 0.05 또는 5%)보다 작으면 귀무가설을 기각하고 대립가설을 채택합니다. P=0.03 < 0.05이므로 "통계적으로 유의하다(statistically significant)"고 결론 내립니다. P값이 작을수록 귀무가설에 반하는 강한 증거입니다. 하지만 P값은 효과의 크기나 중요성을 말하지 않으며, 단지 우연에 의한 것인지 여부만 판단합니다. P=0.001과 P=0.049는 모두 유의하지만 증거의 강도는 다릅니다.

Z검정은 모표준편차(σ)를 알고 표본크기가 큰 경우(n≥30) 사용합니다. Z = (x̄ - μ₀) / (σ / √n). 예: 평균 키가 170cm(μ₀)인지 검정할 때, 100명 표본평균이 172cm, σ=10cm이면, Z = (172-170)/(10/√100) = 2/1 = 2.0. 양측검정 P값 = 2×P(Z>2.0) ≈ 0.046 < 0.05로 유의합니다. T검정은 모표준편차를 모르고 표본표준편차(s)를 사용하거나 표본크기가 작을 때(n<30) 사용합니다. T = (x̄ - μ₀) / (s / √n), 자유도 df=n-1. 예: 25명 평균 75점, s=12, μ₀=70일 때, T = (75-70)/(12/√25) = 5/2.4 = 2.08, df=24. T분포에서 P값 ≈ 0.048로 유의합니다.

카이제곱(χ²) 검정은 범주형 변수 간 독립성 검정이나 적합도 검정에 사용됩니다. χ² = Σ(관찰빈도 - 기대빈도)² / 기대빈도. 예: 주사위를 60번 던져 각 눈이 {12, 8, 11, 9, 10, 10}번 나왔다면, 기대빈도는 각 10번. χ² = (12-10)²/10 + (8-10)²/10 + ... = 4/10 + 4/10 + 1/10 + 1/10 + 0 + 0 = 1.0. 자유도 df=6-1=5, P값 ≈ 0.96 > 0.05로 주사위는 공정합니다(유의하지 않음). 카이제곱 검정은 독립성 검정(예: 성별과 제품 선호도), 동질성 검정(여러 집단 비율 비교), 적합도 검정(관찰 분포가 이론 분포를 따르는지)에 활용됩니다.

F검정은 두 집단의 분산을 비교하거나, ANOVA(분산분석)에서 여러 집단 평균을 동시에 비교할 때 사용합니다. F = s₁² / s₂² (큰 분산 / 작은 분산). 예: 집단1 분산 s₁²=25, 집단2 분산 s₂²=16이면, F = 25/16 = 1.56. 자유도 df₁=n₁-1, df₂=n₂-1. 예: n₁=21, n₂=16이면 df₁=20, df₂=15. F분포에서 P값 ≈ 0.24 > 0.05로 분산 차이가 유의하지 않습니다. ANOVA는 셋 이상의 집단 평균을 비교할 때 t검정을 반복하는 대신 F검정으로 한 번에 검정합니다(1종 오류 누적 방지). F값이 크면 집단 간 분산이 집단 내 분산보다 크다는 의미로, 집단 간 평균 차이가 유의합니다.

검정력(Power)은 대립가설이 참일 때 이를 올바르게 탐지할 확률로, Power = 1 - β(2종 오류)입니다. 보통 0.8 (80%) 이상을 목표로 합니다. 검정력은 효과크기, 표본크기, 유의수준에 영향을 받습니다. 표본크기가 클수록, 효과크기가 클수록, α가 클수록 검정력이 증가합니다. 효과크기(Effect Size)는 실질적 차이의 크기를 나타냅니다. Cohen's d = (평균1 - 평균2) / 통합표준편차. d=0.2는 작은 효과, d=0.5는 중간 효과, d=0.8은 큰 효과입니다. P값이 유의하더라도 효과크기가 작으면 실용적 의미가 없을 수 있습니다(표본이 매우 크면 작은 차이도 유의). 반대로 P값이 유의하지 않아도 효과크기가 크면 표본크기 부족 때문일 수 있습니다.

P값에 대한 흔한 오해: ① "P=0.05는 귀무가설이 참일 확률이 5%"는 틀렸습니다. P값은 "H₀이 참일 때 데이터가 나올 확률"이지, "데이터가 주어졌을 때 H₀이 참일 확률"이 아닙니다(베이즈 정리 필요). ② "P<0.05면 효과가 크다"는 오해입니다. P값은 유의성이지 효과크기가 아닙니다. 표본이 크면 작은 효과도 유의할 수 있습니다. ③ "P=0.051은 유의하지 않고 P=0.049는 유의하다"처럼 0.05를 절대 기준으로 보는 것은 문제입니다. P값은 연속적 증거로 해석해야 합니다. 올바른 사용: P값과 함께 신뢰구간, 효과크기, 실질적 의미를 종합 평가하세요. 재현성을 위해 사전 등록(pre-registration)하고, P-hacking(유의한 결과 나올 때까지 분석 반복)을 피하세요.