p-value는 알고 갑시다

쉽게 가는 거 아니었나요?

어려운 용어나 수식은 최대한 걷어내고 엑셀로 가볍게 이해하자고 했는데, 갑자기 p-value 가 등장했습니다.

 

사실 숫자, 데이터 분석이니 크게는 딥러닝 등 사람 설레게 만드는 용어들은 다 '통계'에서 나왔다고 볼 수 있습니다.

그리고 그 통계를 아무리 쉽게 가려고 해도 필연적으로 만나야 하는 단어들은 존재합니다.

 

바로 p값, 유의수준, 귀무가설, 대립 가설 등이 그것이죠

 

이 중에서도 통계적 지표를 해석하는 데 있어서 가장 인기 있는 p-value를 중심으로 설명하겠습니다.

어쨌거나 이 p값에 대해서 제대로 이해하지 못하고 있다면, 엑셀이든 계산기든 아무리 쉽게 풀어내 본들 해석을 하기가 어렵습니다. 반대로(?) 이 p값이라는 걸 알면 통계적인 해석을 하기가 훨씬 수월하다는 거죠.

 

p-value는 알고 갑시다

위키피디아에서 p value는
'귀무가설이 맞다고 가정할 때, 얻은 결과보다 극단적인 결과가 실제로 관측될 확률'이라고 정의한다. 

결론부터 얘기하면 p-value가 0.05보다 작냐 크냐의 문제입니다. 이 값이 0.05보다 작다면 귀무가설(Null Hypothesys)은 힘을 잃고 내가 '주장하는 가설'을 채택할 수 있습니다. 꼭 0.05 야 하는 법칙은 없지만 오랜 실험과 현상에 대한 분석을 통해 학계에서 통용하는 보편적인 기준일 뿐... 더욱 가혹하게 또는 가벼운 기준을 사용할 수 도 있습니다.

 

....어쨋든 0.05라는 겁니다

 

예를 들어 A라는 신약이 효과가 있는지를 알아보고자 할 때,

약을 투여한 집단과 하지 않은 집단의 특정 검사 수치를 비교한다고 가정합니다.

 

 - 귀무가설 (h0) : 신약 투여에 따라 수치 차이가 없다.

 - 대립가설 (h1) : 신약 투여에 따라 수치가 차이가 발생한다.

 

이때 p-value = 0.05라고 할 때, 이를 해석한다면?

신약의 효과가 없다는 가정하에 대립가설을 기각할 정도의 특정한 통계량이 발견될 확률이 5%에 불과하다는 뜻이므로,

귀무가설에 대한 지지를 떨어 뜨리게 됩니다.

(대립 가설이 맞다는 것이 아니라 귀무가설이 맞다는 것을 입증할 수 없다고 해석해야 합니다.)

 

 

p-value가 만능은 또 아닙니다

p값만 알면 만사 오케이인 줄 알았지만 여기에도 함정이 있습니다.

 

절대기준인 양 너무 남용하는가 하면, 유리한 결과를 위해 해석이나 통계적 장치를 왜곡하는 경우가 발생하기 쉽기 때문입니다. 특히 p값은 관측치가 많이 확보될수록 작아질 수 있기에 잘 못 사용될 여지가 있습니다.

심지어는 미국 통계협회에서도 이러한 문제를 두고 p값의 해석에 대해 우려하였습니다.

 

(p값이 높다는 것이 대립가설이 틀렸다는 의미가 아니고, '귀무가설을 기각할 근거가 없다'라고 봐야 합니다)

 

“유의성 검증은 가설이 자료와 배치될 때 그 가설을 기각할 수는 있지만, 가설이 옳다는 것을 확인할 수는 없다.
이런 사실을 이해한다면 유의성 검증을 제대로 보는 것이다.”    - Ronald Fisher

 

이처럼 p값을 슬기롭게 사용하기 위해서는 다른 통계량과 용어들에 대한 이해가 필요하므로

흥미가 있으신 분들은 조금만 더 힘내서 따로 공부해보시기를 추천드립니다.

 

하지만 '일단은' 우리가 볼 데이터의 관측수가 대단히 많지도 않을 것입니다.

또 자연과학과 같이 미세한 수치로 무언가를 판단하는 것보다는 있을 법한 일들을 모사한 데이터를 살펴보는 수준이니

친해지기 위한 단계로 p값만큼은 자주 익혀 친해지도록 합시다.

 

 

 

통계로 뭔가를 작성하는 건 너무 조심스럽고 무서운 일입니다.

처음 글에 썼듯 제대로 모르는 사람이 하는 신성모독 같은 느낌도 들지만 그만큼 지적과 수정은 적극적으로 반영하겠습니다.