빅데이타 & 머신러닝/통계학 이론

표준편차 (standard deviation)에서 편차의 절대값을 사용하지 않고, 편차의 제곱을 사용하는 이유

Terry Cho 2014. 11. 13. 01:07

왜 표준편차에서 절대값을 사용하지 않고, 제곱을 사용할까?


표준 편차는 편차의 제곱의 평균이다. 표준편차는 평균에서 실제 값이 얼마나 떨어져 있는지를 나타내는 것인데, 일반적인 설명들을 보면, 편차가 음수(-) 가 나올 수 있기 때문에 이를 양수화 하기 위해서 제곱을 하였다고 설명을 한다. (특히 인강들...)

그렇다면 제곱을 하지 않고 절대값(Absolute)값의 평균을 내면 되지 않을까? 이를 절대편차라고 하는데, 이를 사용하지 않고 제곱을 한 표준 편차를 사용 하는 이유는?


평균편차 = sum(xi-mean(x))/n으로 [ (x1-mean(x)) + (x2-mean(x)) ...]/ n의 형태로 1차 함수의 형태를 띤다. 그래서 평균절대편차의 경우에는, 1차 함수로, 그래프에 대해서 불연속성이 있다. (그래프가 꺽인다.)



표준편차의 경우, 편차를 제곱을 한 2차 함수로, 그래프에 대한 연속성이 있으며, 미분등이 가능하여, 통계 이론을 전계하기가 용이하다.



(통계학에서는 어떤 모수의 대표값을 사용할때 불편성, 일치성, 충분성, 최소분산의 여부를 따져서 가장 분산이 작고 불편추정량이면서 일치추정량이고 모든 표본들의 정보를 포함하는데 충분한가에 대한 증명을 거친후에 그 값을 사용하는데 바로 표준편차가 이러한 통계량입니다. 평균편차는 이러한 조건을 만족하지 않는 경우가 생기게 됩니다. 이는 수리적으로 증명이 가능하지만 매우 복잡하기 때문에 생략하겠습니다. - http://kin.naver.com/qna/detail.nhn?d1id=11&dirId=1113&docId=56782389&qb=7Y+J6reg7KCI64yA7Y647LCoIOyZgCDtkZzspIDtjrjssKg=&enc=utf8&section=kin&rank=1&searc 인용 )


실제로 더 복잡한 의미를 가지고 있는 것 같은데, 이건 좀 연구를 해봐야 겠고 실제로 Gradient decent 법을 이용한 선형회귀 분석에서, 최소 오차값을 찾기 위해서, 표준편차 공식에서 샘플 데이타 xi에서 미분 값을 구해서, 최소 값을 찾아가는 것을 보면, 여러모로 봐서나, 2차 함수 형태가 조금 더 유리한듯.


추가 : http://navercast.naver.com/contents.nhn?rid=22&contents_id=844&leafId=22 네이버 캐스트에 정리된 내용인데, 사실 읽어도 잘 이해가 안되긴하는 내용인데, 답글들을 참고할만함


그리드형