빅데이타 & 머신러닝 148

근대 통계학의 개념과 유례

근대 통계학의 개념과 유례 통계학이란,(네이버 지식 백과 참고)-기술통계학과, 추론 통계학통계학(統計學, statistics)은 주어진 자료에서 합계나 평균과 같이 필요한 정보를 계산하는 등 자료를 수집·정리·요약하는 기술통계학(記述統計學, descriptive statistics)과 표본(자료)에서 얻은 정보를 이용하여 모집단(자료를 뽑은 대상 전체)에 대한 정보를 예측하고 불확실한 사실에 대한 결론을 이끌어 내는 데 필요한 이론과 방법을 제시하는 추론통계학(推論統計學 , inferential statistics)으로 구성되어 있다. 통계학은 표본 그 자체보다는 모집단에 관심을 가지고 일부분으로 전체에 대한 정보를 알아내려고 하는 것이며 이러한 것을 통계적 추론(statistical inference)..

평균,표준편차,분산의 개념

표준 편차의 개념 쉽게 말하면 평균(mean) 에 대한 오차이이다. 즉 , 실제 데이타 값이 평균을 기준으로 할때 얼마나 들쭉 날쭉하냐를 나타내는 것이다. 평균이 m이고, 표준편차가 3이라고 할때, 실제 값은 m+-3 값이라는 것이다. 먼저 편차랑, 원래의 값에서 평균을 뺀 값인데, 편차는 +도 될 수 있고, -도 될 수 있다.그러면 우리가 구하고자 하는 표준편차라는 것은 평균 값이 실제 값에서 부터 얼마나의 오류가 있느냐 인데예를 들어 4개의 데이타가 있을 때 평균을 m이라고 가정하고, 각 값이 m+1,m-2,m+3,m-4 라고 할때편차의 합은 실제로 1+2+3+4=10 이 되야 하지만, 실제 값이 -2,-4 가 있기 때문에, (값-m)을 합한 값으로 계산해보면 1-2+3-4로 전혀 엉뚱한 값이 나온다..

맨땅에 해딩 머신러닝 #2 - 선형 회귀 모델 (1)

Linear Regression (선형 회귀 문제)선형 회귀 문제란, 데이타의 분포를 분석하였을때, y=a1+a2x와 같은 선형 그래프 형태로 정의될 수 있는 문제를 이야기 한다.“집 평수에 따른 가격” 문제로 다시 돌아와보자.다음과 같은 트레이닝 셋(Training Set)데이터가 있다고 하자 평수 (x) 가격 (y) 2104 460 1416 232 1534 315 예를 들면, 이 트레이닝 셋에서 x1 = 2104가 되고,x3=1534가 된다. 그리고 y^2=232가 된다.그러면 머신러닝은 아래 그림을 이해하면 전체 개념을 잡을 수 있다. 그러면 머신 러닝이 어떤 흐름으로 작동하는지를 살펴보자. Hypothesis(추론)는 추론 알고리즘의 집합으로, Hypothesis h는 Feature를 넣으면 Ta..

맨땅에 해딩 머신러닝 #1-기본 개념 잡기

맨땅에 해딩 머신러닝 #1 어떻게 강의도 보고 이야기를 듣다 보니, 빅데이타 분석등에서 중요한 것은 데이타 저장/통계뿐만 아니라 데이타 분석을 기반으로 예측등과 같은 의미를 찾아내는 것이 중요하다는 것을 알게 되었는데, 후배가 DEVIEW 컨퍼런스에서 딥러닝 강의등을 듣고 대략적인 원리를 듣고 감명 받은 소감을 이야기 해줘서 관심을 가지고 있던 중, 아프리카 TV의 추천 시스템 등의 강의를 접하게 되었습니다.모든게 기본적으로 머신러닝이라는 것을 기본으로하고 있었는데, 이 분야를 공부하려고 봤더니, 수학(선형대수), 통계학 그리고 빅데이타 분석 시스템, 대용량 분산 처리 시스템등 여러가지 학문이 엮어 있더군요.지금까지 기술 흐름을 봤을때, 이 부분이 중요한 부분이 될것 같기도 해서 막상 공부를 시작하려고 ..

머신러닝 관련 온라인 강좌 사이트

코넬 대학 강의 http://www.cs.cornell.edu/courses/cs4780/2013fa/스탠포드 Cousera https://www.coursera.org/course/ml머신 러닝에 대해서 잘 정리해놓은 자료 http://sanghyukchun.github.io/ 코세라 앤드류교수님 강의를 정리해놓은 노트가 있어서 같이 보면 좋음Naive Bayes classification 알고리즘에 대한 하호진님의 글 http://www.mimul.com/pebble/default/2012/04/03/1333431077222.html오픈소스 matlab Octave : https://www.gnu.org/software/octave/Octave 기본 사용법 : http://apmath.kku.ac.k..