빅데이터 분석 기본

많은 변화가 우리에게 일어나고 있다. 이러한 변화의 중심에는 빅데이터가 자리 잡고 있다. 4차 산업혁명에서 가장 핵심이 ICBMA(Iot, Cloud, Bigdata, Mobile, AI)이다. 최근에는 ICBMA보다는 DNA(Data, network, AI)로 불리기도 한다. 이러한 핵심 기술들 중에서 가장 중요한 것이 바로 데이터라고 할 수 있다. 최근에 화두가 되고 있는 AI의 핵심 기술인 딥러닝과 머신러닝 등도 역시 데이터에 기반하고 있다. 일반적인 사람들은 빅데이터가 새로운 개념이라고 생각하지만, 기존부터 우리 주위에 존재했던 데이터들을 모아 놓은 것이다. 우리는 최근 화두가 되고 있는 4차 산업혁명이라고 불리는 Digital transformation 시대에서 지금보다 더욱 빠르게 변화하는 사회환경 속에서 살아가게 될 것이다. 이러한 변화의 중심 중의 하나는 바로 빅데이터이며, 분야와 상관없이 융합되어 중요도는 점점 높아질 것이다. 빅데이터에 혹은 Data scientist에 관심이 있는 사람들이 가장 어려워하는 것이 코딩과 통계이다. 실제로 R이라는 프로그램의 자체가 기존에 많이 사용하는 SPSS, AMOS, SAS보다 상대적으로 접근이나 활용이 더욱 어려운 면이 있다. 하지만 빅데이터에서 R을 사용하는 이유는, 무료이며 넓은 확장성과 사용자와 함께 진화하는 프로그램이기 때문이다. 그 외에도 본인이 조금만 노력을 한다면 구글 검색, Github, R bloggers, Youtube 등을 통해서 동영상 강의나 유저들의 글을 통해서 손쉽게 궁금증을 해결할 수 있다. 우리가 빅데이터를 다루기 위해서는 코딩이나 통계의 모든 이론을 습득하거나 전공을 할 필요는 없다. 대신 실제 방대한 데이터의 분석을 통해서 유용한 정보를 찾아낼 수 있도록 기초적인 통계에 대한 지식은 필요하다. 본 교재는 ‘빅데이터 분석’에 관한 기본서로서 빅데이터와 기초통계의 이론, R시작하기, 기초통계, 고급통계, 시각화 등을 학습하게 된다. 기본편은 기존에 접근하기 어려웠던 R이라는 프로그램을 쉽게 접근할 수 있도록 도움을 주는 것과 함께 통계에 대한 기초지식을 같이 습득할 수 있도록 도움을 줄 것이다. 앞으로 2권에서는 기본편에서 학습한 것을 기반으로 빅데이터 분석을 위한 다양한 활용에 대해 학습을 하게 될 것이다. 본 교재는 빅데이터 분야의 전문 총서로서 빅데이터 분야의 발전에 이바지할 것으로 확신하면서도, 동태적으로 진화 발전하고 있기 때문에 독자 및 전문가들의 조언과 지적, 연구결과를 지속적으로 반영하고자 노력할 것이다.

제1장 빅데이터
　1. 빅데이터란 무엇인가?
　2. 빅데이터와 통계의 관계
　3. 빅데이터에서 R이 중요한 이유
제2장 R을 시작하기 전에 이것만은 알고 시작하자(기초통계 이론)
　1) 자료의 종류
　2) 데이터의 종류
　3) 모집단과 표본추출
　4) 기술통계와 추측통계
　5) 귀무가설과 대립가설
　6) 신뢰구간(양측검정, 단측검정)
　7) 1종 오류, 2종 오류
　8) 중심극한정리(Central Limit Theorem, CLT)
　9) 유의수준과 유의확률
　10) 정규분포
　11) 자료 특성에 따른 분석 방법과 통계량
　12) 독립변수와 종속변수
　13) 모수통계와 비모수통계
　14) 확률과 통계
제3장 R 시작하기
　1. R은 무엇인가?
　2. 설치 & 설정 방법
　　1) R 설치 및 실행
　　2) RStudio 설치 및 실행
　　3) JDK 설치
　3. R 기초
　　1) 변수
　　2) 자료 구조
　　3) 데이터 저장 & 불러오기
제4장 기초통계
　1. 기술 통계분석(descriptive statistics)
　2. 카이스퀘어 검정 & 교차분석
　　1) 적합도 검정(goodness of fit test)
　　2) 독립성 검정 문제
　3. 비율검정
　　1) 단일 집단분석 - 이항분포검정(binominal test)
　　2) 두 집단 비율 차이 검정(two sample proportion test)
　4. t 검정
　　1) 일표본 t-test(one sample t-test)
　　2) 독립표본 t-test(Independent samples t-test)
　　3) 대응표본 t-test(paired samples t-test)
　5. 상관관계 분석
　6. 신뢰도
　　1) 신뢰도 분석(Reliability Analysis)
제5장 고급통계(기초통계+)
　1. 회귀분석(regression analysis)
　　1) 단순회귀분석(simple regression)
　　2) 다중회귀분석(multiple regression analysis)
　2. 분산분석(anova)
　　1) One-way ANOVA(일원배치 분산분석)
　3. 군집분석(regression analysis)
　　1) 최장 연결법(Complete Linkage Method)
　　2) 최단 연결법(Single Linkage Method)
　　3) 와드 연결법(Ward's Method)
　　4) 평균 연결법(Average Method)
　　5) K-means
　4. 시계열분석
　　1) 장기추세선의 제거
　　2) 시계열을 이용한 예측
제6장 시각화
　1. 그래프 활용
　　1) 산점도
　　2) 점의 종류(pch)
　2. ggplot2
　　1) ggplot2
　　2) ggplot2를 사용한 시각화
　　3) 회귀곡선 + geom_smooth() 함수
　　4) 그래프 색 변경
　　5) 실습(따라해 보자)
　3. googleVis
　　1) googleVis란?