통계학이 최강의 학문이다

빅데이터 시대, 통계의 강력한 힘을 길러라!

『빅데이터를 지배하는 통계의 힘』은 통계와 관련된 역사적 사건부터 업무에 꼭 필요한 통계 기법, 그리고 다양한 활용 분야를 안내한 책이다. 저자는 현대를 살아가는 모든 사람이 통계를 읽는 힘을 갖춰야 하는 이유를 제시하고, 통계를 이용해 기업 컨설팅을 해준 사례를 바탕으로 실제로 응용 가능한 통계 활용법을 친절하게 설명한다. 아울러 유용한 데이터를 얻기 위한 검색 요령도 마지막 부분에 간략하게 다룬다. DM 발송 방식을 변경하는 사소한 조정으로 60억 엔의 추가 이익을 얻어낸 기업 사례, 통계의 기본 개념인 오차를 모르고서 단순히 0.1퍼센트의 수치 상승에 기뻐하며 의사결정을 내려 낭패한 국가 정책 사례 등 기업이나 사회 각 분야에서 통계를 활용한 사례를 설명하는 방식으로 구성되어 있어 이해하기 쉽다. 또한 통계가들의 관점 차이로 빚어진 논쟁과 빈도론파와 베이즈파의 확률을 둘러싼 대립이 에피소드 형식으로 소개되어 있어 통계라는 분야를 이해하는 또 다른 재미를 더한다.

별밤지기 코멘터리

이 책에서 저자는 사실상 빅데이터는 오래전부터 우리 삶에 이미 들어와 있는 실용적인 개념이라고 말한다. 이와 함께 빅데이터 시대에 자료 해독 능력을 위한 통계적 사고를 강조한다. 모든 분야에서 데이터를 모아 분석해 가장 올바르고 빠른 답을 알려주는 실용적인 학문인 통계는 과학적 의사결정의 근거가 되기에 현대 비즈니스맨이 지녀야 할 최강의 무기라는 것이다.

| 추천의 말: 빅데이터 시대, 최강의 무기 통계학
| 저자의 말: 한국의 독자들에게

제1장 빅데이터, 통계학에서부터 시작하라
01 _ 실생활과 밀접한 통계 리터러시
02 _ 답을 알려주는 실용적인 학문, 통계학
03 _ 통계학은 모든 과학적 분석 방법의 기본
04 _ IT와 통계학의 기막힌 결혼

제2장 정보비용을 대폭 줄여주는 통계
05 _ 통계가가 본 빅데이터 광상곡
06 _ 뉴딜정책을 뒷받침한 통계가들
07 _ 의미 있는 오차범위와 비용

제3장 오차와 인과관계가 통계학의 핵심이다
08 _ 나이팅게일식 통계의 한계
09 _ 인과관계를 생각하지 않는 통계해석은 의미가 없다
10 _ ‘60억 엔을 버는 비결’이 담긴 리포트
11 _ 오바마가 선거에서 승리한 이유
12 _ 그것은 이익에 직결되는가?
13 _ ‘인과관계의 방향’을 밝혀내어야 한다

제4장 ‘임의화’라는 최강의 무기 활용하기
14 _ 우유가 먼저인가, 홍차가 먼저인가?
15 _ 임의화 비교실험이 사회과학을 가능하게 했다
16 _ ‘재봉틀 두 대 사면 10% 할인’으로 매출이 오를까
17 _ 임의화의 세 가지 한계

제5장 통계학은 계속 발전하고 있다
18 _ 역학의 발전이 증명한 담배의 위험
19 _ ‘평범으로의 회귀’를 분석하는 회귀분석
20 _ 천재 피셔의 또 다른 업적
21 _ 통계학의 이해도를 높여주는 단 한 장의 도표8
22 _ 다중회귀분석과 로지스틱 회귀
23 _ 통계학자가 극대화한 인과의 추론

제6장 통계학의 여섯 가지 활용 분야
24 _ 사회조사법 대 역학과 생물통계학
25 _ IQ를 탄생시킨 심리통계학
26 _ 마케팅 현장에서 생겨난 데이터마이닝
27 _ 문장을 분석하는 텍스트마이닝
28 _ ‘연역’의 계량경제학과 ‘귀납’의 통계학
29 _ 베이즈파와 빈도론파의 확률을 둘러싼 대립

제7장 에비던스 활용하기
30 _ 거인의 어깨 위에 서는 방법
31 _ 에비던스, 어떻게 찾을 것인가

| 맺음말
| 참고문헌
| 옮긴이의 말: 데이터 사회에서 살아남기 위한 무기와 교양

《실생활과 밀접한 통계 리터러시》
현재 ‘역학의 아버지’라 불리는 존 스노가 제시했던 ‘역학’ 관련 개념은 서서히 의학 전반에 없어서는 안 될 중요한 요소로 자리매김하게 되었다. 담배를 피우면 폐암을 비롯한 암에 걸릴 위험이 커지고, 혈압이 높으면 심장병이나 뇌졸중으로 발전될 가능성이 많아지는 것은 현대를 살아가는 우리들에게 당연한 상식이다. 그러나 불과 50년쯤 전에 미국의 프레이밍험이라는 작은 마을에서 이루어진 대규모 역학 연구 결과가 발표되기까지는 전혀 그렇지 않았다. 그때까지는 의사나 과학자 중에서도 담배나 고혈압이 건강에 어떤 영향을 미치는지에 대한 다양한 설이 있어서 저마다 각자의 주장을 굽히지 않았다. 그러나 요즘은 역학연구 결과가 그 모든 주장을 잠재워버리고 ‘암을 없애려면 우선 흡연율부터 낮춰라!’, ‘심장병을 줄이려면 혈압부터 관리해라!’라고 확실하게 말한다. 그에 따라 인간의 수명은 50년 전과 비교해 엄청나게 늘어났다. 《답을 알려주는 실용적인 학문, 통계학》
왜 통계학은 최강의 무기가 되었는가? 어떤 분야에서든 데이터를 모아 분석해 가장 올바르고 빠른 답을 제시해주기 때문이다. 여러분이 어떤 기업에서 일하고 있는 사원인데 어느 날 사장이 매출 증대 프로젝트를 실시하겠다며 직원들에게 아이디어를 내라고 했다고 가정해보자. 아마도 여러 부서에 포진하고 있는, 딴에는 날고 긴다는 베테랑 사원들이 ‘내 감각으로는……’이라든가 ‘오랜 경험에 비춰볼 때……’ 같은 주관적인 근거를 들먹이며 이런저런 제안들을 내놓을 것이다. 단언해도 좋다, 여러분의 회사에 충분한 데이터가 축적돼 있다면 데이터 분석도 없이 감과 경험만으로 논의를 거듭하는 것은 시간낭비일 뿐이다. 모여서 회의를 하면 할수록 인건비 낭비이고 시간만 헛되이 쓰는 것이다. 세상에는 종종 사소한 의사결정이 많은 사람의 목숨까지 좌지우지해 도저히 책임을 묻지 않고 그냥 넘어갈 수 없는 경우도 있다. 여러분의 의사결정에 수많은 목숨이 좌우된다고 가정해보다. 가령 일본에서는 해마다 약 35만 명, 10만 명 가량이 암과 심장병으로 죽고 있으며 3만 명 정도는 자살을 한다. 통계를 이용해 적절한 예방법이나 치료방법을 모색하면 이 가운데 수만 명 이상의 목숨을 건질 수 있다. 《IT와 통계학의 기막힌 결혼》
통계학의 기본 방식이나 기법 자체는 대부분 수십 년 전 완성되었지만 그것을 누구라도 언제든 손쉽게 사용할 수 있도록 만든 것은 20세기 말부터 시작된 IT혁명이다. 과거 종이와 펜의 통계학과 오늘날 IT에 의한 통계학 사이에는 이제 좁혀지지 않는 엄청난 간극이 존재하며 앞으로 통계학자들은 수학적 능력뿐 아니라 컴퓨터 활용 기술에까지 정통해야만 살아남을 수 있게 되었다. 최근 몇 년간 IT 분야는 눈 돌아가는 속도로 발전해왔다. 회사의 전 업무 과정이 디지털화되었다고 해도 과언이 아니다. 따라서 관련들은 이제 고객에게 더 뛰어난 새로운 기술을 팔기 위한 명분을 만들어내야 할 필요가 생겼다. 그 명분 중 하나가 이 뛰어난 성능을 활용해 ‘새로운 가치를 창출할 수 있다’는 식으로 접근하는 방식이다. 또 하나는 가치 창출과는 별개로 대령 처리의 필요성을 제안하고 ‘언뜻 보기만 해도 비즈니스에 도움이 된다는 확신’을 갖게 해 구매를 유도하는 것이다. 비로 이게 통계학이 IT를 장악하게 된 이유이다. 《통계가는 앞으로 10년 동안 가장 섹시한 직업》
I keep saying the sexy job in the next ten years will be stattiiscians.
구글의 수석 경제학자 할 배리언 박사는 2009년 1월에 매킨지 사가 발행한 논문집에서 이렇게 밝혔다. “거듭 말하지만, 10년 이내에 통계가는 가장 섹시한 직업이 될 것이다.” ‘sexy’라는 말은 요즘 ‘끝내준다’라든가 ‘매력적이다’는 의미로 자주 쓰인다. 그런데 이 섹시하다는 표현이 통계가들에게도 붙여졌다. 통계학은 지금 IT라는 강력한 동반자를 만나 모든 학문 분야를 통틀어 세계 곳곳에서, 그리고 인간의 삶이 미치는 모든 영역에서 최선의 답을 제시하고 있다. 통계학이라는 최강의 학문만 알면 누구나 방대한 자료를 이용해 더 부자가 되고 더 능력 있는 사람이 될 수 있다. 이 최강이자 섹시한 학문의 힘을 얻기 위해 더 이상 IBM 사처럼 1조 엔을 지불할 필요도 없다. 그 막대한 금액에 비교하면 지극히 사소하고 보잘것없는 통계학 기초 공부에 시간을 투자하는 것, 단지 그것만이 요구된다. 《오바마가 선거에서 승리한 이유》
EC 기업에서는 ‘A/B 테스트’를 적극적으로 활용했다. 배너 크기, 화면 전환 방식, 글자체나 크기 등 세세한 디자인과 기능을 실제로 변경해놓은 상태에서 어느 쪽이 더 좋은지 검토하는 것이다. A/B 테스트를 위한 도구나 서비스는 최근 실리콘밸리에서도 관심을 불러일으키고 있는

우리에게 필요한 것은 통계적 사고다!빅데이터 시대에 통계의 중요성을 인식시키고
통계적 사고를 길러주는 미래 예측 전략서◆ 책소개
탐 크루즈의 《마이너리티 리포트》란 영화를 본 적이 있는가? 그 영화에서 사람들이 쇼핑센터를 지날 때 보면, 고객의 동공을 스캔해서 인식한 광고판이 각각의 사람에게 지금 당장 필요한 물건을 파악하여 사라고 말하며 호객을 한다. 이러한 마케팅의 뒤에는 고객의 기호도, 감정상태, 소비 패턴 등의 저장된 빅데이터를 활용한 고객 분석 기법이 존재한다.
빅데이터란 일차적으로 데이터의 양이 방대해 종래의 방법으로는 수집, 저장, 검색, 분석하기 어려운 것을 말한다. 이차적으로는 그런 큰 데이터를 여러 기법을 이용해 유의미한 정보로 만들어내는 과정까지를 포함한다. 2011년 하반기부터 우리나라에서도 무한경쟁의 세상을 헤쳐 나갈 새로운 블루오션으로 빅데이터란 말이 대유행하기 시작했다. 삼성경제연구소는 2013년 10대 트렌드의 하나로 빅데이터를 지목하며 이것이 미래의 성장 동력이 될 거라고 그 중요성을 강조했다.
그런데 사실상 빅데이터는 오래전부터 우리 삶에 이미 들어와 있는 매우 실용적인 개념이라고 이 책의 저자는 말한다. 또한 빅데이터 시대에 해독능력을 위한 통계적 사고를 강조한다. 모든 분야에서 데이터를 모아 분석해 가장 올바르고 빠른 답을 알려주는 실용적인 학문인 통계는 과학적 의사결정의 근거가 되기에 현대 비즈니스맨이 지녀야 할 최강의 무기라는 것이다.
이 책은 일본에서 통계 관련 서적으로는 이례적으로 출간 3개월 만에 40만 부가 팔리는 이례적인 현상을 불러일으키며 상반기 경제경영 분야 베스트셀러 1위에 올랐다. 문제 해결에 있어서의 ‘최선의 척도’로 통계의 역할을 새롭게 인식한 이 책은 통계학을 공부하려는 사람을 위한 책이 아니라, 지금 이 순간 당신의 업무에, 기업에, 속한 공동체에 업무 비용을 줄이고 창조적인 경영을 계획할 수 있게 하는 최고의 활용서이다. ◆ 왜 다시 통계를 말하는가!
- 빅데이터 시대, 최강의 무기 통계
확률과 데이터를 읽는 기본 능력인 통계 리터러시가 없다면, 빅데이터는 단순히 ‘빅’ 인 상태로 고정된 채 그 어떤 역할도 해낼 수 없다고 저자는 말한다. 사실상 빅데이터는 오래전부터 우리 삶과 밀접한 매우 실용적인 개념이다. 우리에게 익숙한 예전부터 알고 있던 말로 바꾸면 ‘통계’, ‘통계 해석’과 같은 의미이다.
통계란 어떤 현상을 종합적으로 한눈에 알아보기 쉽게 일정한 체계에 따라 숫자로 나타내는 것을 말하고 통계 해석이란 조사를 통해 밝혀낸 수치가 어느 정도의 신뢰성과 유의미성을 갖는지, 인과관계의 방향은 어떠한지, 어떤 사실 관계를 알 수 있는지 등을 밝혀내는 것이다. 그래서 빅데이터를 이해하려면 먼저 100년 이상 다양한 기법을 축적해온 통계의 본질을 알아야 하며, 그런 의미에서도 “통계학은 최강의 학문이다”라는 게 이 책의 주장이다.
저자는 현대를 살아가는 모든 사람이 통계를 읽는 힘을 갖춰야 하는 이유와 빅데이터 시대에 실제로 응용 가능한 통계 활용법을 친절하게 설명하는데, 특히 저자가 통계를 이용해 실제 기업 컨설팅을 해준 사례는 통계가 어떻게 정답을 찾아주고, 이익을 만들어내는지 명확하게 보여준다. DM 발송 방식을 변경하는 사소한 조정으로 60억 엔의 추가 이익을 얻어낸 기업 사례, 통계의 기본 개념인 오차를 모르고서 단순히 0.1퍼센트의 수치 상승에 기뻐하며 의사결정을 내려 낭패한 국가 정책 사례는 최고결정자의 감이나 경험보다 우선해야 할 통계적 사고의 중요성을 다시 한 번 강조한다. 또한 오바마 캠프의 승리 이유나 ‘재봉틀 두 대 사면 10퍼센트 할인’이라는 엉뚱한 착상이 매출을 3배 이상 끌어올린 사례, 맥주와 기저귀의 구매 분석 등은 통계의 힘이 승자의 전략, 승리의 포인트라는 점을 다시금 알게 해준다. ◆ 빅데이터만으론 변화가 일어나지 않는다
- 통계가 당신의 선택을 바꾼다!
데이터가 언제 어디서나 거의 무료로 이용 가능한 현대와 같은 환경에서는 데이터를 찾아내고, 그것을 이해하고, 거기서 가치를 끌어내며 그 결과를 다른 사람과 소통할 수 있는 능력을 갖춘 전문 데이터 분석가가 경쟁에서 살아남는다. 최근 데이터 분석가의 인기가 높아지면서 필요성을 느낀 각 기업마다 전문 인력 확보에 주력하다 보니 각 대학마다 통계과가 최고 인기과로 각광을 받고 있는 추세다. 즉 이전 시대가 정보를 수집하는 사람이 승자였다면, 이제는 “통계를 지배하는 자가 세계를 지배하는 시대”가 된 것이다.
이 책은 통계와 관련된 역사적 사건부터 업무에 꼭 필요한 통계 기법, 그리고 다양한 활용 분야를 알려준다. 특히 저자가 직접 경험한 사례들을 이용해 통계의 원리와 구체적인 활용 방법, 그리고 6가지 주요 분야인 사회조사법, 역학생물통계학, 심리통계학, 데이터마이닝, 텍스트마이닝, 계량경제학 등의 개념을 비전공자도 이해하기 쉽게 설명하는 게 이 책의 매력이다.
통계와 관련된 전문용어와 수치가 자주 등장해서 얼핏 보기엔 어려워 보여도 기업이나 사회 각 분야에서 통계를 활용한 사례를 설명하는 방식으로 구성되어 독자는 자신에게 필요한 기법이 무엇인지 바로 알 수 있고, 활용 역시 쉽다. 또한 통계가들의 관점 차이로 빚어진 논쟁과 빈도론파와 베이즈파의 확률을 둘러싼 대립이 에피소드 형식으로 소개되어 통계라는 분야를 이해하는 또 다른 재미를 더한다. 아울러 유용한 데이터를 얻기 위한 검색 요령도 마지막 부분에 간략하게 다루고 있다. ◆ 저자의 한국어판 서문
세계은행이 한국 경제를 일컬어 ‘동아시아의 기적’이라 표현했듯이 오늘날 한국의 경제와 산업은 비약적으로 성장했습니다. 잠재력을 지닌 한국 분들에게 요즈음 비즈니스 분야에서 가장 큰 화두인 통계의 에센스가 전해지면 세계 경제에 충격을 주게 될지도 모릅니다. 그만큼 통계의 영향력은 강력하며, 또한 한국 국민과는 매우 궁합도 잘 맞는 학문이라고 생각합니다.
통계 관련 서적이 일본에서 3개월 만에 40만 부나 팔린 이례적인 사태의 배후에는, 기초적인 통계 기법이 일상적으로 이용되는 일본이란 나라의 특수한 수학적 리터러시 능력이 작용했을지도 모릅니다. 하지만 지금은 일본 이상의 수학적 리터러시를 갖추고 산업 전반에서 두루 맹위를 떨치고 있는 한국 국민 여러분에게 이 책이 강력한 무기를 손에 넣는 계기가 되었으면 하는 바람입니다. 통계를 몸에 익힌 여러분의 번영을 진심으로 기원함과 아울러, 저는 일본 국민의 한 사람으로서 혹은 통계가로서 책임을 느끼며 ‘경제가 대혼란에 빠진다’ 하는 사태만은 벌어지지 않도록 저 자신의 일에 정진할 생각입니다.
- 《한국의 독자들에게》 니시우치 히로무◆ 추천의 말
“빅데이터만으로는 아무런 변화도 일어나지 않습니다. 최근 IT에 관심 있는 사람이 많아지면서 빅데이터의 개념에는 쉽게 접근했지만, 실제 기업의 직원들이, 혹은 정책 집행자들이 이 데이터를 통해 얼마나 가치 있는 정보를 분석해내며 과학적으로 활용하고 있는가에 대해서는 회의적인 게 사실입니다. 만약 당신의 업무에, 기업에, 속한 공동체에서 업무 비용을 줄이고 서비스의 안정을 높이기 위해 빅데이터를 모으는 기술에 자금을 투자하려 한다면, 그 전에 먼저 이 책을 정독하길 권합니다. 여기에 소개된 통계의 기초지식만 알아도 빅데이터를 활용한 창조적인 경영을 계획할 수 있을 것입니다.”
- 윤종록(미래창조과학부 제2차관)