그 많은 숫자들은 어떻게 전략이 되는가

복잡한 통계학 지식 없이 데이터 분석 이론의 개념과 원리를 이해한다!

의미 없는 숫자의 나열에 불과해 보이는 데이터가 어떻게 똑똑한 전략, 세상을 바꾸는 정책으로 진화하게 되는지 생생하게 보여주는 『데이터 분석의 힘』. 미국 시카고대학교 해리스스쿨(공공정책대학원)의 촉망 받는 경제학자 이토 고이치로 교수가 최신 데이터 분석 이론을 수식 없이 쉽게 풀어낸, 빅데이터 시대를 위한 데이터 분석 입문서이다. 인과 분석에 관한 데이터 분석의 최신 이론들, 즉 RCT · RD디자인 · 집군 분석 · 패널 데이터 분석법 등 듣기만 해도 어려운 데이터 분석 이론들을 구글, 우버, 페이스북 등 미래 지형을 바꾸는 기업들이 데이터를 어떻게 읽어내고 그것을 비즈니스의 기회로 만들어낸 사례를 통해 전문가가 아니어도 쉽게 이해할 수 있도록 도와준다.

별밤지기 코멘터리

개인의 위치 정보, 건강 상태, 소비 패턴, 통화와 검색어를 통한 생각의 흐름은 물론 기업과 정부의 경영 전략, 정책입안에 이르기까지 매 순간 데이터가 쏟아지고, 또 그 데이터를 활용해 결정이 이루어지는 지금, 데이터를 읽는 힘이 중요한 화두로 떠오를 수밖에 없다. 오바마 대선 캠프는 어떤 데이터 분석을 활용해서 6천만 달러의 후원금을 더 모았는지, 정부가 전기요금을 얼마나 인상해야 절전 효과가 발생하는지, 구글과 우버는 빅데이터를 활용해 어떤 비즈니스 전략을 이끌어냈는지 등 실제 사례를 담은 이 책을 통해 데이터 분석이라는 세계의 무한한 가능성과 전략적 힘을 가늠할 수 있을 것이다.

이 책을 추천하며 _ 빅데이터 시대를 준비하는 가장 유용한 책을 만나다 _ 이학배
한국어판 서문
프롤로그 여기 데이터가 있습니다. 분석할 줄 아십니까?

1장 정말 광고가 아이스크림 매출을 올렸을까 : 데이터의 상관관계는 인과관계가 아니다

어느 회사에서 광고를 집행했고, 매출이 올랐다. 매출이 상승한 원인은 광고 때문일까? 그럴 수도 있고 아닐 수도 있다. 광고와 매출 사이에 ‘상관관계’는 있다 해도 ‘인과관계’가 반드시 있는 것은 아니라는 말이다. 그동안 당신이 속아왔던 무수한 ‘잘못된 데이터 분석’은 모두 이 지점에서 시작된다.

2장 오바마 캠프는 어떻게 후원금을 ‘더’ 모았을까 : 최선의 데이터 분석법, RCT

2008년 미국 오바마 대선 캠프는 구글 출신의 데이터 분석 전문가를 영입했다. 그는 후원금 모금 웹페이지를 무려 24개의 조합으로 설계했다. 그 결과 약 6000만 달러의 후원금을 ‘추가로’ 획득했다. 가장 투명하고 가장 확실한 데이터 분석법, RCT(무작위비교시행). 최적의 전략을 이끌어내는 방법이다. 단, 비용이 많이 든다!

3장 70세가 되자 병원을 많이 가기 시작했다 : 급격한 변화의 ‘경계선’을 찾는 RD디자인

장수하는 노인이 많은 일본에서는 70세를 전후로 의료서비스 이용이 급격히 점프한다. 69세와 70세 사이에 무슨 ‘경계’가 있는 것일까. 본인이 부담하는 의료비 비율이 70세부터 10%로 줄어드는 게 이유일까? 그게 이유라는 걸 어떻게 입증할 수 있을까? 급격한 변화의 ‘경계선’이 있는 데이터 분석법이 RD디자인(회귀불연속설계법)이다.

4장 규제 때문에 자동차가 무거워졌다고? : 계단식 변화가 있는 곳엔 집군분석

각종 규제나 세금을 적용할 때는 일정 구간을 묶는 ‘계단식’ 정책이나 제도들이 많다. 이렇게 구간별로 나뉘는 데이터들은 어떻게 분석해야 할까. 특히 ‘인센티브 제도’가 이렇게 설계되어 있을 때는 어떤 현상이 벌어질까. 자동차 무게와 연비 규제의 사례를 통해, 집군분석을 알아보자.

5장 소득세를 내리면 이민자가 늘어날까 : 시간의 흐름에 따른 패널 데이터 분석

1991년 덴마크는 우수한 외국인 노동자를 유입시키기 위해 세제 개혁을 실시했다. 이로 인해 연소득 1억 이상의 외국인 노동자의 소득세가 대폭 줄어들게 되었다. 이민자수는 늘어났을까? 과연 세제 개혁 때문일까? 패널 데이터 분석은 바로 복수의 집단, 복수의 기간에 대한 데이터를 분석하기에 적합하다.

6장 구글은 41가지의 파란색을 고민했다 : 데이터는 어떻게 전략이 되는가

실리콘밸리는 그 어떤 곳보다 데이터 분석이 활발한 지역이다. 구글, 우버, 페이스북 등 많은 IT기업들이 엄청난 빅데이터를 확보하고 이를 비즈니스 모델에 활용하면서 무한한 시장과 만났다. 비단 기업만의 일이 아니다. 전 세계적으로 정부도 민간처럼 데이터를 활용해 효과적인 정책 입안을 하기 시작했다. 데이터가 막강한 전략으로 탈바꿈하고 있다.

7장 그럼에도 데이터 분석은 불완전하다 : 불량 분석을 피하기 위한 방법

데이터를 분석하는 과정은 초밥 장인이 초밥을 만드는 과정과 닮았다. 솜씨 좋은 장인이 초밥을 만들더라도 재료가 형편없으면 먹을 수 없는 초밥이듯이, 데이터 자체에 문제가 있다면 분석 기법이 탁월해도 신뢰할 만한 결론을 도출해낼 수 없다. 이밖에 외적 타당성 확보 문제나 출판 편향 등의 한계 등 ‘잘못된 재료’를 선택하지 않을 수 있는 방법은 무엇일까.

에필로그
더 알고 싶은 이들을 위한 참고도서
부록
참고문헌

빅데이터가 모든 문제를 해결해준다는 주장도 있지만 데이터의 처리, 분석, 해석에는 인간의 판단이 중요한 역할을 한다. 요즘 IT업계에서도 단순히 빅데이터만이 아니라 빅데이터를 읽어내는 분석력(analy- tics)이 중요하다는 인식이 확산되고 있다. 데이터 양이 늘어도 근본적인 해결책은 되지 않으므로 이 책에 소개된 인과관계를 판단하는 방법을 활용하여 스스로 데이터를 가려내는 힘을 갖추어야 한다.
- <프롤로그> 13-14쪽 중에서 인과관계를 가려내는 것이 중요한 이유는 무엇일까? 앞서 언급한 사례를 떠올려보자. 아이스크림 사례의 경우 광고와 아이스크림 매출에 상관관계가 있다는 것은 그래프에서도 나타난다. 그러나 이 분석을 바탕으로 ‘올해도 수천만 엔을 들여 광고를 하고 매출을 올리자!’라는 결정이 내려졌다면 어떨까? 앞서 설명했듯이 매출 상승이 광고의 영향이 아니라 상승한 기온이나 경제활동의 변화 때문이었다면 거액을 들여 광고를 한다고 해서 매출이 오를 리가 없다. 즉 수천만 엔을 아무 쓸모없는 데 지출한 셈이다. (중략) 비즈니스 현장이든 정책 결정 과정이든 의사 결정의 열쇠가 되는 것은 인과관계이지 상관관계가 아니다.
- 1장 39쪽 중에서데이터를 분석할 때는 과정과 결과가 투명해서 분석자가 아닌 사람에게도 설득력이 있어야 한다. 통계적 기법 중에는 너무 복잡해서 분석자 이외의 다른 사람이 보기에는 투명성이 떨어지는 기법도 있다. 이에 비해 RCT는 개입집단과 비교집단의 평균 전력 소비량을 비교한 매우 간단한 통계분석을 보여준다. 즉 두 집단의 평균 소비량 차이를 통해 평균 개입효과를 시각적으로 보여주고 있다. 기업에서든 공공기관에서든 분석 결과의 투명성은 상대를 설득하는 힘이 되어준다.
- 2장 73쪽 중에서 일본에서는 자동차에 대한 연비 규제치가 계단식으로 변한다. 일본의 계단식 정책은 자동차 회사의 행동 분석에 크게 도움이 된다. 어느 자동차가 계단의 끝부분에 걸려 있다고 하자. 무게를 조금 늘리면 한 계단 아래로 이동할 수 있다. 다시 말해 무게를 늘림으로써 규제치가 완화되는 이점을 누릴 수 있다. 기업이 이런 연비 정책의 인센티브에 반응하여 실제로 차량의 무게를 늘렸다면 자동차의 히스토그램(도수분포도)을 그렸을 경우 각 계단의 경계 왼쪽에 차들이 모여 있을 것이다. 이 가설을 확인하기 위해 우리는 일본 국토교통성이 공개한 ‘자동차 연비 일람’을 분석했다. (중략) 예측대로 많은 차가 각 계단의 경계 왼쪽에 모여 있다. 즉 자동차의 무게에 따라 연비 규제가 완화된다는 점을 파악한 기업들이 자동차의 무게를 조금씩 늘렸다는 사실이 데이터로 드러난 것이다.
- 4장 134-135쪽 중에서 야후의 최고경영자(CEO)였던 마리사 메이어(Marissa Mayer)도 구글에서 일할 당시 RCT를 실시했다. 구글 같은 검색 엔진에서 무언가를 검색하면 한번에 훑어볼 수 있도록 검색 결과가 나열된다. 검색 엔진 회사는 검색 결과 페이지에 게재되는 광고로 수익을 올린다. 메이어는 RCT로 최적의 웹사이트 디자인을 검토했다. 그중 유명한 것이 검색 결과로 표시되는 링크를 어떤 파란색으로 표시할 것인지를 결정하기 위한 실험이다. 메이어는 웹디자이너를 설득해서 41종류의 파란색을 RCT에 따라 실험해보았다. (중략) 구글을 열어보자. 거기에 나오는 파란색은 아마 RCT를 통해 찾아낸 비즈니스 전략에서의 ‘최고의 파란색’일지 모른다.
- 6장 175-176쪽 중에서

폭발하는 빅데이터 시대,
데이터는 어떻게 전략이 되는가2017년 출간 직후 일본 아마존 경제 1위, 제39회 산토리 학예상 및 제60회 닛케이경제도서문화상을 동시 수상하며 학계와 대중으로부터 뜨거운 관심을 받은, 빅데이터 시대를 위한 데이터 분석 입문서. 듣기만 해도 어려운 데이터 분석 이론들을 흥미로운 사례와 함께 설명해 전문가가 아니어도 쉽게 이해할 수 있도록 썼다. 정말 그 광고가 제품의 매출을 높였다고 판단할 수 있는지, 오바마 대선 캠프는 어떤 데이터 분석을 활용해서 6천만 달러의 후원금을 ‘더’ 모았는지, 정부가 전기요금을 얼마나 인상해야 절전 효과가 발생하는지, 구글과 우버는 빅데이터를 활용해 어떤 비즈니스 전략을 이끌어냈는지 등 실제 사례를 통해 데이터 분석의 세계를 경험케 한다. 이 책을 통해 의미 없는 숫자의 나열에 불과해 보이는 데이터가 어떻게 똑똑한 전략, 세상을 바꾸는 정책으로 진화하게 되는지를 이해하게 될 것이다.★ 2017년 일본 아마존 경제 1위, 일본 신서대상 6위 선정 도서
★ 제39회 산토리 학예상, 제60회 닛케이경제도서문화상 동시 수상!
★ 빅데이터 최고 권위자 이학배 교수의 감수, 송길영(다음소프트) - 조용민(구글) 등 강력 추천작!■ 폭발하는 빅데이터 시대를 위한 쉽고 친절한 데이터 분석 입문서의 등장
― 출간 즉시 학계와 대중의 돌풍을 일으킨, 시카고대학교 이토 고이치로 교수의 신간모든 것이 데이터가 된 시대, 바야흐로 빅데이터의 시대가 밝았다. 이제 개인의 위치 정보, 건강 상태, 소비 패턴, 통화와 검색어를 통한 생각의 흐름은 물론이고 기업과 정부의 경영 전략, 정책입안에 이르기까지 매 순간 데이터가 쏟아지고, 또 그 데이터를 활용해 결정이 이루어진다. 필연적으로 데이터를 처리, 분석, 해석하는 인간의 판단력, 즉 ‘데이터를 읽는 힘’이 중요한 화두로 떠오를 수밖에 없다.
이러한 흐름 속에서 출간 직후 일본 아마존 경제 분야 1위에 오르며 돌풍을 일으킨 책이 있다. 바로 신간 《데이터 분석의 힘》이다. 이 책은 미국 시카고대학교 해리스스쿨(공공정책대학원)의 촉망 받는 경제학자 이토 고이치로 교수가 최신 데이터 분석 이론을 수식 없이 쉽게 풀어낸 결과물이다. 그는 매해 논문을 통해 ‘중국인들은 미세먼지 1마이크로그램을 줄이기 위해 얼마를 지불할 용의가 있는지’, ‘동일본 지진으로 전력 공급에 차질이 생긴 일본에서 수요를 줄이는 적정 전력 가격은 얼마인지’ 등 뜨거운 환경?에너지 이슈에 관한 실증 데이터 분석과 정책 평가로 데이터 분석 이론과 응용에 관한 제일선의 경제학자로 꼽히고 있다. 대중을 상대로 처음 쓴 이 책으로 저자는 제39회 산토리 학예상과 제60회 닛케이경제도서문화상을 동시 수상하며 대중과 학계의 스포트라이트를 한 몸에 받았다. ■ 구글, 우버… 전 세계를 압도하는 비즈니스 리더들의 전략은 ‘데이터 분석’에서 출발
― 숫자의 나열에 불과한 데이터는 어떻게 최적의 전략을 만들어 내는가 지난 몇 년 사이 구글, 우버, 페이스북 등 많은 IT 기업들이 이전 시대에는 상상할 수 없을 엄청난 빅데이터를 확보하고 이를 비즈니스 모델에 적극 활용하면서 데이터 분석 자체가 강력한 전략으로 진화하고 있다. 저자 이토 고이치로가 설명하듯이, 그 최전선에 있는 기업 구글은 작게는 웹페이지 디자인 서체에서부터 알파고 등의 머신러닝 개발과 같은 신사업에 이르기까지 비즈니스 전 범위에 걸쳐 빅데이터를 활용하는 기업이다. 특히 구글이 검색 결과 화면에 배정할 ‘완벽한 파란색’을 찾기 위해 무려 41가지의 파란색을 선별하고 대규모 RCT(무작위비교시행) 실험을 단행했던 사례는 그들이 얼마나 데이터 분석을 전략적으로 활용하고 있는지를 보여준다.
미국을 넘어 전 세계로 진출하고 있는 차량 공유 플랫폼인 우버(Uber)도 데이터 분석을 통해 실시간 수요(이용자)-공급(운전자) 균형을 이루는 최적의 ‘요금’을 산출해낸다. 특히 시카고대학 연구팀과 함께 우버가 그들의 이용자 데이터 분석을 진행해 우버의 ‘수요 곡선’을 도출하는 내용은 자못 흥미롭다(본문 190쪽). 미래 지형을 바꾸는 기업들이 데이터를 어떻게 읽어내고, 그것을 비즈니스의 기회로 만들어내는지를 읽다보면, 데이터 분석이라는 세계의 무한한 가능성과 전략적 힘을 가늠하게 된다.
기업뿐만이 아니다. 2008년 미국 대통령 선거 당시, 버락 오바마 대선 캠프는 구글 출신의 광고 전략가 댄 시로커(Dan Siroker)를 영입해 ‘선거 후원금’을 최대로 모금할 수 있는 최적의 대선 후보 웹페이지를 설계했다(본문 74쪽). 그는 앞서 구글이 활용했던 RCT를 여기서도 활용했다. 시로커는 4개의 오바마 후보의 이미지와 6개의 카피를 조합한 총 24가지 버전의 웹페이지 화면을 무작위로 방문자에게 노출해, 가장 많은 메일링리스트 가입을 이끌어낸 최적의 시안을 찾아냈다. 그리고 이를 통해 예상치보다 약 6천만 달러의 후원금을 ‘더’ 확보할 수 있었다. ■ “그 광고가 정말 매출 상승의 원인입니까?” 흥미롭게 경험하는 데이터 분석의 세계
― RCT에서 패널 데이터 분석까지, 최신 데이터 분석 이론을 수식 없이 쉽게 배우다 저자는 《데이터 분석의 힘》을 통해 인과 분석에 관한 데이터 분석의 최신 이론들, 즉 RCT · RD디자인 · 집군 분석 · 패널 데이터 분석법 등을 다채로운 사례를 들어가며 설명해낸다. 정말 그 광고가 매출을 높였다고 ‘판단’할 수 있는지(상관관계는 인과관계가 아니다!), 전력난에 직면한 일본의 지자체가 전력요금을 얼마나 인상해야 절전 효과를 최대치로 끌어올릴 수 있는지(교토 게이한나 지역 현장 실험 사례), 실제로 유학을 다녀오면 취업률이 높아지는지, 외국인의 소득세를 낮추면 이민자들이 늘어나는지(덴마크 세제 개혁 사례) 등 실재하는 사례들을 통해 흥미롭게 데이터 분석의 세계를 경험케 한다.
그 과정에서 저자가 수식을 사용하지 않고 사례를 통해 설명한 점은 이 책의 가장 독창적인 부분이기도 하다. 이를 통해 독자들은 복잡한 통계학 지식 없이도 데이터 분석 이론의 개념과 원리를 수월하게 이해할 수 있다. 이 책의 감수를 맡은 이학배 연세대 응용통계학과 교수가 “이런 친절한 입문서가 왜 이제야 나왔을까”라고 치켜세운 것도 바로 그 때문이다. ■ “빅데이터 시대의 실용적인 인사이트란 바로 이런 것이 아닐까”
― 마케팅팀 김 대리부터 국가의 대통령까지, 모두가 탑재해야 할 새로운 ‘언어능력’아무리 재료가 좋아도 칼솜씨가 없거나 고객이 원하는 맛을 이해하지 못하면 초밥이 맛있을 리 없다. 그런 맥락에서 저자는 책의 프롤로그에서 “데이터 분석에는 초밥 장인의 마음가짐이 필요하다”고 언급했다. 이제 데이터는 어디서나 구할 수 있지만, 제대로 읽어내지 못한 데이터는 무의미한 숫자 뭉치가 되거나, 진실을 호도하는 무기로 악용될 뿐이다. 그래서 중요한 것이 데이터를 처리, 분석, 해석하는 인간의 똑똑한 판단력, 즉 ‘데이터 분석력’이다. 게다가 더 이상 데이터 분석은 전문가들만의 영역이 아니다. 마케팅팀 김 대리에서부터 정부기관의 박 국장, 한 국가의 대통령에 이르기까지 모두가 탑재해야 할 또 하나의 ‘언어능력’이다. 모든 의사결정이 바로 ‘데이터’에 근거하고 있기 때문이다.
이 책을 읽고 나서 일반 독자가 당장 전문적인 데이터 실험을 설계하거나 복잡한 통계 분석을 직접 다룰 수 있게 되지는 않을 것이다. 그러나 앞서가는 데이터 분석가들이 데이터를 어떻게 분석하는지, 어떤 분석이 인과관계의 오류를 찾아내는지, 결국 데이터는 어떻게 똑똑한 전략이 되고 더 나은 세상을 만드는 정책이 되는지를 이해하게 될 것이다. 이를 통해 얻는 것은 새로운 시대를 읽는 ‘눈’이다. 독자들은 단순히 데이터 분석을 둘러싼 개념을 이해하는 데 그치지 않고, 다가온 빅데이터 시대를 살아갈 실용적인 인사이트를 명쾌하게 얻게 될 것이다. 촉망 받는 경제학자, 이토 고이치로의 등장이 반가운 까닭이다.