빅데이터가 이렇게 쉬운 거였나

유경선(유진그룹 회장, 연세대학교 총동문회장)

단언컨대 가장 쉽고 재미있게 쓰인 빅데이터 입문서! 우리는 모바일 기기, 사물인터넷 센서, SNS가 데이터의 폭증을 주도하는 빅데이터 시대를 살아가고 있다. 이미 구글, 아마존, 넷플릭스 등 많은 세계적 기업에서는 철저한 데이터 분석에 근거한 의사결정으로 독보적 경쟁우위를 굳혔다. 이 책은 제4차 산업혁명 시대를 살아가는 사람들이 빅데이터의 핵심을 이해하고, 나아가 어떻게 하면 자신만의 차별적인 경쟁력을 키울 수 있는지를 알 수 있도록 빅데이터의 모든 것을 담은 입문서이다. 빅데이터가 무엇이고 왜 중요한지, 어떤 흐름으로 시대적 변화가 이어지고 있는지 일반인들도 쉽게 이해할 수 있도록 흥미로운 사례를 다양하게 제시한다. 데이터는 21세기의 원유라 불릴 만큼 우리의 삶에서 떼려야 뗄 수 없는 하나의 중요한 자원이 되었다. 그런 시대에서 데이터 분석 전문가가 된다는 것은 흥미진진한 일이다. 어느 기업, 어느 조직에서나 데이터의 양과 중요성은 시간이 지남에 따라 더욱 커지고, 그에 따라 분석 전문가의 주가도 함께 올라갈 것이기 때문이다. 심지어 분석 전문 인력에 대한 늘어나는 수요에 비해 공급이 크게 부족해 분석 전문가를 백지수표로 모셔간다는 이야기가 나돌 정도다. 기업의 디지털 전환이 성공하려면 유능한 빅데이터 전문가를 확보하는 것이 필수이기 때문이다. 앞으로 다가올 미래를 준비하기 위해 분석에 대한 이해를 넓히고 폭넓은 안목과 실제 분석능력을 배양할 수 있도록 노력해야 한다. 이 책을 통해 숫자로 말하는 사람이 성공하는 분석 경영의 시대에 알맞은 분석적 역량을 갖춘다면 AI 빅데이터 시대의 주역으로 발돋움할 수 있을 것이다. 기업의 인재가 되려면 데이터 분석역량을 갖추어야 한다! 이 책은 총 9장으로 구성되어 있다. 1장 ‘빅데이터 시대 이해하기’에서는 빅데이터 시대에 대한 안목을 기르기 위해 빅데이터가 무엇이고 왜 중요한지를 설명한다. 2장 ‘인공지능의 과거, 현재 그리고 미래’에서는 인공지능에 대한 안목을 기르기 위해 인공지능의 시작부터 딥러닝에 이르는 과정을 요약한다. 3장 ‘데이터 기반 의사결정’에서는 데이터 분석을 바탕으로 최고의 경쟁력을 구가하는 개인과 기업 사례를 알아본다. 4장 ‘빅데이터의 꽃, 예측’에서는 빅데이터 예측이 무엇인지, 기업들이 예측을 통해 어떻게 새로운 경쟁력을 갖게 되었는지에 대해 설명한다. 5장 ‘새로운 기회를 열어주는 빅데이터’에서는 기업들이 어떻게 데이터 분석을 바탕으로 새로운 서비스와 상품을 개발하는지 알아본다. 6장 ‘창의성과 데이터 분석’에서는 데이터 분석적 측면에서 창의성이란 어떤 것인지, 분석에 창의성이 활용된 다양한 이야기들을 구체적으로 담았다. 7장 ‘디지털 전환의 어려움과 극복 방안’에서는 실패를 반복하는 기업들이 왜 어려움을 겪는지 ‘빅데이터를 바라보는 관점’을 토대로 설명한다. 8장 ‘시각화의 함정’에서는 분석결과를 전달할 때 주의해야 할 점과 분석결과를 흥미롭고 이해할 수 있는 형태로 제시하는 법을 담았다. 9장 ‘빅데이터 시대 개인이 준비할 것’에서는 개인의 성공이 분석능력에 따라 크게 좌우되는 빅데이터 시대에 개인이 분석역량을 갖추기 위해 무엇을 어떻게 해야 하는지에 관해 설명한다.

들어가며_이 책 한 권이면 빅데이터 시대의 핵심이 이해된다
추천사

1장 … 빅데이터 시대 이해하기
같은 장소지만 다른 풍경, 교황 즉위식
빅데이터의 출현 배경
빅데이터의 정의와 특징
빅데이터의 활용
디지털 전환은 선택이 아니라 필수
빅데이터와 인공지능의 관계

2장 … 인공지능의 과거, 현재 그리고 미래
인공지능 초기의 호언장담과 첫겨울
약한 인공지능과 기계학습
딥러닝의 화려한 등장
인공지능의 미래를 바라보는 상반된 시각
인간의 진화에 숨겨진 기술적 원리
인공지능이 잘하는 것, 지도학습

3장 … 데이터 기반의 의사결정
아는 것은 언제나 큰 힘이 된다
윌 스미스와 나이팅게일의 공통점
인사관리의 문제를 분석으로 해결한 구글
분석으로 크게 도약한 카지노 재벌

4장…빅데이터의 꽃, 예측
이상탐지와 예측의 차이점
실시간 대응에 필요한 이상탐지
앞으로 벌어질 상황을 예측
롤스로이스의 서비스 플랫폼
대형할인점 타깃의 임신부 잡기
개인화 추천 전성시대

5장…새로운 기회를 열어주는 빅데이터
데이터 분석이 일구어낸 링크드인의 도약
축적된 노하우를 신사업 기회로 삼은 하코
데이터가 자산이다
데이터 그 자체를 넘어 인사이트를 제공한다
의식 있는 스마트홈을 만든 네스트랩스

6장…창의성과 데이터 분석
보이지 않는 것을 봐야 한다
분석의 6단계와 창의성
아르키메데스가 “유레카”를 외치기까지
영감은 어디에서 올까?
하늘의 기하학적 비밀을 풀어낸 케플러
유전학의 아버지 멘델의 엄청난 자료 분석
이혼을 예측하는 수학자

7장…디지털 전환의 어려움과 극복 방안
데이터 낭비자 또는 데이터 수집가
디지털 전환의 목표와 현실
총알구멍이 없다는 건 무슨 의미?
경영자 자신이 변해야 한다
분석적 기업문화를 조성해야 한다
분석 전문 인력을 확보하라

8장…분석결과를 시각화할 때 빠지기 쉬운 함정들
분석결과를 잘 전달해야 한다
그리는 사람 마음대로인 선그래프의 왜곡
그래프 수직축의 밑부분 생략하기
수직축 눈금만 바꿔 뻥튀기하듯이
그래프 눈금의 크기를 엿장수 마음대로
예쁜 그림도표가 빠지기 쉬운 함정
그래프는 자세히 따져봐야 한다

9장…빅데이터 시대를 맞아 개인이 준비할 것
빅데이터 시대를 맞아 무엇을 준비해야 하나?
한양의 위도가 얼마인고?
꾸준히 연습해 분석역량 키우기
몸에 배어야 할 분석적 습관
분석 전문가로 성장하기

나오며_데이터 분석능력이 핵심 경쟁력이다!

빅데이터가 출현한 배경에는 무엇보다 소셜 미디어, 센서, 모바일 기기가 주도하는 데이터 폭증이 있다. 소셜 미디어는 기존 미디어의 영역을 훌쩍 뛰어넘어 이제는 대다수가 일상적으로 활용하는 핵심 소통방식이 되었다. 앞의 교황 즉위식 사례에서도 볼 수 있듯이 트위터나 페이스북 등 소셜 미디어는 데이터 폭증, 특히 텍스트뿐만 아니라 멀티미디어 콘텐츠 공유로 인한 이미지ㆍ동영상 등과 같은 비정형 데이터의 폭발적 증가를 가져왔다. p.20이제는 우리의 모든 것이 데이터가 된다. 심지어 일상생활의 소소한 모든 것까지 거의 다 데이터가 되는 시대다. 사람들이 무엇을 어떻게 공부하고, 무슨 얘기를 하고, 무엇을 어떻게 사서 먹고, 어떤 상품을 어떤 식으로 구입하고, 왜 무엇을 하면서 어디서 놀고, 어디를 어떻게 여행하고, 누구와 어떤 식으로 의사소통하고, 어떤 사진/동영상을 공유하고, 어떤 사회활동을 하고 등 우리가 하는 거의 모든 것, 우리가 사용하는 모든 기기가 데이터를 만들어낸다. pp.28-29데이터에서 어떤 패턴을 찾아내려면 데이터가 많이 필요한데, 데이터 폭증과 이를 처리하기 위한 컴퓨터 계산능력이 획기적으로 향상되면서 다양한 영역에서 기계학습은 전성기를 누리고 있다. 메일과 스팸을 구분하는 스팸 필터의 사례를 들어보자. 스팸은 수신자가 원하지 않는데도 일방적으로 전송되는 광고성 메일로 귀찮을 뿐만 아니라 악성코드 유포, 피싱 사기 등 때문에 차단할 필요가 있다. 스팸 필터는 이 스팸을 식별해서 제거하는 프로그램이다. p.54모든 휴머노이드가 반드시 보여주는 한 가지 특징이 눈에 두드러진다. 그것은 바로 무릎이 언제나 굽은 자세라는 것이다. 걸음을 걷는 휴머노이드는 직립할 수 없다. 정확히는 무릎이 곧바로 선 로봇을 만들 수는 있지만 그 로봇이 걷도록 만들 수는 없는 것이다. 한 살 전후 어린아이는 바로 서고 걸음마를 배우면서 걷지만 로봇에게 그런 자연스러운 동작을 어떻게 구현해야 하는지 전혀 알 수 없다. 그래서 직립 로봇을 만들면 할 수 없이 발바닥에 바퀴를 달아서 바퀴로 움직이게 한다. 아니면 아예 처음부터 다리가 없는 휴머노이드를 만들기도 한다. pp.68-69의학이나 과학 등이 매우 발달한 지금도 우리가 인간 자체에 대해 아는 부분은 아주 제한적이다. 그렇기에 인간의 자의식, 섬세한 감정, 열정, 반사신경 등 수많은 요소를 흉내 내는 건 불가능하다. 영화는 허구이니까 영화로 즐기면 되지 현실에서 일어날까봐 걱정할 필요는 없는 것이다. 알파고를 보라! 세계 최고 수준을 훌쩍 넘어선 바둑을 두지만 정작 자신이 바둑을 두는 줄도 모른다. 아니, 자기 자신이란 것도 아예 없는 소프트웨어일 뿐이다. 바둑돌을 집어서 바둑판 위의 원하는 지점에 놓을 줄도 몰라서 딥마인드 연구원 아자 황Aja Huang이 대신 돌을 집어 바둑판 위에 놓는다. 알파고에 이런 동작(작은 바둑돌을 집어서 원하는 바둑판 위치에 놓는 것)을 할 수 있는 로봇 손을 만들어주는 것은 엄청난 비용과 시간을 투자한다고 해도 거의 불가능한 일이라고 생각한다. p.75일반적으로 의사결정은 문제점을 인식해 해결할 방법을 모색한 뒤, 이를 평가해 최선의 대안을 선택하는 과정을 거친다. 의사결정자가 대안을 평가할 때는 계량적 정보와 비계량적 정보를 모두 고려한다. 비계량적 정보는 문화적·사회적 배경이나 법적·정치적 요소 등의 영향을 고려하는 것이다. 계량적 정보는 문제와 관련된 데이터 분석에서 추출한 정보를 말한다. 어느 정보가 더 중요한지는 의사결정 상황에 따라 다를 수 있지만 투명하고 합리적으로 의사결정을 하려면 계량적 정보가 더욱 중요하다. 특히 미래의 불확실성이 높고 의사결정이 초래하는 파급효과가 클수록 실제 데이터 분석에서 통찰력을 추출해 이를 의사결정에 잘 활용하는 것이 필수적이다. p.89예측의 첫걸음은 과거 데이터로 학습하는 것이다. 어제는 역사이고 미래는 미스터리지만 어제에서 교훈을 얻을 수 있다면 미래는 미스터리가 아니라 기회가 된다. 예측은 과거 데이터를 바탕으로 무슨 일이 왜 일어났는지 모델링(인공지능)해서 미래의 여러 가능성에 대한 확률을 계산하는 것이다. 다시 말하면 모델을 바탕으로 이벤트가 발생한 패턴을 추출해 검증한 다음 그 모델을 그대로 새로운 데이터에 적용해 유사한 이벤트가 일어날지 예측하는 것이다. 따라서 진단분석, 즉 무슨 일이 왜 일어났는지 우선 규명하기(또는 발견하기) 위해 모형화하는 것이 매우 중요하다. p.112타깃은 세밀한 데이터 분석을 바탕으로 임신과 관계가 있는 25개 제품을 확인했고, 이를 활용해 각 고객에 대한 임신지수를 계산할 수 있는 기계학습 모델을 개발했다. 타깃은 이 모델을 전국 1,300여 개 매장의 모든 여성 고객에게 적용해 임신이 거의 확실한 고객 수만 명을 식별한 뒤 이들에게 산모와 신생아 관련 상품의 쿠폰을 발송했다. 심지어 출산일까지도 어느 정도 정확하게 추정해 임신의 세부 단계에 맞춘 쿠폰을 보냈다. 얼마 지나지 않아서 임신부들이 타깃을 찾았고, 산모와 신생아 관련 상품 매출이 폭발적으로 증가했다. 그에 따라 타깃의 총매출도 2002년에서 2010년 사이에 440억 달러에서 670억 달러로 크게 늘었다. p.128데이터 분석을 바탕으로 한 PYMK 서비스는 링크드인을 위해 많은 새로운 고객을 만들어냈다. 링크드인이 사람들을 그 사이트로 돌아오게 하려고 보낸 다른 메시지와 비교하면 PYMK 메시지는 30%나 더 많은 클릭률을 달성했다. 그렇지 않았으면 재방문하지 않았을 수백만 명이 그 사이트를 재방문한 것이다. 이처럼 단 하나의 새로운 서비스 덕분에 링크드인의 성장곡선은 상당히 위쪽으로 급상승했다. PYMK 가치를 입증하는 또 하나의 요소는 다른 많은 소셜 사이트에서 이와 유사한 기능을 추가했다는 점이다. 지금은 페이스북, 트위터, 구글 등 대부분 사이트도 유사한 기능의 서비스를 제공하고 있다. p.143영감은 순간적으로 번뜩여 문제를 단번에 해결해주는 통찰력이다. 그럼 영감은 어디에서 올까? 대부분 영감은 땀과 눈물겨운 노력에서 온다. 영감은 따로 존재하는 어떤 능력이 아니라 진정으로 99% 땀을 흘렸을 때 찾아오는 보답이다. 99% 땀이란 분석의 핵심인 ‘관련 연구를 모두 조사하고, 선정된 변수를 측정하여 변수 간의 새로운 관련성을 파악’하려고 정말 열심히 몰두하는 과정이다. 그런 치열한 과정에 몰입하고 몰두하며, 그래도 안 풀릴 때도 포기하지 않고 매달리면 어느 날 우연처럼 영감이 보답으로 주어진다. p.179프로세스 혁신은 구매, 제품개발, 생산, 마케팅, 재무회계 등 기업 전 부문에 걸쳐 업무체계와 조직을 혁신해 효율을 증대하거나 비용·위험을 감소시키려는 활동을 말한다. 기업의 경쟁우위는 결국 비즈니스의 다양한 영역에서 1~2%를 증대하거나 감소하는 것이다. 예를 들면 원가, 수율, 이상탐지, 새로운 기회 포착(서비스 또는 상품 개발) 등의 측면에서 경쟁기업보다 1~2%를 높이거나 낮추는 것이 바로 경쟁우위다. 그리고 기업 내외부에 데이터가 넘쳐나는 빅데이터 시대에는 그러한 경쟁우위를 달성할 안성맞춤 수단이 바로 데이터 분석이다. p.205디지털 혁신을 위해 가장 중요하고 비용도 들지 않는 출발점이 있다. 경영자가 직원들에게 숫자를 요구하는 것이다. 데이터에 근거하지 않은 보고는 받지 말고 그냥 던져버려라. 경영자가 매일매일 받는 보고(서)에는 종종 문제해결 대책이나 제안이 들어 있다. 하지만 그 제안이 데이터에 근거하지 않았다면 아예 보고서를 읽지도 마라. 정확한 증거에 입각해 보고와 의사소통을 하는 환경을 조성하려면 경영자가 먼저 데이터를 요구해야 하기 때문이다. p.216현명한 분석가는 분석결과를 흥미롭고 이해할 수 있는 형태로 제시함으로써 의사결정자, 예를 들어 분석 프로젝트를 하도록 지시한 경영자의 더 많은 주의를 끌고 영감을 줄 수 있다. 즉 전달받는 경영자에게 분석결과에 따라 의사결정을 하고 행동을 취하도록 하기 위해 전달 단계를 중요시하고 많은 시간과 노력을 투입한다. 사실 아무리 훌륭한 분석을 했더라도 그것을 제대로 전달하지 못해 분석결과를 듣는 경영진이 지루해하거나 이해할 수 없다면, 그들이 분석결과에 입각해서 의사결정하거나 행동할 가능성은 거의 없다. 예를 들어 분석결과를 표 형태로 제시하는 것은 분석결과가 주의를 끌지 못하게 하는 아주 나쁜 방법이다. p264좋은 그래프는 간단하고 정확하게 데이터의 진실을 말해야 한다. 그래프를 보는 사람은 그래프의 공정성을 평가하려면 두 가지 질문을 던져야 한다. 첫째는 그래프가 전체 그림을 보여주는가 하는 것이다. 그래프 밑부분이 잘렸는지, 축을 변화시킨다면 전혀 다른 인상을 주는 그래프가 될 수 있는지, 만일 그렇다면 데이터를 왜곡하지 않고 바른 모양을 나타내는 그래프는 어떤 것인지 반문해야 한다. 둘째는 눈금이 (특히 수직축) 과장되지 않았는가 하는 것이다. 과장된 눈금은 잘못된 인상을 독자들에게 강요하는 경우가 많다. p.266분석 전문가로 실력을 연습하고 인정받기 위해 해야 할 일은 먼저 좋은 보고서를 하나 작성하는 것이다. 평소 자기가 관심 있는 문제를 선택한 뒤, 관련 자료를 읽고 정리하고, 필요한 데이터를 모아 분석한 다음 결과 보고서를 만드는 것이다. 실제로 이런 프로젝트를 수행하는 과정에서 가장 많이 배우고 실력도 는다. 이 과정에서 가장 중요한 것은 문제와 관련된 자료나 연구는 모조리 훑는 것이다. 해당 문제에 대해 내가 가장 많이 알고 고민한다면 문제해결에 가까워진다. 첫술에 배부를 수 없듯이 최초 보고서가 완벽할 수는 없다. 하지만 철학자 볼테르가 말했듯이, 사람들은 당신의 해답이 아니