현직 데이터 과학자가 알려주는 실무 적용 방법!

20년 경력의 데이터 과학자가 알려주는 실무 적용 방법! 통신, 금융, 보안, 유통, 제조, 공공기관 등 미국과 한국의 10개 조직 적용 사례 공개!

직접 겪어보지 않으면 모른다. 데이터 과학이란 무엇이며 데이터 과학자가 무슨 일을 하는지. 미국 최대 데이터 회사를 거쳐, 국내 최대 데이터 회사의 센터장을 맡고 있는 저자는 미국 기업과 한국 기업에서 경험한 데이터 과학 실무 사례를 공개했다. 미국 제너럴 모터스부터 한국의 대기업 통신회사 및 공공기관까지 국내외 주요 산업 분야의 실무 케이스를 공개해, 현업에서 데이터 과학자의 업무가 어떻게 진행되는지 그 과정을 볼 수 있다. 이 책은 2015년에 《데이터 과학, 어떻게 기업을 바꾸었나?》란 제목으로 나온 책을 개정 증보하며《데이터 과학, 무엇을 하는가?》란 제목으로 재출간한 것이다. 이번 판에는 데이터 전처리 부분, 공공 부분에서의 데이터 처리 사례가 추가되었다.

첫째마당 데이터 과학과 데이터 과학자

01 데이터 과학과 데이터 과학자
데이터 과학과 빅데이터
데이터 과학과 데이터의 크기
데이터를 분석하는 다양한 직업들, 직책만 4,900개
데이터 분석가와 데이터 과학자는 어떻게 다른가
데이터 과학의 높아진 위상, 최고 데이터 책임자(CDO)
데이터 과학자, 무엇을 배우고 공부해야 하는가
중요한 것은 현장에서의 경험이다
데이터 과학자는 데이터 품질 전문가가 되어야 한다
다양한 플랫폼 환경과 마주하게 되는 데이터 과학자
데이터 과학자의 다양한 분석 도구들
발전하는 분석 알고리즘
데이터 과학자는 알고리즘 사용자이지 개발자가 아니다
데이터 과학자가 갖추어야 할 소양

02 데이터 과학과 빅데이터 플랫폼
빅데이터 활용, 구체적인 계획과 전략이 먼저다
빅데이터 플랫폼, 설계 단계부터 첫 단추를 잘 끼워야 한다
빅데이터 플랫폼, 하둡이 만병통치약은 아니다

03 성공적인 데이터 활용
한국의 데이터 활용 수준은 5단계 중 3단계에서 4단계로 넘어가는 단계!
성공적인 데이터 활용 전략 세우기 1: 기업의 분석 경쟁력 파악하기
성공적인 데이터 활용 전략 세우기 2: 전략적 로드맵 수립하기
성공적인 데이터 활용 전략 세우기 3: 분석할 주제 선정하기
데이터 과학, 성공적 활용의 비밀은 클로즈 루프 프로세스!
데이터 중심의 경영과 조직 문화가 우선되어야 한다

둘째마당 미국 기업들의 데이터 과학 활용 사례

04 미국 최대의 데이터 회사, 액시엄
데이터, 왜 가공이 중요한가
미국 최대의 데이터 전문 기업, 액시엄
액시엄의 가공 데이터, 어떤 것들이 있나?
액시엄 데이터 활용
컨설팅 조직, 어떻게 구성되나?
액시엄의 가공 데이터, 정확도 떨어져도 가치 있는 정보로 변신한다
액시엄 소비자 데이터, 모호함을 없애고 처리 과정을 투명하게!

05 GM 온스타
GM 온스타, 정제된 고객 데이터에 기초한 텔레매틱스 서비스
온스타 데이터와 액시엄이 만나다
액시엄의 고객 데이터 정제 과정 살펴보기
액시엄의 데이터 정제 소프트웨어 살펴보기
마침내 사람들이 온스타 서비스를 사기 시작했다

06 미국 대형 자동차 판매 딜러
액시엄, 자동차 딜러들의 영업을 지원하는 마케팅 분석 모델을 개발하다
데이터 분석 알고리즘 개발 과정 1: 자동차 모델 세분화하기
데이터 분석 알고리즘 개발 과정 2: 구매자 성향 파악하기
데이터 분석 알고리즘 개발 과정 3: 적정 구매 시기와 구매력 파악하기

07 뱅크 오브 아메리카
뱅크 오브 아메리카 프로젝트, 금융 성과 분석 보고서와 고객 관리 모델을 만들다
뱅크 오브 아메리카의 데이터센터, 슬림화와 효율성에 도전하다
금융 성과 보고서, 과거 추이를 분석해 현재 성과를 평가하고 미래 전략을 시사한다
신용카드 고객 이탈 모델, 고객 이탈률을 줄이고 마케팅 캠페인의 효과를 높인다
이탈 모델 개발, 어떻게 이루어지나?
카드 연체 가능 고객 세분화, 마이크로 타기팅으로 마케팅 비용을 최적화한다
신용카드 예비 신규 고객 선정, 고객 반응률을 높여
투자 대비 수익률을 높인다

08 메트라이프
메트라이프 프로젝트, 전사 데이터 웨어하우스와 BI 툴 구축을 지원하다
BI 1.0에서 BI 3.0으로 발전하다
전사 데이터 웨어하우스, 전사적 전략적 인사이트를 제공한다
전사 데이터 통합 프로세스의 출발은 데이터 변수 선정과 품질 확인
전사 데이터 통합 과정에 뒤따르는 조직 갈등과 재구성
메트라이프의 빅데이터 활용 사례 3가지
데이터 중심의 기업 조직과 문화가 경쟁력이다

09 넷플릭스
넷플릭스 분석 경연대회, 분석 모델의 예측력을 높여라
우승팀은 어떤 알고리즘을 사용해 예측력을 높일 수 있었나?
기계학습에 대하여
10억짜리 알고리즘, 현업 적용에 실패한 이유는?
넷플릭스 빅데이터 운영본부, 엄청난 양의 빅데이터를 문제 없이 처리하는 비결은?

셋째마당 한국의 데이터 활용 사례

10 전사 통합 고객 데이터 전략
과거 CRM 실패 요인은 빅데이터 활용의 실패 원인이 될 수 있다
데이터 활용 중장기 전략, 왜 필요한가
전사적 통합 CRM 전략, 중앙집중적 조직 구조일 때 최적의 성과를 낸다
고객 접촉 이력 관리는 필수!
마케팅 캠페인도 데이터 중심 마케팅으로!
전사 전략적 고객 데이터 분석, 고객을 알아야만 서비스도 공략도 가능하다
우수 고객 프로그램, 형식적인 이벤트가 아닌 맞춤형 특별 서비스를 제공하라

11 통신 빅데이터 분석
통신 데이터, 사용자의 성향과 행동 패턴을 분석할 수 있는 빅데이터 중의 빅데이터
통화 데이터와 위치 데이터의 전처리 과정 살펴보기
통화 데이터와 위치 데이터의 패턴 분석 과정 살펴보기

12 부정 불법 감지
부정 불법 사고로 매년 매출액의 평균 5% 손실, 기업 이미지에도 치명적 타격
부정 불법 감지를 위한 데이터 분석 방법론 4가지

13 프랜차이즈 신규 가맹점, 매출 추정과 최적의 영업권 설정
창업 후 3년 안에 50%가 문을 닫는 자영업 시장에서 살아남으려면?
창업 전 합리적인 매출 추정으로 손익을 따져보자 매출 추정 방법 3가지

14 제조업 사례
변수가 많고 높은 정확성을 요구하는 제조업 데이터
제조업 분석에 쓰이는 알고리즘 살펴보기
사례 1: 초당 1개의 제품을 생산하는 빠른 공정에서 불량 제품 찾아내기
사례 2: 과부하로 인한 장비 멈춤 사고 예방하기 분석 못지않게 중요한 실시간 모니터링 시스템


15 공공 데이터 전처리
데이터 가공 데이터 수집 과정데이터 전처리 단계

넷째마당 4차 산업혁명, 데이터 자본주의가 온다
16 데이터 경제 시대, 무엇을 준비해야 하나?
빅데이터의 가치
공공 정보 공개, 데이터는 자산이다
공공 데이터 활용을 위한 첫걸음은 데이터 통합
외국의 가공 식별 번호 및 가공 데이터 판매 사례 살펴보기
국내외 데이터 시장 현황 살펴보기
국내 데이터 유통 활성화를 위한 노력

17 데이터의 양면성, 보호 vs. 공개
데이터의 양면성, 보호와 공개의 두 얼굴
개인 정보 보호와 개인 정보 활용은 다르게 접근해야 한다

에필로그 데이터 과학자, 한국에서의 미래

* 국내외 기업을 두루 분석한 20년 경력의 데이터 과학자가 알려준다! *
그동안 기본 알고리즘이나 관련 컴퓨터 프로그램에 대한 내용과 해외 사례 등이 있는 책은 많았지만, 한국인 데이터 과학자가 한국과 미국 기업에서 데이터 과학을 적용한 실제 사례를 소개한 책은 없었다.
《데이터 과학, 무엇을 하는가?》의 저자는 미국의 최대 데이터 브로커 회사, 액시엄 출신이다. 액시엄은 데이터를 통해 미국 9.11 테러범을 잡을 수 있는 데 결정적 기여를 하고 오바마 대선 때도 화제가 된 바로 그 기업이다. 또한 저자는 한국에서도 국내 최대 데이터 그룹인 엔코아의 데이터 서비스 센터장으로 근무하며 국내외를 합쳐 20여 년의 관록을 가진 데이터 과학자이다. * 데이터 과학자의 일은 무엇이며, 각 단계별로 어떤 도구를 쓰는가? *
하버드 비즈니스 리뷰에서 발표한 ‘데이터 과학자: 21세기의 가장 섹시한 직업(Data Scientist: The Sexiest Job of the 21st Century, Harvard Business Review, 2012.)’이라는 자료를 통해 널리 알려진 것처럼 데이터 과학자라는 직업이 주목받고 있다. 데이터 과학자는 데이터 분석가, 분석 담당 최고책임자, 데이터 분석 전문가, 경영 빅데이터 분석사 등 여러 이름으로 불리고 있다.
그러나 실제 현장에서 데이터 과학자가 어떤 분석 도구들을 사용하여 일을 하고 있는지를 구체적으로 밝힌 책은 아직 없다. 이 책은 기업에서 데이터 과학을 적용하려면 어떤 인제를 뽑아야 할지, 데이터 과학자가 되려면 어떤 소프트웨어를 공부하고 어떤 알고리즘을 배워야 할지까지 데이터 과학자가 가져야 할 소양을 하나하나 알려준다.
또한 현장에서 데이터 분석의 각 단계마다 사용되는 프로그램 언어와 알고리즘은 무엇이고 데이터 과학자들은 각 단계별로 어떤 일을 하는지, 현직 데이터 과학자인 저자가 자신의 경험을 바탕으로 현실 세계에서 이루어지는 데이터 과학과 데이터 과학자의 일에 대해서 가감 없이 알려준다.* 데이터 분석이 데이터 과학은 아니다! 국내외 사례로 데이터 기반 생존 전략을 배운다. *
데이터 과학은 4차 산업혁명 시대에 기업이 생존할 열쇠가 된다.
이 책의 둘째마당과 셋째마당에서는 필자가 직접 경험하고 수행한 프로젝트를 중심으로 현업에서 필요한 내용을 설명한다. 현업에서 일하는 독자라면 자신이 속한 업계의 사례를 먼저 읽거나, 셋째마당에 수록된 한국의 사례를 먼저 읽어도 된다. (국내 사례의 경우, 업무협약 때문에 구체적인 회사명을 밝히지는 않았다.)
이 두 개의 마당에서는 데이터 활용의 구체적인 계획과 전략 수립, 플랫폼 구축 방법, 수행하고 평가하는 작업 등을 미국과 한국의 대표적인 사례를 통해 배울 수 있다. 둘째마당은 미국 사례들로, 액시엄의 고객 회사들이었던 GM 온스타(OnStar), 뱅크 오브 아메리카, 메트라이프와 대형 자동차 판매 딜러, 넷플릭스 분석 경연 대회 등 외국의 굵직한 회사 성공 사례가 담겨 있다. 셋째마당은 ‘한국의 데이터 활용 사례’로, 국내 대기업 통신사, 보험회사, 유통회사, 제조사 및 공공기관까지 각 산업 분야별 대기업과 조직들의 실제 컨설팅 사례를 통해 생생한 데이터 과학 현장을 이해할 수 있다. 예를 들어 통신회사 데이터라면 고객들의 전화 통화 로그 기록을 통해 어떻게 주거지를 추정할 수 있는지, 어떻게 카드의 부정 사용을 감지할 수 있는지 등 구체적인 분석틀도 볼 수 있다. * 4차 산업혁명과 함께 데이터 자본주의 시대가 온다! - 데이터 개방 현황과 정보 보호 문제 * 미국과 유럽에서는 신규 고객 창출, 신규 시장 개척, 신상품 개발 및 기업 운영의 효율성 향상을 위해 다양한 형태로 다양한 주제의 외부 데이터를 이미 1970대부터 구매하여 사용하고 있다. 우리도 개방된 공공 데이터 및 오픈 데이터를 활용해 새로운 일자리를 창출하고 4차 산업혁명의 성장 동력을 마련하려면, 정보 활용에 관련된 법 조항과 데이터 경제 환경을 조성하는 근본적인 대책이 필요하다. 넷째마당에서는 기존 데이터 활용에서 빅데이터의 의미를 알아보고, 사회적 이슈가 되고 있는 공공 데이터의 개방 현황과 활용 방안, 그리고 데이터 연계, 융합 관련 이슈에 대해서도 알아본다. 교과서적인 이야기를 뛰어 넘어 업무의 정확성이 중요할 때와 정확하지 않아도 될 때는 언제인지도 알려줄 뿐 아니라 데이터 과학 업계의 속사정까지 알려주기도 한다.
또한 신규 일자리 창출과 데이터 기반 산업 환경 변화에 기여할 데이터 가공 데이터 거래 시장에 대한 국내외 현황을 살펴보고, 데이터 활용으로 인한 정보 공개와 정보 보호 문제의 양면성에 대해서도 다루고 있다. * 산업별 성공 사례가 수록되어 있어, 제안서나 기획서 쓸 때 반드시 읽어야 할 책 *
현재 우리가 아는 미국이나 유럽의 빅데이터 성공 사례는 그들이 데이터 활용을 위해 수행한 업무 중 빙산의 일각에 지나지 않는다. 겉으로 보이는 그 성공 사례를 만들기 위해 그들은 과거 몇십 년간 수많은 시행착오를 겪으며 성공과 실패를 거듭한 끝에 지금의 데이터 시대를 열었다. 이 책은 미국과 한국의 10개 조직 적용 사례 공개되어 있으므로 데이터 과학을 기업 내 도입하거나 제안할 경우, 반드시 참조해야 할 책이다.
필자가 데이터 과학자로서 액시엄에서 수행한 다양한 프로젝트들을 기반으로 작성했으므로 미국의 회사는 어떤 과정을 거쳐 지금의 빅데이터 성공 사례들을 만들어냈는지 알 수 있다. 또한 데이터 과학자가 데이터 활용 과정의 어떤 부분에 관여해 작업하는지 그 일면을 살펴봄과 동시에 미국 글로벌 회사가 어떻게 비즈니스에 데이터를 활용하는지 알 수 있다.