비즈니스에 사용할 수 있는 베이즈통계『베이즈통계학 입문』. 베이즈통계는 인터넷의 보급과 맞물려 비즈니스에 활용되고 있다. 인터넷에서는 고객의 구매 행동이나 검색 행동 이력이 자동으로 수집되는데, 그로부터 고객의 ‘타입’을 추정하려면 전통적인 통계학보다 베이즈통계를 활용하는 편이 압도적으로 뛰어나기 때문이다. 현재 많은 인터넷 계열 기업이 실제로 베이즈통계를 이용하고 있다. 그중에서도 마이크로소프트는 일찍부터 베이즈통계를 비즈니스에 이용한 것으로 유명하다. 윈도우즈 OS의 도움말 기능에도 베이즈통계가 도입되었으며 웹상에서 사용자가 가령 ‘아이의 병 증상’이라고 검색했을 때 유망한 지침이 우선적으로 노출되는 소프트웨어 등도 개발했다. 마이크로소프트의 전 대표 빌 게이츠 씨는 1996년에 신문을 통해, 자사가 경쟁상 우위에 있는 까닭이 베이즈통계로 인한 것임을 공표했다. 한편 구글도 자사 검색엔진의 자동번역 시스템에 베이즈통계의 기술을 활용한 것으로 알려져 있다. 따라서 금세기 비즈니스에 종사하는 사람은 베이즈통계에 통달하면 최강이 될 것이다. 이 책은 비즈니스맨이 실전에서 활용하는 데, 도움이 될 만한 사례와 해설을 싣고 있다.

제0강 사칙연산만으로 이해하는 베이즈통계학
이 책의 특장
0-1 예비지식이 전무한 상태에서도 실제 활용할 수 있는 수준까지 도달할 수 있다.
0-2 면적도와 산수, 이 두 가지로 해결한다
0-3 빌 게이츠도 주목했다! 비즈니스에 사용할 수 있는 베이즈통계
0-4 베이즈통계는 인간의 심리에 의존한다
0-5 빈칸 채우기 형식의 간단한 연습문제는 독학에 최적이다

제1부
속성! 베이즈통계학의 에센스를 이해한다

제1강 정보를 얻으면 확률이 바뀐다
‘베이즈 추정’의 기본적인 사용 방법
제1강의 정리 / 연습문제

제2강 베이즈 추정은 때로 직감에 크게 반한다①
객관적인 데이터를 사용할 때 주의할 점
제2강의 정리 / 연습문제

제3강 주관적인 숫자여도 추정이 가능하다
곤란한 상황에서 쓰는 ‘이유 불충분의 원리’
제3강의 정리 / 연습문제

제4강 ‘확률의 확률’을 사용하여 추정의 폭을 넓힌다
제4강의 정리 / 연습문제
column 베이즈는 어떤 사람이었을까?

제5강 추론의 프로세스에서 부각되는
베이즈 추정의 특징
제5강의 정리 / 연습문제

제6강 명쾌하고 엄밀하지만 쓸 데가 한정된
네이만-피어슨식 추정
제6강의 정리 / 연습문제

제7강 베이즈 추정은 적은 양의 정보로
그럴듯한 결론을 이끌어낸다
네이만-피어슨 식 추정과 다른 점
제7강의 정리 / 연습문제

제8강 베이즈 추정은 ‘최우원리’에 근거해 있다
베이즈통계학과 네이만-피어슨 통계학의 접점
제8강의 정리 / 연습문제

제9강 베이즈 추정은 때로 직감에 크게 반한다②
몬티 홀 문제와 세 죄수 문제
제9강의 정리 / 연습문제
column ‘속설’에 대한 두 가지 법칙

제10강 복수의 정보를 얻었을 때의 추정①
‘독립시행 확률의 승법공식’을 사용한다
제10강의 정리 / 연습문제

제11강 복수의 정보를 얻었을 때의 추정②
스팸메일 필터의 예
제11강의 정리 / 연습문제

제12강 베이즈 추정에서는 정보를 순차적으로 사용할 수 있다
‘축차합리성’
제12강의 정리 / 연습문제

제13강 베이즈 추정은 정보를 얻을수록 더 정확해진다
제13강의 정리 / 연습문제
column 베이즈 역확률을 복권시킨 학자들


제2부
완전독학! ‘확률론’에서 ‘정규분포에 따른 추정’까지

제14강 ‘확률’은 ‘면적’과 동일한 성질을 지닌다
확률론의 기본
제14강의 정리 / 연습문제

제15강 정보를 얻은 후 확률의 표시법
‘조건부 확률’의 기본적인 성질
제15강의 정리 / 연습문제

제16강 더 범용적인 추정을 위한 ‘확률분포도’
제16강의 정리 / 연습문제

제17강 두 가지 숫자로 성격이 정해지는 ‘베타분포’
제17강의 정리 / 연습문제

제18강 확률분포의 성격을 결정짓는 ‘기대치’
제18강의 정리 / 연습문제
column 주관확률이란 어떤 확률인가?

제19강 확률분포도를 사용한 고도의 추정①
‘베타분포’의 경우
제19강의 정리 / 연습문제

제20강 동전 던지기나 천체 관측에서 관찰되는
‘정규분포’
제20강의 정리 / 연습문제

제21강 확률분포도를 사용한 고도의 추정②
‘정규분포’의 경우
제21강의 정리 / 연습문제
보강▶ 베타분포의 적분계산

마치며
연습문제 해답

베이즈통계의 기술은 IT기업 이외에도 다양한 분야에서 응용되고 있다. 예컨대 팩시밀리에서는 전송된 이미지의 노이즈를 수정하여 원 이미지에 가깝게 만드는 데, 베이즈통계를 사용하고 있다. 또 의료분야에서도 ‘자동진단시스템’ 등에 베이즈통계를 활용하고 있다. 이 책을 읽어 나가면서 알게 되겠지만, 베이즈통계의 강점은 ‘데이터가 적어도 추측할 수 있으며, 데이터가 많을수록 정확해진다’는 성질과 ‘들어오는 정보에 실시간으로 반응하여 자동적으로 추측을 업데이트 한다’는 학습 기능에 있다. 이를 통해 누구나가 베이즈통계가 첨단 비즈니스에 최적임을 수긍할 것이다.
_<009쪽>에서‘베이즈 갱신’이라고 부른다. ‘갱신’을 우리가 흔히 쓰는 말로 바꾸면 ‘업데이트’다. 이상의 프로세스를 이 책에서는 ‘베이즈 추정’이라 부르기로 한다. 베이즈 추정이란 ‘사전확률을 행동의 관찰(정보)에 의거해 사후확률로 베이즈 갱신하는 것’이라고 정리할 수 있다. 이 책에서는 개별 사례에서의 추정은 ‘베이즈 추정’이라 부르고, 그러한 추정방법 전체를 한데 묶어 ‘베이즈통계학’이라 부른다.
_<031쪽>에서필자가 오락잡지에 실었던 베이즈 추정 관련 기사에서는 앙케트 조사 결과를 활용했다. 사전에 편집자에게 부탁하여 직장 여성들의 밸런타인 행동에 대한 앙케트 조사를 실시했다. 알고 싶었던 부분은 ‘여성들이 마음에 두고 있는 남성과 논외인 남성에게 각각 어느 정도의 확률로 초콜릿을 주는가’였다. 편집자는 직장 여성을 대상으로 인터넷 앙케트용 게시판에 ‘0%, 50%, 100%’의 선택지를 제시한 간이적인 설문 조사를 실시하여 보고해 주었다. 그것을 통계적으로 처리한 결과, 평균적으로 봤을 때 그녀들은 ‘진심’인 상대에게는 42.5%의 확률로, 논외인 상대에게는 22%의 확률로 초콜릿을 준다는 판명이 났다. 진심으로 생각하는 상대에게 주는 확률이 50% 이하라는 것도 의외였지만, 논외인 상대에게 22%나 되는 확률로 준다는 것에 ‘예의상 초콜릿을 주는 습관’의 대단함을 실감했다.
_<050쪽>에서이때 눈앞의 그 단지에서 공을 한 개 꺼냈더니 검정색이었다. 이 검정색 공이라는 것이 추측을 위한 ‘증거’가 된다. 그렇다면 이 증거로부터 이 단지가 A, B 중 어느 쪽 단지인지 판단할 수 있겠는가? 이것은 상당히 간단한 추론이라 누구나가 B단지라고 결론 내릴 수 있을 것이다. 이에 대한 추론은 굳이 설명을 하지 않아도 될 만큼 명백하지만, ‘추론이란 무엇인가’를 명확히 알기 위해 추론의 프로세스를 자세히 기술해 보기로 한다.
_<077쪽>에서살펴 본대로 베이즈 추정에는 네이만-피어슨 통계학의 가설검정과 같은 유의수준의 설정이 없으므로 어떤 환경에서든 ‘일단’ 추정이 가능하다는 강점이 있다. 단 네이만-피어슨 식과 같이 A와 B 어느 한쪽으로 판정을 내리는 것이 아니라 양쪽의 가능성을 남겨둔 채 그 가능성의 비율 관계를 제시하는 것이 전부다. 수치를 보고 판단을 내리는 일은 통계가의 몫으로 남겨진다. 그래서 베이즈 추정을 두고 ‘사장의 확률’이라고 부르기도 한다. 베이즈 추정은 사원에게 맡기고 보고 받은 수치를 보고 판단을 내리는 것은 사장의 재량이라는 의미에서다.
_<093쪽>에서베이즈 추정은 잘 알려진(고교생이 배우는) 확률의 공식을 이용하는 것이 전부로 그렇게 대단히 새로운 것이 아니다. 그러나 이용하고 있는 사전확률에 주관성이 결부된다는 의미에서는 수학과 철학과의 경계선상의 이론이라 할 수 있다. 그 증거로 특수한 설정 속에서 베이즈 추정을 사용하면 우리의 상식적인 감각에 반하는 결과가 도출된다. 그것은 마치 패러독스(역설)처럼 보이기도 한다. 이번 강의에서는 베이즈 추정에 얽힌 두 가지 패러독스를 소개하고, 이를 통해 통상과는 반대 방향에서 베이즈 추정에 관한 감각을 익혀보기를 바란다.
_<106쪽>에서먼저 이제까지처럼 사전 타입을 설정하고 하나의 정보를 얻은 뒤 사후확률을 구해보자. 여기서는 ‘당신이 받은 메일이 스팸메일인가 아닌가를 판정하는 것’이 아니라 ‘받은 메일을 컴퓨터가 기능적으로 판정한다’는 형태로 해설해 나가기로 한다. 먼저 컴퓨터는 도착한 메일을 스캔하기 전 ‘그 메일이 스팸메일인가 일반메일인가’ 하는 각 타입에 대해 사전확률을 할당한다. 여기에서는 ‘이유 불충분의 원리’를 적용하여 쌍방에 0.5씩 할당하자. 이것은 도착한 메일에 대해 필터가 ‘스팸메일일 확률이 0.5, 일반메일일 확률도 0.5’라는 평가를 내리는 것을 뜻한다. 이때 이보다 신빙성 있다고 알려진 확률이 있다면 그것을 사전확률로 설정해도 관계없다.
_<133쪽>에서

● 출판사 리뷰베이즈는 어떤 사람이었을까
생애에 단 한 편의 수학 논문을 썼다
베이즈 역확률을 발견한 영국인 토마스 베이즈는 1702년에 태어나 1761년에 별세했다. 베이즈는 스코틀랜드의 에든버러대학에서 신학과 수학을 공부했고, 이후 부친의 뒤를 따라 목사가 되었다. 베이즈는 목사 일에 종사하면서 수학도 연구했다. 당시는 신을 섬기는 일에 종사하는 사람들 중에 수학을 연구하는 사람이 적지 않았기 때문에 그다지 특이한 일은 아니었다. 베이즈는 생애에 단 한 편의 수학 논문을 썼다. 그것은 <확률의 사고법에 있어서 어떤 문제의 해법에 관한 고찰>이라는 제목의 논문이었다. 이 논문 속에 베이즈 역확률의 원점이 있었다. 베이즈는 이 발견을 그다지 중요하게 생각하지 않았던 듯 오랜 세월 방치해 두었고 그 때문에 몇 년에 집필이 된 것인지 명확하지 않다. 1740년대 말, 필경 1748년 혹은 1749년이었을 것으로 추측한다. 베이즈의 발견을 세상에 알린 것은 목사였던 그의 친구 리처드 프라이스였다. 프라이스는 베이즈 친척의 의뢰로 베이즈가 남긴 문헌을 조사했다. 그러다가 전술한 논문을 발견하여 사고방법을 정리한 뒤 1764년에 로열소사이어티의 《철학기요》에 논문을 발표했다. 이것이 베이즈 역확률이 첫 선을 보인 자리였다. 그러나 프라이스의 보고는 거의 주목받지 못했다. 그 흐름을 바꾼 것은 프랑스의 천재 수학자 라플라스의 연구였다. 라플라스는 천문학, 물리학, 수학에 많은 업적을 남긴 사람이었는데, 베이즈의 연구를 알기 전 이미 베이즈 역확률의 착상에 육박한 논문을 썼다. 그 후 프라이스의 연구를 전해 듣고는 그것이 자신의 초기 연구를 완성으로 이끌어줄 것임을 깨달아 1787년경에 단번
에 베이즈 역확률을 현재의 공식 형태로 완성해 냈다. 따라서 베이즈 역확률은 라플라스의 발견이라고도 볼 수 있다표준 통계학과 어떤 점이 어떻게 다른가
베이즈통계는 인간의 심리에 의존한다
‘베이즈통계에는 수상쩍은 측면이 있다’는 말을 0-2절에서 언급했다. 무슨 뜻일까? 다시 말해 그것은 베이즈통계가 다루는 확률이 ‘주관적’임을 뜻한다. 즉 베이즈통계로 나오는 확률은 객관적인 수치가 아니라 ‘인간의 심리’에 의존한 주관적인 수치임을 뜻한다. 그런 의미에서 베이즈통계는 ‘사상적’인 면을 갖추고 있다. 그렇기 때문에 베이즈통계는 객관성을 중시하는 과학계로부터 ‘가짜’라는 낙인이 찍혀 한때 매장되었던 것이다. 대다수 베이즈통계 책에는 유감스럽게도 이러한 내용이 나오지 않는다. 그 까닭이 ‘공공연하게 알려지는 것’을 저자들이 싫어해서인지, 아니면 그들이 단순히 지식이 없어서인지는 알 수 없지만, 여하간 이에 대해 적나라하게 해설하고 있는 책은 흔치 않다. 하지만 이 베이즈통계의 ‘주관성’, ‘사상성’은 베이즈통계의 본질이자 편의성의 원천이다. 그래서 이를 외면한 채 해설을 한다면 베이즈통계의 본질은 결코 독자에게 전달되지 못할 것이다. 그래서 이 책에서는 베이즈통계의 ‘주관성’, ‘사상성’을 숨김없이 백일하에 드러내어 해설을 진행해 나갔다. 특히 표준 통계학과 어떤 점이 어떻게 다른가에 대해 정성껏 해설했다. 분명 많은 독자가 ‘베이즈통계, 대단한데? 흥미롭군!’ 하고 박수쳐 주리라는 기대를 가지면서 말이다.