구글 연구 개발자가 들려주는 알고리즘 속 수학 이야기

리카이푸(전 구글차이나 CEO)

*** 중국 아마존 베스트셀러 *** *** 제8회 국가 도서관 문진도서상 *** *** 재5회 중화 우수 출판물상 *** 한?중?일 검색 알고리즘을 개발한 구글 연구 개발자가 들려주는 세상을 바꾸는 알고리즘 수학 이야기 복잡한 문제일수록 수학 규칙은 단순하다. 자연어 처리, 음성인식, 검색엔진, 빅데이터 등 AI 기술을 탄생시킨 경이로운 수학 모델! [요약] ★ 중국 아마존 베스트셀러 ★ 제8회 국가 도서관 문진도서상 ★ 재5회 중화 우수 출판물상 한?중?일 검색 알고리즘을 개발한 구글 연구 개발자가 들려주는 세상을 바꾸는 알고리즘 수학 이야기 구글 한?중?일 검색 알고리즘과 스팸 방지 기술을 개발한 구글 연구 개발자가 AI 분야의 토대인 정보이론과 컴퓨터공학 기술을 폭넓게 다루면서 자연어 처리와 음성인식, 정보 검색, 빅데이터 등 분야에서 실제 활용 가능한 코딩 기술과 알고리즘 모델을 조목조목 해설한다. 이 책의 미덕은 구글에서 저자가 직접 개발한 자연어 처리, 정보 검색 분야의 프로그래밍 알고리즘의 핵심적인 수학 원리를 접할 수 있다는 데 있다. 구글에서 만났던 수많은 공학자와 수학자들의 천재적 발견, AI 기술 동향, IT 업계 이야기 등 수학과 관련한 많은 에피소드가 IT 세계에 대한 이해를 높인다. 컴퓨터가 어떻게 인간의 능력 이상의 능력에 도달하게 되었는지 정보의 탄생부터 기술 진보의 역사를 서술하면서 우리의 정보처리기술이 현재 어느 수준까지 와 왔는지를 가늠하게 하고, 미래의 기술까지 전망할 수 있다.

추천사 1 리싱_ 간단하면서도 치밀한 ‘수학의 아름다움’
추천사 2 리카이푸_ 컴퓨터공학에 숨겨진 수학 원리를 명쾌히 설명하다
개정판에 대한 설명 _ 정보처리 문제 해결을 위한 필독서
개정판 서문 _ 모스 부호에서 음성인식까지 통신기술의 기반은 수학

1장 문자와 언어 vs 숫자와 정보
2장 자연어 처리의 진화 - 규칙에서 통계로
3장 통계언어 모델
4장 형태소 분석 이야기
5장 은닉 마르코프 모델
6장 정보의 단위와 역할
7장 제리넥과 현대의 언어처리 ? 프레더릭 제리넥을 기리며
8장 단순함의 미학 - 불 대수와 검색엔진
9장 그래프 이론과 웹 크롤러
10장 페이지랭크 - 구글의 민주 표결식 웹페이지 정렬 기술
11장 웹페이지와 질문의 관련성을 결정하는 방법
12장 유한상태기계와 동적계획법 - 지도 및 지역 검색의 핵심 기술
13장 구글 AK-47 설계자 - 아밋 싱할 박사
14장 코사인법칙과 뉴스의 분류
15장 행렬 연산과 텍스트 처리의 두 가지 분류 문제
16장 정보 지문과 응용
17장 중국드라마 <암산>에서 떠올린 암호학의 수학 원리
18장 반짝인다고 다 금은 아니다 - 검색엔진 스팸 방지와 검색 결과의 권위성 문제
19장 수학 모델의 중요성
20장 달걀을 한 바구니에 담지 말라 - 최대 엔트로피 모델
21장 언어 입력법의 수학 모델
22장 자연어 처리의 대부 마커스와 그의 수제자들
23장 블룸 필터의 원리
24장 마르코스 연쇄의 확장 - 베이지안 네트워크
25장 조건부 무작위장 구문 분석 및 기타 확률 예측
26장 비터비와 비터비 알고리즘
27장 신의 알고리즘 - 기댓값 최대화 알고리즘
28장 로지스틱 회귀와 검색광고
29장 각개격파 알고리즘과 구글 클라우드 컴퓨팅의 기초
30장 구글 브레인과 인공신경망
31장 빅데이터의 위력 - 데이터의 중요성

부록_ 계산 복잡도
저자 후기 _ 우리 삶을 바꾸는 것은 결국 수학
참고 문헌
찾아보기

수학의 쓰임새는 사람들의 상상을 초월한다. 심지어 우리 생활 속에도 항상 존재한다고 말할 수 있다. 원자력과 우주 비행처럼 상대적으로 생활과 연관성이 떨어지는 분야의 거대한 수학 지식을 언급하지 않더라도, 우리가 매일 사용하는 제품과 기술 뒤에는 이를 지탱하는 수학적 기초가 존재한다. 20여 년간 과학 분야에 종사한 사람으로서 나는 아직도 실제 업무에서 문제 해결에 쓰이는 수학 언어의 마력에 늘 감탄한다.
― 19쪽, <서문>자연어는 생성될 때부터 문맥 관련 정보를 표현하고 전달하는 방식으로 발전했기 때문에 컴퓨터로 자연어를 처리하려면 자연어의 문맥 특성에 따른 수학 모델을 만들어야 한다는 문제가 기본적으로 존재한다는 점을 앞에서 계속 강조했다. 이 수학 모델이 자연어 처리에서 흔히 말하는 통계언어 모델(statistical language model)이다. 통계언어 모델은 현재 모든 자연어 처리의 기초이며 기계번역, 음성인식, 인쇄체 또는 필기체 인식, 철자 교정, 국어 입력 및 문헌 조회 등 여러 분야에 응용된다.
― 63쪽, <3장_ 통계언어 모델>음성인식이란 화자가 표현하고자 하는 뜻을 청자가 추측하는 것이다. 이것은 통신에서 수신 측이 수신하는 신호를 근거로 송신 측이 전송해온 정보를 분석, 이해, 복원하는 것과 같다. 우리가 평소 말을 할 때는 머리가 곧 정보원이다. 목구멍(성대), 공기는 전선과 광케이블 같은 채널이다. 청중의 귀는 수신기이고, 들리는 소리는 전송해온 신호다. 음향 신호로 화자의 뜻을 추측하는 것이 바로 음성인식이다. 수신 측이 컴퓨터라면 음성 자동 인식을 해야 한다.
자연어 처리의 여러 응용 분야도 마찬가지로 이해할 수 있다. 중국어를 영어로 번역할 때 화자는 중국어로 말하고 채널 전송 코딩 방식이 영어인 경우, 컴퓨터로 전달받은 영어 정보를 근거로 화자의 중국어 의미를 추측한다면, 이것이 바로 기계번역이다. 마찬가지로 틀린 철자가 있는 문구를 근거로 화자가 전하려는 정확한 뜻을 추측하려 한다면, 이것은 자동 오류 정정이다.
― 95쪽, <5장_ 은닉 마르코프 모델>정보 안에 있는 정보량은 그 불확실성과 직접적 관련이 있다. 예를 들어 매우 불확실한 일이나 전혀 모르는 일을 이해하려면 많은 정보를 파악해야 한다. 반대로 이미 많이 알고 있는 일은 정보가 그다지 많지 않아도 쉽게 이해할 수 있다. 이런 각도에서 보면 정보량은 불확실성의 크기와 같다고 볼 수 있다.
그러면 정보량의 단위를 어떻게 계량화할 수 있을까? 예를 하나 들어보자. 2014년에 월드컵이 열렸고, 누가 우승할지가 모두의 관심사였다. 이미 끝난 월드컵을 못 본 내가 결과를 아는 한 관중에게 ‘어느 팀이 우승했어요?’라고 묻는다고 가정해보자. 그 사람은 바로 알려주지 않고 내게 맞혀보라며 한 번 추측할 때마다 1위안(元)을 내야 맞았는지 틀렸는지를 알려준다고 한다. 나는 얼마를 털려야 우승팀을 알 수 있을까? 나는 축구팀에 1에서 32까지 번호를 붙인 다음 묻는다. “우승팀이 1번에서 16번 중에 있나요?” 그가 맞았다고 하면 이어서 묻는다. “우승팀이 1번에서 8번 중에 있나요?” 그가 틀렸다고 하면 나는 자연히 우승팀이 9번에서 16번 중에 있음을 알게 된다. 이렇게 다섯 번만 하면 어느 팀이 우승했는지 알 수 있다. 따라서 누가 월드컵 우승팀인가를 밝혀내는 정보의 정보량 가치는 5위안에 불과하다.
― 107쪽, <6장_ 정보량의 단위와 역할>구글의 혁명적 발명은 ‘페이지랭크(pagerank)’라고 하는 웹페이지 순위 정렬 알고리즘이라는 사실을 모두 알 것이다. 이 기술 덕분에 1998년 전후 검색의 관련성이 질적으로 도약해, 그전에 정렬이 효과적이지 않았던 웹페이지 검색 결과의 문제를 원만히 해결했다. 이로써 사람들은 구글 검색 품질이 좋고, 이 알고리즘을 통해 회사 전체가 성공했다고 생각한다. 물론 이 알고리즘의 역할을 조금 과장한 경향이 있는 평가다.
제일 먼저 인터넷의 많은 웹사이트에 순서를 매기려고 시도한 것은 구글이 아니라 야후다. 야후 창업자 제리 양(Jerry Yang)과 데이비드 파일로(David Filo)는 맨 처음에 목록 분류 방식으로 사용자가 인터넷을 통해 정보를 검색하게 했다(이에 관한 역사는 필자의 책 《흐름의 정점》을 참고하기 바란다). 그러나 당시 컴퓨터 저장 용량과 속도의 한계 때문에 야후를 비롯한 다른 검색엔진들엔 같은 문제가 존재했다. 수록된 웹페이지가 너무 적으며, 웹페이지에서 자주 보이는 내용과 관련이 있고 실제로 사용되는 단어만 색인이 가능하다는 것이었다. 당시 사용자는 관련 정보를 찾기가 어려웠다. 1999년 이전에는 논문을 한 편 찾으려면 검색엔진을 여러 개 바꿔야 했던 기억이 난다.
― 158쪽, <10장_ 페이지랭크 - 구글의 민주 표결식 웹페이지 정렬 기술>에서스팸 방지에서 사용하는 또 하나의 툴은 그래프 이론이다. 그래프에 몇몇 노드가 둘씩 연결되어 있는 경우를 클리크(clique)라고 한다. 스팸 웹사이트는 자신의 랭킹을 높이려면 서로 링크되어야 한다. 따라서 인터넷이라는 큰 그래프에서 클리크들을 형성한다. 그래프 이론에는 전문적으로 클리크를 발견하는 방법이 있어 스팸 방지에 바로 응용할 수 있다. 여기에서 다시 한번 수학의 역할을 살필 수 있다. ‘술’의 차원에선 방법이 많다. 스팸을 겨냥한 자바스크립트1 페이지 이동의 경우, 해당 자바스크립트 내용만 분석하면 된다.
마지막으로 강조할 것이 몇 가지 있다. 첫째, 구글의 스팸 방지 및 웹사이트 기존 랭킹 복원 과정은 휴폰 잡음 제거와 마찬가지로 자동이다(개인의 호불호가 개입되지 않는다). 앞쪽에 놓이고 싶은 웹사이트는 내용을 잘 갖추고 스팸 사이트들과 확실히 선을 그어야 한다. 둘째, 검색엔진 최적화 프로그램과 다른 사람을 도와 스팸을 제작하는 사람들은 대부분 시장점유율이 최대인 검색엔진 알고리즘을 겨냥해 스팸을 만든다. 스팸 사이트 제작도 비용이 들기 때문에 시장점유율이 5% 미만인 엔진을 상대로 스팸 사이트를 만들면 경제적으로 도저히 수지가 맞지 않는다. 따라서 소규모 검색엔진은 스팸 사이트는 적지만, 그렇다고 스팸 방지 기술이 약하다는 건 아니며, 스팸 행위를 하는 사람이 적을 뿐이다.
― 247쪽, <18장_ 반짝인다고 다 금은 아니다 - 검색엔진 스팸 방지와 검색 결과의 권위성 문제>

세상 만물의 규칙, 수학!
“이 책을 읽은 독자는 알고리즘 내공이
N배 폭등하리라 확신한다.”세상 만물에는 규칙이 있다. 과학의 목적은 이 규칙을 찾아 진리를 발견하고 다양하게 응용하는 데 있다. 컴퓨터공학과 정보통신기술 분야에서 그 규칙성을 발견하는 가장 좋은 도구는 바로 ‘수학’이다. 좋은 제품과 서비스 뒤에는 옳은 방법, 좋은 방법이 있듯이 세상을 바꾼 정보기술의 근저에는 뛰어난 수학 모델이 있었다. 그리고 뛰어난 수학 모델은 놀라울 만큼 간단하고 쉽다. 수학이 아름다운 이유다.
이 책은 정보처리와 자연어 처리 그리고 음성인식, 기계번역, 정보 검색, 빅데이터 등 AI 분야의 토대인 수학 모델을 통해 난해한 공학 문제를 풀고, IT 직업 분야에서 실제로 활용 가능하도록 돕는다. 거대한 계산 능력을 지닌 지능 없는 컴퓨터에게 고도의 머신 러닝 능력을 수행하게 하는 것은 정교하게 설계된 수학 명령이다. 컴퓨터과학 및 정보공학 세계에서 수학이 아름다운 이유는 내용은 복잡하고 심오하지만 형식이 간단하기 때문이다. 수학의 단순한 아름다움은 과학과 공학 그리고 제품 개발과 설계에서 경이롭게 구현된다. 이는 설계의 대가 스티브 잡스의 명언 “간결한 것이 아름답다”(Less is more)라는 원칙과도 일맥상통한다.
우수한 수학 모델은 서로 전혀 관련 없어 보이는 공학기술의 현실적 문제들을 능숙하게 풀어주며 서로 연결시킨다. 수학 모델의 발견은 다양한 분야, 특히 컴퓨터과학의 진보를 이끌어왔으며, 앞으로도 우리 생활을 혁신적으로 뒤바꿀 정도로 핵심에 있다. 간단한 수학 모델만 알면
코딩?알고리즘이 훨씬 쉬워진다
사람의 지능을 컴퓨터가 대신하는 인공지능 시대. 컴퓨터가 데이터를 분석해 패턴을 인식하는 방식으로 정보를 처리하는 머신러닝이 이제 인간 뇌 정보처리와 흡사한 인공신경망 기반의 딥러닝으로 진화했다. 데이터 분석 기능에 머물렀던 컴퓨터가 이제 고도의 연산능력을 탑재해 추론하고 판단하는 사고 능력까지 갖추게 된 것이다. 기계번역, 음성 및 이미지 인식, 자동QA는 딥러닝의 가능성이 열린 결과다. 머신러닝에서 딥러닝으로의 급속한 발전으로 AI 분야는 자연어 처리, 음성인식 등의 기술적 발전을 이끌며 기계번역 서비스, 스마트폰 음성 비서, 자연재해 예측 시스템 등 실제 활용되는 서비스로 확장되었다.
이러한 AI 기술을 가능케 한 수학 이야기가 이 책의 테마다. 인간의 역사가 시작된 이래 정보의 탄생부터 컴퓨팅 기술의 발달, 오늘의 AI 기반 기술과 빅데이터에 이르기까지 정보처리기술의 근간인 수학의 원리와 그 응용 방법을 광범위하게 다루고 있다.
구글 연구 개발자였던 저자는 구글에서 개발한 자연어 처리와 정보 검색 분야에서 수많은 코딩?알고리즘 개발 과정을 생생하게 들려준다. 구문이나 의미 분석을 통한 규칙 기반의 자연어 처리 방법을 탈피해 은닉 마르코프 모델, 정보엔트로피 등 수학적 확률 추정 통계언어 모델을 통한 자연어 처리 해법을 흥미롭게 설명하는가 하면, 구글의 웹페이지 정렬 알고리즘인 페이지랭크(pagerank)가 검색 품질을 획기적으로 높이기 위해 찾은 수학 모델이 그래프 이론과 선형 대수의 행렬 연산이라는 이야기는 수학 원리에 대한 이해를 넓힌다. 저자가 직접 개발한 한?중?일 정렬 알고리즘 설계와 인터넷 검색 스팸방지 기술 등은 IT 개발자들에게는 매우 유용한 실전 정보다. 이외에도 구글에서 만났던 수많은 공학자와 수학자들의 천재적 발견, AI 기술 동향과 IT 업계 이야기 등 수학과 관련한 많은 에피소드가 IT 세계에 대한 이해도를 높인다. 이 책의 미덕은 저자의 전문 영역인 자연어 처리, 정보 검색 분야의 프로그래밍 알고리즘의 핵심적인 수학 원리를 풍부하게 접할 수 있다는 데 있다. 오늘날 AI 알고리즘 모델은 단순히 프로그램 명령을 수행하는 것이 아니라 방대한 데이터에서 예측이나 결정을 이끌어내는 복잡한 확률?통계 분석이므로 수학 지식이 필수다. 독자들은 음성인식, 자연어 처리, 빅데이터 등 AI 분야의 발전은 수학에 대한 이해 없이 불가능하다는 것을 실감하게 된다.
이 책에서 다루는 이야기는 한 문장으로 요약될 수 있다. 매우 훌륭한 알고리즘은 단순한 수학 모델로 구현된다는 것이다. 간단해 보이는 수학 규칙이 정보처리기술에 응용되어 우리 삶을 혁신적으로 바꾸는 흥미진진한 이야기를 저자의 비범한 필력과 함께 접할 수 있다. 코딩 기술서보다 유익한 최고의 IT 안내서
이 책은 구글차이나 공식 블로그인 헤이반바오(黑板報)에 연재한 ‘수학의 아름다움(數學之美)’ 시리즈를 엮은 것으로, 초판(2012년)에 이은 개정판(2014년)이다. 구글 창업 초기부터 연구 개발자로 일했던 저자의 경험적 지식이 풍부하게 담겨 있다. 생동감 있고 구체적인 언어로 정보통신과 연계한 수학의 발전사와 실제 사례를 결합해 과거와 현재를 아우르며 현대 정보통신기술과 관련된 중요한 수학 이론의 기원과 발전, 그 작용을 체계적으로 서술했다. 어려운 내용을 이해하기 쉽게 풀어내어 수많은 독자, 특히 과학기술계의 인사들로부터 극찬을 받았다. 컴퓨터가 어떻게 인간의 능력 이상의 능력에 도달하게 되었는지 정보의 탄생부터 기술 진보의 역사를 살펴보면서 우리의 정보처리기술이 현재 어느 수준까지 와 왔는지를 가늠하게 하고, 미래 기술까지 전망할 수 있다.