주식 투자에서 메이저리그까지 승률을 극대화하는 전략

성공은 운인가 실력인가 운과 실력을 구별하고 다루는 체계적·과학적 방법

기업의 실적이나 주식 투자자의 수익률은 운일까 실력일까. 취직과 소득, 야구 선수의 타율은 운에 좌우될까 실력에 좌우될까. 우리에게 익숙한 모범 답안은 ‘실력이 기본이고 운은 덤’이다. 그러나 저자인 마이클 모부신에 따르면 사업과 투자의 성과는 대부분 운의 영향을 많이 받는다. 특히 단기적으로 드러나는 주식 투자 성과는 실력이 절대적인 체스 게임보다 운이 큰 영향을 미치는 포커 게임에 가깝다. 개인의 취직과 소득 역시 본인이 졸업한 해의 호경기·불경기에 좌우되며, 타자의 실력은 과거보다 향상되었으나 그 실력이 타율에 미치는 영향은 오히려 줄어들었다. 다소 과격할 수 있는 이 주장은 흥미로운 실제 사례, 다양한 통계 자료, 정밀한 분석으로 뒷받침된다. 운칠기삼의 세상사에 현명하게 대처하기 위해서는 ‘운에 맡기는’ 대신 ‘운을 다루어야’ 한다. 이 책은 운에 대처하고 그 운을 다루는 합리적인 방법을 찾아내 보여준다. 운과 실력을 구별하고, 그 비중을 분석하며, 이 둘을 현실에 적용한다. 이러한 구별, 분석, 적용은 마지막 11장에서 ‘예측력을 높이는 10가지 방법’으로 정리된다.

추천사 | 복잡계 현실에서 운에 대처하는 법 / 조원경

서문 | 쓰레기통 덕분에 취업에 성공하다

역자 서문 | 백석꾼과 만석꾼을 갈라놓는 사소한 차이

1부 기초

1장 | 운과 실력 구별하기
- 철학적 논쟁이 아닌 실용적 정의
- 개인이나 집단에 영향을 미치는 우연한 사건
- 행운은 준비된 사람에게 찾아온다?
- 달리기 실력과 블랙잭 실력
- 운과 실력의 양극단
- 표본 크기가 중요하다
- 독립성과 경로 의존성
- 탈레브의 4분면

2장 | 운에 대한 선입견, 실력에 대한 편견
- 필연이라는 미신
- 모방해서는 안 되는 성공 전략
- 연구 논문 대부분이 틀렸다
- 회사를 옮겨도 실력이 유지될까?

3장 | 운-실력 스펙트럼
- 오래 보지 말고 많이 보라
- 두 항아리 모형
- 실력이 좋을수록 운이 더 중요하다
- 대성공은 언제 이루어지는가?
- ROIC는 평균으로 회귀한다

2부 분석

4장 | 행운을 빌 때와 열심히 노력할 때
- 인과관계가 명확하다면 실력을 믿어라
- 결과를 운으로 충분히 설명할 수 있는가
- 종목이 동일하면 운의 영향력도 비슷하다
- 선수층이 두터워질수록 평준화되는 실력
- 운-실력 스펙트럼을 투자에 적용하면?

5장 | 실력은 나이를 먹는다
- 예외가 드문 경기력 정점 연령
- 유동성 지능과 결정성 지능
- 똑똑한 사람이 어리석게 행동하는 이유
- 기업 실적도 수명 주기를 따라간다

3부 적용

6장 | 운을 과소평가하지 말라
- 운의 측정: 독립 사건과 종속 사건
- 멱법칙과 멱법칙 생성 메커니즘
- 운에 의한 부익부 빈익빈
- 히트작 예측은 불가능하다
- 운을 인정하지 않는 사람들

7장 | 쓸 만한 통계가 되기 위한 조건
- 일관성과 예측력으로 보는 야구 통계
- 따라 하기와 지어내기
- 과거 투자 실적은 미래 수익을 보장하지 못한다
- 스포츠·사업·투자 분야의 통계

8장 | 실력을 쌓기 위한 방법
- 실력의 영역에서는 체계적 훈련이 중요하다
- 운과 실력의 중간 영역에서는 체크리스트를 수용하라
- 운의 영역에서는 결과가 아닌 과정에 집중하라
- 주식의 가치 평가와 투자 규모 산정
- 냉정하게 의사 결정을 할 수 있는 기질
- 조직의 관례를 벗어날 수 있는 용기

9장 | 운을 다루는 방법
- 다윗의 승리가 주는 교훈
- 블로토 대령 게임
- 전장을 추가하라
- 강대국과 약소국
- 소규모 실험으로 인과관계 파악하기
- 블랙 스완의 세상
- 운과 함께 살아가는 법

10장 | 평균 회귀 개념에 대한 오해와 진실
- 인과관계를 찾으려는 본능
- 평균 회귀의 적용
- 응원하는 팀의 실력이 왜 생각보다 좋지 않을까
- 함정 피하기

11장 | 예측력을 높이는 방법
- 1. 운-실력 스펙트럼에서 활동 분야의 위치를 파악하라
- 2. 표본 크기, 유의성, 블랙 스완을 고려하라
- 3. 항상 귀무모형을 고려하라
- 4. 피드백과 보상은 신중하게 결정하라
- 5. 사후 가정 사고를 활용하라
- 6. 실력을 향상시킬 방법을 개발하라
- 7. 상황에 맞는 전략을 수립하라
- 8. 평균 회귀를 잘 활용하라
- 9. 유용한 통계를 발굴하라
- 10. 한계를 인식하라

부록 | 평균 회귀 경향을 이용해 실제 승률을 추정하는 두 개의 기법
- 기법 1: 톰 탱고가 2011년 메이저리그 야구에 적용한 기법
- 기법 2: 제임스-스타인 추정량 공식
- 각 팀의 승률, 표준편차, 분산 계산

감수 후기 | 성공 방정식은 덧셈이 아닌 곱셈

주석

사람들은 운이 장기적으로 누구에게나 공평하다고 생각한다. 거시적으로 보면 그럴지도 모른다. 그러나 개인 차원에서 보면 꼭 그런 것은 아니다. 운을 만나는 시점이 언제인가에 따라 누적적으로 큰 영향을 받을 수도 있다. 그 대표적인 사례가 대학 졸업 시점이다. 호경기에 졸업하는 학생은 불경기에 졸업하는 학생보다 취직하기도 쉽고 보수도 더 많이 받는다. 예일대 경제학 교수 리사 칸은 졸업 시점의 실업률에 따라 백인 남학생의 소득이 달라진다는 사실을 발견했다. 실업률이 1%p 상승할 때마다 졸업생의 소득이 6~7% 감소하는 것으로 나타났다. 게다가 15년 후에도 그 졸업생의 소득은 여전히 평균을 밑도는 것으로 밝혀졌다. 10 이는 졸업생의 소득이 졸업 시점 경기의 영향을 크게 받는다는 뜻으로, 결국 운에 좌우된다는 말이다. (책 35쪽) 펜실베이니아대 심리학 교수 필립 테틀록은 정치·경제 분야 전문가를 대상으로 조사한 결과 이들의 예측이 간단한 통계 모형을 사용했을 때와 별반 다르지 않다는 사실을 발견했다. 주가 흐름, 인구 변화, 기술 발전 등 복잡계에 대한 전문가의 예측 실적은 놀라울 정도로 형편없다. 근사한 직함도 오랜 경험도 아무 소용이 없다. 인과관계가 매우 불투명하기 때문이다. 환경이 끊임없이 변화하는 탓에 과거 사건이 미래 예측에 아무런 도움이 되지 않는다는 뜻이다. 일리노이대 심리학 교수 그레고리 노스크래프트는 이렇게 요약한다. “흔히 경험 많은 사람은 자신이 전문가라고 생각한다. 그러나 실제로 전문가에게는 예측 모형이 있지만 경험만 많은 사람에게는 그것이 없다.” 실력과 경험은 반드시 구별해야 한다. 그래야 훌륭한 자격을 갖춘 전문가를 통해서 미래를 예측할 수 있기 때문이다. 그리고 예측의 정확도는 주로 운과 실력이 미치는 영향에 좌우된다. (책 42쪽) 사건 A가 발생하고 나서 사건 B가 발생하면 우리는 흔히 A 때문에 B가 발생했다고 생각한다. 심지어 일상생활에 운이 미치는 영향을 날카롭게 분석한 나심 탈레브조차 자신도 이런 오류에 빠진다고 인정한다. 그가 직접 경험한 사례다. 그는 매일 택시로 출근하는데, 항상 건물 정문으로 들어간다. 하루는 영어를 전혀 알아듣지 못하는 택시 기사가 엉뚱한 장소로 데려다준 탓에 후문으로 들어갈 수밖에 없었다. 그런데 바로 그날 트레이딩으로 엄청난 이익을 냈다. 이튿날 그는 자신도 모르게 기사에게 전날 내렸던 장소로 가자고 말했다. 승강기 거울에 비친 자신의 모습을 보니 넥타이마저 전날과 똑같이 매고 있었다. 후문·넥타이와 시장 움직임 사이에 강력한 상관관계가 존재한다고 믿었던 것이다. “한편으로는 엄격한 과학적 기준을 논하면서 확률론자처럼 말했지만, 다른 한편으로는 블루칼라 객장 거래인처럼 몰래 미신을 믿고 있었다.” 이런 오류를 이른바 인과 오류post hoc fallacy라고 부른다. 어원은 라틴어 ‘post hoc ergo propter hoc’로 ‘먼저 일어난 사건이 나중 사건의 원인’이라는 뜻이다. 이런 착각을 바로잡기 위해서 지난 200년 동안 많은 과학 연구가 진행되었다. (책 59쪽) 경영자들이 흔히 사용하는 실적 개선책은 성공적인 기업을 관찰해서 모방하는 것이다. 이런 방식을 안내하는 경영 서적 중 가장 유명한 책이 아마도 짐 콜린의 《좋은 기업을 넘어… 위대한 기업으로》일 것이다. 콜린스는 수천 개 기업을 분석해서 실적이 탁월한 기업 11개를 가려냈다. 그리고 이들의 성공 요인(리더십, 종업원, 사실 중심의 접근 방식, 집중력, 절제력, 기술 수용 등)을 정리해서 다른 기업들에 모방하라고 제안했다. 이 방식은 이해하기 쉬운 데다가 훌륭한 스토리까지 담고 있었으므로 이 책은 수백만 부나 팔렸다. 콜린스에게 불순한 의도가 있었다고 말하는 사람은 아무도 없다. 그는 진정으로 경영자들을 돕고자 했다. 실제로 인과관계가 있었다면 이 방식도 유용했을 것이다. 문제는 기업의 실적이 늘 운의 영향을 받는 탓에 전략이 훌륭하다고 모두 성공하는 것은 아니며 전략이 나쁘다고 모두 실패하는 것도 아니라는 사실이다. 따라서 성공한 기업만을 가려내어 분석하고서 그 기업의 전략이 성공을 이끌어냈다고 주장해서는 안 된다. ‘이 전략을 실행한 기업 중 실제로 성공한 기업은 몇 개인가?’라는 질문을 던져야 옳다. (책 60~61쪽) 그로이스버그가 조사한 바에 의하면 순위에 든 애널리스트가 지난 20년 동안 회사를 옮긴 사례는 366건이었다. 애널리스트의 성적이 오로지 자신의 실력에 좌우된다면 회사를 옮겨도 성적은 그대로 유지될 것이다. 그러나 데이터 분석 결과는 달랐다. 그로이스버그는 말했다. “회사를 옮긴 스타 애널리스트는 옮기지 않은 애널리스트보다 높은 급여를 받았지만 옮긴 후 성적이 급락해 5년 이상 부진의 늪에서 벗어나지 못했다.” 그는 이 결과에 대해 “이직 전 스타 애널리스트가 실력을 충분히 발휘했던 것은 회사에서 최적의 지원을 받았기때문”이라고 설명했다.
GE는 S&P500 기업의 CEO를 다수 배출해 이른바 경영자 사관학교로 통하는 유명 기업이다. 그로이스버그는 1989~2001년 동안 다른 회사에서 회장이나 CEO로 활동한 GE 출신 경영자 20명의 성과를 분석했다. 사업의 특성이 GE와 비슷한 10개 기업에서는 경영자가 실력을 충분히 발휘해서 좋은 실적을 냈다. 반면 나머지 10개 기업, 예컨대 식료품 잡화점처럼 사업의 특성이 GE와 다른 기업에서는 경영자가 좋은 실적을 내지 못했다. 경영자의 성과는 자신의 실력뿐 아니라 조직 환경에도 영향을 받는다는 뜻이다. 그런데도 기업은 경영자의 실력을 과대평가하고 조직 환경의 영향은 과소평가하는 경향이 있다. (책 67~68쪽) 평균 회귀 경향은 투자에서도 뚜렷이 나타난다. 투자 업계의 선각자 존 보글은 1990년대 실적을 기준으로 뮤추얼펀드를 4개 그룹으로 구분하고 1990년대부터 2000년대까지 실적을 분석했다. 그런데 1990년대에 실적이 1위였던 그룹은 이후 실적이 벤치마크보다 7.8% 낮아졌고, 1990년대 실적이 4위였던 그룹은 이후실적이 벤치마크보다 7.8% 높아졌다. 이렇게 평균 회귀 경향이 뚜렷이 나타난 것은 투자에 운이 큰 영향을 미친다는 뜻이다. 이런 평균 회귀 경향은 뮤추얼펀드에 국한되지 않는다. 대형주와 소형주, 가치주와 성장주, 주식은 물론 채권에서도 평균 회귀 경향이 나타나며, 국경을 넘어 세계 곳곳에서 나타난다. 투자 업계에서도 평균 회귀 경향이 나타나지 않는 영역은 거의 없다. 뮤추얼펀드에 대한 분석 중 가장 인기 높은 주제는 이른바 실적의 지속성이다. 그런데 펀드 실적에서 나타나는 지속성은 주로 분석 기간을 어떻게 잡느냐에 좌우된다. 그리고 실적이 우수한 펀드보다는 부진한 펀드에서 지속성이 뚜렷이 나타난다. 그러나 시가총액, 주가 수준, 모멘텀 등 주가에 영향을 미치는 요소를 고려하면 실적의 지속성은 약화된다. (책 122~123쪽) 《다빈치 코드》 같은 소설, ‘타이타닉’ 같은 영화, ‘모나리자’ 같은 명화가 그리 특별하지 않다는 주장을 여전히 받아들이기 힘들어하는 사람이 있을 것이다. 이 세 작품이 오랫동안 많은 사람에게 사랑받아왔다는 사실 자체가 다른 작품과 구별되는 특별한 것을 가지고 있다는 증거라고 생각할 수도 있다. 하지만 이들 작품의 성공은 모두 의외의 결과였다. 사람의 마음은 ‘의외였다’는 사실을 깨끗이 지워버리고 기억을 새롭게 구성한다. 새로 만들어진 기억은 이들 작품이 특별했다고 말한다. 사람들은 자신의 성공에 대해 스스로를 기만하는 데 능숙하다. 심리학자는 이런 현상을 자기중심적 귀인 편향이라고 부른다. 사람들은 운이 좌우하는 분야에서 거둔 성공조차도 자신의 특별한 재능에 의한 결과라고 말한다. 사람들이 이렇게 생각하는 것은 스스로를 어느 정도 유능한 존재로 보기 때문이다. 우리는 무엇인가를 할 수 있고 어떤 일이 일어나게 만들 수도 있다. 그래서 자신의 실력으로 성공을 이루었다고 생각한다. 반면 실패는 불운과 같은 외부 요인 탓으로 돌린다. (책 179쪽) 운과 함께 살아가려면 탈레브의 두 가지 메시지를 기억해야 한다. 먼저 확률 산정이 불가능하고 대가가 매우 큰 사건에 대해서는 우리 지식의 한계를 인정해야 한다. 다시 말해 ‘우리가 알지 못한다는 사실’을 알아야 한다. 다음으로 4분면에서 당신은 옵션을 매도하는 투자자가 아니라 옵션을 매수하는 투자자가 되어야 한다. 대부분의 경우 옵션을 팔 때 수지가 맞지만, 얼마나 자주 수익을 냈는지는 중요하지 않다. 맞았을 때 얼마나 많은 돈을 벌지, 틀렸을 때 얼마나 많은 돈을 잃을지가 성공의 기준이 되어야 한다.
(중략) 때로는 운을 지식의 부족으로 보는 것이 유익한 경우도 있다. 운이 지배하는 분야에서 인과관계를 파악하는 것은 매우 어렵다. 하지만 최근 기술과 과학 기법의 도움으로 조직은 인과관계를 더 명확히 규명하고, 결과적으로 운의 역할을 줄일 수 있게 되었다. 실험군과 구분되는 대조군을 도입해 원인과 결과의 상호 작용을 더 잘 파악할 수 있고, 신기술을 이용해 예전보다 훨씬 적은 비용으로 더 큰 규모의 실험을 진행할 수도 있다. 이런 작업을 통해 광범위한 효율성 개선이 이어지고 있다. 통계 기법은 다양한 활동을 측정하는 데 매우 유용하게 사용된다. 하지만 모형의 한계를 아는 것 역시 중요하다. 탈레브는 통계를 유용하게 적용할 수 있는 분야와 그렇지 못한 분야를 구별할 수 있는 틀을 제시했다. 극단적인 사건이 발생하고 결과가 복잡한 4분면에서는 잘못된 모형을 쓰느니 아예 모형을 쓰지 않는 것이 좋다고 제안한다. 블랙스완의 영역인 4분면에서 살아남아 성공하려면 조금씩 계속 벌다 언젠가 막대한 손실을 볼 수 있는 활동은 피하고, 조금씩 계속 ?

운의 영역에서 실력을 쏟아붓고 있지 않은가
실력의 영역에서 운에 기대고 있지 않은가로또 당첨은 100% 운의 영역이다. 당첨을 위해 로또 명당을 찾아다니거나 기존의 당첨 번호를 분석해 이번 주 당첨 번호를 조합하는 것은 어리석은 짓이다. 한 판매처에서 30명의 당첨자가 나왔어도, 슈퍼컴퓨터로 수열 계산을 해도 나의 당첨 확률은 영원토록 8,145,060분의 1이다.
피겨스케이팅은 99% 실력의 영역이다. 강습만 보내놓고 아이의 숨겨진 재능이 발견되기를 바라는 것은 어리석은 짓이다. 일류 선수의 재능은 발견되는 것이 아니라 체계적인 훈련, 탁월한 코치의 피드백을 통해 만들어지는 것이다.
그런데 우리의 인생사 대부분은 운과 실력의 양극단 사이에 위치한다. 저자는 자신의 활동 분야가 운-실력 스펙트럼상 어디에 위치하는지만 파악해도 해당 활동에 대해 깊은 통찰을 얻을 수 있다고 이야기한다. 운-실력 스펙트럼상의 위치를 파악하는 방법은 이 책의 4장 ‘행운을 빌 때와 열심히 노력할 때’에 구체적으로 나와 있다. 앞면은 내 실력, 뒷면은 운이 나빠서?
우리가 아는 성공 법칙은 거의 틀렸다 사람들은 운과 실력을 제대로 구별하지 못한다. 결과가 나오는 순간 운의 영향을 잊는다. 가장 큰 장애물은 인과관계를 찾으려는 본능이다. 사람들은 최근 결과에 매몰된다. 실제로 존재하지 않는 인과관계를 집어넣어 그럴듯한 스토리를 만들어내면서 그 결과를 실력이 빚어낸 필연이라고 믿는다. 이 때문에 ‘위대한 기업’의 경영 전략을 분석해 모방하고, 뛰어난 실적을 낸 애널리스트를 영입한다. 그러나 짐 콜린스의 베스트셀러인 《좋은 기업을 넘어… 위대한 기업으로》에 소개된 기업들은 10년도 지나지 않아 파산하거나 심각한 경영난에 처했고, 높은 연봉을 받고 이직한 애널리스트 상당수는 5년 이상 부진의 늪에서 벗어나지 못했다(하버드대 조직행동학 교수 보리스 그로이스버그의 조사 결과).
운을 과소평가하는 것은 통계를 모르고, 조직 환경 등 실력 외적인 요소를 간과하기 때문이다. 더 나아가 이 책은 소설 ‘다빈치 코드’, 영화 ‘타이타닉’, 명화 ‘모나리자’ 등이 특별할 것 없는 작품이며 ‘의외의 성공’에 지나지 않는다고 주장한다. 그리고 이러한 운의 결과에 사람들이 의미를 부여하는 것은 성공에 대해 스스로를 기만하는 자기중심적 귀인 편향, 외적인 상황은 무시하고 행위자의 능력 같은 내적인 특성으로만 결과를 설명하는 귀인 오류 때문이라고 설명한다. 운으로 성공할 것인가, 실력으로 실패할 것인가 실력이 부족한 내가 노련한 상대와 경쟁할 때는 운을 끌어들여야 한다. 다윗이 골리앗과 싸워 이긴 것은 정면으로 맞붙지 않는 동시에 아무도 예상하지 못한 전략을 택했기 때문이다. 약체였던 텍사스테크대 미식축구팀은 다양한 포메이션을 구사해 게임을 복잡하게 만들어 높은 승률을 기록했다. 20세기 들어 약소국의 승전 확률은 19세기에 비해 높아졌는데, 전면전으로는 강대국을 이길 수 없다는 것을 알게 되면서 전장을 늘리거나 게릴라전 같은 대안적 전략 전술을 구사했기 때문이다. 반대로 내 실력이 충분하고 유리한 위치에 서 있을 때는 원인과 결과를 효과적으로 대응시켜 운의 영향을 줄여야 한다. 저자는 그 방법으로 빠르고 효과적인 통제 실험을 제안한다. 광고, 선거 운동 등의 실제 사례를 들며 인과관계를 더 깊이 들여다볼 수 있는 방법을 알려준다.
경쟁 상황에서 강자는 자신의 우위를 굳히기 위해 상황을 단순화해야 하고 약자는 강자의 우위를 희석시키기 위해 우연성을 더해야 한다. 저자는 스포츠, 사업, 전쟁 등 실제 사례를 들며 이 전략의 유용성을 입증한다. 실력 향상을 위한 세 가지 방법
운의 영역을 통찰하는 세 가지 관점 저자는 실력 향상을 위한 세 가지 방법으로 체계적으로 훈련하고, 체크리스트를 사용하며, 과정에 집중할 것을 제안한다.
달리기, 바이올린 연주, 체스 등 운의 영향이 적은 분야의 성과는 실력에 좌우된다. 실력이 중요한 분야에서 체계적인 훈련을 대신할 방법은 어디에도 없다. 다만 이 방법은 엄청난 시간과 노력이 필요하며 재미도 없기 때문에 집중력을 유지하기가 쉽지 않다. 저자는 체계적 훈련의 효율성을 높이는 방법으로 피드백(코치)을 강조한다.
운과 실력의 중간 영역에서는 체크리스트를 수용해야 한다. 수술이 대표적인 경우다. 저자는 의사가 정맥 주사관을 삽입할 때 간단한 체크리스트를 사용해 수천 명의 생명을 구하고 수억 달러의 비용을 절감한 사례를 들며 그 중요성을 강조한다. 한편 이 체크리스트는 항공, 건설 등 인과관계가 명확한 활동에서도 널리 사용된다.
운이 강한 영향을 미치는 분야에서는 결과에 집착하지 말고 과정에 주목해야 한다. 실력이 절대적으로 중요한 분야에서는 과정이 결과에 그대로 반영되지만 운이 중요한 분야에서는 과정과 결과 사이가 끊어져 있다. 그래서 과정은 좋지만 결과가 나쁜 경우가 있고 과정은 안 좋지만 결과가 좋은 경우도 있다. 그래도 좋은 과정을 거치면 좋은 결과로 이어질 확률이 아주 높다. 따라서 운이 중요한 분야에서도 과정에 집중해야 한다. 이 책은 주식 투자를 예로 들며 ‘좋은 과정’이 되기 위해 갖추어야 할 요건을 분석적, 심리적, 조직적 관점으로 설명한다. 분석적 관점에서는 가치와 가격의 괴리를 발견해 유리한 기회를 선점해야 하고, 심리적 관점에서는 직관에 의존하지 않고 옳은 결정을 위해 시간과 노력을 투자해야 하며, 조직적 관점에서는 주인(주주)과 대리인(경영자)의 이해관계를 일치시켜 이해 상충 비용을 최소화해야 한다. 통섭과 복잡계의 세계적 권위자 마이클 모부신이 정리한
예측의 정확도를 높이는 10가지 방법! 운과 실력을 구별하고 운에 대처하는 합리적인 방법을 찾는 이유는 예측력을 높이기 위해서다. 저자인 마이클 모부신은 실력과 운이 복합적으로 작용하는 분야에서 예측의 정확도를 높이기 위한 10가지 방법을 제안한다. 1. 운-실력 스펙트럼에서 활동 분야의 위치를 파악하라
2. 표본 크기, 유의성, 블랙 스완을 고려하라
3. 항상 귀무모형을 고려하라
4. 피드백과 보상은 신중하게 결정하라
5. 사후 가정 사고를 활용하라
6. 실력을 향상시킬 방법을 개발하라
7. 상황에 맞는 전략을 수립하라
8. 평균 회귀를 잘 활용하라
9. 유용한 통계를 발굴하라
10. 한계를 인식하라