직관은 우리를 속이지만

베이즈 정리는 우리를 깨어 있게 한다

 

우리는 매일같이 선택하고, 판단하며, 확신한다. 누구의 말이 옳은지, 어떤 뉴스가 사실인지, 어느 주식이 오를지, 병원 검사 결과가 무엇을 의미하는지를 두고 머릿속에서 끊임없이 계산하고 다음 행동을 선택한다. 하지만 정작 그 판단의 근거를 물어보면, “그럴듯해서”, “느낌이 그래서”, “확률이 높다잖아” 같은 어정쩡한 대답이 돌아온다. 그러고는 자신의 예상과는 다른 결과에 당혹해하고 절망한다. 이렇게 잘못된 판단이었음을 뒤늦게 깨달은 경험, 그럴싸한 말에 혹해 후회했던 기억은 누구에게나 있기 마련이다. 정보는 넘치고 선택은 끊이지 않지만, 우리가 그것을 얼마나 합리적으로 처리하고 있는지는 생각보다 불확실하기 때문이다.

왜 이런 일이 반복될까? 문제는 우리 뇌가 직관에 너무 쉽게 끌린다는 데 있다. 눈앞의 숫자, 권위 있는 사람의 말, 선명한 인과 관계처럼 보이는 이야기들은 우리의 판단력을 흐리고 마비시킨다. 병원에서 99% 정확도라는 검사 장비의 성능을 들으면 안심하거나 놀라워하지만, 정작 그 검사 결과가 실제로 병에 걸렸을 가능성과는 얼마나 다른지를 따져 보는 사람은 드물다. 명문대 교수가 했다는 말은 진실로 여겨지고, 친구가 몇 번 경험했다는 일은 보편적 법칙처럼 받아들인다. 우리가 흔히 “확률이 높다”며 무언가를 선택하는 행위는, 실제로는 단 하나의 정보에 기대어 판단을 끝내버린 것이다. 그럴듯한 정보는 많지만, 올바른 판단은 그렇게 쉽게 나오지 않는다.

이 책은 바로 그 착각의 메커니즘을 파헤친다. 불확실성을 이기는 ‘무기’라고 부를 만큼 강력한 사고 도구를 소개한다. 이름하여 ‘베이즈 정리’. 어렵게 들리지만, 본질은 단순하다. 새로운 정보를 얻었을 때 기존의 믿음을 어떻게 갱신할 것인가? 하나의 판단이 얼마나 설득력 있는지를 따질 때 맥락과 배경, 그리고 증거의 힘을 어떻게 조합할 것인가? 베이즈 정리는 이 질문에 대해 매우 강력한 해답을 제시한다. 단 한 번의 확신이 아니라, 수많은 정보와 변화 속에서 ‘계속해서 더 나은 판단’을 만들어가는 방식이다. 그래서 이 책은 수학책이라기보다는 생각하는 법을 가르쳐 주는 책이다.

[목 차]

추천사

프롤로그

 

Chapter 1 우리는 언제 어디서나 정보를 추론한다

 

1.1 셜록 홈스와 개발자 김 대리

1.1.1 수수께끼로 알아보는 정보 추론

1.1.2 셜록 홈스의 뛰어난 추론 능력

1.1.3 개발자 김 대리의 일기

1.1.4 정보 추론의 어려움

 

1.2 〈지자의린(智子疑鄰)〉이 주는 교훈

1.2.1 흑백 논리

1.2.2 확률적 사고

 

1.3 가장 잘 설명하는 것이 가장 가능성이 높은 것이다

1.3.1 조건부 확률

1.3.2 최대 우도법

1.3.3 누가 10점을 명중시켰을까?

1.3.4 최대 우도법의 또 다른 예시

 

1.4 당신이 희귀 혈액 질환을 앓을 확률은?

1.4.1 원인에 따라 발생 확률이 다르다

1.4.2 혈액 질환 검사

1.4.3 직업 선택의 문제

 

Chapter 2 베이즈 정리

 

2.1 베이즈 정리와 그 수학적 논리

2.1.1 베이즈 정리의 탄생

2.1.2 정보 추론을 수학적으로 표현하기

2.1.3 최대 우도법을 수학적으로 표현하기

2.1.4 베이즈 정리를 활용한 정보 추론

2.1.5 베이즈 정리를 통해 알게 된 사실

2.1.6 베이즈 정리를 이용한 세 가지 추론 사례

 

2.2 베이즈 정리와 오컴의 면도날

2.2.1 오컴의 면도날

2.2.2 베이즈적 사고로 해석하는 오컴의 면도날

 

2.3 베이즈 정리와 핸런의 면도날

2.3.1 핸런의 면도날

2.3.2 베이즈적 사고로 해석하는 핸런의 면도날

 

2.4 가능성이 있는 원인을 빠뜨리지 마라

2.4.1 여섯 개의 나폴레옹 석고상

2.4.2 연인의 일기

2.4.3 곡식 대신 고기, 빵 대신 케이크

 

Chapter 3 베이즈 정리의 구성 요소 ➀: 사전 확률

 

3.1 옌스 레만에게 건넨 쪽지: 사전 확률의 중요성

3.1.1 날아오는 공을 막는 방법

3.1.2 의문의 쪽지와 마르티네스의 조언

3.1.3 똑같이 떠들었는데, 왜 누구는 혼나고 누구는 혼나지 않는 걸까?

 

3.2 본질을 이해하려면 큰 그림을 보라: 베이즈 정리와 외부 관점

3.2.1 내부 관점과 외부 관점

3.2.2 내부 관점의 문제

3.2.3 외부 관점에서 문제를 볼 때 주의해야 할 점

 

3.3 상인의 전략: 베이즈 정리와 앵커링 효과

 

3.4 사전 확률을 찾는 방법

3.4.1 과거 데이터 분석+유사한 집단 찾기

3.4.2 유사한 집단에서 사전 확률을 찾는 방법

3.4.3 사전 확률을 찾는 과정에서 범하는 오류 ➀

3.4.4 사전 확률을 찾는 과정에서 범하는 오류 ➁

3.4.5 사전 확률을 조정할 때 자주 나타나는 문제

 

Chapter 4 베이즈 정리의 구성 요소 ➁: 관측

 

4.1 어떤 관측이 당신의 인식을 바꿀 수 있을까?

4.1.1 정보량이 큰 관측

4.1.2 정보량이 작은 관측

 

4.2 엘리베이터에서 마주친 여성

4.2.1 스타의 이미지는 어떻게 바뀔까?

4.2.2 두 아이의 논쟁

4.2.3 엘리베이터에서 마주친 여성이 나를 보고 웃었다

 

4.3 별자리와 '목발 장수의 속임수' 뒤에 숨겨진 수학의 원리

4.3.1 바넘 효과

4.3.2 베이즈적 사고로 분석하는 별자리

4.3.3 목발 장수의 속임수

 

4.4 '대가'의 말을 믿으면 안 되는 이유

4.4.1 배타적인 증거는 왜 찾기 어려운가?

4.4.2 설명하기는 쉽고, 배제하기는 어렵다

 

4.5 사후 확률을 바꾸는 또 다른 방법

4.5.1 M&M’s 초콜릿 조항

 

Chapter 5 여러 개의 관측 정보를 활용한 베이즈 추론

 

5.1 바닐라 아이스크림을 사러 갔는데 차가 시동이 걸리지 않는다

5.1.1 조건부 독립의 정의

5.1.2 겉보기에는 관련 있어 보이나 실은 조건부 독립인 경우

5.1.3 겉보기에는 독립적이지만 실은 조건부 독립인 경우

 

5.2 여러 개의 관측 정보를 활용해 확률을 추론하는 방법

5.2.1 여러 관측값을 고려한 베이즈 정리

5.2.2 오늘 날씨가 맑을 확률은?

5.2.3 물이 끓었을까?

 

5.3 중요한 관측을 놓치지 마라

5.3.1 샘플링 편향을 피해라

5.3.2 증거 수집의 기술

 

부록

부록 A. 그림을 이용한 방법과 베이즈 정리

부록 B. 식 (5-2)의 유도 과정

[본 문]

** 사물이나 현상이 드러나는 과정은 안에서 바깥으로 향하는 ‘정방향 과정’이다. 즉, 내적 요인이 겉으로 드러나는 것, 본질이 관측 가능한 형태로 드러나는 것, 원인이 결과로 이어지는 흐름과 같다. 이러한 관점에서 보면 정보 추론은 바깥에서 안으로 향하는 ‘역방향 과정’이라 할 수 있다.

예를 들어 보자. 모든 질병은 특정한 증상을 나타낸다. 여기서 ‘질병’은 내적 요인이고, ‘증상’은 겉으로 드러난 모습이다. 의사가 환자의 병을 진단하는 과정이 바로 정보 추론의 전형적인 예라고 할 수 있다. 의사는 겉으로 드러난 증상을 바탕으로 환자가 앓고 있는 질병을 추론한다.

 

** 최대 우도법은 확률적 사고방식의 한 종류다. 우리는 어떤 현상을 관측했을 때, 가장 먼저 그 현상을 일으킬 가능성이 있는 모든 원인을 나열하고, 그중에서도 해당 현상을 가장 논리적으로 설명할 수 있는 원인을 선택한다. 이것이 바로 최대 우도법의 핵심 원리다.

대부분의 사람은 여태껏 ‘최대 우도법’이라는 개념을 모르고 살아왔을 것이다. 심지어 확률을 배워 본 적이 없는 사람도 꽤 많을 것이다. 하지만 아이러니하게도 우리는 실생활에서 문제를 고민하고 판단할 때, 무의식적으로 최대 우도법을 자주 사용한다.

 

** 정보 추론이란 어떤 현상을 목격한 후 그 현상의 배후에 있는 가장 가능성 높은 원인을 찾는 과정이다. 여기서 ‘그 현상의 배후에 있는 가장 가능성 높은 원인’을 결정하는 과정은 두 단계로 나눌 수 있다. 첫째, 어떤 현상을 목격한 후, 그 현상을 초래했을 가능성이 있는 여러 원인의 확률을 계산한다. 둘째, 가장 높은 확률을 가진 원인을 선택한다. 여기서 우리가 기억해야 할 것이 있다. ‘관측된 현상을 특정 원인이 초래했을 확률’은 조건부 확률이라는 것이다.

 

** 베이즈 정리로 추론해 보면, 내 뒤를 따라오는 사람이 단순한 행인일 확률이 나를 해치려는 사람일 확률보다 6만 배 더 크다. 그러므로 누군가 내 뒤를 따라온다고 해서 과도하게 불안해할 필요는 없다.

다만, 이 두 원인의 사전 확률은 장소와 환경에 따라 달라질 수 있다. 예를 들어 범죄율이 높은 국가에서는 ‘누군가 나를 해칠 가능성’이라는 사전 확률이 크게 증가할 수 있다. 마찬가지로 걷고 있는 장소가 번화가가 아닌 외진 골목이라면 내 뒤를 따라오는 사람이 ‘단순한 행인일 가능성’은 낮아지게 된다.

 

** 골키퍼는 날아오는 공을 어떻게 막을까? 이는 전형적인 정보 추론 과정이다. 골키퍼는 상대 선수의 슈팅 동작을 관찰하고 슈팅 방향을 예측한 뒤, 정확한 방향으로 몸을 던져 공을 막는다.

즉, 여러 가능성이 있는 슈팅 방향 중에서 각 방향의 사후 확률, 즉 𝑃(슈팅 방향 𝑖 |슈팅 동작)을 계산한 뒤, 사후 확률이 가장 높은 방향으로 몸을 던지는 것이다.

 

** 사전 확률을 사후 확률 대신 사용하여 대다수 기업의 생존 가능성을 추정할 수 있다. 하지만 창업자에게 자신의 기업이 살아남을 가능성(사후 확률)을 묻는다면, 이들은 평균적인 성공 확률인 사전 확률을 알고 있더라도 ‘내 회사는 다른 회사와 다르다’라고 믿을 가능성이 크다. 그리고 이러한 믿음은 우도를 왜곡하여 실제보다 과도하게 긍정적인 결과를 만들어 내고, 정규화된 우도 값이 1보다 훨씬 커지게 되는 결과를 초래한다.

 

** 한 회사에서 부사장 자리가 공석이 되어 몇 명의 후보자 중 한 명을 선택해야 하는 상황이다. 대부분의 사람은 경력도 오래되고 업무 능력도 뛰어난 장 과장이 승진할 것이라고 예상했다. 그런데 어느 날 동료가 몰래 아무도 예상하지 못했던 김 과장이 승진했다는 소식을 전했다.

여기서 ‘김 과장이 승진했다’라는 소식은 당신에게 매우 큰 정보량을 제공한다. 왜냐하면 이 소식은 기존 예상과 크게 다르기 때문이다. 반면, 만약 장 과장이 승진했다는 소식을 들었다면 별로 놀랍지 않았을 것이다. 왜냐하면 그 소식은 이미 예상된 결과이기 때문이다.

 

** ‘택시 기사가 재킷을 입었다’와 ‘교통사고가 발생했다’라는 두 사건은 통계적으로 관련이 있는 것처럼 보이지만, 실제로는 ‘비가 내렸다’라는 조건이 전제되었을 때 서로 독립적이다. 즉, ‘비가 내렸다’라는 사실을 알게 되면 택시 기사의 재킷 착용 여부와 상관없이 교통사고 발생 가능성이 높다는 것을 예측할 수 있다.

리바오춘 (캐나다 토론토대학교 컴퓨터공학과 종신교수)

일상에서 흔히 접하는 예시들을 통해 중요한 확률 개념, 베이즈 정리를 한나절 만에 이해할 수 있게 도와준다.

 

카오지안농 (홍콩이공대학교 데이터공학 석좌교수)

이 책은 수학이라는 도구로 삶의 불확실성과 편향을 정면으로 바라본다.

 

홍리앙 (우한대학교 정보관리학과 교수)

수학적 지식을 일상의 질문에 적용해, 판단과 사고의 구조를 바꿀 수 있는 길을 제시한다. 생각하는 방법을 바꾸고 싶은 독자에게 추천한다.

 

저우옌제 (베이징항공항천대학 수리통계학 교수)

확신을 의심하고, 판단을 갱신하는 법을 가르쳐준다.