직관은 우리를 속이지만

베이즈 정리는 우리를 깨어 있게 한다

우리는 매일같이 선택하고, 판단하며, 확신한다. 누구의 말이 옳은지, 어떤 뉴스가 사실인지, 어느 주식이 오를지, 병원 검사 결과가 무엇을 의미하는지를 두고 머릿속에서 끊임없이 계산하고 다음 행동을 선택한다. 하지만 정작 그 판단의 근거를 물어보면, “그럴듯해서”, “느낌이 그래서”, “확률이 높다잖아” 같은 어정쩡한 대답이 돌아온다. 그러고는 자신의 예상과는 다른 결과에 당혹해하고 절망한다. 이렇게 잘못된 판단이었음을 뒤늦게 깨달은 경험, 그럴싸한 말에 혹해 후회했던 기억은 누구에게나 있기 마련이다. 정보는 넘치고 선택은 끊이지 않지만, 우리가 그것을 얼마나 합리적으로 처리하고 있는지는 생각보다 불확실하기 때문이다.

왜 이런 일이 반복될까? 문제는 우리 뇌가 직관에 너무 쉽게 끌린다는 데 있다. 눈앞의 숫자, 권위 있는 사람의 말, 선명한 인과 관계처럼 보이는 이야기들은 우리의 판단력을 흐리고 마비시킨다. 병원에서 99% 정확도라는 검사 장비의 성능을 들으면 안심하거나 놀라워하지만, 정작 그 검사 결과가 실제로 병에 걸렸을 가능성과는 얼마나 다른지를 따져 보는 사람은 드물다. 명문대 교수의 말은 진실로 여겨지고, 친구가 몇 번 경험했다는 일은 보편적 법칙처럼 받아들인다. 우리가 흔히 “확률이 높다”며 무언가를 선택하는 행위는, 실제로는 단 하나의 정보에 기대어 판단을 끝내버린 것이다. 그럴듯한 정보는 많지만, 올바른 판단은 그렇게 쉽게 나오지 않는다.

이 책은 바로 그 착각의 메커니즘을 파헤친다. 불확실성을 이기는 ‘무기’라고 부를 만큼 강력한 사고 도구를 소개한다. 이름하여 ‘베이즈 정리’. 어렵게 들리지만, 본질은 단순하다. ‘새로운 정보를 얻었을 때 기존의 믿음을 어떻게 갱신할 것인가? 하나의 판단이 얼마나 설득력 있는지를 따질 때 맥락과 배경, 그리고 증거의 힘을 어떻게 조합할 것인가?’ 베이즈 정리는 이 질문에 대해 매우 강력한 해답을 제시한다. 단 한 번의 확신이 아니라, 수많은 정보와 변화 속에서 ‘계속해서 더 나은 판단’을 만들어가는 방식이다. 그래서 이 책은 수학책이라기보다는 생각하는 법을 가르쳐 주는 책이다.

[목 차]
  

Chapter 6 순차적으로 업데이트되는 정보의 사후 확률

 

6.1 정보가 순차적으로 업데이트될 때 사후 확률 구하는 방법

6.1.1 베이즈 정리를 이용해 사후 확률 구하기

6.1.2 증분 처리 방식으로 사후 확률 구하기

6.1.3 증분 처리 방식으로 구한 사후 확률이 갖는 의미

 

6.2 온라인 알고리즘

6.2.1 온라인 알고리즘과 오프라인 알고리즘

6.2.2 평균값

6.2.3 실시간으로 데이터가 유입되는 상황에서의 특잇값 분해

 

6.3 단계마다 확실하게 vs. 점진적으로 완성도를 높이며

6.3.1 애자일 모델

6.3.2 최소 기능 제품

6.3.3 논문을 작성하는 방식

 

6.4 〈양치기 소년〉이 주는 교훈

6.4.1 베이즈 정리로 해석해 보는 〈양치기 소년〉 이야기

6.4.2 새로운 정보에 맞춰 확률을 업데이트하는 방식에서 배우는 교훈

 

Chapter 7 계층형 모델

 

7.1 여러 개의 관측값을 그룹화하여 확률 계산하기

7.1.1 세 개 이상의 관측값이 주어졌을 때

7.1.2 문제 해결 전략 및 접근 방식

7.1.3 분류의 원칙

 

7.2 두 개의 관측값 중 어느 것을 사전 확률에 반영해야 할까?

7.2.1 비행기가 심하게 흔들릴 때

7.2.2 대추나무 두 그루

 

7.3 조지 소로스는 어떻게 한 달 만에 10억 달러를 벌었을까?

7.3.1 사건의 배경

7.3.2 증거와 분석

7.3.3 배타적인 증거의 등장

 

7.4 관측값이 너무 적을 때는 어떻게 해야 할까?

7.4.1 그는 취업할 수 있을까?

7.4.2 통계 데이터를 찾는 방법

7.4.3 또 다른 접근 방법: 관측값의 범위 확장하기

 

7.5 계층형 모델

7.5.1 계층형 모델의 네 단계

7.5.2 사례 1: 그가 취업에 성공할 확률은?

7.5.3 사례 2: 비행기는 아직 안전한가?

7.5.4 사례 3: 우리 아이는 좋은 대학에 갈 수 있을까?

7.5.5 사례 4: 심장 수술을 받아야 할까?

7.5.6 계층형 모델을 적용할 때 흔히 저지르는 실수

7.5.7 이 가족이 반려견을 키울 확률은 얼마일까?

 

Chapter 8 샐리 클라크의 재판

 

8.1 첫 번째 오류: 잘못된 독립성 가정

8.2 두 번째 오류: 우도를 사후 확률로 간주

8.3 세 번째 오류: 편향된 모집단 선택

8.4 클라크가 유죄일 확률은 얼마일까?

 

Chapter 9 의학에서 활용하는 베이즈 정리

 

9.1 의사의 진단과 베이즈 정리

9.1.1 병을 진단하는 과정

9.1.2 가장 보편적인 의사의 진단 과정

 

9.2 의사의 진단에서 배우는 교훈

9.2.1 교훈 1: ‘여러 개 중 하나’에서 ‘둘 중 하나’로 바꾸기

9.2.2 교훈 2: 사후 확률을 추정하는 데 도움이 되는 정보 수집하기

9.2.3 교훈 3: 최소한의 비용과 시간으로 가장 효과적인 증거 확보하기

9.2.4 교훈 4: 검사는 많이 할수록 좋을까?

 

Chapter 10 베이즈적 사고로 읽는 네트워크 시대

 

10.1 거짓 정보를 구별하는 방법

10.1.1 베이즈 정리가 가르쳐 주는 세상의 원리

10.1.2 결정적인 증거를 찾기 어려운 이유와 온라인 글에서 나타나는 흔한 패턴

 

10.2 증거의 진위를 구별하는 방법

10.2.1 신빙성이 없는 증거

10.2.2 정량화되지 않은 증거

10.2.3 개별적인 사례를 전체 통계인 것처럼 일반화하는 증거

 

10.3 미디어에 의해 왜곡된 사전 확률

10.3.1 인터넷 시대에서의 미디어 정보

10.3.2 확률이 낮은 사건을 보도하는 이유

10.3.3 증거를 편집하는 이유

10.3.4 보고 싶은 것만 보여 주는 정보 환경

 

10.4 베이즈 정리로 음모론 분석하기

10.4.1 음모론이란 무엇인가?

10.4.2 왜 사람들은 음모론을 쉽게 믿는 걸까?

10.4.3 음모론의 오류 1: 사전 확률을 고려하지 않음

10.4.4 음모론의 오류 2: 다른 가능성을 고려하지 않음

10.4.5 음모론의 오류 3: 잘못된 관측

 

에필로그

 

부록

부록 C. 베이즈 정리를 이용해 순차적으로 업데이트되는 정보의 사후 확률 계산 공식 유도

부록 D. 〈양치기 소년〉에서 나온 수학 공식 유도

부록 E. 식 (7-4)의 유도 과정

부록 F. 세 개의 관측값이 주어졌을 때의 사후 확률과 사전 확률의 유사함을 증명하는 과정

[본 문]
  

** 알고리즘은 어떻게 같은 주제의 문서를 그룹화할까? 이를 가능하게 하는 기술이 바로 ‘잠재 의미 색인(Latent Semantic Indexing, LSI)’ 기법이다.

LSI가 수행하는 첫 번째 작업은 인터넷상의 방대한 문서를 동일한 길이의 벡터로 변환하는 것이다. 이는 ‘단어 주머니 기법(Bag of Words Model, 글에 등장하는 단어의 빈도를 수치화하여 문서 자료를 분석하는 방법)’이라고도 부른다. 그런 다음 이렇게 변환된 벡터들을 세로로 정렬하여 하나의 행렬을 구성한다.

 

** 소수의 증거만으로 성급하게 결론을 내리지 말고 신중해야 한다. 이는 공자가 말한 ‘무필(毋必)’, 즉 무조건 단정 지으려 하지 말라는 가르침과 연결된다. 최근 몇 년간 인터넷에서 ‘반전’ 사건과 ‘역폭로’를 당하는 사건이 특히 많아졌다. 그 이유는 사람들이 화제가 되는 이슈에 쉽게 휩쓸리다 보니, 확실한 증거도 없이 너도나도 성급하게 의견을 내놓기 때문이다.

 

** 분류의 원칙은 한마디로 이렇게 정의할 수 있다. ‘통계 데이터를 쉽게 구할 수 있고, 정보량이 커야 한다.’

여기서 ‘통계 데이터를 쉽게 구할 수 있다’라는 말은 특정 관측값을 집합 A에 포함시켰을 때, 𝑃(𝐻|A)에 관한 실제 통계 데이터를 직접 찾을 수 있어야 한다는 의미다. 또한 ‘정보량이 커야 한다’라는 말은 통계 데이터를 찾을 수 있는 경우에 한해서 가능한 정보량이 큰 관측값을 집합 A에 포함시켜야 한다는 의미다.

 

** 관측값의 범위를 지나치게 확장하면 통계 데이터를 찾기는 쉬워질 수 있지만, 해당 데이터가 우리가 실제로 알고자 하는 정보와 큰 차이를 보일 수 있다. 예를 들어, ‘2017년 화중과기대학 이공계 석사 졸업생’의 취업 통계를 찾을 수 없다면 굳이 ‘2017년 화중과기대학 석사 졸업생’으로 범위를 더 확장하면서까지 데이터를 찾을 필요는 없다. 그 이유는 화중과기대학 이공계 석사 졸업생의 취업 통계가 우리가 궁극적으로 알고 싶은 ‘2017년 화중과기대학 전자정보통신학과 석사 졸업생’의 취업 통계와 더 유사할 가능성이 크기 때문이다.

 

** 우도를 사후 확률로 착각하면 겉으로는 그럴듯해 보일 수 있으나 실제로는 완전히 잘못된 논리적 오류에 빠질 수 있다. 예를 들어 ‘복권에 당첨될 확률은 매우 낮으므로, 누군가가 복권에 당첨되었다면 그 사람은 부정행위를 써서 당첨된 것이 분명하다.’라는 논리는 맞는 말일까? 이 논리 역시 우도 𝑃(복권에 당첨됨|부정행위를 행하지 않음)가 낮다는 이유만으로 사후 확률 𝑃(부정행위를 행하지 않음|복권에 당첨됨)도 낮다고 단정하는 오류를 범하고 있다. 현실적으로 복권 당첨 확률은 매우 낮지만, 실제로 매년 복권 당첨자는 존재하며 이들이 반드시 부정행위로 당첨되었다고 볼 수 없다.

 

** 우선적으로 진단이 필요한 질병을 정할 때, 단순히 빠르고 쉽게 확진 또는 배제할 수 있느냐만을 고려해서는 안 된다. 환자의 상태가 위중한지 여부도 중요하게 고려해야 할 요소다. 예를 들어 대동맥 출혈, 심근경색, 뇌졸중과 같은 질환은 생명을 위협하는 응급 질환이기 때문에 가장 먼저 진단을 시도해 해당 질환이 맞는지 아닌지를 신속하게 확인해야 한다. 반면 감기나 암처럼 즉각적인 생명 위협이 없는 질환은 응급 질환을 확진 또는 배제한 후 검토해도 된다. 이처럼 의사는 질병의 진단 용이성과 환자의 상태에 따른 긴급성 등 다양한 요소를 종합적으로 고려하여 진단의 우선순위를 정한다.

 

** 우리는 머릿속에 ‘합리적인 의심’을 가질 수 있는 습관을 길러야 한다. 가령 인터넷에서 충격적인 주장을 접했을 때 자동 반사적으로 이런 의구심이 들어야 한다. ‘너무 충격적인 주장이야. 그런데 이 주장을 입증할 수 있는 결정적인 증거가 있는 걸까? 이렇게 충격적인 주장일수록, 그 주장을 뒷받침하는 증거는 누가 봐도 명확하고 객관적이어야 하며 다른 주장으로는 해석될 가능성이 거의 없어야 해!’

이처럼 항상 ‘합리적인 의심’을 가지고 사고하는 것이 거짓 정보에 속지 않는 첫걸음이다.

 

** 사회 심리학 연구자들은 사람들이 왜 음모론을 쉽게 믿는지에 관해 많은 연구를 진행해 왔다. 현재 주류 의견은 이렇다. 음모론은 현실 세계에서 우리가 이해하기 어렵거나 통제할 수 없는 사건(예를 들어 테러 공격, 금융 위기, 자연재해 등)을 설명하려고 할 때 사용되는 쉽고 직관적인 해석 방식이다.

수학적 관점에서 보면 사람들이 음모론을 쉽게 믿는 이유는 다른 원인보다 음모론에서 제시한 원인이 현재의 상황을 매우 그럴듯하게 설명해 준다고 느끼기 때문이다. 즉, ‘음모론’의 우도가 거의 1에 가까운 값이 되는 것이다.

리바오춘 (캐나다 토론토대학교 컴퓨터공학과 종신교수)

일상에서 흔히 접하는 예시들을 통해 중요한 확률 개념, 베이즈 정리를 한나절 만에 이해할 수 있게 도와준다.

 

카오지안농 (홍콩이공대학교 데이터공학 석좌교수)

이 책은 수학이라는 도구로 삶의 불확실성과 편향을 정면으로 바라본다.

 

홍리앙 (우한대학교 정보관리학과 교수)

수학적 지식을 일상의 질문에 적용해, 판단과 사고의 구조를 바꿀 수 있는 길을 제시한다. 생각하는 방법을 바꾸고 싶은 독자에게 추천한다.

 

저우옌제 (베이징항공항천대학 수리통계학 교수)

확신을 의심하고, 판단을 갱신하는 법을 가르쳐준다.