데이터를 해석하는 과정에서 범하기 쉬운 오류를 소개하고, 이런 오류를 피해 올바르게 사고하는 원칙을 강조한다. 정치, 사회, 의학, 교육 등 다양한 분야의 실제 사례를 소개함으로써 상관관계나 인과관계처럼 많은 사람들이 사용하면서도 쉽게 헷갈리는 핵심 개념을 정확히 이해하도록 돕는다. 더불어 기본적인 통계 분석 기법, 가설을 검증하는 실험 설계 기법, 통계 분석 결과를 의사 결정에 활용할 때 고려할 점도 함께 설명한다.

[목 차]

01장. 데이터 기반 시대에 명확하게 사고하기
__1장에서 다루는 내용
__들어가며
__경고성 일화
____에이브에게 내린 성급한 진단
____시민 저항 운동
____깨진 유리창 정책
__사고와 데이터는 서로 보완하지, 대체하지 않는다
__읽을거리


1부 ― 공통 언어 구축하기

02장. 상관관계: 무엇이며 어디에 쓰는가?
__2장에서 다루는 내용
__들어가며
__상관관계란 무엇인가?
____단순 사실인가 상관관계인가?
__상관관계는 어디에 쓰나?
____관계 서술
____예측
____인과 추론
__상관관계 측정
____평균, 분산, 표준 편차
____공분산
____상관계수
____회귀선 기울기
____모집단과 표본
__선형성에 관한 직설
__정리
__핵심 용어
__연습 문제
__읽을거리


03장. 인과관계: 무엇이며 어디에 쓰는가?
__3장에서 다루는 내용
__들어가며
__인과관계란 무엇인가?
__잠재적 결과와 반사실성
__인과관계는 어디에 쓰나?
__인과 추론의 근본적인 문제
__개념적 쟁점
____원인이 무엇인가?
____인과관계와 반례
____인과관계와 법률
____인과관계가 시간을 거슬러 올라갈 수 있나?
____인과관계는 물리적인 연결 고리가 있어야 하나?
____인과관계가 반드시 상관관계를 내포하지는 않는다
__정리
__핵심 용어
__연습 문제
__읽을거리


2부 ― 관계가 존재하는가?

04장. 상관관계는 변이가 있어야 한다
__4장에서 다루는 내용
__들어가며
__종속 변수의 취사 선택
____1만 시간 법칙
____젊은 세대의 타락
____고등학교 중퇴
____자살 공격
__세상은 사람들이 종속 변수를 취사 선택하게끔 이뤄졌다
____의사 눈에는 환자만 보인다
____사후 분석
____인생의 조언
__정리
__핵심 용어
__연습 문제
__읽을거리


05장. 관계 서술과 예측에 쓰는 회귀
__5장에서 다루는 내용
__들어가며
__회귀 기초
__선형 회귀, 비선형 데이터
__과적합 문제
____대통령 선거 예측
__회귀 결과를 어떻게 보여 줄까
__회귀의 간략한 학문적 역사
__정리
__핵심 용어
__연습 문제
__읽을거리


06장. 표본, 불확실성, 통계적 추론
__6장에서 다루는 내용
__들어가며
__추정
__왜 추정치는 추정 대상과 다를까?
____편향
____잡음
__어떤 추정량이 좋은가?
__정밀도 정량화하기
____표준 오차
____작은 표본과 극단적인 관찰값
____신뢰 구간
__통계적 추론과 가설 검정
____가설 검정
____통계적 유의성
__관계에 관한 통계적 추론
__전체 모집단 데이터가 있으면 어떻게 할까?
__실질적 유의성 대 통계적 유의성
____소셜미디어와 투표
____제2차 개혁법
__정리
__핵심 용어
__연습 문제
__읽을거리


07장. 과도한 비교, 부실한 보고
__7장에서 다루는 내용
__들어가며
____문어가 축구 전문가가 되다?
__출판 편향
____p -해킹
____p -검열
__대부분의 과학적 ‘사실’이 거짓일까?
____초감각적 지각
____투표 독려
____p -해킹 수사대
__가능성 있는 해법
____유의성 문턱값을 줄여라
____복수 검정에서 p -값을 조정하라
____통계적 유의성에 너무 집착하지 마라
____사전 등록
____재현
____중요하고 타당한 가설을 검증하라
__학문 너머로
____슈퍼스타
__정리
__핵심 용어
__연습 문제
__읽을거리


08장. 평균으로의 회귀
__8장에서 다루는 내용
__들어가며
____진실이 흐릿해진다?
__프랜시스 골턴과 평범함으로의 회귀
__평균으로의 회귀는 중력이 아니다
__도움 구하기
____무릎 수술이 효과가 있나?
__평균 회귀, 위약 효과, 우주의 습관화
____위약 효과
____우주의 습관화 해설
____우주의 습관화와 유전학
__믿음은 평균으로 회귀하지 않는다
__정리
__핵심 용어
__연습 문제
__읽을거리


3부 ― 인과관계인가?

09장, 어째서 상관관계는 인과관계를 내포하지 않는가
__9장에서 다루는 내용
__들어가며
____대안학교
__잠재적 결과를 명확하게 이해하기
__편향의 근원
____교란 변수
____역인과관계
____1만 시간 법칙 다시 보기
____다이어트 소다
__교란 변수와 역인과관계는 어떻게 다른가?
____선거 운동 비용
__편향의 방향(부호) 정하기
____피임과 HIV
__기작 대 교란 변수
__편향과 잡음에 관해 명확하게 사고하기
__정리
__핵심 용어
__연습 문제
__읽을거리


10장. 교란 변수 통제
__10장에서 다루는 내용
__들어가며
____의회의 투표 관리
____이종 조치 효과에 관한 단상
__회귀 파헤치기
__회귀에서 어떻게 통제하나?
__통제와 인과관계
____소셜미디어가 해로운가?
__회귀 표 읽기
__교란 변수 통제 대 기작
__마법은 없다
__정리
__핵심 용어
__연습 문제
__읽을거리


11장. 무작위 실험
__11장에서 다루는 내용
__들어가며
____모유 수유
__무작위와 인과 추론
__실험에서의 추정과 추론
____표준 오차
____가설 검정
__실험에서 나타나는 문제점들
____불응과 도구 변수
____우연성 불균형
____검정력 부족
____이탈
____간섭
__자연 실험
____군 복무와 미래 소득
__정리
__핵심 용어
__연습 문제
__읽을거리


12장. 불연속 회귀 설계
__12장에서 다루는 내용
__들어가며
__불연속 회귀 설계의 구현 방법
____과격파와 중도파 중 당선 가능성이 높은 쪽은?
__문턱값 지점의 연속성
____선거에 관한 불연속 회귀 설계에서도 연속성이 유지될까?
__불응과 흐릿한 불연속 회귀
____베트남전의 폭격
__동기와 성공
__정리
__핵심 용어
__연습 문제
__읽을거리


13장. 이중차분법 설계
__13장에서 다루는 내용
__들어가며
__평행 추세
__두 대상과 두 시기
____실업과 최저임금
__N 개의 대상, 두 시기
____텔레비전 시청이 아이들에게 해로운가?
__N 개의 대상, N 개의 시기
____피임 그리고 성별에 따른 임금 차이
__유용한 진단
____신문의 지지가 투표 결정에 영향을 미치는가?
____비만은 전염되나?
__이중차분법으로 결과 검증하기
____민주적 평화
__정리
__핵심 용어
__연습 문제
__읽을거리


14장. 기작 평가
__14장에서 다루는 내용
__들어가며
__인과매개 분석
__중간 결과
____인지적 행동 치료와 위험에 처한 라이베리아의 청년들
__독립된 이론적 예측
____유권자들이 여성 후보를 차별하는가?
__설계로 기작을 시험하기
____사회적 압박과 투표
__기작 구분하기
____물가 폭등과 극심한 갈등
__정리
__핵심 용어
__연습 문제
__읽을거리


4부 ― 정보로부터 의사결정에 이르기까지

15장 통계를 실체로
__15장에서 다루는 내용
__들어가며
__올바른 단위는 무엇인가?
____갤런당 마일과 마일당 갤런
____퍼센트 대 퍼센트포인트
__데이터 시각화
____정책 선호도와 남벌 전략
____데이터 시각화의 경험 법칙
__통계에서 믿음으로: 베이즈 법칙
____베이즈 법칙
____정보, 믿음, 사전 확률, 사후 확률
____에이브의 소아 지방변증 돌아보기
____공항에서 테러리스트 탐지하기
____베이즈 법칙과 양적 분석
__비용과 편익 기대치
____자주 또는 정확하게 검사하기
__정리
__핵심 용어
__연습 문제
__읽을거리


16장. 목적에 맞게 측정하라
__16장에서 다루는 내용
__들어가며
__엉뚱한 결과나 조치를 측정하기
____일부분만 측정
____중간 결과
____부정확한 목적
__표본은 적절한가?
____외적 타당성
____표본 선택
__전략적 적응과 관계 변화
____등불세와 창문세
____야구의 수비 시프트
____마약과의 전쟁
__정리
__핵심 용어
__연습 문제
__읽을거리


17장. 정량화의 한계
__17장에서 다루는 내용
__들어가며
__증거가 부족할 때의 의사결정
____비용 편익 분석과 환경 규제
____치실 사용과 마스크 착용
__정량화와 가치
____정량적 도구가 어떻게 가치를 몰래 들이미는가
____정량화는 어떻게 우리의 가치를 형성하는가
__명확히 사고하고 다른 사람들도 따르도록 돕자
__연습 문제
__읽을거리

[본 문]

1부에서는 용어의 의미를 구축하며, 특히 상관관계와 인과관계를 양적 분석의 초석으로서 강조한다.
이를 바탕으로 2부에서는 데이터와 증거 자료를 사용해서 세상에 존재하는 여러 특성 사이에 상관관계나 인과관계가 존재하는지 여부를 판별하는 방법을 다룰 것이다. 4장은 종속 변수를 고르는 과정에서 흔히 범하는 실수를 소개하고, 변이를 고려하지 않고 상관관계를 구축할 수 없는 이유를 보여주고, 이런 실수가 큰 영향을 미친 무수한 사례를 살펴본다. 5장은 회귀를 시각적으로 나타내기에 집중해, 상관관계를 측정하는 방법을 다룬다. 6장은 통계적 유의성과 가설 검정을 설명하고, 이 책에서 여러 번 나올 공식을 소개한다.

4장을 읽어도 데이터로부터 관계를 수립하는 데 있어서 명확한 사고의 중요성이 충분히 전달되지 않았다면, 7장은 p-해킹 문제, 출판 편향, 그 밖에 관련 있는 주제를 논의함으로써 이를 확실히 한다. 마지막으로, 8장은 평균으로의 회귀라는 생소한 주제를 다루고, 이를 앞서 설명한 출판 편향과 결합해서 재현성 위기와 더불어, 흔히 나타나는 과학적 추정치가 시간이 흐르면서 감소하는 현상을 보여 준다.

3부에서는 인과 추론으로 넘어가서 세상사에 개입하는 의사결정에 있어서 인과관계에 관한지식이 얼마나 중요한지 일깨운다. 9장은 교란 변수와 역인과관계를 논하면서, 상관관계가 반드시 인과관계를 내포하지는 않는 이유를 설명한다. 10장은 통계 분야의 통제를 다루고, 회귀의 관점에서 이를 도식화한다. 11장부터 13장까지는 인과관계를 학습하려는 학자들이 어떻게 연구 방식을 설계하는지 개괄적으로 소개한다. 11장은 무작위 실험과 자연 실험 두 가지를 모두 다루는데, 불응 문제를 다룰 방법인 도구 변수를 소개한다. 12장과 13장은 회귀 불연속과 이중차분법 설계를 차례로 다룬다. 14장에서는 인과관계 기작 학습에 따르는 어려움을 논의하면서 3부를 마친다.

4부에서는 인과관계가 끝이 아님을 지적한다. 인과적 효과에 관한 지식이 충분해도 그것만으로 정량화된 정보를 활용해서 의사결정을 잘 하는 방법을 터득했다고 보기는 어렵다. 15장은 여러분이 어떤 정량화된 정보가 어떤 질문에 대한 답을 주는지를 얼마나 쉽게 헷갈리는지 지적하고, 이런 실수를 피하게끔 정보의 세부 사항으로부터 핵심을 추려내도록 독려한다. 이 과정에서 베이즈 법칙(Bayes’ rule)을 소개한다. 16장은 측정, 외부 타당성, 외삽법(extrapolation)을 다루며, 표본 선택 편향도 함께 논의한다. 마지막으로, 17장에서는 정량 분석을 아무리 명확하게 하더라도 의사결정 과정에서 겪는 근본적인 한계를 마주한다.

통계 기법보다 비판적 사고에 초점을 두고 데이터 과학을 흥미롭게 소개한다.

데이터 과학이나 통계 입문서에서 복잡한 수학 정리를 증명하거나 뜻도 잘 모르는 용어와 공식을 외우도록 하는 일은 피해야 하는데, 현재 정량 분석 입문 교재는 대부분 이런 내용만 강조한다. 반면에 이 책은 무엇보다도 비판적 사고와 개념 이해에 집중해서, 학생들로 하여금 살면서 마주칠 정량적 정보와 논증에 있어서 더 나은 소비자이자 분석가가 되도록 가르친다.

특히 데이터에서 관찰한 어떤 관계가 현실에 존재하는 관계를 반영하는지 판단하는 방법, 정말 그렇다면 그 관계가 인과관계인지 파악하는 방법, 그리고 질문에 답하는 데 가장 유용한 비교를 하는 방법을 설명한다. 또한, 정량적 증거를 들어서 주장하는 사람에게 어떤 질문을 해야 하는지, 어떤 통계가 특히 유용하거나 판단을 그르치는지 알려주며, 정량적 증거가 어떻게 의사 결정에 영향을 미쳐야 하거나 미치면 안 되는지, 그리고 데이터뿐만 아니라 윤리적 가치도 함께 고려해서 더 나은 의사 결정을 하는 방법을 가르친다. 다양한 실제 사례를 통해서, 선거, 시민 저항, 범죄, 테러, 금융위기, 건강보험, 스포츠, 음악, 우주 여행과 같이 폭넓은 주제에서 사고 도구를 문제에 응용하는 방법을 보여준다. 뿐만 아니라, 데이터 기반 시대의 여러 이점에도 불구하고, 어째서 데이터가 인간의 사고를 대체하지 못하는지 보여준다.

◆ 데이터 과학, 통계학, 정치학, 경제학, 심리학, 사회학, 공공 정책 등의 분야에 모두 적용가능한 정량 분석법 개론
◆ 표본, 가설 검정, 베이즈 추론, 회귀, 실험, 도구 변수, 이중차분법, 회귀 불연속성을 포함한 데이터 분석의 기본 도구
◆ 다양한 주제에서 얻은 실제 사례와 데이터
◆ 데이터를 다루는 연습 문제

지은이의 말
우리는 데이터 기반 시대에 살고 있다. 구글(Google)의 전 CEO인 에릭 슈미트(Eric Schmidt)는 오늘날 이틀마다 생산되는 데이터의 양이 태초부터 2003년까지 생산된 양과 맞먹는다고 말했다. 이 모든 정보는 우리의 삶을 더 낫게 만들 힘이 있지만, 이 힘을 제대로 쓰려면 데이터 기반 세상을 명확히 사고하는 법을 배워야 한다. 명확한 사고는 어렵고, 특히 데이터와 데이터 분석을 둘러싼 온갖 기술적 세부 사항이 얽히면 더욱 그렇다.
데이터 기반 시대에 명확하게 사고하려면 무엇보다도 개념과 질문에 집중해야 한다. 세부 기법은 비록 중요하긴 하지만 어디까지나 개념과 질문을 뒷받침할 뿐이다. 안타깝게도 많은 사람이 데이터를 배우는 통계학이나 양적 추론 수업에서는 정반대로 기술적 세부 사항에 집중한다. 학생들은 수학 공식을 배우고 통계적 절차의 이름을 외우고 자신들이 무엇을, 왜 하는지 명확하게 생각해 볼 기회 없이 숫자만 주물럭거린다. 이런 접근 방식은 수학에 익숙한 사람들에겐 괜찮다. 그렇지만 대다수의 사람들에겐 역효과가 난다는 것이 우리 의견이다. 학생들이 세부 기법을 익히느라 생각하기를 멈추고 외우기 시작하면 나무만 보고 숲은 못 보게 된다. 게다가 재미도 없다.
우리는 이와 반대로 개념 이해에 집중하겠다. 여러분이 데이터를 분석할 때 세상의 어떤 특성을 비교하는가? 서로 다른 종류의 비교는 어떤 질문에 대답할 수 있는가? 풀고자 하는 문제에 맞는 질문과 비교 대상을 알고 있는가? 그럴듯하게 들리는 대답이 어째서 실제로는 방향이 잘못된 경우가 생길까? 좀더 유익한 답변을 얻으려면 어떤 창의적인 접근 방법을 쓸 수 있을까?
세부 기법이 중요하지 않다는 얘기가 아니다. 다만 개념 이해와 명확한 사고 없이 기술만 익히면 재앙을 부른다. 여러분이 일단 양적 분석에 관해 명확하게 사고하고, 일단 주의 깊고 정밀한 질문을 던지는 일이 왜 중요한지 이해한다면 분석 기술은 자연스럽게 따라온다. 게다가 이 편이 더 재미있다.
이런 점을 고려해서 데이터 분석, 통계학, 기타 정량적 방법론의 사전 지식 없이도 이 책을 읽을 수 있도록 썼다. 개념적 사고가 더 중요하기 때문에 되도록 일상 언어로 설명하고 기술 관련 내용을 (완전히 배제하지는 않았지만) 최소화했다. 이 책이 양적 분석을 고찰하고 실행하는 방법의 길잡이가 되길 바란다. 누구나 정량화된 정보의 세련된 소비자가 (심지어 생산자도) 될 수 있다고 믿는다. 단지 인내심, 끈기, 많은 노력, 세부 기법이 명확한 사고를 몰아내지 않도록 할 굳건한 의지가 있으면 된다.
데이터 분석 전문가가 되는 사람은 그리 많지 않다. 다만 여러분이 데이터 분석가든 아니든 이 책에서 배운 기술을 다양한 방식으로 활용할 것이라고 자신한다. 여러분 중에는 양적 분 석가를 고용했거나 그들과 협업하는 사람도 많을 것이다. 그리고 여러분 모두가 논문, 뉴스 기사, 업무 브리핑 등을 읽을 터이고, 이 글을 쓴 저자는 양적 분석을 활용해서 어떤 결론을 납득시키려고 할 것이다. 이 책은 올바른 질문을 던지고, 필요하다면 회의적으로 바라보고, 유용한 증거와 오도하는 증거를 구분하기에 필요한 명확한 사고 능력을 갖추게 해 줄 것이다.

옮긴이의 말
빅데이터라는 용어가 식상하게 느껴지는 시대다. 데이터의 양은 물론이고 분석 도구와 활용 범위 또한 하루가 다르게 늘어간다. 게다가 인공지능의 대두로 빅데이터의 효용성이 더욱 부각되는 모습이다.
저자들이 이 책을 완성한 이후로도 인공지능은 장족의 발전을 거듭했고, 이제는 사람의 자리를 위협할지도 모른다는 위기감마저 느껴질 정도다. 대량의 데이터를 처리하는 능력을 따지면 사람은 진작부터 컴퓨터의 상대가 아니었다. 더욱이 최근의 인공지능은 기계적인 분석을 넘어서 인간만의 영역으로 여기던 추론 능력까지 선보이기 시작했다. 그렇다면 우리는 과연 조만간 모든 결정을 프로그램에 맡기고 그저 따르는 존재가 될까?
영화 <쇼생크 탈출>에서 주인공 앤디 듀프레인은 이렇게 말했다.

희망은 좋은 거죠. 가장 소중한 것일지도 몰라요. 그리고 좋은 것은 절대 사라지지 않아요.

올바른 사고는 사람이 지닌 좋은 능력이다. 인공지능이 정말로 대단한 능력을 보여주고 사람이 하던 많은 일을 대신하더라도, 절대 사라지지 않을 소중한 희망이겠다. 물론 거저 얻어지는 열매는 아니며 부단한 노력이 필요하다. 아무쪼록 여러분이 올바르게 사고하는 능력을 가꿔 나가는 데 이 책이 길잡이가 되길 바란다.
―임형준

추천사
상관관계와 인과관계는 같으면서도 다르다는 말을 공공연히 듣는다. 하지만 이 둘이 어떻게 같고 또 정확히 어떻게 다른가? 『데이터 분석과 비판적 사고』는 공통의 이론을 명확히 펼쳐보임으로써 이 두 가지 고급 주제를 엮어낸다. 이 책은 고전이 될 만하며, 모든 사회과학자의 책장에 꽂히게 된다면 다행이겠다.
―스콧 커닝햄(Scott Cunningham) 베일러 대학교(Baylor University)

재치 있고, 박식하며, 흥미롭고 기억에 남을 사례로 꽉 찬 『데이터 분석과 비판적 사고』는 통계학의 핵심 개념을 일상생활로 가져다준다. 이 책이 주는 통찰력은 창의적인 연구 전략을 찾는 학자뿐 아니라 매일 육아에서 개인 금융에 이르기까지 합리적인 결정을 내리고 싶은 독자에게도 유용하다.
―도널드 P. 그린(Donald P. Green) 컬럼비아 대학교(Columbia University)

이 책은 데이터 분석 수업에서 사고를 첫머리에 강조함으로써 꼭 필요한 부분을 채운다.
―더스틴 팅글리(Dustin Tingley) 하버드 대학교(Harvard University)

에단 부에노 데 메스키타(Ethan Bueno de Mesquita)
시카고 대학교의 해리스 공공 정책 스쿨(Harris School of Public Policy)의 시드니 스타인(Sydney Stein) 교수이자 부학장이다. 『Political Economy for Public Policy』(Princeton University Press, 2016)의 저자이며, 『Theory and Credibility: Integrating Theoretical and Empirical Social Science』(Princeton University Press, 2021)의 공동 저자이기도 하다.

앤서니 파울러(Anthony Fowler)
시카고 대학교의 해리스 공공 정책 스쿨 교수다.

옮긴이 임형준
전산학 전공으로 학부와 석사 과정을 졸업했다. 10년간 개발자로서 검색 엔진을 개발하다가 데이터를 다루고 싶어서 초보 데이터 엔지니어로 전직했다. 데이터 분석이라는 바다에 떠다니는 수많은 훌륭한 시스템과 분석 도구에 감탄하고 탐색하고 방황하면서 나아갈 길을 찾는 중이다. 『정보 검색의 이론과 실제』(에이콘, 2021)를 공동 번역했다.