페이스북, 트위터, 아마존과 같은 디지털 플랫폼이 생활 깊숙이 들어오면서 데이터 활용가치는 높아지지만, 수학과 통계 때문에 데이터 분석을 본격적으로 시작하지 못 하고 있다. 최근에는 정형화된 숫자 데이터를 넘어 문자 데이터에서 지금껏 포착할 수 없었던 새로운 의미를 추출해야 하는 어려움 때문에 빅데이터 분석 진입장벽은 또 한 단계 올라가는 중이다. 한국에서 가장 인기 있는 프로 스포츠인 야구로 빅데이터 분석을 다룬다면, 데이터가 새롭게 보일 수 있다. 메이저리그에서 지난 140년 동안 통계원의 손으로 시작해, 90년대 퀘스텍(QuesTec), 2000년대 PITCHf/x, 2010년대 아마존과 파트너쉽을 통한 트랙맨 플랫폼까지 상상 이상의 야구 데이터가 수집돼 왔다. 장구한 메이저리그 데이터의 힘을 빌려 전통적 분석인 상관관계 분석, 분산분석, 회귀분석, 로지스틱 회귀분석, 계량경제학 패널데이터 분석과 최근 머신러닝으로 다시 관심을 받고 있는 군집분석, 요인분석, 지도학습, 딥러닝 기반 자연어처리를 통해 야구 이야기를 모델링하고 직접 테스트한다. 모든 작업에는 학계와 산업계 분석 작업에 이미 중심이 된 오픈소스 통계 프로그램 R을 사용한다.
데이터 분석 목적은 데이터를 통해 현실을 모델링하고 예측하며, 데이터에 담긴 정보와 의미를 추출해 인간의 인지적 한계를 극복한 합리적 의사결정을 하는 것이다. 분석 목적을 달성하는 데 반드시 거쳐야 하는 전처리(preprocessing) 전략은 데이터 분석보다 더 중요하고 많은 아이디어를 요구한다. 1판에서는 경험 부족으로 놓쳤지만, 이후 논문을 출판하고 ‘마케팅과 경영전략을 위한 데이터 분석’을 강의하면서 중요하다고 느끼게 된 전처리 전략을 2판 곳곳에 추가했다. 또한 1판에서 부족했던 그래픽 분석 방법을 새롭게 업데이트했다. 2판에서의 가장 큰 변화는 정형화되지 않은 문자 데이터까지도 분석에 활용할 수 있도록 머신러닝을 추가한 점이다. 비지니스 환경은 정형화된 숫자 데이터로는 이해할 수 없는 한계를 경험하고 있으며, 사람들이 남긴 디지털 커뮤니케이션에서 의미 있는 신호를 포착하는 데 주목하고 있다. 핵심 기술은 머신러닝이며 그 시작을 야구데이터와 함께 할 수 있다.

[목 차]

1장. 변수를 알면 분석모델을 디자인할 수 있다
__데이터과학에서 왜 야구인가?
__분석 공부 중도에 포기하지 않는 방법: 나만의 데이터 만들기
__변수를 알아야 분석이 보인다
____연속 변수
____이산 변수
____명목 변수
____서열 변수
__데이터 구조를 파악하다
__여러분이 가지고 있는 변수의 특징
____데이터 중심화 경향
____데이터의 분포범위
__데이터는 조작되지 않아야 한다
__데이터 분석의 완성: 데이터 가치 사슬
__R 스튜디오와 친구들
____R 스크립트
____R 노트북
____R 마크다운
____샤이니웹앱
__패키지 없는 R은 앱 없는 스마트폰
__정리하며


2장. 메이저리그 데이터 마이닝
__마이닝의 개념
__간단한 데이터 내 손으로 직접 만들기
__데이터를 R로 불러올 때 알아두면 좋은 정보
__인터넷에서 만난 팬그래프닷컴 데이터를 R로 불러오기
__빅데이터에서 필요한 데이터 분리하기
__작업했던 코딩과 데이터 정보 저장하기
__순서가 같은 테이블 합치기: cbind( ) 그리고 rbind( )
__순서가 다른 테이블 합치기: merge( )
__양적 변수를 명목 변수로 바꾸기
__괄호 사용법
____소괄호 ( )
____중괄호 { }
____대괄호 [ ]
__결측값 제거하기
__조건문 사용하기
__계속 사용할 테이블 고정하기
__추가로 공유하고 싶은 마이닝 기법들
__정리하며


3장. 선수의 능력은 어떻게 측정할 것인가?
__과학적 측정
__측정의 신뢰도
__영화 <머니볼>에서 보는 신뢰도가 높은 지표의 활용 케이스
__측정의 타당도
__능력과 운의 결과물: 시즌 성적
__공격지표들을 이용한 상관관계
__데이터에서 룰을 찾다: 연관성 분석
__선수와 감독의 인적 상관성: 네트워크 분석
__기술통계와 추정통계의 매개: 히스토그램은 막대그래프가 아니다
__정리하며


4장. 상관관계는 인과관계가 아니다
__인과관계의 필수조건
__확률로 따지면 말이야
__오류는 모델링의 꽃
____진실이 존재하는 신의 영역
____예측모델과 데이터가 있는 현실계
__확률과 우도
__출루의 조건: 최대우도추정법
__정규분포: 얼마나 칠 것인가?
____중심극한정리란?
____회귀분석에서는 왜 정규분포를 사용하지 않고 스튜던트 t 분포를 사용하는가?
__좋은 예측모델 구별법: 표준오차
__팀타율 1푼의 가치는 2천 4백만 달러?
__팀득점 예측을 위해 만든 추정모델 해석하기
____조절된 설명력
____모델 전체의 의미: F 통곗값
____계수의 p 값: 긍정오류의 가능성 유의확률
__게임당 팀득점 신뢰성 있게 예측하기
____신뢰구간
____예측구간
__정리하며


5장. 비교와 구분
__다른가?
__시각적 비교
__모델에 영향을 주는 이상치를 찾아라
__메이저리그 140년 역사의 원동력: 표준편차의 힘
____시즌타율 3할의 효과 40년간의 관찰: 패키지 plyr
____시즌타율 표준편차가 적을수록 야구장에 관중들이 더 모인다?
__실험군은 아메리칸리그, 대조군은 내셔널리그
__그룹 간 비교 시각화 방법: 패널차트구글 트렌드와 분산분석(ANOVA) 연계
__데이터를 분리해 필요한 부분만 취하다: 스트링 변수
__비모수 시대의 그룹 간 비교
__긍정오류와 부정오류
__긍정오류, 부정오류, 그리고 판별분석
__내셔널리그, 아메리칸리그, 그리고 판별분석
__지구에서 우승할 가능성, 우승하지 못할 가능성: 로지스틱 회귀분석
__지구에서 우승할 팀, 우승하지 못할 팀, 그리고 딥러닝
__자율학습을 활용한 군집분석
__정리하며


6장. 모델링
__복잡한 현실을 수학으로 모형화하고 통계로 증명하다
__2차함수 사고하기
__고차함수 사고하기
__논리와 데이터를 연결하다: 모델 선택
____단순선형회귀분석모델(simple linear regression)에 기반한 주장
____다중선형회귀분석모델(multiple regression)에 기반한 주장
____고정효과모델(fixed effects model)에 기반한 주장
____다수준혼합모델(multilevel mixed effects model)에 기반한 주장
____시차 변수를 보유하는 다수준혼합모델에 기반한 주장
____시차 변수와 자기상관을 보유하는 다수준혼합모델에 기반한 주장
__조건이 포함되는 모델링: 조절 변수
__리그별 홈런의 관중 동원 효과: 리그의 조절효과
__다수준혼합모델로 메이저리그 팀승수 추정하기
__실험실 없이 실험환경 통제하기: 통제 변수
__눈에 보이지 않는 교란요인들 잡아내기
__단순선형모델, 임의효과모델, 고정효과모델의 비교
____단순선형모델
____임의효과모델
____고정효과모델
__정리하며


7장. 머신러닝
__머신러닝: 기계에 답을 주고 인간은 로직을 얻는다
__최적의 타순 정하기
____케이스 스터디
____기계가 학습을 하려면 몇 가지 사전 작업이 필요하다
____베이즈 룰
____머신러닝: 데이터, 정답지, 그리고 베이즈 방식
__머신러닝의 종류
__자연어 처리와 머신러닝
__지도학습으로 문서 분류하기
____지도학습으로 분류모델 개발하기
____분류결과
__기계는 글의 의미를 이해하는가
__글과 머신러닝의 역사
__주변에 흔한 일반 문서는 어떻게 처리할까


맺음말
__데이터과학을 대하는 자세.
__R을 대하면서 확장되는 생각의 범위
__라만 데이터 적용 부분


[본 문]

★ 지은이의 말 ★

유레카라고 해야 하나? 운명처럼 메이저리그 야구 데이터와 오픈소스 통계 프로그램 R을 동시에 만났을 때, 적절한 시기가 되면 데이터 작업에서 손을 떼야 할 것 같았던 체증이 한순간에 전광석화처럼 뚫려버렸다. 교수라는 직업으로 생존하기 위해서는 분석을 해야만 했다. 어쩌면 터널이 뚫리기 직전에 그 둘을 만났을지도 모르지만, 만난 이후로는 새로운 세상과 빠르게 연결되고 있음을 느낀다. 각종 매체로부터 쏟아져 나오는 4차 산업혁명이라는 소음에 귀를 막고 있기보다는 자신의 가치를 높일 수 있는 데이터과학에서 수학과 통계학의 부담감을 내려놓고, 메이저리그 야구 데이터를 직접 실험하면서, 모호한 4차 산업혁명을 따라잡기 위한 경영전략을 가르치는 경영학자의 관점으로 이야기하고 싶어 이 책을 준비했다. 최근에 빅데이터라는 이야기는 지겹게 들었지만 여전히 남의 이야기로 들리고, 지켜만 보다 뒤처지지 않을까라는 고민을 해결할 수 있도록 데이터과학을 메이저리그 이야기와 합쳐서 풀어나간다. 제법 많은 한국인 선수가 활약하고 있어 우리에게 익숙한 메이저리그는 140여 년의 장구한 기간 동안 메이저리거들의 흔적을 데이터로 기록했다. 이러한 데이터를 직접 대면할 때 느끼는 개방성과 거대함, 그리고 정밀함은 데이터과학에 대한 거침없는 호기심을 불러일으킨다.
특히 수학과 통계학 때문에 데이터과학에 접근하는 데 주저하는 분들에게 이 책이 새로운 통로를 열어줄 터닝포인트가 됐으면 하는 바람이다. 저자는 어려서부터 통계에 관심이 있었거나 관련 책을 쓰는 것이 인생의 목표는 아니었다. 박사학위를 마치기 위해 고통받으면서 배웠던 통계지식들이 사라질까 봐, 매번 블로그에 기록으로 남겨놓다 보니 제법 많은 양의 이야깃거리가 됐고, 블로그에 흩어져 있던 내용을 필요한 분들과 나누면 도움이 될 것 같아 책으로 정리했다. 한국에서 한참 직장생활을 하고 적지 않은 나이에 유학을 온 입장에서 영어는 극복하기 힘든 벽이었다. 박사과정 학생으로 강의할 때는 발음, 악센트, 그리고 표현법에서 미국이나 캐나다 출신의 네이티브 강의자들에 비해 비교열위에 있다는 위기감 때문에 극복할 수 있는 방법을 모색하다가 생존전략으로 찾게 된 포지셔닝이 데이터 분석이었다. 영어를 모국어로 사용해 박사과정에 들어온 동료들과 연구 프로젝트를 같이 하기 위해 뒤돌아볼 것도 없이 내린 결정이 ‘가설검증만큼은 내가 한다’는 다짐이었다.
연구과정 생존을 위해 익혔던 분석방법을 공유하는 만큼 이 책의 첫 번째 수혜자는 석사과정 또는 박사과정 진학을 준비하고 있거나 과정 중에 있는 분들이라 생각한다. 박사과정을 마치고 연구실을 비워줄 때, 끝까지 책상에 꽂혀 있었던 『Rhythms of Academic Life』처럼 박사과정에 진학한 누군가의 책상 위에 놓여 있을 책으로 만들고 싶었다. 두 번째는 직장생활을 하면서 데이터는 쏟아져 나오는데 어떻게 활용할지 모르는 직장인에게 전략적 참고서가 됐으면 한다. 저자가 은행에서 근무하면서 데이터의 가치를 전혀 깨닫지 못하고 살던 적이 있다. 지금 생각해보면 무한으로 생성되던 데이터를 의사결정에 활용하지 않고 주어진 분석결과만 읽으면서 수동적으로 직장생활을 했던 점이 아쉽게 느껴져 과거의 나와 비슷한 생활을 하고 있을 분들에게 임팩트를 줄 수 있도록 디자인했다. 세 번째는 야구통계가 궁금해서 세이버메트릭스에 관심을 갖기 시작한 분들이 이번 기회에 데이터과학 쪽으로 관심의 폭을 넓히는 데 도움이 됐으면 한다. 사실 야구에서 쏟아져 나오는 선수들의 경기성적 데이터를 현실에 적용하기에는 한계가 있지만, 야구 데이터와 데이터과학의 조합은 야구의 적용범위를 대폭 넓혀준다. 마지막으로 큰 도움을 드릴 수 있는 그룹은 통계 프로그램 언어인 R을 배우려고 마음먹고 있던 분들일 것이다.
최근의 변화를 이끌어가는 사물인터넷, 자율주행자동차, 인공지능의 큰 트렌드에 동참하려는 분위기가 소셜 네트워크를 통해 전문가를 넘어 일반인들 사이에서도 확산 중이다. 보기 좋게 만들었던 파워포인트의 무의미함에 대한 경고의 목소리가 커지고, 직장인들은 업무를 통해 흘러넘치는 데이터를 정리해놓는 수준에서 벗어나 남들이 보지 못하는 패턴을 모델링해서 대중과 커뮤니케이션하려는 움직임도 명료하게 감지된다. 이러한 과정에서 유튜브와 오픈소스 강의를 통해 자기주도형 학습이 변화를 이끌어가고 있지만, 공개 강의를 따라잡기 위해 학창시절 보던 수학 정석이나 기초통계 교과서를 다시 열어보다가 모수, 공분산, 임의변수, 표본오차, 최소좌승법, 최대우도법 같은 단어들이 등장하기 시작하면 내가 갈 길이 아님을 확인하고 자기주도형 학습을 자기주도로 종료하는 경우가 적지 않다.
명확한 목표 없이 시작하는 데이터 분석에 대한 공부는 참고서를 몇 번 뒤적거리다가 포기하기 쉽다. 학창시절이나 직장에서 분석업무 능력을 키워보려고 통계 공부도 해봤지만 가슴 깊은 곳으로 내려 꽂혔던 기억이 별로 없었다. 특히 통계학 책에서 기업의 제품 불량률, 환자의 혈압수치, 시제품의 효과성, 법률 개정의 효과 등 예제로 사용됐던 내용들이 일상생활과는 동떨어져 데이터가 생산된 배경 자체를 이해하는 것이 어렵다 보니 정작 통계분석을 이해하는 데 방해가 되기도 했다. 배워야 하는 이유는 알았지만, 효과적인 학습에 갈증을 느끼면서 통계를 흥미롭게 가르쳐볼 수 있지 않을까라는 야망을 갖게 됐다. 그리고 바람대로 2016년부터 대학에서 야구 데이터를 이용한 데이터 분석 과목을 강의해왔고 2017년에는 사물인터넷과 빅데이터를 접목한 새로운 과목을 개설했으며, 2021년에는 마케팅과 경영전략을 위한 데이터 분석이라는 과목을 신규로 개설해서 학생들에게 강의하고 있다. 경영학자인 저자가 강의를 준비하면서 얻은 통계와 전략 사이에서 발생하는 교집합을 야구 이야기로 풀어내기 때문에, 이론과 숫자가 가득한 무거운 이야기들은 거부한다. 대신에 문제 해결에 대한 논리적 사고, 프로그래밍이라는 손에 잡히는 기술, 통계 메커니즘인 확률이론, 현실의 데이터로 해결모델을 검증하는 과학적 접근방법인 모델링(modeling) 사고에 대한 이야기를 메이저리그 야구를 통해 소개한다.

★ 이 책에서 다루는 내용 ★

■ 야구 이야기와 통계 프로그램 R 코드가 동시에 진행되는 이해하기 쉬운 설명
■ 다양한 목적의 분석 툴을 야구에서 발생하는 특수 상황에 맞게 적용
■ 연구질의에 따른 적합한 데이터와 분석방법 선택을 위한 제안
■ 실제 메이저리그 대형 데이터인 라만(Lahman) 데이터베이스 활용
■ 대형 데이터를 분석 목적에 맞게 전처리하는 전략 제시
■ 예측모델에서 발생하는 소음을 제거하는 모델링 방법 소개
■ 머신러닝을 이용한 자연어처리 방법 소개


★ 이 책의 대상 독자 ★

■ R에 관심은 있지만 특별한 동기가 없어서 본격적으로 시작하지 못했던 R 초보자
■ 학위 과정을 준비하고 있거나 학위 과정에서 통계분석을 알고 있어야 하는 독자
■ 직장에서 매일 다루는 데이터를 의미 있게 분석하고, 해석하고 싶은 직장인
■ 야구를 통해 데이터과학을 배우고 싶은 스포츠 팬


★ 이 책의 구성 ★

이 책은 총 7개 장으로 구성됐다. 데이터와 분석 목적이 일치하는가, 측정하려는 개념을 측정하고 있는가, 과학적 예측은 어떻게 하는가, 다름과 같음을 구분할 수 있는가, 분석결과를 호도할 수 있는 소음은 잡아낼 수 있는가에 대해 R에서 메이저리그 경기 데이터를 사용해 직접 실험한 결과를 바탕으로 설명하고 각 장에서 코드를 제시한다.
1장, ‘변수를 알면 분석모델을 디자인할 수 있다’에서는 분석 목적에 맞는 맞춤형 데이터를 만들기 위해 반드시 알아야 하는 데이터 구조와 그 중심에 있는 변수를 메이저리그 데이터베이스를 통해 이해한다. 더불어 데이터 생성, 가공, 분석 활동이 동시에 이뤄져야 하는 비즈니스 환경에서 분석 플랫폼 역할을 하는 R과 오픈소스 R 활용이 궁극적으로 도달해야 하는 데이터 가치 사슬(data value chain)에 대해 설명한다.
2장, ‘메이저리그 데이터 마이닝’에서는 메이저리그팀과 선수들의 데이터를 활용해 빅데이터로부터 특정 데이터를 추출하거나 데이터의 형태를 변형해 분석 목적에 맞게 준비하는 마이닝 기법을 배운다. 특히 원본 데이터에 어떠한 영향도 주지 않고 코드를 통해 변수를 자유자재로 변형하고 2개 이상의 테이블을 공통 변수로 결합함으로써 제기된 문제에 유연하게 답할 수 있는 방법을 제시한다.
3장, ‘선수의 능력은 어떻게 측정할 것인가?’에서는 데이터 시각화의 시작이자 추정통계의 기반이 되는 상관관계 분석을 활용해 신뢰성과 타당성을 보유한 야구지표의 조건을 파악한다. 또한 장타력과 득점의 상관성을 보여주는 산포도의 다양한 시각화 방법, 감독과 선수의 상관 정도인 인맥을 보여주는 네트워크 분석, 산포도 개념을 활용한 메이저리그 구장 위치 정보 소개 그리고 조건에 따라 변하는 다양한 상관 정도를 한 번에 보여주는 패널차트 등 분석을 실행하는 데 필요한 데이터 구조와 코딩방법을 소개한다.
4장, ‘상관관계는 인과관계가 아니다’에서는 인과관계를 모델링하는 대표적인 분석방법인 선형회귀 분석을 실행하기 위해 빅데이터에서 필요한 양의 표본을 임의로 추출해 분석결과를 해석하고 예측하는 방법을 팀타율과 팀득점을 이용해 자세히 설명한다. 특히 예측에서 반드시 발생할 수밖에 없는 다양한 오류를 소개하고, 예측능력이 좋은 모델을 구별하는 기준이 되는 표준오차가 팀득점 예측에 활용되는 과정을 코드를 통해 이해한다.
5장, ‘비교와 구분’에서는 머신러닝이 주목받으면서 가치가 높아지고 있는 분석을 소개한다. 전통적인 t 검증과 분산분석(ANOVA)뿐만 아니라 비지도학습법인 판별분석, 요인분석, 군집분석, 신경망분석과 지도학습법인 로지스틱 회귀분석을 메이저리그팀들이 소속된 리그 구분 및 지구(디비전) 우승 여부와 연계해서 학습한다. 이 과정에서 이상치의 확인과 모델에 미치는 영향, 프로 스포츠에서 선수성적 표준편차가 갖는 의미 그리고 구글 트렌드 데이터를 R에서 활용하는 방법을 소개한다.
6장, ‘모델링’에서는 개념적 관계를 수학적 모델로 전환하는 과정인 모델링에서 관측값이 충분히 많은 빅데이터로 인과관계를 검증한다고 해도 활용할 수 있는 변수가 충분치 않아 측정되지 않은 제3의 변수 때문에 관계는 항상 의심을 받는다는 사실에 주목한다. 메이저리그팀들의 공격능력과 팀성적 간의 인과관계를 입증하기 위해 통제 변수를 개발하고 눈에 보이지 않는 교란 변수를 통제하는 패널모델 및 다수준혼합모델을 적용해 인과관계를 테스트하고 모델 적합성을 평가하는 방법을 코드를 통해 배운다. 어려운 개념인 모델링을 야구와 결합함으로써 일반화된 이론모델, 검증할 수 있는 수학모델, 그리고 현실의 데이터를 R에서 결합하는 방법을 쉽게 이해할 수 있다.
7장, ‘머신러닝’은 2판에서 새로 추가된 장이다. 기존 대부분의 분석들이 행과 열에 맞춰진 구조화된(structured) 데이터라서 사용하기에는 편했지만 그 적용 범위가 좁았다. 머신러닝의 발전으로 글이나 그림 같은 구조화되지 않은(unstructured) 데이터가 눈에 보이지 않아서 숫자 데이터만으로 설명할 수 없는 현상들을 포착할 수 있게 됐다. 야구도 마찬가지다. 트랙맨 시스템이 생성하는 선수들의 기록은 운동장에서 만들어진 결과물이다. 하지만 운동장 밖에서 존재하는 선수들 개개인의 역사도 팀성적과 팀 인기도에 미칠 수 있는 예측력이 있지만, 야구 경험이 없는 분석가들은 그 역사가 무엇인지 모르며 분석에 익숙하지 않은 야구 전문가들은 그 역사를 데이터로 모을 수 있는지 모른다. 이제는 야구 전문가의 경험과 분석가의 분석 역량을 머신러닝으로 연결해서 어느 팀이나 할 줄 아는 데이터 야구를 벗어나 팀 특유의 머신러닝 역량을 만들어낼 때다.

김재민
미시간 오클랜드대학교 비지니스스쿨 경영학과 조교수로 재직 중이다. 학부생과 MBA 학생들을 대상으로 경영전략을 강의하고 있으며, 경영전략과 데이터 분석의 교집합을 다루는 마케팅과 비지니스 전략을 위한 데이터 분석도 강의하고 있다. 경영전략 및 기업의 사회적 책임과 관련된 연구로 「Journal of Business Research」, 「Entrepreneurship Theory & Practice」, 「Journal of Business Ethics」, 「Organization & Environment」 등에 다수의 논문이 실렸다. 최근 연구에 자연어 처리를 위한 머신러닝을 분석 방법으로 활용하고 있으며, 10년 이상 개인 블로그 blog.naver.com/ibuyworld를 통해 연구와 영어강의에 대한 생각을 공유하고 있다