아침에 눈을 뜨자마자 우리는 이미 데이터를 만들고 있다. 스마트폰 알람을 끄고, 날씨 앱을 확인하며, 지하철 도착 시간을 검색하는 순간에도 수많은 데이터가 생성되고 저장된다. 하루 동안 우리가 남기는 검색 기록, 구매 내역, 이동 정보, 영상 시청 기록은 우리의 취향과 행동 패턴을 보여주는 디지털 발자국이 된다.

이 데이터는 기업에게 중요한 자원이 된다. 온라인 쇼핑몰은 고객의 구매 기록을 분석해 맞춤형 상품을 추천하고, 금융회사는 거래 데이터를 실시간으로 분석해 부정 사용을 감지한다. 스트리밍 플랫폼은 이용자의 시청·청취 이력을 바탕으로 콘텐츠를 추천하고, 배송 기업과 항공사는 주문, 재고, 예약, 수요 정보를 분석해 운영과 가격 전략을 조정한다. 이처럼 우리가 일상에서 만들어내는 데이터는 기업의 마케팅, 서비스 개선, 운영 효율화, 의사결정에 활용되고 있다.

데이터는 더 이상 연구실 속 기록이나 기업 보고서 속 숫자에 머물지 않는다. 우리는 매 순간 데이터를 만들고, 그 데이터는 다시 우리의 선택과 경험을 바꾼다. ‘빅데이터’라는 흐름은 데이터의 양뿐만 아니라 속도, 다양성, 실시간성에서 과거와 다른 특징을 보인다. 특히 인공지능의 발전, 클라우드 환경의 확산, 데이터 저장·처리 비용의 하락은 빅데이터의 활용 가치를 더욱 높이고 있다.

이 책은 이러한 현실을 바탕으로 데이터 분석 기법이 기업과 사회에서 어떻게 가치를 창출하는지를 이해하도록 돕기 위해 쓰였다. 기법의 핵심 원리는 다루되, 지나치게 복잡한 수학적 증명이나 프로그래밍 구현은 포함하지 않았다. 대신 데이터 분석이 어떤 질문에서 출발하고, 어떤 방식으로 문제를 해결하며, 실제 의사결정에 어떻게 활용되는지를 중심으로 설명하고자 하였다.

필자가 데이터 분석 관련 과목을 강의하면서 느낀 아쉬움은 많은 책과 강의가 수학적 원리나 프로그래밍 구현에 지나치게 초점을 둔다는 점이었다. 물론 프로그래밍은 분석을 실행하고 현실에 적용하기 위한 중요한 도구이다. 그러나 데이터를 마주했을 때 어떤 질문을 던질 것인지, 어떤 분석 기법이 적합한지, 분석 결과를 어떻게 해석하고 활용할 것인지를 판단하는 능력 역시 그에 못지않게 중요하다. 이 책은 바로 그 지점에 초점을 맞춘다.

이 책은 데이터 분석 기법의 활용에 관심 있는 고등학생, 대학생, MBA 학생, 현업 실무자를 폭넓게 염두에 두고 집필하였다. 독자들이 데이터 분석의 핵심 개념과 실제 사례를 통해 데이터를 바라보는 시각을 넓히고, 이를 비즈니스와 사회의 다양한 문제 해결에 연결해 볼 수 있도록 하는 것이 이 책의 목표이다.

이 책의 구성은 다음과 같다. 먼저 책의 전반부에서는 빅데이터의 개념, 데이터가 급격히 증가하게 된 배경, 그리고 기업이 데이터를 활용해 달성하고자 하는 목표를 살펴본다. 중반부에서는 데이터 분석 기법을 목적에 따라 설명한다. 비즈니스 애널리틱스(business analytics) 분야에서는 데이터 분석 기법들을 그 목적에 따라

ㆍDescriptive Analytics: 무슨 일이 일어났는지 분석하는 기법(데이터 시각화),

ㆍPredictive Analytics: 앞으로 무슨 일이 일어날지 예측하는 기법(예측기법),

ㆍPrescriptive Analytics: 어떻게 의사결정을 해야 하는지(최적화·의사결정 모델)

의 세 범주로 분류한다. 이 책도 이러한 흐름에 따라 주요 기법의 원리와 활용 사례를 소개한다. 후반부에서는 데이터 프라이버시, 알고리즘 편향, 데이터 독점 등 빅데이터 시대에 함께 고민해야 할 윤리적 이슈와 데이터 역량을 다룬다.

최선의 노력을 기울였으나 여전히 부족한 부분이 있을 수 있다. 이에 대한 독자 여러분의 양해를 구하며, 추후 발생할 수 있는 수정사항 등은 자유아카데미 홈페이지(www.freeaca.com) 자료실을 통해 제공할 예정이니 참고하기를 바란다.

이 책이 데이터를 바라보는 여러분의 시각을 바꾸고, 그것을 의사결정과 혁신의 원천으로 활용하는 계기가 되기를 바란다.

[목 차]

1장 빅데이터: 개념, 활용, 등장 배경

1.1 빅데이터의 정의와 특징

1.2 데이터를 통한 기업 운영의 목표

1.3 빅데이터 등장배경

 

2장 데이터 분석 절차 및 기법의 분류

2.1 데이터 분석 절차

2.2 데이터 분석 기법의 분류

 

3장 Descriptive Analytics: 데이터를 이해하는 과정

3.1 데이터 요약을 위한 기초 개념

3.2 그래프와 그림을 활용한 데이터 요약

3.3 수치를 활용한 데이터 요약

 

4장 Predictive Analytics: 데이터로 미래를 학습하는 과정

4.1 데이터를 통한 예측

4.2 데이터 전처리

4.3 예측 및 분류 모델의 성능 평가

 

5장 Predictive Analytics I: 예측 및 분류 모델 I

5.1 선형회귀 모델

5.2 최근접 이웃 알고리즘(k-NN)

5.3 의사결정나무(Decision tree)

 

6장 Predictive Analytics II: 예측 및 분류 모델 II

6.1 조건부 확률과 나이브 베이즈 분류기

6.2 로지스틱 회귀분석

6.3 신경망

 

7장 Predictive Analytics III: 예측 및 분류 모델 III

7.1 서포트 벡터 머신(SVM)

7.2 부스팅 기법

7.3 앙상블(Ensemble) 기법

 

8장 비지도 학습: Unsupervised Learning

8.1 연관규칙

8.2 협업 필터링

8.3 군집분석(클러스터링, Clustering)

 

9장 Prescriptive analytics I: 처방적 분석과 선형계획법의 기본 원리

9.1 Prescriptive analytics란 무엇인가

9.2 의사결정을 수리모형으로 바꾸기

9.3 선형계획법의 원리

 

10장 Prescriptive analytics II: 응용사례

10.1 광고 예산은 어디에 써야 할까: 매체 선정 문제

10.2 어떤 원료를 얼마나 섞어야 할까: 사료 배합 문제

10.3 항공권 가격과 좌석 배정의 원리: 수익경영

10.4 어떤 복지사업을 지원해야 할까: 프로젝트 선정 문제

 

11장 데이터와 AI 시대의 책임 있는 분석

11.1 분석 기법 돌아보기

11.2 데이터 생애주기와 윤리적 쟁점

11.3 AI 혁신의 특징과 구성 요소