복잡한 분석을 더 빠르게, 더 간결하게 Pandas를 뛰어넘는 분석 도구 Polars

대용량 데이터에서 팬더스(Pandas)의 성능과 표현력의 한계를 체감하는 데이터 분석가가 점점 늘고 있다. 이 책은 파이썬 기반 데이터 분석의 새로운 대안인 폴라스(Polars)를 중심으로 어떻게 더 빠르고 간결한 분석이 가능한지를 실제 사례를 통해 안내한다. 한국 박스오피스 데이터를 활용한 영화 흥행 분석부터 스포티파이 데이터를 통한 로제의 〈APT.〉, BTS, 테일러 스위프트 등 글로벌 음악 데이터 분석 및 트렌드 파악까지 현실적인 분석 시나리오를 통해 폴라스의 빠른 성능을 직접 확인할 수 있도록 구성했다. 팬더스와의 비교를 통해 실행 속도와 메모리 효율, 코드 표현력의 변화를 살펴보고, 지연 평가와 병렬처리, 타입 안정성 등 폴라스의 핵심 개념을 실습 중심으로 풀어낸다. 복잡한 분석을 더 명확하고 안전하게 구현하고 싶은 독자에게 팬더스 이후의 현실적인 선택지를 제시한다.

[목 차]
  

머리말 viii

베타리더 후기 x

이 책을 읽는 법 xii

학습 가이드 xvi

로드맵 xviii

 

PART 1 데이터로 세상을 읽는 시대

CHAPTER 1 데이터 사이언스란?

1.1 데이터 사이언스 프로세스 4

1.2 데이터 사이언스 도구 16

1.3 빅데이터 생태계 이해하기 23

돌아보기/쪽지시험 29

 

CHAPTER 2 파이썬이란?

2.1 파이썬 들어가기 31

2.2 파이썬 설치와 파이썬 사용 도구 32

2.3 파이썬 데이터 다루기: 팬더스의 기초 41

2.4 팬더스의 한계 48

돌아보기/쪽지시험 50

 

PART 2 폴라스 들여다보기: 빠르고 거대한 데이터 분석 도구

CHAPTER 3 폴라스란?

3.1 폴라스의 목표 54

3.2 폴라스의 구조 56

3.3 폴라스의 특징 59

3.4 팬더스 vs. 폴라스 62

돌아보기/쪽지시험 66

 

CHAPTER 4 폴라스 깊이 있게 배우기

4.1 폴라스 설치 68

4.2 폴라스 데이터 타입 69

4.3 폴라스 데이터 구조 74

4.4 표현식 78

4.5 콘텍스트 102

4.5 지연 연산 107

돌아보기/쪽지시험 113

 

PART 3 데이터로 보는 영화: 영화 속에 담긴 데이터

CHAPTER 5 처음 만나는 영화 데이터, 구조부터 살펴보기

5.1 영화의 흥행 성적표 살펴보기 118

5.2 다양한 방식으로 영화 데이터 가져오기 121

5.3 다양한 형식으로 영화 데이터프레임 바꿔보기 134

5.4 영화 데이터로 데이터프레임 구조 들여다보기 139

5.5 데이터를 이루는 열 정보 확인하기 145

돌아보기/쪽지시험 149

 

CHAPTER 6 폴라스 데이터프레임으로 영화 데이터 만져보기

6.1 영화 데이터프레임 전체 흐름 잡기 151

6.2 열로 영화 정보 정리하고 가공하기 155

6.3 다양한 필터링 방법으로 영화 데이터 골라내기 169

6.4 영화 데이터를 그룹별로 묶어 분석하기 182

돌아보기/쪽지시험 199

 

CHAPTER 7 폴라스 데이터프레임으로 영화 데이터 구조 바꾸기

7.1 데이터프레임 조인으로 분리된 영화 데이터 연결하기 201

7.2 데이터프레임 연결로 영화 데이터 이어 붙이기 214

7.3 데이터프레임 피벗과 언피벗으로 영화 데이터 구조 바꾸기 218

돌아보기/쪽지시험 224

 

CHAPTER 8 폴라스로 영화 데이터 생생하게 그리기

8.1 폴라스 시각화의 특징 알아보기 226

8.2 폴라스로 손쉽게 데이터 시각화하기 227

8.3 영화 데이터를 시각적으로 풍부하게 표현하기 231

8.4 폴라스 표로 영화 데이터 정확하게 시각화하기 256

돌아보기/쪽지시험 281

 

PART 4 데이터로 듣는 음악: 음악 속에 담긴 데이터

CHAPTER 9 스포티파이 음악 데이터를 탐색적으로 분석하기

9.1 스포티파이 음악 데이터셋 준비하기 286

9.2 EDA를 위한 데이터 준비하기 289

9.3 파생 데이터 만들기 296

돌아보기/쪽지시험 302

 

CHAPTER 10 스포티파이 음악 데이터로 인사이트 도출하기

10.1 스포티파이 숫자 데이터로 국가별 인기도 분포 분석하기 304

10.2 수치형 변수 간 상관관계와 회귀분석하기 320

10.3 스포티파이 데이터로 글로벌 인기도 파악하기 326

돌아보기/쪽지시험 343

 

용어집 345

찾아보기 349

[본 문]
  

파이썬에서 데이터 분석을 위해 가장 많이 사용되는 팬더스이지만, 데이터 분석의 범위가 점점 광범위해지고 초보자에서 중급, 고급 사용자로 넘어가게 될수록 팬더스의 한계를 느끼게 됩니다. 팬더스로 처리하는 데이터의 크기가 커지면 커질수록 속도나 메모리 효율에 대한 성능 저하가 나타납니다. 이에 대한 가장 큰 원인으로 지목되는 것이 단일 스레드만 지원하는 팬더스의 특성입니다. (...) 비효율성 때문에 팬더스는 소형 데이터로 초급 과정의 분석가에게는 배우기 쉬운 매우 효율적인 패키지 라이브러리임에는 분명하지만, 점점 그 한계가 분석가의 발목을 잡는 패키지 라이브러리인 것도 분명합니다. (48쪽)

 

폴라스는 인메모리 컬럼형 데이터 형식인 아파치 애로를 사용함으로써 테이블 형태의 데이터를 메모리에 로딩하는 데 매우 효율적입니다. 이렇게 테이블 중심의 구조, 열 기반 메모리 구조는 일반적인 데이터베이스, 데이터프레임의 사용 방식과 다른 통계, 머신러닝 기반 데이터 분석 작업에 사용되는 알고리즘에도 효율적인 계산을 실행할 수 있습니다. 반면 팬더스는 행 기반 형식을 사용하므로 대규모 데이터셋 작업 시 메모리 효율성이 떨어집니다. (60쪽)

 

폴라스 데이터프레임 처리에 사용되는 일부 메서드는 여러 데이터 타입에 대해 동일한 이름으로 사용되는 것들이 있습니다. 예를 들어 head()의 경우 pl.String 데이터 타입에 대해서도 사용되고 list 데이터 타입에도 사용됩니다. 따라서 head()는 적용되는 데이터 타입에 따라 서로 작동하는 방식이 달라집니다. / 이처럼 폴라스는 처리 대상 데이터 열의 데이터 타입에 따라 사용되는 메서드의 실행 방식이 달라지도록 설계되어 있는데, 이를 사용자가 명시적으로 선언해주도록 하고 있습니다. (85쪽)

 

우리나라 영화의 메이저 배급사 중 하나인 쇼박스에서 2024년 배급한 영화가 어떤 영화인지 알아봅시다. 박스오피스 데이터를 살펴보면 배급사 열이 있습니다. 해당 열에는 하나의 배급사만 있는 경우도 있지만, 여러 배급사가 공동으로 배급한 경우도 있습니다. 따라서 앞선 방법으로 검색하면 쇼박스가 단독으로 배급한 영화만 필터링되지만, contains()를 사용하면 문자열에 쇼박스를 포함한 모든 데이터를 필터링한 결과가 산출됩니다. (172쪽)

 

Plotly로 산점도를 그리기 위해서는 plotly.express.scatter()를 사용할 수 있습니다. 폴라스 백엔드와 같이 X축에 매핑될 수치형 열을 x로, Y축에 매핑될 수치형 열을 y로 매핑하며, 필요에 따라 색상을 매핑하기 위한 열은 color, 크기를 매핑하기 위한 열은 size로 설정할 수 있습니다. / 추가적으로, Plotly 산점도는 trendline 옵션을 제공합니다. 이는 산점도로 표시된 데이터들의 추세선을 그려주는데, trendline 옵션에는 'ols'와 'lowess' 등의 방법을 제공합니다. (238쪽)

 

스포티파이 데이터셋으로 알아볼 첫 번째 주제는 주요 국가의 2024년 메인보컬 Top 10입니다. 여기서 주요 국가로 선정한 국가는 미국과 영국과 우리나라를 선정했고, 추가적으로 글로벌 차트를 선정했습니다. 이 국가들의 차트에서 2024년 랭크된 노래 중 메인보컬의 상위 10명의 결과를 알아봅니다. 이 과정에서는 표현식을 재활용하는 방법을 사용하겠습니다. / 먼저 각 국가의 차트에는 하나의 노래가 각 날짜별로 랭크되어 있기 때문에 2024년 랭크된 노래들을 구분하기 위해 메인보컬별로 노래 제목의 고윳값을 구하고, 노래 제목의 고윳값 개수를 산출하는 표현식을 만듭니다. (326쪽)