데이터 엔지니어링, 경험을 구조화하고 패턴으로 표준화하다

데이터 파이프라인을 설계하다 보면, 프로젝트가 달라져도 놀랍도록 비슷한 문제를 반복해서 마주하게 됩니다.

이 책은 이러한 반복이 개인의 역량 부족이 아니라, 표준화된 패턴과 전략이 부재했기 때문이라고 말합니다.

데이터 수집, 오류 처리, 멱등성, 데이터 품질, 관찰 가능성까지 현업 데이터 엔지니어가 매번 고민해 온 핵심 과제를 디자인 패턴으로 정리해 제시합니다. 패턴별로 언제 사용해야 하는지, 어떤 해결책이 있으며 어떤 트레이드오프가 따르는지를 함께 설명해 설계 판단의 기준을 명확히 합니다. 기술 스택과 환경이 바뀌어도 재사용할 수 있는 원칙을 통해, 더 탄력적이고 신뢰할 수 있는 데이터 파이프라인을 설계하도록 돕는 실무형 가이드입니다.

 

주요 내용

- 반복되는 데이터 엔지니어링 문제를 패턴으로 일반화

- 데이터 수집부터 운영·모니터링까지, 워크플로 전반에서 다루는 실무 핵심 과제

- 설계 트레이드오프를 탐색하고 효과적인 멀티 에이전트 시스템 구현하기

- 기술 스택에 종속되지 않는 설계 원칙 강조

[목 차]

CHAPTER 1 데이터 엔지니어링 디자인 패턴 소개

_1.1 디자인 패턴이란 무엇인가?

_1.2 기존 디자인 패턴만으로 충분한가?

_1.3 일반적인 데이터 엔지니어링 패턴

_1.4 이 책에서 사용된 사례

_1.5 요약

 

CHAPTER 2 데이터 수집 디자인 패턴

_2.1 전체 적재

패턴 #01: 전체 로더

_2.2 증분 적재

패턴 #02: 증분 로더

패턴 #03: 변경 데이터 캡처

_2.3 복제

패턴 #04: 패스스루 복제기

패턴 #05: 변환 복제기

_2.4 데이터 컴팩션

패턴 #06: 컴팩터

_2.5 데이터 준비

패턴 #07: 준비 마커

_2.6 이벤트 주도

패턴 #08: 외부 트리거

_2.7 요약

 

CHAPTER 3 오류 관리 디자인 패턴

_3.1 처리할 수 없는 레코드

패턴 #09: 데드 레터

_3.2 중복된 레코드

패턴 #10: 윈도 중복 제거

_3.3 지연 데이터

패턴 #11: 지연 데이터 탐지기

패턴 #12: 정적 지연 데이터 통합기

패턴 #13: 동적 지연 데이터 통합기

_3.4 필터링

패턴 #14: 필터 인터셉터

_3.5 내결함성

패턴 #15: 체크포인터

_3.6 요약

 

CHAPTER 4 멱등성 디자인 패턴

_4.1 덮어쓰기

패턴 #16: 빠른 메타데이터 정리기

패턴 #17: 데이터 덮어쓰기

_4.2 갱신

패턴 #18: 병합기

패턴 #19: 상태 저장 병합기

_4.3 데이터베이스

패턴 #20: 키 기반 멱등성

패턴 #21: 트랜잭션 기반 작성자

_4.4 불변의 데이터셋

패턴 #22: 프록시

_4.5 요약

 

CHAPTER 5 데이터 가치 디자인 패턴

_5.1 데이터 강화

패턴 #23: 정적 조이너

패턴 #24: 동적 조이너

_5.2 데이터 데코레이션

패턴 #25: 래퍼

패턴 #26: 메타데이터 데코레이터

_5.3 데이터 집계

패턴 #27: 분산 집계기

패턴 #28: 로컬 집계기

_5.4 세션화

패턴 #29: 증분 세션화 처리기

패턴 #30: 상태 저장 세션화 처리기

_5.5 데이터 정렬

패턴 #31: 빈 팩 정렬기

패턴 #32: 선입 선출 정렬기

_5.6 요약

 

CHAPTER 6 데이터 흐름 디자인 패턴

_6.1 시퀀스

패턴 #33: 로컬 시퀀서

패턴 #34: 독립된 시퀀서

_6.2 팬인

패턴 #35: 정렬된 팬인

패턴 #36: 비정렬 팬인

_6.3 팬아웃

패턴 #37: 병렬 분할

패턴 #38: 배타적 선택

_6.4 오케스트레이션

패턴 #39: 단일 실행기

패턴 #40: 동시 실행기

_6.5 요약

 

CHAPTER 7 데이터 보안 디자인 패턴

_7.1 데이터 제거

패턴 #41: 수직 파티셔너

패턴 #42: 제자리 덮어쓰기

_7.2 접근 제어

패턴 #43: 테이블에 대한 세밀한 접근자

패턴 #44: 자원에 대한 세밀한 접근자

_7.3 데이터 보호

패턴 #45: 암호화기

패턴 #46: 익명화기

패턴 #47: 의사 익명화기

_7.4 연결성

패턴 #48: 비밀 포인터

패턴 #49: 비밀 없는 커넥터

_7.5 요약

 

CHAPTER 8 데이터 스토리지 디자인 패턴

_8.1 파티셔닝

패턴 #50: 수평 파티셔너

패턴 #51: 수직 파티셔너

_8.2 레코드 구성

패턴 #52: 버킷

패턴 #53: 정렬기

_8.3 조회 성능 최적화

패턴 #54: 메타데이터 강화기

패턴 #55: 데이터셋 구체화기

패턴 #56: 매니페스트

_8.4 데이터 표현

패턴 #57: 정규화기

패턴 #58: 역정규화기

_8.5 요약

 

CHAPTER 9 데이터 품질 디자인 패턴

_9.1 품질 확보

패턴 #59: 감사－쓰기－감사－배포(AWAP)

패턴 #60: 제약 조건 적용자

_9.2 스키마 일관성

패턴 #61: 스키마 호환성 적용자

패턴 #62: 스키마 마이그레이터

_9.3 품질 관찰

패턴 #63: 오프라인 옵서버

패턴 #64: 온라인 옵서버

_9.4 요약

 

CHAPTER 10 데이터 관찰 가능성 디자인 패턴

_10.1 데이터 탐지기

패턴 #65: 흐름 중단 탐지기

패턴 #66: 스큐 탐지기

_10.2 시간 탐지기

패턴 #67: 지연 탐지기

패턴 #68: SLA 위반 탐지기

_10.3 데이터 계보

패턴 #69: 데이터셋 추적기

패턴 #70: 세밀한 추적기

_10.4 요약

 

APPENDIX 디자인 패턴 요약

이 책은 데이터 엔지니어링 디자인 패턴의 미래를 제시하는 획기적인 작품으로, 모든 데이터 전문가가 반드시 읽어야 할 필독서입니다. GoF(Gang of Four)의 Design Patterns이 소프트웨어 설계의 기준을 세웠다면, 이 책은 데이터 엔지니어링 분야에서 그에 버금가는 중요성을 지닙니다.

 

스콧 헤인스, 『Delta Lake: The Definitive Guide』 공저자

 

데이터 엔지니어링은 종종 같은 문제를 반복해서 해결하는 일처럼 느껴집니다. 저자는 이 책을 통해 그런 인식을 완전히 바꿔 놓았습니다. 멱등성부터 오류 처리, 데이터 관찰 가능성까지 폭넓게 다루며, 재사용 가능하고 검증된 디자인 패턴으로 탄력적인 데이터 파이프라인을 구축하는 완벽한 가이드를 제시합니다.

아디 폴락, 콘플루언트 이사

 

이 책은 데이터 수집부터 관찰 가능성까지의 전 과정을 70가지 표준 디자인 패턴으로 체계화했습니다. '멱등성' '데이터 가치' 등 실무 기법을 명확히 정의하여 엔지니어링 문제 해결의 기준을 제시하며, 단계별 트레이드오프를 미리 검토하게 하여 고민을 덜어줍니다. 특히 코드 예제와 도커 환경을 제공해 디자인 패턴을 즉시 실무에 적용할 수 있도록 도와줍니다. 표준화된 패턴으로 팀 내 기술 언어를 통합하고 아키텍처의 완성도를 높이고 싶은 엔지니어에게 이 책을 추천합니다.

 

김시온, 네이버 웹툰 데이터 엔지니어

 

하나의 장비 안에 머물던 데이터를 넘어, 빅데이터 시대에는 상상할 수 없을 만큼 방대한 데이터를 다루게 되었습니다. 여러 곳에 흩어진 데이터를 수집하고 가공해 의미 있는 결과를 만들어 내는 일은 이제 매우 복잡하고 까다로운 과제입니다.

 

이 책은 데이터를 어떻게 다루고, 상황에 맞게 가공하며, 시간의 흐름에 따라 어떻게 진화시켜야 하는지를 중심으로 데이터 처리 파이프라인 전반을 다룹니다. 빠르게 변하는 환경 속에서도 기준이 될 수 있는 원칙을 ‘패턴’으로 정리해, 데이터 엔지니어링의 본질에 집중할 수 있도록 안내합니다.

윤병조, 소프트웨어 개발자

 

현업 데이터 엔지니어의 관점에서 수집, 오류 관리, 멱등성, 품질, 관찰 가능성까지 데이터 파이프라인에서 반복적으로 마주치는 핵심 요소들을 ‘패턴’으로 정리한 실무형 레퍼런스입니다. 기술 스택과 무관하게 재사용할 수 있는 트레이드오프와 주의점을 중심으로 설명과 예제를 구성해, 데이터 파이프라인 설계 시 의사결정의 속도와 품질 기준을 동시에 끌어올려 주는 필수 지침서입니다.

이동규, 데이터 엔지니어