14가지 패턴으로 대규모 머신러닝 시스템을 완성하라!

머신러닝의 급속한 발전과 함께 데이터와 트래픽이 폭발적으로 증가하면서, 단순히 성능 향상뿐 아니라 안정적이고 확장 가능한 시스템 설계가 중요해지고 있다. 이에 본 책은 대규모 머신러닝 시스템을 설계하고 운영하기 위한 14가지 실용적인 설계 패턴을 소개하고, 실무에서 빈번히 발생하는 문제와 해결책을 제시한다. 또한 텐서플로, 쿠버네티스, 쿠브플로, 아르고 워크플로 등 클라우드 기반의 최신 도구를 활용한 실무 예제를 통해 이론과 실무를 함께 학습할 수 있도록 구성했다. 특히 시스템 장애나 과부하 상황에서의 대처 방안, 효율적인 자원 관리를 상세히 다룸으로써 실무자들의 기술적 문제 해결 역량을 높이는 데 중점을 두었다. 복잡해지는 머신러닝 시스템의 난관을 뚫고 나아가려는 모든 개발자에게 이 한 권이 길잡이가 될 것이다.

 

14가지 패턴

● 데이터 수집 패턴: 배치 처리, 샤딩, 캐싱

● 분산 학습 패턴: 파라미터 서버, 집합 통신, 탄력성 및 내결함성

● 모델 서빙 패턴: 레플리카 서버, 서비스 샤딩, 이벤트 기반 처리

● 워크플로 패턴: 팬인 및 팬아웃, 동기 및 비동기, 스텝 메모이제이션

● 운영 패턴: 스케줄링, 메타데이터

[목 차]
  

[PART 1 분산 머신러닝 시스템의 배경지식]

CHAPTER 01 분산 머신러닝 시스템 소개

_1.1 대규모 머신러닝

_1.2 분산 시스템

_1.3 분산 머신러닝 시스템

요약

 

[PART 2 분산 머신러닝 시스템의 설계 패턴]

CHAPTER 02 데이터 수집 패턴

_2.1 데이터 수집이란?

_2.2 Fashion-MNIST 데이터셋

_2.3 배치 처리 패턴: 제한된 메모리로 무거운 연산 실행하기

_2.4 샤딩 패턴: 매우 큰 데이터셋을 여러 워커에 분산시키기

_2.5 캐싱 패턴: 효율적인 학습을 위해 데이터 재활용하기

요약

 

CHAPTER 03 분산 학습 패턴

_3.1 분산 학습이란?

_3.2 파라미터 서버 패턴: 8백만 개의 유튜브 영상에 태그 달기

_3.3 집합 통신 패턴: 파라미터 서버가 병목이 되지 않도록 개선하기

_3.4 탄력성 및 내결함성 패턴: 제한된 연산 자원으로 인한 실패 대응하기

요약

 

CHAPTER 04 모델 서빙 패턴

_4.1 모델 서빙이란?

_4.2 레플리카 서버 패턴: 늘어나는 요청량 처리하기

_4.3 서비스 샤딩 패턴: 고해상도 영상을 처리하는 대규모 모델 서빙 다루기

_4.4 이벤트 기반 처리 패턴: 이벤트 기반으로 모델 서빙하기

요약

 

CHAPTER 05 워크플로 패턴

_5.1 워크플로란?

_5.2 팬인 및 팬아웃 패턴: 복잡한 머신러닝 워크플로 체계화

_5.3 동기 및 비동기 패턴: 병렬성으로 더 빠르게 처리하기

_5.4 스텝 메모이제이션 패턴: 반복되는 작업 생략하기

요약

 

CHAPTER 06 운영 패턴

_6.1 머신러닝 시스템 운영하기

_6.2 스케줄링 패턴: 공유 클러스터 자원을 효과적으로 할당하기

_6.3 메타데이터 패턴: 실패를 적절히 처리하는 방법

요약

 

[PART 03 분산 머신러닝 시스템 구축]

CHAPTER 07 실습 프로젝트 둘러보기

_7.1 프로젝트 개요

_7.2 데이터 수집 단계

_7.3 모델 학습 단계

_7.4 모델 서빙 단계

_7.5 전체 워크플로 구조

요약

 

CHAPTER 08 실습 관련 기술 둘러보기

_8.1 텐서플로: 머신러닝 프레임워크

_8.2 쿠버네티스: 분산 컨테이너 관리 시스템

_8.3 쿠브플로: 쿠버네티스 머신러닝 워크로드 관리 시스템

_8.4 아르고 워크플로: 컨테이너 기반 워크플로 엔진

요약

 

CHAPTER 09 실습 프로젝트

_9.1 데이터 수집

_9.2 모델 학습

_9.3 모델 서빙

_9.4 전체 워크플로

요약

강찬석 (LG전자 소프트웨어 엔지니어)

이 책은 대규모 머신러닝 시스템의 설계, 유지, 관리 과정에서 발생하는 문제와 해결책, 그리고 해결 과정에서 고려해야 할 사항들을 주제별로 다루어 현업 엔지니어들에게 실질적인 도움을 줄 것입니다.

 

오정준 (현대오토에버 SW개발센터)

머신러닝의 활용이 급격히 증가함에 따라 학습에 필요한 데이터의 크기도 날로 커지고 있습니다. 이러한 대용량 데이터를 빠르게 처리하고 학습하기 위해서는 분산 처리가 필수적이며, 데이터의 유형에 따라 적절한 분산 처리 시스템의 설계가 중요합니다. 이 책은 머신러닝 시스템을 대규모로 확장하기 위한 실용적인 패턴과 설계 방법을 제시하며, 분산 시스템의 기초부터 데이터 수집, 학습, 모델 서빙, 운영 패턴에 이르기까지 폭넓은 내용을 다루고 있습니다.

 

우수연 (법원행정처 차세대전자소송추진단)

최근 머신러닝 연구는 주로 모델 성능 향상에 집중되어 있지만, 실제 현장에서는 효율적인 시스템 구축이 더욱 중요합니다. 이 책은 단순한 분할 처리를 넘어, 머신러닝 모델의 효과적인 분산 처리와 운영을 위한 전략적인 접근법을 제시합니다. 특히 데이터 양이 폭발적으로 증가하고 모델의 복잡성이 높아지는 현시대에, 이 책에서 제시하는 분산 처리 전략은 필수적인 지식이라고 생각합니다

 

이기용 ((주)마인씨드 소프트웨어 개발자)

이 책은 분산 머신러닝에서 널리 사용되는 기술의 이론적 개념과 실습을 체계적으로 다룬 실용적인 안내서입니다. 전반부는 분산 머신러닝 패턴을 쉽게 설명하여, 분산 머신러닝을 처음 접하는 독자들도 부담 없이 학습할 수 있습니다. 후반부는 앞서 배운 이론을 다양한 최신 도구로 실습해볼 수 있도록 구성되어 있습니다.

 

이상욱 (말레이시아 PETRONAS AI Platform팀 리드)

분산 시스템에서의 다양한 사례를 통해 대용량 데이터 처리에 대한 고민을 자연스럽게 풀어내어, 이 분야에서 고민하는 분들에게 큰 도움이 될 것입니다. 이 책은 머신러닝 모델 개발보다는 MLOps 관점에 중점을 두었으며, 특히 대용량 데이터 처리에 초점을 맞추고 있다는 점을 고려하면 좋습니다.

 

이석곤 ((주)아이알컴퍼니 AI/빅데이터 수석)

클라우드 기반 분산 환경에서 머신러닝 시스템을 운영하는 실용적인 패턴을 소개하는 필독서입니다. 데이터 수집부터 모델 훈련, 서빙, 워크플로 관리까지 전반적인 과정을 다루며, 각 단계에서 직면하는 도전 과제와 해결책을 제시합니다.

 

조현석 (래블업 주식회사 소프트웨어 엔지니어)

단일 GPU에서의 머신러닝 실행은 비교적 간단합니다. 하지만 현실에서는 다양한 도전 과제에 직면합니다. 모델이 GPU 메모리 용량을 초과할 때는 어떻게 대처해야 할까요? 서빙 시 사용자가 급증해 처리 용량을 넘어설 때는 어떻게 해결해야 할까요? 이 책에서는 이러한 실제 문제들을 해결하기 위한 다양한 설계 패턴을 살펴봅니다.