유연하고 확장 가능하며 신뢰할 수 있는 실시간 데이터 파이프라인 구축,

현대적인 데이터 인프라를 위한 필수요소, 카프카 커넥트(Kafka Connect)!

 

아파치 카프카 스트리밍 플랫폼의 핵심 도구, 카프카 커넥트를 활용해 강력한 데이터 파이프라인을 구축한다!

데이터 엔지니어, 개발자, SRE를 위한 실용적인 가이드로, 다양한 데이터 소스와 싱크 연결, 기존 데이터의 손쉬운 활용, 클러스터 간 데이터 미러링 구현, 이벤트 스트리밍 최적화 등을 통해 카프카의 강력한 기능을 빠르게 도입해보자!

 

| 이 책에서 다루는 내용 |

• 핵심 카프카 커넥트 구성요소를 결합해 회복 탄력성이 있고 효율적인 데이터 파이프라인 설계

• 기존 커넥터를 활용한 데이터베이스 변경사항 캡처, 데이터 레이크 구축, 카프카 클러스터 미러링

• 상용 환경에서의 카프카 커넥트 클러스터 배포, 구성, 운영

• 로그와 지표를 사용한 카프카 커넥트 클러스터의 지속적인 모니터링

• 쿠버네티스에서의 카프카 커넥트 클러스터 실행

• 자체 커넥터와 플러그인 작성

 

| 이 책의 독자 대상 |

카프카 커넥트 환경과 상호작용하는 데이터 엔지니어, 사이트 신뢰성 엔지니어, 개발자

 

| 이 책의 구성 |

1부는 카프카와 카프카 커넥트 전반에 대한 소개 내용을 다루며, 주로 카프카 커넥트를 처음 접하거나 막 시작하는 엔지니어를 대상으로 한다.

2부는 카프카 커넥트를 사용해 데이터 파이프라인을 구축하는 방법을 설명하며, 특히 데이터 엔지니어와 관련이 있다. 3장과 4장에서는 핵심 카프카 커넥트 구성요소를 논의하고, 이들을 결합해 견고하고 효율적인 데이터 파이프라인을 설계하는 방법을 설명한다. 2부의 나머지 장에서는 가장 인기 있는 커넥터들을 자세히 살펴본다. 5장에서는 커뮤니티에서 제공하는 세 가지 커넥터인 컨플루언트 S3(Confluent S3) 싱크, 컨플루언트 JDBC(Confluent JDBC) 소스, 데비지움(Debezium) MySQL 소스를 다룬다. 6장에서는 카프카의 미러링 도구인 미러메이커(MirrorMaker)가 어떻게 작동하는지 자세히 설명한다. 여기에는 소스, 체크포인트, 하트비트 커넥터의 기능과 구성에 대한 내용이 포함된다.

3부는 카프카 커넥트 운영 측면에 초점을 맞추며, 사이트 신뢰성 엔지니어를 대상으로 한다. 7장에서는 상용 환경에서 카프카 커넥트 클러스터를 배포하고 운영하는 방법을 보여준다. 8장에서는 카프카 커넥트가 제공하는 모든 구성 설정을 다루고, 이를 조정하는 방법과 시점을 결정하는 데 도움이 되는 배경과 맥락을 제공한다. 9장은 로그와 지표를 사용해 카프카 커넥트 클러스터를 지속적으로 모니터링하는 방법을 설명한다. 마지막으로 10장에서는 쿠버네티스(Kubernetes)에서 카프카 커넥트 클러스터를 실행하기 위해 필요한 핵심 고려사항을 논의한다. 여기에는 쿠버네티스에 대한 전반적인 소개와 이러한 유형의 인프라에 카프카 커넥트를 배포하는 데 사용할 수 있는 옵션에 대한 설명이 포함된다.

4부는 카프카 커넥트를 위한 커스텀 커넥터와 플러그인을 구현하는 방법을 설명하며, API에 대해 자세히 다루므로, 자신의 사용 사례에 맞게 카프카 커넥트를 커스터마이즈하려는 개발자를 대상으로 한다.

 

[목 차]

1부 l 카프카 커넥트란

 

1장 카프카 커넥트 입문

카프카 커넥트 기능

__플러그형 아키텍처

__확장성과 신뢰성

__선언적 파이프라인 정의

__카프카 커넥트도 아파치 카프카의 일부

사용 사례

__데이터베이스 변경사항 캡처

__카프카 클러스터 미러링

__데이터 레이크 구축

__로그 집계

__레거시 시스템 현대화

카프카 커넥트의 대안

정리

 

2장 아파치 카프카란

분산 이벤트 스트리밍 플랫폼

__오픈소스

__분산 시스템

__이벤트 스트리밍

__플랫폼

카프카 주요 개념

__발행-구독

__브로커와 레코드

__토픽과 파티션

__리플리케이션

__보관 주기와 컴팩션

__크래프트와 주키퍼

카프카와 상호작용하기

__프로듀서

__컨슈머

__카프카 스트림즈

카프카 시작하기

__카프카 실행

__레코드 주고받기

__카프카 스트림즈 애플리케이션 실행

정리

 

2부 l 카프카 커넥트로 데이터 파이프라인 구축하기

 

3장 카프카 커넥트 데이터 파이프라인의 구성요소

카프카 커넥트 런타임

__카프카 커넥트 실행하기

__카프카 커넥트 REST API

__플러그인 설치하기

__배포 모드

소스 커넥터와 싱크 커넥터

__커넥터와 태스크

__커넥터 구성하기

__커넥터 실행하기

컨버터

__데이터 형식과 스키마

__컨버터 구성하기

__컨버터 사용하기

트랜스포메이션과 프레디케이트

__트랜스포메이션 사용 사례

__프레디케이트

__트랜스포메이션과 프레디케이트 구성하기

__트랜스포메이션과 프레디케이트 사용하기

정리

 

4장 효과적인 데이터 파이프라인 설계하기

커넥터 선택하기

__파이프라인 방향

__라이선싱과 지원

__커넥터의 기능

데이터 모델 정의하기

__데이터 변환

__시스템 간 데이터 매핑하기

데이터 포매팅

__데이터 포맷

__스키마

카프카 커넥트 내부 살펴보기

__내부 토픽

__그룹 멤버십

__리밸런스 프로토콜

카프카 커넥트에서 장애 상황 다루기

__워커 장애

__커넥터/태스크 장애

__카프카/외부 시스템 장애

__데드 레터 큐

처리 시맨틱 이해하기

__싱크 커넥터

__소스 커넥터

정리

 

5장 커넥터 인 액션

컨플루언트 S3 싱크 커넥터

__커넥터 구성하기

__정확히 한 번 시맨틱

__커넥터 실행하기

컨플루언트 JDBC 소스 커넥터

__커넥터 구성하기

__커넥터 실행하기

데비지움 MySQL 소스 커넥터

__커넥터 구성하기

__이벤트 형식

__커넥터 실행하기

정리

 

6장 미러메이커로 클러스터 미러링하기

미러링이란

__미러링 사용 사례 살펴보기

__미러링 실전 활용

미러메이커 소개

__공통 개념

__배포 모드

미러메이커 커넥터

__MirrorSourceConnector

__MirrorCheckpointConnector

__MirrorHeartbeatConnector

미러메이커 실행하기

__재해 복구 예제

__지역 간 복제 예제

정리

 

3부 l 상용 환경에서 카프카 커넥트 실행하기

 

7장 카프카 커넥트 클러스터 배포 및 운영

카프카 커넥트 환경 준비

__카프카 커넥트 환경 구축

__플러그인 설치

__네트워킹 및 권한

워커 플러그인

__구성 공급자

__REST 확장 기능

__커넥터 클라이언트 구성 오버라이드 정책

규모 산정 및 처리 능력 계획하기

__카프카 커넥트 리소스 활용 이해하기

__적절한 워커와 태스크 수 선정하기

카프카 커넥트 클러스터 운영하기

__워커 추가하기

__워커 제거하기

__워커 업그레이드 및 유지보수하기

__장애 상태인 태스크와 커넥터 재시작하기

__커넥터 오프셋 재설정하기

REST API를 사용해 카프카 커넥트 관리하기

__커넥터 생성 및 삭제하기

__커넥터와 태스크 구성

__커넥터 수명주기 제어하기

__커넥터 오프셋 나열하기

__이슈 디버깅

정리

 

8장 카프카 커넥트 구성하기

런타임 구성하기

__상용 환경을 위한 구성

__파인 튜닝 구성

커넥터 구성하기

__토픽 구성

__클라이언트 오버라이드

__정확히 한 번을 위한 구성

__오류 처리를 위한 구성

보안을 위한 카프카 커넥트 클러스터 구성하기

__카프카에 대한 연결에 보안 설정하기

__권한 구성하기

__REST API 보안 구성하기

정리

 

9장 카프카 커넥트 모니터링하기

로그 모니터링

__로깅 구성

__시작 로그 이해하기

__로그 분석하기

지표 모니터링하기

__지표 리포터

__지표 분석하기

__지표 탐색

주요 지표

__카프카 커넥트 런타임 지표들

__그 밖의 시스템 지표

정리

 

10장 쿠버네티스에서 카프카 커넥트 관리하기

쿠버네티스 소개

__가상화 기술

__쿠버네티스 기본

쿠버네티스에서 카프카 커넥트 실행하기

__컨테이너 이미지

__워커 배포

__네트워킹과 모니터링

__구성

쿠버네티스 오퍼레이터를 사용해 카프카 커넥트 배포하기

__쿠버네티스 오퍼레이터 소개

__카프카 커넥트용 쿠버네티스 오퍼레이터

스트림지

__쿠버네티스 환경 구성하기

__오퍼레이터 시작하기

__카프카 커넥트 CRD 알아보기

__카프카 커넥트 클러스터와 커넥터 배포하기

__미러메이커 CRD

정리

 

4부 l 커스텀 커넥터와 플러그인 구축하기

 

11장 소스 커넥터와 싱크 커넥터 구축하기

공통 개념과 API

__커스텀 커넥터 구축하기

__Connector API

__구성

__Task API

__카프카 커넥트 레코드

__ConnectorContext API

소스 커넥터 구현하기

__SourceTask API

__소스 레코드

__SourceConnectorContext와 SourceTaskContext API

__정확히 한 번 시맨틱 지원

싱크 커넥터 구현하기

__SinkTask API

__싱크 레코드

__SinkConnectorContext와 SinkTaskContext API

정리

 

12장 커넥터와 워커 플러그인으로 카프카 커넥트 확장하기

커넥터 플러그인 구현하기

__Transformation API

__Predicate API

__Converter API와 HeaderConverter API

워커 플러그인 구현하기

__ConfigProvider API

__ConnectorClientConfigOverridePolicy API

__ConnectRestExtension API

정리

이 책은 커넥터를 사용하는 방법, 카프카 커넥트 프레임워크를 구성하는 방법, 상용 환경에서 카프카 커넥트를 모니터링하고 운영하는 방법, 그리고 자신만의 소스 및 싱크 커넥터를 개발하는 방법까지 배울 수 있는 탁월한 선택이다. 이 중요한 주제에 대해 깊이 파고들려는 이들이나, 카프카를 다른 시스템 및 애플리케이션에 빠르게 연결하려는 이들에게 이보다 더 나은 자료는 없을 것이다.

- 제이 크렙스(Jay Kreps) / 카프카 창시자, 컨플루언트 CEO

 

카프카 커넥트는 아파치 카프카를 나머지 데이터 생태계와 통합하는 중추 역할을 한다. 이 책은 외부의 데이터 소스 및 싱크 시스템을 카프카와 연결하는 데 필요한 모든 것을 다룬다.

- 준 라오(Jun Rao) / 컨플루언트 공동 창업자

 

카프카 커넥트를 시작하는 것부터 대규모로 운영 환경에 배포하는 것까지 모든 내용을 다루므로, 아파치 카프카로 스트리밍 데이터 파이프라인을 구축할 수 있는 도구를 배울 수 있다.

- 라이언 돌런(Ryanne Dolan) / 링크드인 소프트웨어 엔지니어

 

카프카 커넥트를 사용하는 초보자와 숙련된 전문가 모두에게 귀중한 책이다. 포괄적인 설명과 풍부한 실용적인 팁을 제공한다.

- 로빈 모팻(Robin Moffatt) / rmoff.net 대표운영자

 

기존 시스템과 더불어 카프카를 사용하려는 모든 사람에게 귀중한 책이다. 카프카 커넥트를 처음 사용하기 시작했을 때 이 책을 접할 수 있었다면 좋았을 것이다!

- 다니카 파인(Danica Fine) / 컨플루언트 수석 개발자 애드버킷

 

오늘날 데이터 주도형 IT 환경에서 데이터 통합 및 관리의 중요성은 점차 증가하고 있다.

여러 시스템에 분산된 데이터를 통합하여 실시간으로 처리하고 분석할 수 있는 능력은 비즈니스 성과에 직결된다. 이러한 요구에 대응하기 위해 아파치 카프카와 그 하위 모듈인 카프카 커넥트는 필수적인 데이터 플랫폼 제품들로 필수적인 요소가 되었다.

카프카 스트림과 ksql이 카프카의 토픽에 들어온 스트림을 처리하는 것과는 달리, 카프카 커넥트는 외부 시스템에서 스트림 데이터를 읽어오거나 저장할 수 있는 기능을 제공해 다양한 데이터 소스 및 싱크와의 통합을 가능케 하며, 데이터베이스 변경사항 캡처, 로그 집계, 데이터 레이크 구축 등 다양한 사용 사례에 최적화된 솔루션을 간편하게 구현할 수 있다.

이 책은 카프카 커넥트에 대한 포괄적인 가이드로서 데이터 파이프라인을 설계하고 운영하는 데 필요한 실무적 지침을 제시한다. 그리고 현대의 IT 환경에 맞게 쿠버네티스 환경에서 카프카 커넥트를 관리하는 방법까지 상세하게 설명하므로 개발자는 물론, 사이트 신뢰성 엔지니어(SRE), 프로덕트 매니저까지 각 직무에서 카프카 커넥트를 통해 얻을 수 있는 가치와 활용법을 명확하게 이해할 수 있다. 카프카 생태계를 통해 데이터 기반 운영을 고도화하려는 모든 기술 전문가에게 믿을 수 있는 참고서이자 실행 가능한 가이드로서 큰 도움이 될 것이다.

- 공용준 / KT CLOUD 본부장, 『카프카, 데이터 플랫폼의 최강자』 공저자

 

데이터 스트리밍 환경에서 시스템 간 연계를 효율적으로 처리하는 카프카 커넥트는 최근 스트리밍 데이터 아키텍처에서 필수적인 요소입니다.

이 책은 카프카 커넥트의 구조와 동작 원리를 상세히 설명하며, 효과적인 데이터 파이프라인 설계, 커넥터 활용, 클러스터 운영 및 모니터링 기법까지 실무에서 필요한 내용을 모두 포함하고 있습니다. 특히, 미러메이커를 활용한 클러스터 미러링과 플러그인을 통한 확장까지 다루므로, 카프카 커넥트를 활용하여 안정적이고 확장 가능한 데이터 스트리밍 환경을 구축하려는 독자에게 강력히 추천합니다.

- 김기배 / 코웨이 본부장

 

카프카 커넥트는 데이터 스트리밍 환경에서 카프카와 데이터 스토리지 시스템과의 효율적인 연결을 만들어 주는 핵심 도구입니다.

이 책은 카프카 커넥트의 기본 원리부터 데이터 파이프라인 설계, 클러스터 운영 및 모니터링까지 폭넓은 내용을 다룹니다. 특히 미러메이커를 통한 클러스터 미러링과 커넥터 개발 등 실무 적용에 필수적인 기술, 그리고 복잡한 분산 시스템 관련 이슈와 문제점들을 설명하고, 확장 가능한 데이터 흐름 구축 노하우를 제공합니다. 카프카 커넥트의 모든 것을 빠르게 익히고자 하는 개발자와 운영자에게 강력히 추천하는 필독서입니다.

- 김우일 / 넷마블 이사

 

카프카 커넥트는 최근 데이터 엔지니어링에서 가장 중요한 과제인 데이터 통합과 파이프라인 구축을 혁신적으로 해결하는 프레임워크다.

이 책은 카프카 커넥트의 기본 개념부터 고급 운영 기술까지 체계적으로 다루며, 데이터 엔지니어와 개발자들을 대상으로 실무에서 즉시 활용할 수 있는 유용한 정보를 제공한다. 먼저 기본적인 카프카 개념과 커넥트 아키텍처부터 시작해 효과적인 데이터 파이프라인 설계방법과 실제 커넥터 구현 기술을 상세하게 설명한다. 또한 미러메이커를 활용한 클러스터 미러링 방법을 통해 대규모 데이터 환경에서의 적용 사례를 심도 있게 다룬다. 특히 쿠버네티스 환경에서의 운영 및 모니터링, 그리고 커넥터 플러그인 개발 등 엔터프라이즈 환경에서 필수적인 고급 주제도 포괄적으로 설명하므로, 단순한 입문서를 넘어 분산 시스템의 복잡한 문제들을 해결할 수 있는 실전 노하우를 제공한다.

카프카 커넥트를 활용해 견고하고 확장 가능한 데이터 통합 시스템을 구축하려는 개발자와 데이터 엔지니어라면 반드시 읽어야 할 필수 가이드가 될 책이다.

- 김준기 / 비마이프렌즈 디지털 서비스 사업 대표

 

이 책은 실시간 데이터 처리와 통합의 표준으로 자리 잡은 아파치 카프카의 강력한 기능을 효과적으로 활용할 수 있도록, 카프카 커넥트의 핵심 개념과 활용 방법을 깊이 있게 다룹니다. 다양한 데이터 소스와 싱크를 손쉽게 연결하는 방법을 실전 환경에 맞춰 상세히 설명하며, 구성 및 운영에 대한 명확한 가이드를 제공합니다. 또한 데이터베이스 변경사항 캡처(CDC), 로그 집계, 클러스터 미러링 등의 사례를 통해 카프카 커넥트의 실제 적용 방법을 체험해 볼 수 있습니다.

안정적이고 확장 가능한 데이터 파이프라인 구축에 필요한 핵심 개념과 실용적인 팁을 익힐 수 있어, 초보자부터 대규모 운영을 고려하는 전문가까지 모두에게 유용한 참고서가 될 것입니다.

- 류진수 / LG CNS 총괄 마이스터, 『랄프 킴벌의 데이터 웨어하우스 툴킷』 역자

 

『카프카 핵심 가이드 개정증보판』을 번역한 뒤 많이 받았던 질문 중 하나는 “카프카 커넥트 또는 스트림즈에 대해 좀 더 자세히 설명된 자료를 추천해 주실 수 있을까요?”였습니다. 카프카는 큰 프로젝트이므로, 자연히 그 서브 프로젝트들 역시 상당히 규모가 있을 수밖에 없습니다. 그렇기 때문에 『카프카 핵심 가이드 개정증보판』에서는 이 주제들에 대해 충분히 깊게 설명하기보다 카프카 프로젝트와 어떤 연관성이 있는지, 기본 개념은 무엇인지 정도만 간략하게 설명하는 정도에서 넘어가는 수준에 그쳤습니다. 입문용으로는 이것도 나쁘지 않았지만, 당장 실무 적용을 위한 상세한 가이드가 필요한 입장에서는 불만족스러울 수밖에 없었습니다.

해외에서도 이런 수요는 여전했는지 아파치 카프카 메인테이너의 한 사람인 미카엘 메종이 쓴 책이 일찍부터 나와 있었습니다만, 그렇다고 원서를 덜컥 추천해 줄 수도 없는 노릇이니 더 난감한 노릇이었습니다. 다행히 이 책이 드디어 우리나라에 번역되어 나왔습니다. 이 책이 카프카 커넥트에 관련된 독자들의 갈증을 해소해 줌과 동시에 국내 카프카 생태계를 더욱더 풍성케 하는 거름의 역할을 해줄 거라 믿습니다.

- 이동진 / 아파치 카프카 컨트리뷰터, 『카프카 핵심 가이드 개정증보판』 역자

 

카프카를 다루는 책은 많지만, 카프카 커넥트에 집중해 다양한 환경에서의 구체적인 데이터 파이프라인 구축 방법과 장애 대응 방법, 환경을 세팅하고 모니터링하는 방법 등을 포함한 풍부한 경험 지식을 한곳에 모아 담은 책은 거의 없었다.

블로그와 유튜브를 통한 지식 습득이 유용한 경우도 많지만, 책을 통해 배워야 할 지식도 있다. 이 책을 통해 신뢰할 수 있는 데이터 파이프라인 구축을 위한 모든 지식을 얻어보자.

- 이동하 / 삼성전자 데이터 인텔리전스 팀장, 상무

 

카프카 커넥트 기반으로 데이터를 제어하려는 모든 엔지니어에게 필독서라고 생각합니다. 카프카 커넥트의 핵심 개념부터 실전 적용까지 정리된 최고의 책으로, 카프카 커넥트를 처음 접하는 엔지니어뿐만 아니라 실질적으로 구축하고 운영하는 엔지니어들에게 이 책을 강력히 권장합니다.

- 이재한 / 카카오 엔터프라이즈 부사장

 

고승범 매니저님과의 인연은 2020년 컨플루언트 한국 지사 설립 초기부터 시작되어 현재까지 지속되고 있습니다. 그는 국내에서 대규모 카프카 운영 경험을 보유하고 있으며, 두 권의 카프카 관련 서적을 집필 출판하여 국내에 카프카를 널리 알리는 데 큰 기여를 했습니다. 이번에는 카프카 커넥트 원서를 번역 출판하여 카프카를 더욱 확장하여 활용할 수 있도록 돕고 있습니다. 이 책을 통해 많은 기업과 조직에서 카프카를 더욱 효과적으로 사용할 수 있을 것으로 기대됩니다.

- 최영주 / 오라클 부사장, 전 컨플루언트 코리아 대표