최고의 AI 전문가 칩 후옌이 엔비디아, 스노클 AI, 스탠퍼드에서 쌓은 현장 경험과 노하우!

모델 활용을 넘어서, 실전으로 통하는 AI 서비스 설계 가이드

“프로덕트 레벨에 맞는 설계란 무엇일까요?”

파운데이션 모델을 활용해 누구나 손쉽게 AI 애플리케이션을 만들 수 있는 시대가 되었습니다. 하지만 실제 프로덕트 레벨의 시스템을 구축하려면 단순한 API 호출이나 프롬프트 작성만으로는 충분하지 않습니다. 아이디어를 사용자가 만족하는 서비스로 완성하기 위해서 빠르게 변화하는 모델 환경과 기술 스택, 늘어나는 활용 가능성과 그에 따른 리스크 속에서 AI 애플리케이션을 안정적이고 효과적으로 설계하고 운영해야 합니다.

이 책은 현업의 이러한 고민에 명쾌한 해답을 제시하는 AI 엔지니어링 실전 가이드입니다. 프롬프트 엔지니어링, RAG, 파인튜닝, 에이전트, 데이터셋 설계 등의 다양한 기법부터 평가 지표 설계, 인프라 최적화, 사용자 피드백을 통한 개선 루프 구축까지, AI 모델을 실제 서비스로 연결하기 위한 전 과정을 체계적으로 설명합니다. 파운데이션 모델을 ‘어떻게 쓸 것인가’에 그치지 않고, 어떤 문제를 해결할 수 있는지, 또 이를 어떤 방식으로 설계하고 발전시킬 수 있도록 가이드합니다.

파운데이션 모델을 사용하는 단계를 넘어 신뢰받는 AI 프로덕트를 설계, 운영, 개선하고자 고민하는 모든분께 이 책을 추천합니다.

[목 차]

1장 파운데이션 모델을 활용한 AI 애플리케이션 입문

_1.1 AI 엔지니어링의 부상

__1.1.1 언어 모델에서 대규모 언어 모델로

__1.1.2 대규모 언어 모델에서 파운데이션 모델로

__1.1.3 파운데이션 모델에서 AI 엔지니어링으로

_1.2 파운데이션 모델 활용 사례

__1.2.1 코딩

__1.2.2 이미지 및 동영상 제작

__1.2.3 글쓰기

__1.2.4 교육

__1.2.5 대화형 봇

__1.2.6 정보 집계

__1.2.7 데이터 체계화

__1.2.8 워크플로 자동화

_1.3 AI 애플리케이션 기획

__1.3.1 활용 사례 평가

__1.3.2 기대치 설정

__1.3.3 마일스톤 계획

__1.3.4 유지보수

_1.4 AI 엔지니어링 스택

__1.4.1 AI의 세 가지 계층

__1.4.2 AI 엔지니어링 대 ML 엔지니어링

__1.4.3 AI 엔지니어링 대 풀스택 엔지니어링

_1.5 마치며

 

2장 파운데이션 모델 이해하기

_2.1 학습 데이터

__2.1.1 다국어 모델

__2.1.2 도메인 특화 모델

_2.2 모델링

__2.2.1 모델 아키텍처

__2.2.2 모델 크기

_2.3 사후 학습

__2.3.1 지도 파인튜닝

__2.3.2 선호도 파인튜닝

_2.4 샘플링

__2.4.1 샘플링의 기초

__2.4.2 샘플링 전략

__2.4.3 테스트 시점 연산

__2.4.4 구조화된 출력

__2.4.5 AI의 확률적 특성

_2.5 마치며

 

3장 평가 방법론

_3.1 파운데이션 모델 평가의 어려움

_3.2 언어 모델링 지표 이해하기

__3.2.1 엔트로피

__3.2.2 교차 엔트로피

__3.2.3 문자당 비트와 바이트당 비트

__3.2.4 퍼플렉시티

__3.2.5 퍼플렉시티 해석과 활용 사례

_3.3 정확한 평가

__3.3.1 기능적 정확성

__3.3.2 참조 데이터 유사도 측정

__3.3.3 임베딩 소개

_3.4 AI 평가자

__3.4.1 AI 평가자를 쓰는 이유

__3.4.2 AI 평가자 사용법

__3.4.3 AI 평가자의 한계

__3.4.4 평가자로 활용 가능한 모델

_3.5 비교 평가를 통해 모델 순위 정하기

__3.5.1 비교 평가의 과제들

__3.5.2 비교 평가의 미래

_3.6 마치며

 

4장 AI 시스템 평가하기

_4.1 평가 기준

__4.1.1 도메인 특화 능력

__4.1.2 생성 능력

__4.1.3 지시 수행 능력

__4.1.4 비용과 지연 시간

_4.2 모델 선택

__4.2.1 모델 선택 과정

__4.2.2 모델 자체 개발 대 상용 모델 구매

__4.2.3 공개 벤치마크 탐색하기

_4.3 평가 파이프라인 설계하기

__4.3.1 1단계: 시스템의 모든 구성 요소 평가하기

__4.3.2 2단계: 평가 가이드라인 만들기

__4.3.3 3단계: 평가 방법과 데이터 정의하기

_4.4 마치며

 

5장 프롬프트 엔지니어링

_5.1 프롬프트 소개

__5.1.1 인컨텍스트 학습: 제로샷과 퓨샷

__5.1.2 시스템 프롬프트와 사용자 프롬프트

__5.1.3 컨텍스트 길이와 컨텍스트 효율성

_5.2 프롬프트 엔지니어링 모범 사례

__5.2.1 명확하고 명시적인 지시 작성하기

__5.2.2 충분한 컨텍스트 제공하기

__5.2.3 복잡한 작업을 단순한 하위 작업으로 나누기

__5.2.4 모델에게 생각할 시간 주기

__5.2.5 프롬프트 반복하며 개선하기

__5.2.6 프롬프트 엔지니어링 도구 평가하기

__5.2.7 프롬프트 정리 및 버전 관리하기

_5.3 방어적 프롬프트 엔지니어링

__5.3.1 독점 프롬프트와 역 프롬프트 엔지니어링

__5.3.2 탈옥과 프롬프트 주입

__5.3.3 정보 추출

__5.3.4 프롬프트 공격에 대한 방어

_5.4 마치며

 

6장 RAG와 에이전트

_6.1 RAG

__6.1.1 RAG 아키텍처

__6.1.2 검색 알고리즘

__6.1.3 검색 최적화

__6.1.4 텍스트를 넘어선 RAG

_6.2 에이전트

__6.2.1 에이전트 개요

__6.2.2 도구

__6.2.3 계획 수립

__6.2.4 에이전트 실패 유형과 평가

_6.3 메모리

_6.4 마치며

 

7장 파인튜닝

_7.1 파인튜닝 개요

_7.2 파인튜닝이 필요한 경우

__7.2.1 파인튜닝을 해야 하는 이유

__7.2.2 파인튜닝을 하지 말아야 하는 이유

__7.2.3 파인튜닝과 RAG

_7.3 메모리 병목 현상

__7.3.1 역전파와 학습 가능한 파라미터

__7.3.2 메모리 계산

__7.3.3 수치 표현 방식

__7.3.4 양자화

_7.4 파인튜닝 기법

__7.4.1 파라미터 효율적 파인튜닝

__7.4.2 모델 병합과 다중 작업 파인튜닝

__7.4.3 파인튜닝 전술

_7.5 마치며

 

8장 데이터셋 엔지니어링

_8.1 데이터 큐레이션

__8.1.1 데이터 품질

__8.1.2 데이터 커버리지

__8.1.3 데이터 양

__8.1.4 데이터 수집과 주석

_8.2 데이터 증강 및 합성

__8.2.1 데이터 합성을 하는 이유

__8.2.2 전통적인 데이터 생성 기법

__8.2.3 AI 기반 데이터 합성

__8.2.4 모델 증류

_8.3 데이터 처리

__8.3.1 데이터 검사

__8.3.2 데이터 중복 제거

__8.3.3 데이터 정리 및 필터링

__8.3.4 데이터 형식 맞추기

_8.4 마치며

 

9장 추론 최적화

_9.1 추론 최적화 이해하기

__9.1.1 추론 개요

__9.1.2 추론 성능 지표

__9.1.3 AI 가속기

_9.2 추론 최적화

__9.2.1 모델 최적화

__9.2.2 추론 서비스 최적화

_9.3 마치며

 

10장 AI 엔지니어링 아키텍처와 사용자 피드백

_10.1 AI 엔지니어링 아키텍처

__10.1.1 1단계: 컨텍스트 보강

__10.1.2 2단계: 가드레일 도입하기

__10.1.3 3단계: 모델 라우터와 게이트웨이 추가

__10.1.4 4단계: 캐시로 지연 시간 줄이기

__10.1.5 5단계: 에이전트 패턴 추가

__10.1.6 모니터링과 관찰 가능성

__10.1.7 AI 파이프라인 오케스트레이션

_10.2 사용자 피드백

__10.2.1 대화형 피드백 추출

__10.2.2 피드백 설계

__10.2.3 피드백의 한계

_10.3 마치며

비즈니스 환경에서 실제로 활용할 수 있는 AI 애플리케이션 구축 전략과 실전 접근법에 집중한 체계적인 실행 가이드입니다. 다양한 도메인에서 AI 유스 케이스를 개발하고 운영해 본 경험을 바탕으로 보았을 때, 이 책은 파운데이션 모델의 개념부터 실제 활용 사례까지 균형 있게 다루며 실무자에게 꼭 필요한 시야를 제공합니다.

강병진, (전) Open Innovation GS (52g) 소프트웨어 엔지니어

 

이 책은 이 복잡한 시스템을 파운데이션 모델을 중심으로 잘 풀어내고 있습니다. 이론과 실무를 유기적으로 연결하여 기획 단계에서부터 모델 적용, 운영에 이르기까지 전 과정을 직관적이면서도 체계적으로 설명합니다. 각 개념과 방법론을 현업의 흐름 속에 자연스럽게 녹여, 단순한 기술 설명을 넘어 실무 가이드로서도 손색이 없습니다.

박경호, 클로저랩스 Co-Founder & CEO

 

이 책은 단순히 최신 기술을 나열하는 것이 아니라 실제 프로덕션 환경에서 마주할 수 있는 문제를 해결하기 위한 근본적인 원칙과 시스템 설계 방법을 체계적으로 다룹니다. 빠르게 변화하는 AI 기술의 혼란 속에서도 변하지 않을 핵심 원리를 통해 중심을 잡을 수 있도록 도와줍니다. 단순한 프로토타입 수준을 넘어, 신뢰할 수 있고 확장 가능한 AI 시스템을 구축하고자 하는 모든 엔지니어에게 든든한 가이드가 될 책입니다.

박준영, 카카오페이증권 AI 프로덕트 엔지니어

 

LLM의 등장으로 기존 ML 엔지니어링을 넘어, 모델·인프라·애플리케이션 영역을 모두 아우르는 더 포괄적인 개념인 AI 엔지니어링이 주목받고 있습니다. 이 책은 그 방대한 영역을 실무와 개념을 두루 아우르며 그 어떤 책보다 폭넓고 깊이 있게 다룹니다. 또한 어려운 개념도 단계별로 차근차근 설명하여 처음 접하는 독자도 쉽게 이해할 수 있도록 돕습니다. 개인적으로 이 책은 AI 분야의 필독서가 될 것이라 확신합니다.

이호연, AI 스타트업 테크 리드

 

어떤 일을 하든 전체 그림을 볼 수 있는지 여부는 큰 차이를 만듭니다. 그런데 전체 그림을 본다는 것은 결코 쉽지 않습니다. 특히 하루가 다르게 변하는 AI 분야에서는 더욱 그렇습니다. 저자인 칩 후옌은 이러한 부분에서 독보적인 역량을 보여줍니다. 현역 엔지니어로서 수많은 엔지니어와 끊임없이 교류하며 얻은 통찰을 바탕으로 전체 그림을 정리해 전달합니다. 글의 스타일 또한 시원시원합니다. 전작 『머신러닝 시스템 설계』에 이어, 파운데이션 모델 이후의 AI에 초점을 둔 이 책이 좋은 번역으로 출간되어 무척 기쁩니다.

정원창, 머신러닝 엔지니어