데모 개발은 쉽지만, 프로덕션 AI는 왜 자꾸 무너질까?

모델의 불확실성을 시스템으로 통제하는 AI 엔지니어링 실무 가이드

* 4인의 현업 AI 엔지니어 인터뷰 수록

데모 개발에서 LLM API를 호출하고, RAG를 붙이고, 에이전트에 도구를 연결하는 일은 이제 어렵지 않다. 문제는 그다음이다. 프로덕션에 올리는 순간 검색 결과가 빗나가고, 프롬프트가 어제와 다르게 동작하며, 비용과 지연 시간이 튀고, 에러 로그 없이 잘못된 답변이 사용자에게 전달된다. 이 책은 이런 ‘정상처럼 보이는 실패’를 다루는 실무형 AI 엔지니어링 가이드다.

 

전통적인 소프트웨어와 AI 시스템이 어떻게 다른지부터 데이터 파이프라인, 시맨틱 드리프트, 컨텍스트 포이즈닝, RAG 평가까지 AI 엔지니어가 알아야 할 핵심 개념을 다룬다. 여기에 도구 호출과 에이전트의 안전 설계, 비용 최적화, 세션-트레이스-스팬 기반 관측 가능성까지 실제 운영에 필요한 판단 기준을 함께 담았다. 마지막으로 부록에는 현업 AI 엔지니어 4인의 인터뷰를 담아, 책에서 다룬 원칙이 실제 현장에서 어떤 판단으로 이어지는지도 함께 보여준다.

 

빠르게 바뀌는 프레임워크보다 중요한 것은 모델의 불확실성을 시스템으로 통제하는 능력이다. 이 책을 통해 데모 수준의 AI 기능을 넘어, 장애를 감지하고 원인을 좁히며 안정적으로 운영할 수 있는 AI 시스템 설계 감각을 기를 수 있다.

[목 차]

PART 01 AI 시스템에서 처음으로 착각하게 되는 것들

 

CHAPTER 1 모델은 똑똑한데, 시스템은 왜 바보가 될까?

_1.1 전통적인 소프트웨어와 AI 시스템의 결정적 차이

_1.2 결정론적 시스템 vs. 확률론적 시스템

_1.3 AI 엔지니어링의 본질은 통제다

_1.4 핵심 정리

 

CHAPTER 2 AI 시스템 장애의 대부분은 모델 밖에서 시작된다

_2.1 실제 현장에서 가장 자주 터지는 장애 유형

_2.2 왜 성능 지표는 정상인데 서비스는 망가질까?

_2.3 침묵하는 장애가 가장 위험한 이유

_2.4 '모델은 무죄다'라는 관점

_2.5 핵심 정리

 

PART 02 데이터 파이프라인: 망가지는 건 항상 여기서 시작된다

 

CHAPTER 3 데이터 파이프라인은 단순한 ETL이 아니다

_3.1 데이터 파이프라인 = 의사결정 생성기

_3.2 행동을 위한 스트리밍, 진실을 위한 배치

_3.3 파이프라인 설계가 모델의 사고 구조를 고정시키는 방식

_3.4 '나중에 고치자'가 통하지 않는 이유

_3.5 핵심 정리

 

CHAPTER 4 데이터는 생각보다 훨씬 쉽게 망가진다

_4.1 정형 데이터의 부패: 스키마 드리프트 vs. 시맨틱 드리프트

_4.2 비정형 데이터의 부패: 컨텍스트 포이즈닝

_4.3 데이터 관측 가능성: 코드가 아니라 데이터를 테스트하라

_4.4 핵심 정리

 

CHAPTER 5 잘못된 피드백 루프는 AI 시스템을 천천히 죽인다

_5.1 피드백 루프의 구조 해부

_5.2 자기 강화적 편향

_5.3 피드백 루프를 끊는 방법

_5.4 피드백은 위험이자 자산이다: 암묵적 신호와 데이터 플라이휠

_5.5 핵심 정리

 

PART 03 LLM의 작동 원리를 모르면, 시스템 설계도 모른다

 

CHAPTER 6 생성형 AI는 API가 아니라 확률 엔진이다

_6.1 토큰, 확률, 샘플링: LLM이 텍스트를 만드는 방법

_6.2 컨텍스트 윈도우: LLM의 유한한 작업 기억

_6.3 생성형 AI 기반 시스템의 고유한 위험들

_6.4 핵심 정리

 

CHAPTER 7 예측 불가능한 모델 위에 안정적인 시스템을 만드는 법

_7.1 레이어 1: 모델 파라미터 통제: 확률의 폭을 줄이기

_7.2 레이어 2: 구조화된 출력 강제: '형식만큼은 결정론적으로'

_7.3 레이어 3: 생성-검증-수정 루프: 자기 교정 아키텍처

_7.4 레이어 4: 결정론적 로직 분리: LLM에게 맡기지 말아야 할 것

_7.5 레이어 5: 검증 인프라: 모델의 출력을 다층적으로 검증

_7.6 안전망의 비용: 신뢰성과 지연 시간의 트레이드오프

_7.7 핵심 정리

 

PART 04 모델을 둘러싼 시스템을 설계하라

 

CHAPTER 8 모델에게 올바른 맥락을 제공하는 기술

_8.1 청킹: 가장 먼저 다듬어야 할 곳

_8.2 검색 결과는 좋은데 응답이 이상한 이유

_8.3 단일 검색으로는 답할 수 없는 질문들

_8.4 벡터 검색 너머의 맥락 설계

_8.5 텍스트를 넘어서: 멀티모달 시스템의 맥락 설계

_8.6 맥락이 시간에 따라 썩는 문제

_8.7 맥락의 품질을 측정하는 법

_8.8 핵심 정리

 

CHAPTER 9 모델이 외부 세계와 상호작용하는 구조

_9.1 도구 스키마가 모호하면 잘못된 행동이 실행된다

_9.2 읽기 도구와 쓰기 도구는 위험도가 완전히 다르다

_9.3 최소 권한 원칙: 도구에도 적용된다

_9.4 AI 시대에도 멱등성은 변하지 않는다

_9.5 도구 실패가 추론을 붕괴시키는 방식

_9.6 프레임워크보다 원칙이 먼저다

_9.7 핵심 정리

 

CHAPTER 10 자율적으로 판단하고 행동하는 시스템을 설계하는 법

_10.1 에이전트를 만들지 않는 기술: 워크플로 다섯 패턴

_10.2 계획이 잘못되면 나머지 전부가 잘못된다

_10.3 멀티스텝에서 불확실성은 곱해진다

_10.4 아무도 트윗하지 않는 이야기: 비용과 안전의 현실

_10.5 체크포인팅과 롤백: 처음부터 다시 하지 않는 설계

_10.6 싱글 에이전트와 멀티 에이전트: 언제 무엇을 선택하는가?

_10.7 자율성의 경계를 설계하라

_10.8 능력의 분리: 에이전트에게 권한을 주기 전에

_10.9 읽기 도구가 공격 통로가 될 때

_10.10 핵심 정리

 

PART 05 시스템을 배포하고 운영하라

 

CHAPTER 11 AI 시스템은 배포되는 순간부터 비용이 된다

_11.1 추론의 두 단계: 프리필과 디코드

_11.2 지연 시간, 비용, 품질: 세 가지는 동시에 만족되지 않는다

_11.3 프롬프트 캐싱: 프리필을 건너뛰는 설계

_11.4 출력을 줄이는 것이 가장 효과적인 비용 레버다

_11.5 모델 라우팅과 캐스케이딩: 요청마다 적절한 모델을 고르는 법

_11.6 배치 처리: 실시간이 아니어도 되는 작업을 분리하라

_11.7 시맨틱 캐싱: 모델 호출 자체를 건너뛰는 설계

_11.8 에이전트 비용을 구조적으로 관리하는 법

_11.9 온프레미스와 셀프 호스팅: 다른 세계의 최적화

_11.10 비용 최적화의 올바른 순서

_11.11 핵심 정리

 

CHAPTER 12 감이 아니라 측정으로: 평가 주도 개발

_12.1 에러 분석: 모든 평가의 출발점

_12.2 평가의 3레벨

_12.3 골든 데이터셋: 작게 시작해 살아있게 유지한다

_12.4 LLM 심판을 신뢰하게 만드는 절차

_12.5 기준은 진화한다: 기준 표류

_12.6 평가·가드레일·관측 가능성의 관계

_12.7 핵심 정리

CHAPTER 13 관측되지 않는 AI 시스템은 이미 실패했다

_13.1 AI 관측 가능성의 기본 단위: 세션, 트레이스, 스팬

_13.2 무엇을 기록하고 무엇을 측정해야 하는가?

_13.3 품질이 조용히 떨어지는 것을 잡는 법

_13.4 장애를 체계적으로 분류하는 프레임워크

_13.5 알림 설계: '모든 것에 알림'은 '어떤 것에도 알림이 없는' 것과 같다

_13.6 관측 가능성은 처음부터 설계해야 한다

_13.7 핵심 정리

 

CHAPTER 14 AI 엔지니어는 무엇을 다르게 판단해야 하는가?

_14.1 좋은 AI 엔지니어는 문제를 어디서부터 의심하는가?

_14.2 차이를 만드는 세 가지 렌즈

_14.3 좋은 AI 엔지니어는 해결책의 순서를 의식적으로 고른다

_14.4 자동화의 경계선은 검증 가능성이다

_14.5 도구보다 오래가는 원칙

 

APPENDIX A 현업 AI 엔지니어 인터뷰

_Interview 1 숫자의 이유를 찾다: AI 에이전트 기반 실험 지표 진단 팟을 리드하며

_Interview 2 AI는 완성되지 않는다, 도메인을 만나기 전까지는

_Interview 3 안 되는 이유를 끝까지 추적하는 일

_Interview 4 “나중에 만들자”가 쌓이면 시스템이 무너진다

 

APPENDIX B 추가 자료

_Reference 참고문헌과 더 읽을거리