“할루시네이션은 버그가 아니라 LLM의 창조적 특성이다!”

할루시네이션 특성을 ‘제대로’ 제어하는 법을 다루는

최초의 프롬프트 가이드북

LLM을 사용하거나 서비스에 적용할 때 가장 큰 장애물은 ‘할루시네이션’이다. 이 책은 지금껏 단순한 버그로 여겨졌던 할루시네이션을 제어 가능한 속성으로 바라보고, 이를 줄이는 다양한 프롬프트 엔지니어링 기법과 RAG, 에이전트 설계 전략을 코드 실습과 함께 구체적으로 다룬다.

OpenAI, Gemini, 랭체인 등 최신 도구로 실습하며 프로덕션 수준의 신뢰성 있는 AI 애플리케이션을

구현하는 방법 또한 배울 수 있다. AI를 단순히 ‘써보는’ 단계를 넘어 직접 서비스에 녹여내고 싶은 AI 엔지니어와 개발자에게 필수 지침서가 되어줄 것이다

[목 차]
  

[CHAPTER 01 프롬프트 엔지니어링 개요]

 

1.1 프롬프트 엔지니어링이란

1.2 대규모 언어 모델

1.3 기본 환경 설정

__Google Colaboratory

__OpenAI API

__Gemini API

1.4 LLM 실습

1.5 오늘날의 프롬프팅 기법들

__제로샷 및 퓨샷 프롬프팅

__CoT 프롬프팅

__검색 증강 생성

 

[CHAPTER 02 할루시네이션 예방 기법]

 

2.1 할루시네이션의 정의와 유형

2.2 할루시네이션 발생 유형

__사실적 할루시네이션

__논리적 할루시네이션

__문맥적 할루시네이션

2.3 할루시네이션을 예방하는 기술

__데이터 품질 개선

__모델 아키텍처 개선

__사후 검증 기법

__프롬프트 엔지니어링 기법

2.4 프롬프트 엔지니어링 기법

__셀프 어텐션 메커니즘 이해

__셀프 어텐션을 고려한 프롬프트 엔지니어링

__프롬프트 엔지니어링이 가능한 이유

2.5 자기 일관성

2.6 CoT 프롬프팅

2.7 지식 생성 프롬프팅

2.8 자기 검증

2.9 CoVe 프롬프팅

2.10 평가 및 진단 도구

__LLM 할루시네이션 평가의 필요성

__벤치마크 데이터셋

__오픈소스 진단 도구

__기업 환경에서의 활용

 

[CHAPTER 03 심화: 프롬프트 응용]

 

3.1 프롬프트 체인

__프롬프트 체인 개념 및 활용

__프롬프트 체인 구현 예제와 상세 분석

3.2 랭체인 프레임워크

__랭체인 도입

__랭체인 구성 요소

__랭체인 실습

3.3 ReAct

__ReAct의 등장 배경

__ReAct의 구조

__ReAct 예제

3.4 리플렉션

__리플렉션의 메커니즘: 실행, 평가, 성찰, 그리고 기록

__리플렉션 예제

3.5 프롬프트 가드레일

__가드레일의 필요성

__가드레일 설계의 두 가지 접근법: 규범과 덕목

__[예제 1] ShieldGemma를 이용한 출력 콘텐츠 검증

__[예제 2] 다계층 가드레일 아키텍처

3.6 멀티 에이전트 시스템

__단일 에이전트 아키텍처의 본질적 한계

__멀티 에이전트 아키텍처

__주요 협력 패턴과 할루시네이션 제어

__멀티 에이전트 아키텍처 예제

3.7 도메인 특화 프롬프트

__도메인 특화 프롬프트의 이해

__도메인 특화 프롬프트 예제

3.8 LLM 시스템 평가와 관측 가능성

__무엇을, 왜, 어떻게 측정할 것인가?

__오프라인 평가 파이프라인 구축

__평가 예제: 랭스미스를 이용한 RAG 시스템 진단 및 개선

 

[CHAPTER 04 그라운딩과 지식 통합]

 

4.1 그라운딩 개념과 필요성

4.2 검색 증강 생성

__RAG의 필요성

__RAG 아키텍처

__임베딩과 벡터 저장소

__데이터 처리 파이프라인

__RAG 예제 파이프라인 구축

__RAG, 할루시네이션을 어떻게 제어하는가?

__RAG의 효과

4.3 데이터 통합과 지식 그래프

__지식 그래프 도입

__왜 RAG에 지식 그래프를 결합해야 하는가?

__지식 그래프를 활용한 RAG 구현 패턴

__지식 그래프 RAG 구현하기: Text-to-Cypher

__ 지식 그래프 구현 방식의 한계

4.4 그라운딩 기법을 고려한 체인

__RAG 체인

__라우터 체인

__자기 교정 RAG 루프

4.5 에이전트 디자인을 통한 지식 통합

__지식 통합을 위한 에이전트 도구 구성

__복합 질문을 해결하는 에이전트의 사고 과정 분석

__장기 기억과 지식 그래프의 결합

__랭체인 에이전트를 이용한 지식 통합

 

[CHAPTER 05 실전 프로젝트: 에이전트 만들기]

 

5.1 첫 번째 프로젝트: 나만의 백과사전 챗봇

5.2 두 번째 프로젝트: 실시간 질의응답 에이전트

5.3 세 번째 프로젝트: 주식 트렌드 분석 에이전트

5.4 프로젝트를 마무리하며

 

[부록: 고급 기법과 도구 소개]

 

A 심화 프롬프팅 기법

B 주요 도구 및 라이브러리

C 책임감 있는 AI 구축

박해선 (Google AI/Cloud GDE, Microsoft AI MVP)

솔직히 말하면 (자연 지능을 가진) 저는 분위기에 어울리지 않게 이상한 말을 할 때가 너무 많습니다. 굳이 그러지 않아도 되는 상황인데도 어디서 시작되었는지 모를 말이 나도 모르게 입 밖으로 튀어 나와 버리고 맙니다. 그 순간 ‘아차’ 싶지만 이미 엎질러진 물이죠. 이 시대의 인공(!) 지능인 LLM도 비슷합니다. 맥락에 맞지 않는 말을 하거나 사실과 다른 이야기를 지어내기도 합니다. 사실 인간이 그렇듯이 이런 할루시네이션을 완전히 막을 방법은 없습니다.

하지만 다행히, 드디어 할루시네이션을 다루는 전문적인 프롬프트 엔지니어링 책이 나왔습니다. 할루시네이션의 종류와 다양한 해결책을 입문자도 이해하기 쉽게 단계적으로 설명하고 있어 흥미롭습니다. 또한 RAG, 랭체인, 에이전트와 같은 고급 도구와 함께 사용하는 방법도 소개하니 많은 분에게 큰 도움이 될 것 같습니다. 아, 부디 저의 자연 지능이 만들어내는 할루시네이션도 줄이는 방법이 있으면 좋겠습니다.

 

박찬성 (한국전자통신연구원 선임연구원, HuggingFace Fellow)

현대 AI가 피할 수 없는 버그이자 동시에 창의성의 원천인 할루시네이션은 AI를 제대로 다루기 위해 반드시 정복해야 할 과제입니다. 이 책은 할루시네이션 제어 능력을 기르기 위한 완벽한 지침서입니다. 프롬프트의 기초 원리부터 CoT, RAG, ReAct와 같은 업계 표준 기법, 자율 에이전트 시스템 구축을 통한 접근법, 그리고 할루시네이션 평가 방법론까지 다룹니다. 빠르게 발전하여 어디서부터 어떻게 시작해야 할지 막막한 AI 기술 분야에서, 독자가 방대한 지식을 헤매지 않고 쉽게 습득할 수 있도록 체계적인 길잡이가 되어줍니다. 뿐만 아니라 독자는 엔드 투 엔드 예제 프로젝트를 직접 따라 하며 이론을 실제 서비스에 적용하는 실전 감각까지 확실하게 익힐 수 있을 것입니다.

 

이준호 (인그래디언트 대표)

이 책은 우리가 AI와 더 정확하고 효과적으로 소통하는 법을 알려주는 탁월한 안내서입니다. 할루시네이션을 단순한 오류가 아닌 LLM의 본질적 특징으로 정의하고, 이를 제어하기 위한 프롬프트 엔지니어링의 체계적인 방법론을 제시합니다. 자칫 복잡하고 막연하게 느껴질 수 있는 주제를 명쾌한 원리와 실전 프로젝트를 통해 끝까지 친절하게 안내하려는 저자의 노력이 돋보입니다. 독자들은 단순한 정보 검색을 넘어 AI가 스스로 추론하고 행동하며 학습하는 고급 에이전트 시스템을 어떻게 설계하는지, 전체적인 아키텍처를 깊이 있게 학습하게 됩니다. 특히 AI가 자신의 기억에만 의존하지 않고 외부의 검증된 자료를 찾아보고 답하게 만드는 방법을 상세히 다루어, LLM이 만들어내는 결과의 신뢰성을 공학적으로 확보하는 길을 명확히 보여줍니다.

이 책은 AI 시스템을 직접 구축하는 개발자와 아키텍트는 물론 최신 챗봇 빌더 서비스를 활용하는 기획자에게도 실질적인 지침을 제공합니다. 나아가 복잡한 코드를 넘어 AI의 작동 원리와 신뢰성을 깊이 이해하고 싶은 일반인들에게도 훌륭한 입문서가 될 것입니다.