[목 차]
  

추천사 ix

베타리더 후기 xiii

오프닝 xiv

튜토리얼 xvi

학습 가이드 xxii

로드맵 xxiv

 

LEVEL 1 대표 AI API 비교 분석 1

1.1 생산성 향상에 도움을 주는 AI 2

__1.1.1 생성형 AI 서비스 2

__1.1.2 이미지 생성 AI 8

__1.1.3 영상 생성 AI 9

__1.1.4 코딩 자동 생성 AI 11

1.2 AI API의 특징과 비용 15

__1.2.1 OpenAI API 15

__1.2.2 Google AI API 16

__1.2.3 Meta LLaMA API 17

__1.2.4 Claude API 18

__1.2.5 Naver Clova AI API 18

 

LEVEL 2 Text generation API를 사용하여 인공지능 대화형 NPC 구현하기 21

2.1 OpenAI API 알아보기 22

__2.1.1 GPT 모델 22

__2.1.2 OpenAI에서 제공하는 API 모델 23

2.2 OpenAI API 시작하기 25

__2.2.1 OpenAI 계정 만들기 25

__2.2.2 API 키 발급받기 26

__2.2.3 API Key 토큰 비용 충전하기 27

__2.2.4 개발 환경 준비 28

2.3 Unity 시작하기 29

__2.3.1 Unity 허브 설치하기 29

__2.3.2 Unity 계정 생성 및 라이선스 획득하기 30

__2.3.3 Unity 에디터 버전 설치하기 30

__2.3.4 Unity 3D 프로젝트 생성하기 31

__2.3.5 예제 리포지터리 사용하기 32

2.4 Unity에서 OpenAI API 텍스트 생성 예제 실행하기 34

__2.4.1 C# 스크립트 파일 생성 36

__2.4.2 네임스페이스 선언 36

__2.4.3 변수 선언 37

__2.4.4 요청 코루틴 정의 38

__2.4.5 JSON 메시지 구조 선언 38

__2.4.6 JSON 데이터 인코딩 39

__2.4.7 WebRequest 생성 39

__2.4.8 응답 처리 41

__2.4.9 결과 확인 43

__2.4.10 모델을 변경하는 방법 45

2.5 OpenAI API 사용하기 실전 예제 46

__2.5.1 스크립트 생성 46

__2.5.2 네임스페이스 수정 46

__2.5.3 웹 리퀘스트 형식 확인하기 48

__2.5.4 URL, apiKey 변수 만들기 51

__2.5.5 웹 리퀘스트 코루틴 만들기 51

__2.5.6 웹 리퀘스트 발송하기 54

__2.5.7 에러 핸들링 60

__2.5.8 응답 데이터에서 메시지 추출 62

__2.5.9 코루틴 함수 작성하기 66

__2.5.10 UI Manager 스크립트 작성 68

__2.5.11 UI에 적용하기 70

__2.5.12 캐릭터 애니메이션 연결하기 71

 

LEVEL 3 Whisper API 사용하기 77

3.1 Whisper API 소개 78

__3.1.1 Whisper API로 할 수 있는 것들 79

__3.1.2 Whisper 모델별 특징 79

3.2 Whisper API 사용해보기 82

__3.2.1 Transcriptions 엔드포인트 사용하기 82

__3.2.2 Translation 엔드포인트 사용하기 87

__3.2.3 타임스탬프 사용하기 89

__3.2.4 용량 제한하기 91

__3.2.5 Whisper 프롬프트 사용하기 93

__3.2.6 GPT 후처리 적용하기 96

3.3 Whisper API 사용하기 실전 예제 101

__3.3.1 Unity에서 Whisper API로 음성 인식해보기 101

__3.3.2 음성 인식을 활용하여 회의록을 자동 생성하는 예제 115

__3.3.3 Whisper API와 OpenAI API를 사용하여 번역기 만들기 125

3.4 음성 인식 기반 인공지능 NPC 상호작용 구현하기 133

__3.4.1 프로젝트 세팅하기 135

__3.4.2 AI 프롬프트 작성하기 141

__3.4.3 음성 인식 인공지능 NPC 실행하기 142

__3.4.4 확장 가능성 143

 

LEVEL 4 TTS API 사용하기 145

4.1 TTS 개요 146

__4.1.1 주요 TTS 서비스 146

__4.1.2 TTS의 작동 원리 147

4.2 OpenAI TTS 사용하기 149

__4.2.1 OpenAI TTS 가격 정책 149

__4.2.2 주요 엔드포인트 149

__4.2.3 입력과 출력 150

__4.2.4 OpenAI TTS 사용 제한사항 151

__4.2.5 샘플 음성 들어보기 151

__4.2.6 OpenAI API Text to speech 엔드포인트 사용하기 152

4.3 Google TTS API 사용하기 159

__4.3.1 Google Cloud 가입하기 159

__4.3.2 Google Cloud TTS API 예제 실행하기 169

4.4 TTS API 사용하기 실전 예제 178

__4.4.1 OpenAI TTS API 활용 예제 178

__4.4.2 Google TTS API 사용 예제 189

__4.4.3 TTS를 활용한 음성 녹음기 만들기 201

__4.4.4 음성 내레이션이 나오는 인공지능 NPC 구현하기 226

 

LEVEL 5 Image Generation API 사용하기 247

5.1 OpenAI DALL-E API 개요 248

__5.1.1 DALL-E API의 Generations 엔드포인트 사용하기 250

__5.1.2 DALL-E API의 Edits 엔드포인트 사용하기 259

5.2 Image Generation API 사용하기 실전 예제 267

__5.2.1 이미지 자판기 만들기 267

__5.2.2 그림 그려주는 인공지능 NPC 만들기 279

 

LEVEL 6 립싱크 기술로 구현하는 음성 기반 인공지능 NPC 얼굴 애니메이션 291

6.1 얼굴 애니메이션을 위한 립싱크 기술 292

6.2 음성 스펙트럼을 분석하여 발음에 따른 애니메이션을 만들어주는 예제 294

__6.2.1 퀘스트 295

__6.2.2 예제에 필요한 준비물 295

__6.2.3 스크립트 생성 297

__6.2.4 컴포넌트 적용하기 310

__6.2.5 실행하기 311

6.3 오디오 볼륨 감지를 활용한 간단한 립싱크 애니메이션 예제 313

__6.3.1 퀘스트 314

__6.3.2 예제에 필요한 준비물 314

__6.3.3 스크립트 생성 316

__6.3.4 인공지능 캐릭터 준비하기 319

__6.3.5 컴포넌트 연결하기 321

__6.3.6 실행하기 322

 

LEVEL 7 인터랙션 인공지능 캐릭터 만들기 325

7.1 인터랙션 인공지능 캐릭터 만들기 실전 예제 326

__7.1.1 OpenAIManager.cs 작성하기 327

__7.1.2 UIManager.cs 작성하기 331

__7.1.3 OpenAITTS.cs 작성하기 331

__7.1.4 SetMicrophone.cs 작성하기 332

__7.1.5 SaveWav.cs 작성하기 332

__7.1.6 WhisperManager.cs 작성하기 333

__7.1.7 NPCManager.cs 작성하기 334

__7.1.8 LipsyncSimpleController.cs 작성하기 335

__7.1.9 UI 및 리소스 연결하기 336

__7.1.10 인공지능 NPC 실행하기 337

7.2 인공지능 NPC 기능 구현하기 339

__7.2.1 OpenAIActionManager.cs 작성하기 339

__7.2.2 Manager 컴포넌트 등록 345

__7.2.3 실전 완성 코드 346

__7.2.4 실행하기 348

7.3 확장 가능성 349

 

LEVEL 8 프롬프트 엔지니어링 351

8.1 프롬프트 엔지니어링의 장점 352

8.2 프롬프트 엔지니어링 기법 354

__8.2.1 제로샷 프롬프팅 354

__8.2.2 퓨샷 프롬프팅 356

__8.2.3 사고의 사슬 프롬프팅 359

__8.2.4 생각의 나무 프롬프팅 361

__8.2.5 후카츠식 프롬프트 프레임워크 364

__8.2.6 프롬프트 캐싱 367

8.3 프롬프트 캐싱이 적용된 인공지능 NPC 만들기 실전 예제 373

__8.3.1 OpenAIPromptCachingManager.cs 스크립트 작성하기 375

__8.3.2 UI 및 리소스 연결하기 379

__8.3.3 실행하기 381

 

LEVEL 9 AI의 미래, 그리고 진화하는 NPC 385

9.1 생성형 AI의 현 주소와 전환점 386

__9.1.1 AI 에이전트의 등장 387

__9.1.2 낮아지는 AI 진입 장벽 393

__9.1.3 AI가 결합된 콘텐츠 산업의 재편 395

__9.1.4 산업에서 실현되는 AI NPC 사례 396

9.2 언어 모델 변경하기 399

 

엔딩 402

용어집 403

찾아보기 410

[본 문]
  

OpenAI API는 REST API를 통해 다양한 기능을 제공합니다. 이 중 Chat Completions 엔드포인트를 사용해 ChatGPT와 같은 대화형 AI 모델의 답변을 생성할 수 있습니다. OpenAI API를 사용하는 방법은 다음과 같습니다. / 가장 기본적인 방법은 HTTP 클라이언트를 사용하는 것으로, curl이나 Postman 같은 도구를 이용해 직접 API 요청을 보내고 응답을 확인할 수 있습니다. 이 방식은 API의 구조를 정확히 이해하고 있을 때 유용하며, 요청의 흐름을 눈으로 확인하거나 디버깅할 때 특히 도움이 됩니다. / 또 다른 방법으로는 OpenAI에서 제공하는 공식 SDK를 사용하는 것입니다. 현재 Python과 Node.js용 SDK가 제공되고 있으며, 이를 활용하면 훨씬 간단하고 직관적으로 코드를 작성할 수 있습니다. 복잡한 요청 구조를 직접 다룰 필요 없이 함수 호출만으로 필요한 결과를 받아볼 수 있기 때문에, 개발 생산성을 크게 높일 수 있습니다. (34쪽)

 

Whisper API 모델은 음성을 텍스트로 변환할 때 마침표, 쉼표, 물음표, 느낌표 등의 구두점(punctuation)을 누락하는 경우가 있습니다. 이때 구두점을 포함하도록 유도하는 프롬프트를 활용하면 더욱 자연스럽고 정확한 결과를 얻을 수 있습니다. / 여러 개의 파일로 분할된 음성 데이터를 처리할 때는 앞서 인식한 내용을 프롬프트로 제공하여, 모델이 이전 발화의 콘텍스트를 이해하고 좀 더 일관성 있는 텍스트를 생성할 수 있도록 도울 수 있습니다. (93쪽)

 

currentPrompt 변수에 작성된 프롬프트를 변경하여 더욱 다양한 NPC의 특성과 역할을 추가할 수 있습니다. / 다양한 역할의 NPC를 만들기 위해 프롬프트와 애니메이션을 조합하면 생동감 있는 캐릭터를 구현할 수 있습니다. 예를 들어 상점 주인이나 퀘스트 제공자, 탐험 가이드처럼 게임 세계관에 어울리는 다양한 역할을 부여할 수 있습니다. / 추가 상호작용 기능을 통해 NPC는 대화 중 사용자의 음성 입력에 실시간으로 반응할 수 있습니다. 사용자 입력에 따라 애니메이션이나 사운드 효과를 추가하면 더욱 몰입감 있는 상호작용이 가능해집니다. (143쪽)

 

이러한 립싱크 기술은 가상 캐릭터 라이브 스트리밍인 버튜버(VTuber) 콘텐츠에서도 활용할 수 있습니다. 실시간 음성을 바탕으로 가상 캐릭터의 애니메이션을 구현할 수 있으며, AI 음성뿐만 아니라 사용자의 실제 음성을 연동해 직접 캐릭터를 조작하는 것도 가능합니다. / 눈썹 움직임이나 얼굴 표정과 함께 사용하면 감정 표현이 풍부한 애니메이션도 가능합니다. Viseme 데이터에 감정 정보를 결합하면, AI 캐릭터가 기쁨, 슬픔, 놀람 등 다양한 감정에 맞는 반응을 자연스럽게 보여줄 수 있습니다. (293쪽)

 

게임에서 NPC가 퀘스트나 퍼즐을 설명할 때 사고의 사슬 프롬프팅을 활용하면 단계적으로 자연스러운 힌트나 논리적인 설명을 AI가 제공하도록 유도할 수 있습니다. AI가 질문의 의도를 제대로 이해하지 못했을 때는 단계별로 설명하도록 유도하면 어디서 이해가 어긋났는지 쉽게 파악할 수 있습니다. 또한 단계적 접근 방식을 사용하면 게임 속 NPC가 마치 실제 사람처럼 생각하는 듯한 생동감을 제공하여 플레이어의 게임 몰입감을 높일 수 있습니다. (361쪽)

 

프롬프트 캐싱 시스템은 NPC가 플레이어의 이전 행동과 선택을 기억하여 훨씬 자연스럽고 생동감 있는 대화를 제공하는 데 사용할 수 있습니다. / 예를 들어 플레이어가 이전 대화에서 특정 퀘스트를 언급하거나 아이템을 찾았다고 말했다면, NPC는 이후 플레이어와의 대화에서 “퀘스트는 잘 해결되었나요?” 또는 “지난번 찾으셨던 아이템은 유용했나요?”와 같은 맞춤형 응답을 제공하여 플레이어가 실제로 살아 있는 캐릭터와 소통하는 듯한 경험을 느끼게 할 수 있습니다. (382쪽)

고은빈 (AI Engineer UT Austin 석사, 前 블리자드 엔터테인먼트)

AI와 게임 개발의 경계를 넘나드는 짜릿한 가이드! 생생한 예제와 최신 기술로 누구나 차세대 인공지능 NPC 구현에 도전할 수 있습니다. 게임과 AI의 융합이 궁금하다면 이 책이 가장 흥미로운 출발점이 될 것입니다.

 

김대욱 (네이버제트 이사)

AI가 단순한 도구를 넘어, 캐릭터에게 ‘영혼’을 불어넣는 시대가 열렸습니다. 이제 캐릭터는 더 이상 시각적인 디자인에 머물지 않고, 감정과 사고, 서사를 지닌 하나의 페르소나로 진화하고 있습니다. 이 책은 그 변화의 중심에서 AI를 통해 살아 숨 쉬는 캐릭터를 구현하는 실질적인 방법과 통찰을 제시합니다. AI가 만들어낼 새로운 창작의 시대를 마주하고자 하는 이들에게 이 책은 든든한 길잡이가 되어줄 것입니다.

 

김상훈 (한글과컴퓨터 개발자, <스콘>, <레이어드> 개발)

AI가 일상 속에 깊이 스며든 오늘날, 각 분야는 기술적 관점을 어떻게 자신들의 영역에 접목할 것인가라는 과제를 안고 있습니다. 이 책은 그러한 융합의 과정을 실질적이고 구체적으로 보여주며, 서로 다른 분야 간의 가능성을 확장시킨다는 점에서 매우 의미 있습니다. 관련 분야의 입문자에게는 든든한 길잡이가, 다른 분야의 종사자에게는 새로운 영감과 이해를 전해주는 유익한 책입니다. 무엇보다 자신이 쌓아온 경험과 통찰을 다른 이들과 나누고자 하는 저자들의 꾸준한 열정과 노고에 깊은 존경과 박수를 보냅니다.

 

김종화 (前 핸드메이드 대표, 현 네이버 제트 기획자, 퍼즐 게임 <룸즈> 시리즈 개발)

AI 기술의 발전은 누구나 창작자가 될 수 있는 가능성을 열었습니다. 하지만 너무 빠르게 변화하는 기술 속에서 무엇을 어떻게 활용해야 할지 막막하게 느껴질 때도 있습니다. 이 책은 다양한 최신 AI 기술을 Unity 환경에서 직접 적용해보는 구체적인예제들을 제공합니다. 독자는 이 예제들을 따라가며 실제 결과물을 만들어봄으로써 AI 기술을 활용한 창작 과정을 실질적으로 학습하고 경험할 수 있을 것입니다. 이 책은 AI를 활용한 콘텐츠 제작의 첫걸음을 떼고자 하는 이들에게 좋은 출발점이 될 것입니다.

 

김진경 (카카오 프로덕트 오너)

Unity 6로 현실감 넘치는 NPC를 구현하려는 개발자에게 이보다 더 완벽한 길잡이는 없을 것입니다. AI 기반 게임과 다양한 프로젝트 개발의 새로운 표준을 정교하게 제시한 실전형 안내서입니다.

 

명한나 (네이버 리더)

이 책은 ‘AI를 활용한 상호작용 설계’의 본질을 잘 보여줍니다. 음성, 표정, 대화 인터페이스가 하나의 경험으로 완성되는 과정을 섬세하게 다루며, AI와의 대화가 단순한 기능을 넘어 하나의 사용자 경험이 되는 시대를 열어갑니다. 사용자의 감정과 맥락에 반응하는 AI NPC를 만들고 싶은 디자이너에게, 기술적 장벽보다 창의적 선택의 자유를 줄 수 있을 것입니다.

 

송영국 (성균관대학교 지능형로봇학과 박사, 前 LG전자 책임연구원)

일상생활에서 사용하고 있는 제품을 게임의 NPC처럼 만 들 수 있을까요? 복잡해지는 전자제품의 매뉴얼들을 마치 게임 NPC처럼 알려줄 수 있다면 고령화 시대에 어르신들을 위한 좋은 가이드가 되지 않을까요? 이 책에서 이를 구현하는 현실적인 방법을 찾을 수 있습니다. 미래의 가전제품을 기획하고 개발하는 사람들에게 적극 추천합니다.

 

에릭 신 (성균관대학교 Executive MBA 교수 위원장, 교수)

이 책은 Unity와 OpenAI API 생태계(ChatGPT, Whisper, TTS, DALL-E)를 유기적으로 통합함으로써 복잡한 인공지능 개념을 명쾌하게 해석하고, 개발자와 학생 모두가 지능적이고 상호작용하는 NPC를 직접 설계할 수 있도록 돕습니다. 또한 단순히 코드를 가르치는 데 그치지 않고, 상상력과 인공지능이 만나는 몰입형 세계를 만들어갈 차세대 창작자들에게 깊은 영감을 줍니다.

 

이정익 (그란데클립 Interactive Developer)

과거 재환 님과 함께 책을 저술했을 때 독자의 눈높이를 맞추기 위해 끊임없이 노력하던 모습을 기억합니다. 역시나 이 책은 복잡한 AI 기술을 명쾌하게 풀어내는 재환 님의 장점이 고스란히 담겨 있습니다. 단순한 기술 소개를 넘어 플레이어와 교감하는 캐릭터에 생명력을 불어넣는 창의적 여정으로 안내하며, AI 시대의 창작자들에게 상상력의 자유를 선물할 것입니다.

 

이준표 (팬텀 수석 아티스트, <어비스리움>, <펭귄의 섬> 개발)

AI 기술의 상용화로 우리는 새로운 창작의 시대를 맞이하고 있습니다. 인간의 상상력과 AI의 기술이 결합되면서 게임 인공지능 역시 학습과 적응, 창의적 상호작용의 방향으로 빠르게 진화할 것입니다. 이 책은 게임 개발자들이 AI를 보다 쉽게 이해하고 활용할 수 있는 출발점이 될 것이라 확신합니다.

 

이현우 (현대자동차 팀장)

기술과 디자인을 넘나드는 ‘개발하는 디자이너’의 시선이 담긴 이 책은 AI와 함께 살아 숨 쉬는 게임 세계를 개발하고 싶은 분들에게 실용적인 가이드가 될 것입니다. 기술과 상상력 사이에서 길을 찾고 있는 분들께 이 책을 자신 있게 추천합니다.

 

임도현 (크래프톤 게임 기획자)

한동안 AI를 제가 하고 있는 작업에 적용할 방법을 찾기 위해 인터넷과 수많은 책들을 뒤졌습니다. 그 결과로 저는 이 책에 정착했고, 해답을 얻었습니다. 이 책은 생성형 AI가 단순한 콘텐츠 생성에서 나아가 가상 환경에서 생동감 있는 AI 캐릭터를 만드는 일련의 흐름을 설명합니다. Unity 씬에서 바로 적용할 수 있는 현실적인 가이드를 원한다면 분명 이 책에 빠져들게 될 것입니다. 다양한 예제는 덤입니다. Whisper, TTS, 프롬프트 엔지니어링, 캐싱 등 유니티에서의 각종 구현 방법을 훑어보며 현 시대의 실무 최전선을 몸소 확인해보세요.

 

허성국 (버지니아 대학교 전산학과 조교수)

AI는 게임 개발의 새로운 가능성을 열고 있습니다. 이 책은 게임 개발에서 LLM 기반 AI를 처음 활용해보고자 하는 이들에게 특히 적합한 실용적인 안내서입니다. 이 책에선 음성 인식, 이미지 생성, 음성 및 애니메이션 구현, NPC 설정까지 AI 기반 NPC 구현에 필요한 요소들을 다양한 예제와 함께 소개하여, 독자들이 직접 따라 하며 자연스럽게 배울 수 있도록 돕습니다.

 

황성화 (네이버 UI 디자이너)

이 책은 AI 시대의 게임 개발자에게 가장 실질적인 지침서입니다. OpenAI의 다양한 API를 Unity에 통합하는 과정을 단계별로 설명하며, 복잡한 기술을 누구나 이해할 수 있도록 친절하게 풀어냈습니다. 단순한 기술 설명을 넘어 창의적인 가상 세계를 설계하는 새로운 관점을 제시한다는 점에서 특별합니다. 게임 개발의 미래를 준비하는 모든 이에게 한 권으로 완성하는 AI 실무 가이드가 될 것입니다.