[목 차]

옮긴이 머리말 x

들어가며 xi

감사의 글 xiv

CHAPTER 1 | LLM과 AI 에이전트 기본 1

1.1 생성형 AI 기본 3

1.2 AI 에이전트 기본 6

1.3 AI 에이전트를 지탱하는 기술 11

1.4 유명한 AI 에이전트 도구 17

1.5 AI 에이전트 활용 사례 20

CHAPTER 2 | LLM API 사용하기 23

2.1 AWS의 생성형 AI 서비스 소개 25

2.2 [핸즈온] LLM API 사용하기 30

CHAPTER 3 | AI 에이전트 개발 도구 소개 43

3.1 LLM 애플리케이션 개발 프레임워크 45

3.2 AI 에이전트 개발 프레임워크 50

3.3 플랫폼 65

3.4 편리한 UI 개발 도구 70

3.5 [핸즈온] Strands Agents를 사용해 간단한 AI 에이전트 만들기 75

CHAPTER 4 | LangGraph를 사용해 AI 에이전트 만들기 91

4.1 LangGraph란? 93

4.2 [핸즈온] LangGraph를 이용해 AI 에이전트 구축하기 108

4.3 [핸즈온] MCP를 이용해 AI 에이전트 구축하기 121

4.4 Functional API를 이용한 AI 에이전트 130

4.5 [핸즈온] 사람과 대화하는 에이전트 만들기 135

CHAPTER 5 | Mastra를 사용한 풀스택 AI 에이전트 만들기 157

5.1 Mastra 기본 159

5.2 [핸즈온] Mastra를 사용해 워크플로 만들기 168

5.3 [핸즈온] Next.js와 연동해 웹 애플리케이션 만들기 203

5.4 [핸즈온] 구현한 애플리케이션을 AWS에 배포하기 233

CHAPTER 6 | AI 에이전트 개발 응용 도전하기 255

6.1 AI 에이전트 개발 시 발생하는 문제들 257

6.2 에이전틱 워크플로 259

6.3 멀티 에이전트 시스템 264

6.4 앰비언트 에이전트 274

6.5 [핸즈온] Strands로 멀티 에이전트를 구축하고 AgentCore에 배포하기 277

CHAPTER 7 | Langfuse를 사용해 LLMOps에 도전하기 307

7.1 LLMOps란? 309

7.2 [핸즈온] AI 에이전트 트레이싱하기 320

7.3 프롬프트 관리 339

7.4 [핸즈온] 프롬프트 관리하기 343

CHAPTER 8 | AI 에이전트의 안전성과 LLM-as-a-Judge를 사용한 평가 355

8.1 AI 에이전트의 안전성과 보안 357

8.2 [핸즈온] Amazon Bedrock Guardrails를 사용한 입력 모니터링 362

8.3 AI 에이전트 평가 382

8.4 [핸즈온] LLM 애플리케이션 평가 391

8.5 AI 에이전트의 지속적 개선 408

부록 | 411

부록 1 AWS 환경 준비 413

부록 2 깃허브 환경 준비 421

부록 3 SaaS 계정 준비 426

마치며 433

찾아보기 437

[본 문]

기업에서의 시스템 개발에서는 애플리케이션을 퍼블릭 클라우드에 구축하는 경우가 많습니다. 특히 인기 있는 퍼블릭 클라우드 서비스 중 하나가 바로 AWS(Amazon Web Services)입니다. / AWS에서는 몇 가지 생성형 AI 관련 서비스를 제공하고 있습니다. 그중에서도 AI 애플리케이션 개발자용으로 편리한 것이 Amazon Bedrock입니다. / Bedrock은 여러 AI 벤더가 개발한 생성형 AI 모델을 서버리스로 제공하며, 사용자는 해당 모델들을 API를 통해 종량제 과금으로 이용할 수 있습니다. / 또한, Bedrock는 모델의 API를 제공하는 것뿐만 아니라 GUI 화면 조작만으로 RAG, AI 에이전트 등의 애플리케이션 백엔드를 구축할 수 있는 기능을 포함한 편리한 주변 기능들을 매니지드 서비스로 제공합니다. 3장과 6장에서는 이 기능들 중 일부에 관해 설명합니다.

_ p.25

Strands를 사용하면 적은 양의 코드로 AI 에이전트를 간단하게 작성할 수 있습니다. 시험 삼아 가장 단순한 ReAct 에이전트를 작동시켜 봅시다. / 부록 2.2절을 참조해 이번 장에서 사용할 깃허브 저장소인 ‘strands-handson’을 만듭니다. 깃허브 코드스페이스에서 코드베이스를 실행했다면 부록 2.2절을 따라 .env 파일과 .gitignore 파일을 만듭니다. 다음으로 터미널에서 다음 명령을 실행해 빈 파이썬 스크립트 ‘1_strands.py’를 만듭니다. / 만든 파일을 열고 다음 코드를 입력합니다. Strands의 Agent 클래스에서 인스턴스를 만들 때, LLM으로 Bedrock의 Claude Sonnet 4 모델 ID를 지정합니다.

_ p.75-76

@entrypoint 데커레이터는 함수에 워크플로 관리 기능을 추가합니다. 이 데커레이터를 붙이면 체크포인트(checkpoint), 인터럽트(interrupt) 등 LangGraph가 제공하는 기능이 자동으로 실행됩니다. 체크포인트는 워크플로 상태를 관리함으로써 human-in-the-loop 같은 인터럽트 후, 다시 처리를 시작할 수 있게 합니다. 워크플로 상태 관리 방법으로 메모리 위에 저장하는 방법, SQLite 형식의 파일에 저장하는 방법, AWS 클라우드를 활용하는 방법 등을 제공합니다. 체크포인트를 외부 파일이나 클라우드 위에 저장하면 두 개 이상의 프로세스에 걸쳐 상태 관리를 할 수 있습니다. (…) 다음은 지금까지 설명한 내용을 모은 샘플 코드입니다.

_ p.131

웹 애플리케이션 로그인 화면은 Amplify Gen2에서 Amazon Cognito라는 인증 서비스를 이용합니다. / Amazon Cognito는 로그인 기능을 제공하는 것은 물론, 인증된 사용자에게 AWS 리소스에 대한 접근 권한을 부여하는 역할도 담당합니다. Next.js와 Amplify Gen2를 조합하면, 로그인 후에 발행되는 쿠키(cookie)에 Cognito의 인증 토큰(JWT)이 저장되고, 이 토큰을 이용하면 AWS의 일시적인 인증 정보를 취득할 수 있습니다. / 이 일시적인 인증 정보를 Next.js 서버 컴포넌트, 즉 Bedrock에 접근하는 Mastra까지 전달해야 합니다. 다음 그림의 인증 플로와 같이, 먼저 Cognito 사용자 풀로부터 받은 JWT를 쿠키에 설정해 Mext.js가 실행되는 서버에 접근합니다. Next.js에서는 받은 쿠키로부터 JWT를 추출하고, 그것을 이용해 Cognito 아이덴티티 풀에서 일시적인 AWS 크리덴셜을 취득함으로써 Bedrock에 접근할 수 있게 됩니다.

_ p.238-239

트레이싱(tracing)은 애플리케이션이 LLM이나 도구를 이용했을 때 입출력 데이터를 트레이스로 기록해 작동 이력을 해석할 수 있게 하는 것입니다. 함수나 기능 단위로 트레이스를 얻음으로써 LLM 애플리케이션의 내부 동작을 정확하게 파악할 수 있고 효율적으로 디버그할 수 있습니다. 입출력 데이터에 더해 지연이나 토큰 수도 기록할 수 있어 병목이 되는 부분을 조사할 때도 활용할 수 있습니다. AI 에이전트는 실행할 때마다 어떻게 행동했는가가 달라지기 때문에 디버그 작업과 정확도 개선을 위해 트레이스 데이터를 반드시 취득해야 합니다. / Langfuse나 LangSmith에서는 기록한 트레이스를 데이터셋에 추가하거나 익스포트할 수 있습니다. 익스포트한 트레이스를 다른 도구로 평가하기 위해 이용할 수도 있습니다. / 이번 절의 핸즈온에서는 Langfuse를 이용한 트레이싱을 수행해 봅니다. 이후의 핸즈온을 위해 다음 표의 사전 준비를 진행합시다.

_ p.320