AI 시대 요즘 QA, AI 에이전트 품질 평가, 이 한 권으로 시작하자!

정답 없는 AI 시대, 무엇을 기준으로 PASS를 줄 것인가?

QA팀이 없어도, 품질은 누군가 책임져야 합니다.

 

AI 서비스는 왜 ‘어제는 괜찮았는데 오늘은 실패하는지’ 설명하기가 어렵습니다. 같은 질문에도 답이 달라지고, 맥락에 따라 결과가 바뀌며, 문제를 재현하기도 쉽지 않기 때문입니다. 저자는 이런 흔들림을 줄이기 위해, 개발이 끝난 뒤에 검증을 덧붙이는 방식이 아니라 Shift-Left Testing 관점에서 초기에 품질을 설계하고 운영하는 흐름을 실무 언어로 정리했습니다. 이 책은 그 결과를 담은 AI 에이전트 품질 평가 입문서입니다.

 

먼저 “좋은 답변”을 말로만 판단하지 않도록, Responsible AI Testing 프레임워크인 RaiT를 바탕으로 품질의 조건을 항목별로 정리합니다. 정확도뿐 아니라 의도 이해, 안전성, 표현의 적절성, 일관성처럼 실제 서비스에서 문제가 되는 지점을 기준으로 삼아, 팀이 합의할 수 있는 평가 기준표를 만들고, 그 기준을 Judge 프롬프트로 구현해 누가 보더라도 납득할 수 있는 판정 체계로 바꾸는 방법을 안내합니다.

 

그리고 사람이 매번 확인하는 방식에서 벗어나, 평가를 반복 가능하게 만드는 운영 방식을 제시합니다. 릴리스가 반복될수록 평가가 느슨해지거나 결과가 흔들리지 않도록, 테스트 준비부터 실행, 결과 정리와 공유까지의 흐름을 표준화하고, 현업에 즉시 적용할 수 있는 체크리스트와 보고서 템플릿도 함께 제공합니다. 더 나아가 품질이 좋아도 느리면 실패한다는 관점에서, 사용자가 체감하는 반응 속도인 TTFT와 완성 속도인 TTLT까지 함께 다루며, 릴리스마다 더 단단해지는 운영 루프로 연결합니다.

 

이 책을 통해 여러분은 흔들리는 결과 앞에서 당황하기보다, 정리하고 재현하고 개선하는 방식으로 문제를 다루게 될 것입니다. 완벽함보다 중요한 건 꾸준히 운영 가능한 체계를 만드는 일이고, 그 과정에서 여러분은 분명 한층 더 강한 품질 담당자로 성장하게 될 것입니다.

[목 차]

머리말

QA의 변화와 새로운 성장 기회

QA 커리어는 어디로 향하는가

베타 리뷰어의 한마디: 첫 독자가 전하는 말

이 책이 전하려는 것

독자에게 드리는 부탁

 

Chapter 1. AI 시대, 소프트웨어의 품질 기준은 왜 달라져야 하는가

_1.1 AI 이전의 프로젝트에서 QA는?

_1.2 AI 프로젝트 초기, QA가 마주한 혼란의 기록

__우리가 품질에서 놓친 것들: AI 프로젝트 초반, 불안정했던 QA 현실

_1.3 더 이상 늦게 들어가선 안 된다: Shift-Left Testing

__Shift-Left Testing

__Shift-Left Testing의 실전 적용: “우리가 바꾼 프로세스”

_1.4 새로운 기술에는 새로운 품질 기준이 필요하다.

__Responsible AI Frameworks

__ISO/IEC 42001: AI 관리 체계 전반의 품질 통제 기준

__TTA의 인공지능 신뢰성 인증

__Responsible AI를 위한 새로운 AI 테스트 기준, RaiT

_1.5 마무리하며: AI 시대 요즘 QA에 대하여

 

Chapter 2. AI 에이전트를 이해하면 테스트가 쉬워집니다

_2.1 AI 모델의 개념과 생성 방식 이해

__AI 모델의 기본 개념

__AI 모델의 분류 방식

_2.2 AI 모델 최적화 기술

__프롬프트 튜닝(Prompt-Tuning)

__파인 튜닝(Fine-tuning) 모델

__RAG(Retrieval-Augmented Generation)

__모델 증류 (Model Distillation)

_2.3 AI 에이전트 테스트 포인트

__무한 응답의 혼돈: 예측 불가성과 환각(hallucination)

__데이터 중독과 편향(Bias) - 사회적 편견이 응답으로 나타나는 경우

__문맥의 미로 - 컨텍스트 누락, 왜곡, 충돌

__기술 종속의 덫 - 모델과 프롬프트 의존성(lock-in)

_2.4 AI 에이전트 유형별 구조

__AI 에이전트 주요 구성 요소

__정확한 명령을 처리하는 Function Agent

__문맥을 기억하는 Agentic Agent

__말을 걸지 않아도 먼저 도와주는 Promptless Agent

_2.5 마무리하며: AI Agent 이해가 시작입니다.

 

Chapter 3. AI Agent 품질을 측정하는 프레임워크

_3.1 Responsible AI Agent Test (RaiT)

__RaiT 테스트 방법론

__RaiT 테스트 프로세스

__RaiT 테스트 도구

_3.2 RaiT 품질지표

__문맥연결성 (Contextual Relevance, 관련성)

__의도해석성 (Intent Interpretation, 이해도)

__신뢰안전성 (Trust & Safety, 안전성)

__표현적절성 (Linguistic Appropriateness, 표현성)

__정보정확성 (Factual Correctness, 정확성)

__목표충족성 (Task Effectiveness, 적합성)

__반응안정성 (Response Stability, 일관성)

__지속적응성 (Continuity & Adaptivity, 지속성)

3.3 RaiT 평가 기준점

__품질 기준점 영향 요소

__품질 기준점 정책

_3.4 마무리하며: RaiT는 AI Agent 품질의 새로운 기준

 

Chapter 4. AI Agent 테스트 설계 실전

_4.1 RaiT 테스트 플랜 프로세스

__품질 지표 평가 및 선택

__품질 Criteria 정의

__답변 기준 설정

_4.2 RaiT 테스트 케이스 도출

__테스트 케이스 종류와 품질 지표

__질문 생성 프롬프팅

__컨텐츠 추가

_4.3 RaiT 테스트 실행 프로세스

__매뉴얼 검증: AI 모델 품질 향상을 위한 필수적인 사람 중심 평가

__자동 테스트

__이슈 등록 및 관리

__결과 보고

_4.4 마무리하며: 같은듯 다른 테스트 프로세스

 

Chapter 5. 모델의 평가는 이제 모델에게 : 프롬프트와 모델로 평가 자동화하기

_5.1. '정답'이 없는 시대의 테스터를 위한 자동화 안내서

__초기 계획 수립의 어려움

__LLM 평가방식 자동화에 대한 고민

__자동화 구현 방식의 고민

__자동화 프롬프트의 중요성

_5.2 Rubric 기반 Judge Prompt 설계

__무엇이 좋은 Judge 프롬프트를 만드는가?

__Judge 프롬프트의 5가지 핵심 구성요소

__단계별 루브릭 상세화: 점수에 의미 부여하기

__실전! Judge 프롬프트 템플릿 작성하기

__살아있는 프롬프트로 발전시키기

_5.3 Few-shot 기반 Judge Prompt 설계

__제로샷(Zero-shot)의 한계를 넘어: 왜 Few-shot이 필요한가?

__효과적인 Few-shot 예시(Exemplar)의 조건

__실전! Few-shot Judge 프롬프트 템플릿 작성하기

__퓨샷 프롬프팅의 장점과 주의사항

_5.4 AI의 오답노트와 모범답안: 감점/긍정 피드백 활용법

__기본 평가의 한계와 2단계 평가의 필요성

__실전! 2단계 평가 프롬프트 작성 예시

__평가에서 학습으로: 피드백 루프의 완성

__감점 피드백: 실패에서 배우는 수정된 모범 답안 생성

__긍정 피드백: 성공에서 배우는 행동 원칙 추출

__결론: 평가와 학습의 선순환

_5.5 평가 모델 기반 판정 (BERTScore, Classifier)

__BERTScore: 정답과 의미가 얼마나 비슷한가? 의미 유사도 측정

__Classifier(분류기): 이 답변은 합격인가, 불합격인가? - 품질 기준 평가

_5.6 A/B Test와 신뢰도 확보 방법

__A/B 테스트의 핵심 원리

__오프라인 A/B 테스트: BERTScore를 활용한 자동화된 성능 비교

__온라인 A/B 테스트: 실제 사용자를 통한 최종 검증

_5.7 마무리하며: AI 평가 시스템, 살아있는 유기체로 만들기

 

Chapter 6. 품질은 반복에서 만들어집니다 - 자동화와 적용 사례

_6.1 실무 QA 환경에서의 자동화 전략과 성공 포인트

__실무 성공을 위한 5가지 자동화 전략

_6.2 평가 자동화 구조 설계: 입력 〉 실행 〉 판정 〉 리포트

__1단계: 입력 (Input) - 자동화의 재료를 준비하는 단계

__2단계: 실행 (Execution) - 평가를 수행하는 엔진

__3단계: 판정 (Judgment) - 품질을 측정하고 점수를 매기는 단계

__4단계: 리포트 (Report) - 결과를 분석하고 공유하는 단계

__평가 테스트 자동화 구조 다이어그램

_6.3 LLM 평가 자동화 구현

__LLM 평가 자동화 실습 환경 준비하기

__Postman으로 빠르게 사전 검증하기

__LLM 평가 자동화 구현하기

__최종 실행 결과

_6.4 지속 가능한 자동화 운영: 프롬프트, 데이터, 보안, 비용 관리

__체계적인 프롬프트 관리 전략: 프롬프트를 '코드'처럼 다루기

__살아있는 테스트 케이스 관리 전략: '골든셋'의 진화

__가장 중요한 자산: API 키 보안과 관리

__비용 최적화: 토큰(Token) 사용량 완벽하게 이해하고 관리하기

_6.5 LLM 평가 자동화 현업 실무 적용 사례 (RaiT Tool)

__사례1 모두를 위한 LLM 테스팅 도구 - RaiT Client)

__사례2 API 기반 평가 플랫폼 - RaiT Web

__사례3 Jenkins를 활용한 온디맨드(On-Demand) 평가 - RaiT CI

_6.6 평가 결과 분석 및 활용 전략

__평가 결과 분석 및 후속 조치 프로세스

__리소스 효율화: '선택과 집중' 전략

_6.7 마무리하며: 자동화 도입 시 고려할 점과 유지 테스트

__1. 자동화 도입 전, 반드시 답해야 할 3가지 질문

__2. 시스템 도입 후: 지속적인 유지보수 전략

 

Chapter 7. 여전히 중요한 성능

_7.1 성능의 트레이드오프: 품질, 속도, 그리고 비용

_7.2 Time to First Token (TTFT): 사용자가 느끼는 '반응 속도'의 모든 것

_7.3 Time to Last Token (TTLT): 사용자가 느끼는 '완성 속도'의 모든 것

_7.4 성능 모니터링 리포트 결과와 유관부서 협업

_7.5 마무리하며: 속도와 품질, 두 마리 토끼를 잡는 법

 

Appendix A. Test Plan Checklist

_1. 목표 및 범위 정의

_2. 품질 지표 및 기준 설정

_3. 테스트 케이스 설계

_4. 테스트 수행 전략

_5. 이슈 관리 및 결과 보고

_6. 자원 및 일정 계획

Appendix B. 테스트 결과 보고서 템플릿

_1. 개요

_2. 테스트 목표 및 범위

_3. 테스트 방법론

_4. 품질 지표별 품질 기준점

_5. 테스트 결과 요약

_6. 품질 지표별 상세 분석

__6.1. 안전성

__6.2. 정확성

__6.3. 일관성

__6.4. 지속성

_7. 결론 및 권고 사항

_8. 첨부 자료

안효석 (N Tech Service QA)

이 책은 AI 품질 관리 분야의 새로운 접근법인 RaiT(Responsible AI Agent Test) 프레임워크를 제시하며, 급변하는 AI 환경 속에서 현업 개발자와 QA가 직면하는 문제를 명확히 짚어줍니다.

특히, 단순히 이론을 나열하고 개념을 소개하는 데 그치지 않고, 구체적인 품질 항목을 기반으로 실무에 바로 적용 가능한 테스트 기준을 제시하고 정량 평가가 가능하도록 설계한 부분이 인상적입니다.

또한, OECD, ISO 등 글로벌 기준의 철학을 바탕으로 하면서도, 국내 현장의 특성을 반영한 소프트웨어 품질 모델까지 폭넓게 참고하여 프레임워크의 논리적 근거를 탄탄하게 구축했습니다. 이는 단순히 '해야 한다'고 주장하는 것을 넘어, '왜 이렇게 해야 하는지'에 대한 설득력을 높여줍니다.

 

이정현 (LINE Plus)

이 책은 단순한 테스트 매뉴얼이 아니라, AI 시대를 살아가는 QA의 새로운 역할을 제시하는 책입니다.

기존의 QA 프로세스가 AI 프로젝트에서는 통하지 않는 이유를 현실적인 사례로 보여주며, 그 해답으로 RaiT 프레임워크라는 새로운 품질 기준을 제안합니다. 이 책은 QA를 단순한 검증자가 아닌, 기획과 설계 단계부터 품질을 주도하는 Quality Engineer로 그립니다.

또한 Responsible AI와 AI Safety, 윤리·규제 기반 테스트 등 미래 커리어 확장 가능성까지 제시하며, QA에게 “어디로 나아가야 할지”에 대한 명확한 방향을 제시하는 나침반 같은 책입니다.

 

박진구 (NAVER Cloud)

AI 시대, ‘잘 만드는 법’만이 아니라 ‘믿고 쓸 수 있게 운영하는 법’까지 알려주는 실전 안내서입니다.

현장에서 바로 사용할 수 있는 테스트 설계, 자동화 흐름 등을 알기 쉽게 풀어주고, 실제 사례와 체크리스트로 시행착오를 줄이며, 팀이 같은 기준으로 품질을 논하게 만들어 줍니다.

QA뿐 아니라 개발자·기획자 모두가 함께 볼 수 있는, AI 서비스 품질의 친절한 길잡이입니다.

 

권윤정 (잡플래닛)

정답 없는 AI의 답변 앞에서 길을 잃은 모든 QA와 개발자를 위한 필독서.

저자의 생생한 실무 경험을 바탕으로 프롬프트 설계부터 자동화 파이프라인 구축, 운영 노하우까지의 모든 것을 담았습니다. 또한 QA의 역할을 단순한 '테스터'에서 데이터 기반의 '품질 설계자'로 재정의합니다.

무엇보다 실체 없는 이론이 아니라, 실제 동작하는 코드와 템플릿을 통해 독자에게 즉시 적용 가능한 '실행력'을 선물합니다. 책을 덮는 순간, AI 품질 시스템의 전략가가 될 수 있다는 확신을 얻게 될 것 입니다.