성공적인 소프트웨어 테스트 자동화에 대한 방법을 알려주고, 그에 수반한 6가지 핵심 활동을 설명한 책이다. 이 책에서는 미 국방부와 주로 일하는 IDT라는 회사가 실제 현업에서 적용한 소프트웨어 테스트 자동화 경험을 최대한 상세히 풀어 설명하면서, 어떻게 성공적으로 테스트 자동화를 구축해나갔는지 보여준다. 아울러 요구사항 이해, 테스트 자동화 전략 수립, 소프트웨어 테스트 자동화 프레임워크(ASTF) 테스팅, 지속적인 진척 현황 추적에 따른 적절한 대응, 소프트웨어 테스트 자동화 프로세스 구현, 적합한 인력을 프로젝트에 투입하는 등의 6가지 핵심 활동을 구체적으로 소개하며, 요구사항 정의, 전략 설정, 프레임워크 선정과 적용, 그리고 이를 지속적으로 개선하면서 조직에 맞는 경량 프로세스를 만들어나가는 것이 목표다. 지속적인 가치를 주는 테스트 자동화 체계를 잡아가기를 원하는 사람들에게 꼭 필요한 정보를 알려주는 중요한 책이다.

[목 차]

1부 소프트웨어 테스트 자동화의 정의와 필요성

1장 효과적인 소프트웨어 테스트 자동화란
소프트웨어 테스트 자동화 정의
소프트웨어 테스트 자동화 사례
향상된 소프트웨어 테스트 자동화 기술
다양한 소프트웨어 테스트 타입의 자동화
소프트웨어 테스트 자동화 기반의 프로덕션 지원 제공
필요시 프로덕션 이슈 해결책 지원
수정으로 인해 영향받는 프로그램 컴포넌트 구분 지원
수정된 프로그램의 정확도와 품질 검증
프로덕션 시스템 문제 리포트(STR) 분류
표준 평가를 위한 자동화
정리

2장 자동화가 필요한 이유
오늘날 소프트웨어 테스트가 직면한 문제
소프트웨어 테스트의 시간과 비용 절감
테스트 자동화 계획과 개발: 초기 테스트 업무 증가
테스트 데이터 생성: 테스트 업무/일정 줄이기
테스트 실행: 테스트 업무/일정 줄이기
테스트 결과 분석: 테스트 업무/일정 줄이기
에러 상태/해결 모니터링: 테스트 업무/일정 줄이기
리포트 생성: 테스트 업무/일정 줄이기
고려해야 하는 비용과 시간을 줄일 수 있는 그 밖의 요인
소프트웨어 품질에 영향 주기
소프트웨어 테스트 프로그램 개선
빌드 검증 테스트 개선(스모크 테스트)
리그레션 테스트 개선
멀티플랫폼 호환성 및 설정 테스트
일상적인 재미없는 테스트 실행 개선
고급 테스트 이슈에 집중하도록 개선
수동 테스트로 수행하기 어려운 테스트
소프트웨어 결함 재현 능력
시스템 전문지식 향상
일과 후의 '불이 꺼진 후' 테스트
요구사항 정의 개선
성능 테스트 개선
스트레스 및 내구성 테스트 개선
품질 측정 및 테스트 최적화
시스템 개발 수명주기 개선
문서화 및 추적성 개선
작업 부하 분산 및 동시성 테스트
정리

3장 비즈니스 케이스
비즈니스 케이스의 정의
비즈니스 니즈 확립
테스트 업무의 속도와 효율을 높이는 니즈
테스트 비용을 줄이는 니즈
테스트 팀 구성원의 기술을 가장 효과적으로 활용하는 니즈
비용과 효과 측면에서 자동화의 타당성 증명
ROI 측정
전체 테스트 자동화 세이브
테스트 환경 설정 시간 세이브
테스트 개발 시간 세이브
테스트 실행 시간 세이브
테스트 실행/진단 시간 세이브
그 밖의 ROI 고려사항
그 외의 ROI 지표
리스크
그 밖의 고려사항
정리

4장 소프트웨어 테스트 자동화의 실패 이유와 함정
일반적으로 R&D는 자동 또는 수동 테스트 업무에 초점이 맞춰져 있지 않다
소프트웨어 테스트 자동화의 오해와 진실
테스트 계획 자동 생성
모든 것을 만족시키는 테스트 툴
즉각적인 테스트 업무 감소
즉각적인 일정 감소
쉽게 사용할 수 있는 툴
소프트웨어 테스트 자동화를 위한 범용 애플리케이션
100% 테스트 커버리지
캡처/플레이백과 소프트웨어 테스트 자동화를 동일시
소프트웨어 테스트 자동화는 수동 테스터의 활동이다
테스트 목적의 상실: 결함을 찾는 것
단위 테스트 자동화가 아닌 시스템 테스트 자동화에 집중
소프트웨어 테스트 자동화를 위한 개발 고려사항의 부족
테스트 가능한 애플리케이션 작성
오픈 아키텍처 표준 준수
표준 문서화 포맷 준수
표준 방식으로 테스트 케이스 문서화
코딩 표준 준수
OMG의 IDL 사용
GUI 테스트 권고사항
GUI 오브젝트 네이밍 표준
코드 재사용 라이브러리 컨셉
나무를 위한 숲: 어느 툴을 선택해야 하는가
툴을 평가하고 선택하는 방법
툴 벤더 전체를 보더라도 자동화 표준은 부족하다
테스트 자동화 툴 표준 샘플
비즈니스 케이스의 부족
정리

2부 자동화 방법: 성공적인 자동화를 위한 6가지 핵심 활동

5장 핵심 활동 1: 요구사항 이해
소프트웨어 테스트 자동화를 지원하는 요구사항에 대한 이해
테스트 대상 애플리케이션 또는 테스트 대상 시스템 요구사항
소프트웨어 테스트 자동화 프레임워크와 자동화 툴 요구사항
소프트웨어 테스트 자동화 데이터 요구사항
테스트 환경 요구사항
소프트웨어 테스트 자동화 요구사항
소프트웨어 테스트 자동화 요구사항을 지원하는 추가 정보
수동 테스트 프로시저
설계 문서
프로토타입
사용 가능한 정보가 없을 때
인터뷰 진행
지식 베이스 향상
레거시 애플리케이션 또는 레거시 시스템에 기초한 개발 요구사항
요구사항 추적 매트릭스(RTM) 구현
RTM의 정의
RTM 예제
정리

6장 핵심 활동 2: 테스트 자동화 전략 수립
소프트웨어 테스트 자동화 전략 문서
범위와 테스트 자동화 목표
자동화할 테스트 결정
우선순위: 기능의 일정 우선순위를 기초한 자동화 요구사항
테스트 목표 정의: 예제
접근 방법 정하기
테스트 케이스 설계와 개발
소프트웨어 테스트 자동화 프레임워크(ASTF)
소프트웨어 테스트 자동화 환경/구성
테스트 구성
그 밖의 테스트 자동화 테스트 환경 요구사항
테스트 환경 관리 자동화: 형상 관리(CM) 자동화
RTM 자동화
자동화 프레임워크에서 사용할 수 있는 표준 테스트 케이스 템플릿 요청
테스트 케이스 하이퍼링크
성공/실패 결과를 포함한 테스트 단계 업데이트
성공/실패 결과를 포함한 RTM 업데이트
결함 추적 자동화
정리

7장 핵심 활동3: 소프트웨어 테스트 자동화 프레임워크 테스팅
ASTF가 요구사항 명세를 만족하고 기능이 기대한 대로 동작하는지 검증
효과적인 ASTF 개발 프로세스 적용 여부 검증
설계, 개발, 테스트 케이스 등 ASTF와 관련된 모든 산출물의 동료 리뷰
소프트웨어 개발 수명주기에서의 동료 리뷰
ASTF의 모든 컴포넌트 평가
테스트 케이스 리뷰
테스트 로직 리뷰
테스트 데이터 리뷰
테스트 자동화 코드 리뷰
요구사항과 커버리지 검증
추적성
커버리지
고객 리뷰 수행
정리

8장 핵심 활동 4: 지속적인 진척 현황 추적에 따른 적절한 대응
소프트웨어 테스트 자동화 프로그램 추적과 결함 방지
기술 교류와 검토 회의 진행
내부 검사 진행
제약사항과 관련된 리스크 검토
리스크 완화 전략 수립
소프트웨어 테스트 자동화 프로세스 및 환경의 무결성 보호
일정과 비용의 정의, 공유, 추적
액션, 이슈, 결함 추적
소프트웨어 테스트 자동화 지표
자동화 가능률 또는 자동화 지수
자동화 진행 상황
테스트 진행 상황
테스트 자동화 커버리지율
결함 밀도
결함 트렌드 분석
결함 제거 효율
소프트웨어 테스트 자동화 ROI
기타 소프트웨어 테스트 지표
근본 원인 분석
정리

9장 핵심 활동 5: 소프트웨어 테스트 자동화 프로세스 구현
소프트웨어 테스트 자동화 단계와 마일스톤
소프트웨어 테스트 자동화 1단계: 요구사항 수집(테스트 자동화 요구사항 분석)
소프트웨어 테스트 자동화 2단계: 테스트 케이스 설계 및 작성
소프트웨어 테스트 자동화 3단계: ASTF 및 테스트 스크립트 개발
소프트웨어 테스트 자동화 4단계: 테스트 자동화 실행 및 결과 리포팅
소프트웨어 테스트 자동화 5단계: 프로그램 리뷰 및 평가
가상 품질 게이트
프로세스 측정
정리

10장 핵심 활동 6: 적합한 인력을 프로젝트에 투입(필요한 스킬 세트 파악)
소프트 스킬
프로그램 관리
AST 1단계: 요구사항 수집(테스트 자동화 요구사항 분석)
AST 2단계: 테스트 케이스 설계 및 작성
AST 3단계: ASTF 및 테스트 스크립트 개발
AST 4단계: 테스트 자동화 실행 및 결과 리포팅
AST 5단계: 프로그램 리뷰 및 평가
시스템 엔지니어링
AST 1단계: 요구사항 수집(테스트 자동화 요구사항 분석)
AST 2단계: 테스트 케이스 설계 및 작성
AST 3단계: ASTF 및 테스트 스크립트 개발
AST 4단계: 테스트 자동화 실행 및 결과 리포팅
AST 5단계: 프로그램 리뷰 및 평가
소프트웨어 개발
AST 1단계: 요구사항 수집(테스트 자동화 요구사항 분석)
AST 2단계: 테스트 케이스 설계 및 작성
AST 3단계: ASTF 및 테스트 스크립트 개발
AST 4단계: 테스트 자동화 실행 및 결과 리포팅
AST 5단계: 프로그램 리뷰 및 평가
형상 관리
AST 1단계: 요구사항 수집(테스트 자동화 요구사항 분석)
AST 2단계: 테스트 케이스 설계 및 작성
AST 3단계: ASTF 및 테스트 스크립트 개발
AST 4단계: 테스트 자동화 실행 및 결과 리포팅
AST 5단계: 프로그램 리뷰 및 평가
품질 보증
AST 1단계: 요구사항 수집(테스트 자동화 요구사항 분석)
AST 2단계: 테스트 케이스 설계 및 작성
AST 3단계: ASTF 및 테스트 스크립트 개발
AST 4단계: 테스트 자동화 실행 및 결과 리포팅
AST 5단계: 프로그램 리뷰 및 평가
도메인 전문가
정리

부록 A 프로세스 체크리스트
AST 1단계: 요구사항 수집(테스트 자동화 요구사항 분석)
체크리스트
산출물
AST 2단계: 테스트 케이스 설계 및 개발
체크리스트
산출물
AST 3단계: 소프트웨어 ASTF 및 테스트 스크립트 개발
체크리스트
산출물
AST 4단계: 테스트 자동화 실행 및 결과 리포팅
체크리스트
산출물
AST 5단계: 프로그램 리뷰 및 평가
체크리스트
산출물

부록 B 다양한 테스트 유형에 적용된 소프트웨어 테스트 자동화
보안 테스트
지속성 테스트
동시성 테스트
성능 테스트
코드 커버리지 테스트
단위 테스트

부록 C 알맞은 툴 선택
요구사항 관리
요구사항 관리 자동화
단위 테스트 프레임워크: 평가 예제
프레임워크 평가 및 선택 방법
형상 관리: 평가 예제
소프트웨어 형상 관리(SCM)의 장점
평가 대상 SCM 툴
결함 추적: 평가 예제
결함 추적 툴을 평가하고 선택하는 방법
버그질라와 크랙
결론: 보안이 최우선
보안 테스트
정적 분석과 동적 분석
소스 분석과 바이너리 분석
애플리케이션 풋프린팅
퍼즈 테스트 또는 침투 테스트
위협 모델링: 위협 모델링으로 보안 테스트 우선순위 정하기
자동화 리그레션 테스트
무선 보안 진단 툴
ASTF: 평가 예제
테스트 케이스 개발
고급 언어
플랫폼 지원
오픈소스
비용
다중 프로세스 관리
테스트 케이스 결과 수집
분산 환경 지원
예정 실행 시간
확장성
테스트 대상 시스템에 대한 영향
이메일
소프트웨어 테스트 자동화 프레임워크의 결론
테스트 자동화 툴 예제: 테스트플랜트의 에그플랜트
그 외 소프트웨어 테스트 수명주기 지원 툴
자가 테스트 또는 자율 컴퓨팅

부록 D 사례 연구: ASTF 예제
핵심 설계 특징
테스트 관리자
테스트 케이스 자동화와 테스트 코드 생성
결과 리포팅
결함 리포팅 자동화

성공적인 소프트웨어 테스트 자동화에 대한 방법을 알려주고, 그에 수반한 6가지 핵심 활동을 설명한 책이다. 이 책에서는 미 국방부와 주로 일하는 IDT라는 회사가 실제 현업에서 적용한 소프트웨어 테스트 자동화 경험을 최대한 상세히 풀어 설명하면서, 어떻게 성공적으로 테스트 자동화를 구축해나갔는지 보여준다. 아울러 요구사항 이해, 테스트 자동화 전략 수립, 소프트웨어 테스트 자동화 프레임워크(ASTF) 테스팅, 지속적인 진척 현황 추적에 따른 적절한 대응, 소프트웨어 테스트 자동화 프로세스 구현, 적합한 인력을 프로젝트에 투입하는 등의 6가지 핵심 활동을 구체적으로 소개하며, 요구사항 정의, 전략 설정, 프레임워크 선정과 적용, 그리고 이를 지속적으로 개선하면서 조직에 맞는 경량 프로세스를 만들어나가는 것이 목표다. 지속적인 가치를 주는 테스트 자동화 체계를 잡아가기를 원하는 사람들에게 꼭 필요한 정보를 알려주는 중요한 책이다.

이 책에서 다루는 내용
■ 소프트웨어 테스트 자동화의 현실적인 비즈니스 케이스를 수립해 추진해나가는 방법
■ 테스트 요구사항을 명확히 하고, 이 요구사항을 반영하기 위해 자동화 전략을 세우는 방법
■ 효율적인 테스트 환경을 구축하고, 이 환경에 적합한 자동화 툴과 기술을 선택하는 방법
■ 지속적으로 진행 상황을 추적하고 올바르게 변경할 수 있도록 증명된 지표들을 사용하는 방법

이 책의 구성

1부, 소프트웨어 테스트 자동화의 정의와 필요성
1장, '효과적인 소프트웨어 테스트 자동화란'에서는 소프트웨어 테스트 자동화가 무엇인지 기술한다. 이 책 전반에서 사용되는 소프트웨어 테스트 자동화의 정의는 '소프트웨어 테스트 수명주기(STL, software testing lifecycle) 전반에 걸쳐 효율과 효과를 향상하려는 목적을 띤 소프트웨어 기술의 응용(application)과 구현(implementation)이다.
2장, '자동화가 필요한 이유'에서는 자주 논의되는 질문들을 기술한다. 현재 소프트웨어 테스트가 직면한 문제와 소프트웨어 테스트의 비용과 시간을 줄일 수 있는 방법을 설명한다. 왜 자동화를 해야 하는지에 대한 이유는, 3장에 상세하게 기술한 비즈니스 케이스를 만드는 데 도움이 되는 기초가 된다.
3장, '비즈니스 케이스'에서는 비즈니스 케이스를 정의하는 단계별 접근 방법을 소개한다. 비즈니스 케이스는 비즈니스 필요성, 소프트웨어 테스트 자동화가 필요한 이유, 비즈니스를 통해 얻게 되는 유/무형의 이점, 예상되는 비용과 일정에 대한 분석, 투자 견적, 투자 대비 수익(ROI)에 대한 내용을 포함한다.
4장, '소프트웨어 테스트 자동화의 실패 이유와 함정'에서는 소프트웨어 테스트 자동화를 둘러싼 오해와 진실을 쉽게 설명한다. 회사와 조직에서 이 교훈들을 살펴봐야 하는 이유는 소프트웨어 테스트 자동화를 구현하면서 실패를 반복하지 않기 위해서다.

2부, 자동화 방법: 성공적인 자동화를 위한 6가지 핵심 활동
이제 1부에서 제시한 비즈니스 케이스에 대한 확신을 갖게 됐고, 테스트 자동화의 실제와 숨겨진 함정을 이해했다면, 다음 단계는 자동화 방법을 결정하는 것이다. 2부에서는 다양한 소프트웨어 테스트 자동화 작업들을 성공적으로 구현하는 방법을 설명한다. 우리는 아래에 기술한 6가지 핵심 활동을 통해 소프트웨어 테스트 자동화를 성공적으로 달성할 수 있음을 확인했다.
5장, '핵심 활동 1: 요구사항 이해'에서는 테스트 자동화 전략을 세우기 전에 요구사항을 이해하는 일이 얼마나 중요한지 다룬다. 요구사항이 충분하지 않을 때 이를 해결하려고 정보를 수집하는 방법으로 풀어나가는데, 이런 문제에 대한 접근 방법도 5장에서 이야기한다.
6장, '핵심 활동 2: 테스트 자동화 전략 수립'에서는 테스트 자동화 접근 방법을 상세 절차로 만드는 것에 대해 기술한다. 여기에는 테스트 환경 고려사항, 테스트 자동화 스크립트 및 관련 산출물에 대한 형상 관리 등이 포함된다. 추가로, 테스트 대상 선정 시 고려사항과 적절한 툴 선정(오픈소스, 상업 툴, 인하우스 툴에 상관없이)의 중요성에 대해서도 기술한다.
7장, '핵심 활동 3: 소프트웨어 테스트 자동화 프레임워크(ASTF) 테스팅'에서는 테스트 기법 이해와 테스트 자동화의 한 부분인 테스트 케이스 작성의 중요성에 대해 다룬다. 자동화 엔지니어는 문서화가 테스트 자동화의 한 부분임을 자주 잊곤 한다. 테스트 케이스 문서화는 소프트웨어 테스트 자동화 노력에 대한 청사진과 같다. 7장에서는 테스트 케이스에서 역으로 요구사항을 추적하는 일의 중요성, 입력 값과 기대 결과 등을 포함하는 테스트 케이스의 내용, 그리고 문서화된 테스트 케이스가 어떻게 테스트 자동화의 구현과 개발에 기초가 되는지를 설명한다.
8장, '핵심 활동 4: 지속적인 진척 현황 추적에 따른 적절한 대응'에서는 자동화를 시작할 때 설정한 목표를 추적해야 하는 중요성에 대해 기술한다. 3장에서 비즈니스 케이스 생성과 목표 설정의 필요성을 설명했다. 8장에서는 어떻게 동료 리뷰, 인스펙션 그리고 다양한 자동화 및 테스트 지표가 설정한 목표에 대한 진척을 추적하고 측정하는 데 어떤 도움을 주는지를 기술한다.
9장, '핵심 활동 5: 소프트웨어 테스트 자동화 프로세스 구현'에서는 가벼운 프로세스의 필요성에 대해 밝힌다. 적절한 프로세스 없이도 성공적으로 구현할 수 있는 테스트 자동화 스크립트도 있다. 하지만 대규모의 테스트 자동화 프로그램을 효과적으로 구현하려면 적용하기 용이한 경량 프로세스가 있어야 한다. 9장에서는 이러한 프로세스를 정리해 소개하고, 구체적인 사항은 연관된 각 장으로 연결해준다.
10장, '핵심 활동 6: 적합한 인력을 프로젝트에 투입(필요한 스킬 세트 파악)'에서는 소프트웨어 테스트 자동화 개발에 필요한 스킬 세트를 분류한다. 예를 들어 요구사항 분석, 설계, 소프트웨어 개발, 테스트 등은 소프트웨어 개발 팀의 스킬 세트와 유사하다. 핵심 활동 6에서는 테스트 기법에 대한 지식과 분석 스킬이 아무리 중요하다 해도 효과적인 소프트웨어 테스트 자동화 구현을 위해서는 소프트웨어 개발 스킬이 뒷받침되어야 함을 강조한다. 테스트 자동화 프로세스에 따라 필요한 스킬은 9장에서 기술했다.