AI 기술이 발전하고 활용 사례가 늘어남에 따라 모델이 한 예측의 안전성과 신뢰성을 확보하기 위해 왜 그런 예측에 도달했는지, 또 어떻게 하면 결과가 달라졌을지 설명을 해야 할 상황도 늘어나고 있다. 머신러닝 모델에 최신 해석 기술을 적용해 공정하고 설명 가능한 AI 시스템을 구축하는 데 도움을 주고자 하는 책이다. 해석 가능성에 대한 얘기는 많지만, 실무에 필요한 기술을 설명하거나 실용적인 지침을 제공하는 자료는 거의 없다. 이 책은 그 격차를 해소하고자 한다.

[목 차]

1부. 해석 가능성 개요

1장. 소개
1.1 진단+ AI ― AI 시스템 예제
1.2 머신러닝 시스템 유형
1.2.1 데이터 표현
1.2.2 지도 학습
1.2.3 비지도 학습
1.2.4 강화 학습
1.2.5 진단+ AI를 위한 머신러닝 시스템
1.3 진단+ AI 구축
1.4 진단+ AI의 문제점
1.4.1 데이터 누출
1.4.2 편향
1.4.3 규제 미준수
1.4.4 (개념) 드리프트
1.5 강건한 진단+ AI 시스템 구축
1.6 해석 가능성 대 설명 가능성
1.6.1 해석 기법 유형
1.7 이 책에서는 무엇을 배우나?
1.7.1 이 책을 읽는 동안 어떤 도구를 사용하게 되는가?
1.7.2 이 책을 읽기 전에 무엇을 알아야 하는가?
요약


2장. 화이트박스 모델
2.1 화이트박스 모델
2.2 진단+ ― 당뇨병 진행
2.3 선형 회귀
2.3.1 선형 회귀 해석
2.3.2 선형 회귀의 한계
2.4 결정 트리
2.4.1 결정 트리 해석
2.4.2 결정 트리의 한계
2.5 GAM
2.5.1 회귀 스플라인
2.5.2 진단+ 당뇨병을 위한 GAM
2.5.3 GAM 해석
2.5.4 GAM 한계
2.6 앞으로 살펴볼 블랙박스 모델
요약


2부. 모델 처리 해석

3장. 모델 애그노스틱 기법: 글로벌 해석 가능성
3.1 고등학교 학생 성적 예측기
3.1.1 탐색적 데이터 분석
3.2 트리 앙상블
3.2.1 랜덤 포레스트 훈련
3.3 랜덤 포레스트 해석
3.4 모델 애그노스틱 기법: 글로벌 해석 가능성
3.4.1 부분 의존성 도표
3.4.2 특성 상호작용
요약


4장. 모델 애그노스틱 기법: 로컬 해석 가능성
4.1 진단+ AI: 유방암 진단
4.2 탐색적 데이터 분석
4.3 심층 신경망
4.3.1 데이터 준비
4.3.2 DNN 훈련 및 평가
4.4 DNN 해석
4.5 LIME
4.6 SHAP
4.7 앵커
요약


5장. 돌출 매핑
5.1 진단+ AI: 침습성 관 암종 탐지
5.2 탐색적 데이터 분석
5.3 CNN
5.3.1 데이터 준비
5.3.2 훈련 및 평가
5.4 CNN 해석
5.4.1 확률 풍경
5.4.2 LIME
5.4.3 시각적 귀속 기법
5.5 바닐라 역전파
5.6 유도 역전파
5.7 기타 경사 기반 방법
5.8 Grad-CAM 및 유도 Grad-CAM
5.9 어떤 귀속 기법을 사용해야 할까?
요약


3부. 모델 표현 해석

6장. 레이어와 유닛의 이해
6.1 시각적 이해
6.2 합성곱 신경망: 요약
6.3 망 해부 프레임워크
6.3.1 개념 정의
6.3.2 망 조사
6.3.3 일치 정도 정량화
6.4 레이어 및 유닛 해석
6.4.1 망 해부 실행
6.4.2 개념 식별기
6.4.3 학습 과업별 개념 식별기
6.4.4 개념 식별기 시각화
6.4.5 망 해부의 한계
요약


7장. 의미론적 유사성의 이해
7.1 감정 분석
7.2 탐색적 데이터 분석
7.3 신경 단어 임베딩
7.3.1 원 핫 인코딩
7.3.2 워드투벡
7.3.3 글로브 임베딩
7.3.4 감성 분석 모델
7.4 의미론적 유사성 해석
7.4.1 유사성 측정
7.4.2 PCA
7.4.3 t-SNE
7.4.4 의미론적 유사성 시각화 검증
요약


4부. 공정성과 편향

8장. 공정성과 편향 완화
8.1 성인 소득 예측
8.1.1 탐색적 데이터 분석
8.1.2 예측 모델
8.2 공정성 개념
8.2.1 인구통계학적 동등성
8.2.2 기회와 확률의 평등
8.2.3 기타 공정성 개념
8.3 해석 가능성과 공정성
8.3.1 입력 특성을 통한 차별
8.3.2 표현을 통한 차별
8.4 편향 완화
8.4.1 무지를 통한 공정성
8.4.2 가중치 재설정을 통한 라벨 편향 수정
8.5 데이터 세트용 데이터시트
요약


9장. 설명 가능한 AI로 가는 길
9.1 설명 가능한 AI
9.2 반사실적 설명
요약


부록 A. 준비하기
A.1 파이썬
A.2 깃 코드 저장소
A.3 콘다 환경
A.4 주피터 노트북
A.5 도커


부록 B. 파이토치
B.1 파이토치는 무엇인가?
B.2 파이토치 설치
B.3 텐서
B.3.1 데이터 유형
B.3.2 CPU 및 GPU 텐서
B.3.3 운영
B.4 데이터 세트 및 데이터로더
B.5 모델링
B.5.1 자동 미분
B.5.2 모델 정의
B.5.3 훈련

◈ 이 책에서 다루는 내용 ◈

◆ AI 모델 해석 기법
◆ 편향, 데이터 누수, 개념 드리프트에 따른 오류에 대처하는 방법
◆ 공정성을 측정하고 편향을 완화하는 방법
◆ GDPR을 준수하는 AI 시스템을 구축하는 방법


◈ 이 책의 대상 독자 ◈

모델의 동작 방식과 공정하고 편향 없는 모델의 구축 방법을 더 깊이 이해하고자 하는 데이터 과학자 및 엔지니어를 위한 책이다. 공정성을 보장하고 비즈니스 사용자와 브랜드를 보호하기 위해 AI 시스템의 근간을 이루는 모델을 이해하려는 설계자와 비즈니스 이해 관계자에게도 유용할 것이다.


◈ 이 책의 구성 ◈

이 책은 9개의 장과 4개의 부로 구성돼 있다.

1부에서는 해석 가능한 AI의 세계를 소개한다.
■ 1장은 다양한 유형의 AI 시스템을 살펴보고 해석 가능성과 그 중요성을 정의한다. 화이트박스와 블랙박스 모델을 살펴보고 해석 가능한 AI 시스템을 구축하는 방법을 소개한다.
■ 2장은 화이트박스 모델과 이를 해석하는 방법, 특히 선형 회귀, 의사 결정 트리, GAM(Generalized Additive Model, 일반화 가산 모델)에 초점을 둔다.

2부에서는 블랙박스 모델에 초점을 맞추고 모델이 입력을 처리하고 최종 예측에 도달하는 방법을 소개한다.
■ 3장은 트리 앙상블이라는 블랙박스 모델 클래스와 PDP(Partial Dependence Plot, 부분 의존성 도표) 및 특성 상호작용 도표 등 범위가 글로벌하거나 모델의 유형에 상관없이 훈련 후에 적용할 수 있는 기법을 사용해 이를 해석하는 방법을 다룬다.
■ 4장은 심층 신경망을 설명하고 LIME(Local Interpretable Model-agnostic Explanation, 로컬 해석 가능한 모델 애그노스틱 설명), SHAP(SHapley Additive exPlanations, 샤플리 첨가 설명), 앵커(anchor)와 같이 범위가 로컬이면서 모델의 유형에 상관없이 훈련 후에 적용할 수 있는 기법을 사용해 이를 해석하는 방법을 다룬다.
■ 5장은 합성곱 신경망과 돌출 맵(Saliency map)을 사용해 모델이 집중하고 있는 영역을 시각화하는 방법을 다룬다. 특히 경사, 유도 역전파, Grad-CAM(경사-가중 클래스 활성화 매핑), 유도 Grad-CAM, SmoothGrad(평탄화 경사) 등과 같은 기술에 중점을 둔다.

3부에서는 블랙박스 모델을 계속 다루지만, 블랙박스 모델이 학습한 특성이나 표현을 이해하는 단계로 이동한다.
■ 6장은 합성곱 신경망을 분석해 신경망의 중간 및 히든 레이어에서 학습한 데이터 표현을 이해하는 방법을 살펴본다.
■ 7장은 언어 모델과 PCA(Principal Component Analysis, 주성분 분석) 및 t-SNE(t-distributed Stochastic Neighbor Embedding, t-분산 확률적 이웃 임베딩)와 같은 기술을 사용해 그것이 학습한 고차원 표현을 시각화하는 방법을 다룬다.

4부에서는 공정성과 편향에 초점을 맞춰 설명 가능한 AI를 위한 길을 제시한다.
■ 8장은 공정성에 대한 다양한 정의와 모델이 편향됐는지 확인하는 방법을 다룬다. 또한 편향을 완화하는 기법과 AI 시스템의 이해 관계자 및 사용자에 대한 모델의 투명성과 책임성을 개선하는 데 도움이 되는 데이터시트(datasheet)를 사용한 데이터 세트의 정보를 문서화하는 표준 접근 방식을 설명한다.
■ 9장은 설명 가능한 AI 시스템을 구축하는 방법을 이해함으로써 시스템을 구축할 수 있는 길을 제시하고 반사 실적 예를 사용한 대조적인 설명을 다룬다.

◈ 지은이의 말 ◈

지금까지 10년 동안 데이터 및 머신러닝과 함께한 것은 행운이었습니다. 저의 배경은 머신러닝이며 박사 학위는 무선 네트워크에 머신러닝을 적용하는 주제에 중점을 뒀습니다. 저는 5G 셀룰러 네트워크에 강화 학습, 볼록 최적화, 전통 머신러닝 기술 적용을 주제로 한 주요 콘퍼런스 및 저널에 논문을 발표하고 있습니다(http://mng.bz/zQR6).
박사 과정을 마친 후 데이터 과학자 및 머신러닝 엔지니어로 일하기 시작했고 제조, 소매, 금융 등과 같은 다양한 산업에서 고객을 위한 복잡한 AI 솔루션을 배포하는 경험을 했습니다. 해석 가능한 AI의 중요성을 깨닫고 본격적으로 연구하기 시작한 것도 이 시기입니다. 또한 데이터 과학자, 비즈니스 이해 관계자, 관련 전문가가 머신러닝 모델을 더 깊이 이해할 수 있도록 실제 환경에 해석 가능성 기술을 구현하고 배포하기 시작했습니다.
해석 가능한 AI를 다룬 블로그 포스팅(http://mng.bz/0wnE)을 작성하고, 강건하고 설명 가능한 AI 시스템을 구축하기 위한 원칙을 준수하는 접근 방식을 제시했습니다. 이 게시물은 다양한 산업 분야의 데이터 과학자, 연구원, 실무자로부터 놀라울 정도로 큰 반응을 얻었습니다. 다양한 AI 및 머신러닝 콘퍼런스에서 이 주제로 발표하기도 했습니다. 콘텐츠를 배포하고 주요 콘퍼런스에서 연설하면서 다음을 배웠습니다.
■ 이 주제에 관심이 있는 사람은 나만이 아니었다는 점
■ 커뮤니티에서 관심을 갖는 구체적인 주제에 대한 좀 더 자세한 이해
이러한 배움이 지금 읽고 있는 책으로 이어졌습니다. 설문 조사 결과, 블로그 게시물, 책 등 해석 가능한 AI를 파악하는 데 도움이 되는 자료를 찾을 수 있었지만, AI 실무자에게 중요한 모든 해석 기술을 다루는 단일 자원이나 책은 찾을 수 없었습니다. 이러한 최신 기술을 구현하는 방법을 설명하는 실용적인 지침도 없습니다. 이 책의 목표는 활발한 연구가 이뤄지고 있는 영역의 구조를 제시하고 여러 해석 기술을 다뤄 이런 격차를 메우는 것입니다. 이 책의 전반에 걸쳐 구체적인 실제 사례를 살펴보고 최신 기술을 사용해 정교한 모델을 구축하고 해석하는 방법을 살펴봅니다.
저는 실제로 배포되고 있는 복잡한 머신러닝 모델을 이해하는 것이 매우 중요하다고 생각합니다. 깊이 있는 이해가 부족하면 모델이 편향된 결과를 전파할 수 있다는 것을 사법 체계, 정치, 소매, 안면 인식, 자연어 처리 분야를 통해 경험했습니다. 이 모든 것이 신뢰에 나쁜 영향을 미칩니다. 제 경험에 비춰 볼 때 이것이 기업에서 AI를 사용하는 것에 저항하는 주된 이유 중 하나입니다. 여러분도 이런 이해의 중요성을 깨닫게 된 것을 기쁘게 생각합니다. 이 책에서 많은 것을 배우기 바랍니다.

◈ 옮긴이의 말 ◈

1950년대에 AI가 처음 소개됐을 때까지만 하더라도 소수의 전문가가 복잡한 수식과 많은 연산 자원을 이용해 연구하던 영역이었습니다. 하지만 최근 들어 관련 하드웨어의 발전과 여러 기업이나 단체에서 제공하는 오픈소스 도구를 활용해 누구라도 필요한 도구를 간단하게 설치하고 직접 경험해 볼 수 있습니다. 오늘날 AI 기술은 매우 빠르게 발전하고 있습니다. 하루가 멀다하고 새로운 기술이 개발되고 있고 지금 배우는 기법이나 도구가 1년 후에도 여전히 쓰일지 알 수 없습니다. 하지만 실습을 통해 AI가 기본적으로 어떻게 예측에 도달하는지, 근간을 이루는 개념은 무엇인지에 익숙해지면 향후 새로운 기법과 도구를 좀 더 쉽게 활용할 수 있을 것입니다.
AI 기술이 발전하고 그것을 활용한 사례가 늘어남에 따라 모델이 왜 그런 예측에 도달했는지, 어떻게 하면 결과가 달라졌을지 설명을 해야 할 상황도 늘어나고 있습니다. 이 책은 머신러닝 모델에 최신 해석 기술을 적용해 공정하고 설명 가능한 AI 시스템을 구축하는 데 도움이 되고자 합니다. 해석 가능성에 대한 이야기는 많지만, 실무에 필요한 기술을 설명하거나 실용적인 지침을 제공하는 자료는 거의 없습니다. 이 책은 그 격차를 해소하고자 합니다.
머신러닝, 딥러닝 분야의 용어는 대부분 영어입니다. 국내에서도 활발하게 사용되기 시작한 지 어느 정도 시간이 지났기 때문에 용어를 원문 그대로 사용하는 것이 편한 사람이 많습니다. 원서를 번역하는 과정에서도 원문의 의미를 해치지 않는 범위에서 업계에서 흔히 사용하는 용어를 사용하고자 노력했습니다.

추천사
"실무자를 위한 흥미진진한 AI 해석 가능성 분야에 대한 정통한 소개서."
─ 파블로 로카타글리아타(Pablo Roccatagliata),
토르쿠아토 디 텔라 대학(Torcuato Di Tella University)

"저자는 해석 가능한 AI의 중요성을 누구나 쉽게 이해하도록 설명하고 있다."
─ 아리엘 가미노(Ariel Gamino), 아테나헬스(Athenahealth)

"이제 막 시작하는 사람과 전문가 모두를 위해 해석 가능한 AI의 수수께끼를 효율적으로 설명하고 있다."
─ 비자얀트 싱(Vijayant Singh), 레이저페이(Razorpay)

"이 책에 제시된 구체적인 예제는 해석 가능한 AI 시스템을 이해하고 구축하는 데 도움을 준다."
─ 이즈하르 하크(Izhar Haq), 롱아일랜드 대학(Long Island University)

아제이 탐피
머신러닝에 대한 확고한 배경을 갖고 있다. 신호 처리와 머신러닝에 중점을 둔 주제의 논문으로 박사 학위를 받았다. 5G 셀룰러 네트워크에 적용되는 강화 학습, 볼록 최적화, 전통 머신러닝 기술에 대한 주제로 주요 콘퍼런스 및 잡지에 논문을 발표했다. 현재 책임 있는 AI와 공정성에 관심을 두고 대형 기술 회사에서 머신러닝 엔지니어로 근무하고 있다. 과거에는 마이크로소프트의 선임 데이터 과학자로서 제조, 소매, 금융 등 여러 산업의 고객을 위한 복잡한 AI 솔루션을 배포했다.


옮긴이 최영재
소프트웨어 분야에서 일하면서 좀 더 좋은 품질의 제품을 만들기 위해 노력해 왔다. 현재는 소프트웨어 공학과 관련된 강의를 하고 있으며 어떻게 하면 사용자가 안심하고 사용할 수 있는 AI 소프트웨어를 만들 수 있는지를 고민하고 있다.
소프트웨어와 관련된 국내외 표준과 여러 지식 체계의 개발에 참여하고 있으며 최근에는 누구나 믿고 사용할 수 있는 AI 시스템을 만드는 방법에 관심을 갖고 있다. 예측 모델, 추천 시스템 등 AI가 인간의 삶에 줄 수 있는 많은 가치를 실현하기 위해서는 모델이 가진 한계를 이해하고 AI가 뭔가를 어떤 방식으로 예측했는지 이해할 필요가 있다고 생각한다.