복잡하지 않게 한 권으로 딥러닝을 배우고 싶은 사람을 위한 딥러닝 입문서다. 엔비디아 딥러닝 연구소(NVIDIA Deep Learning Institute)의 딥러닝 가이드 북을 번역한 이 책은 수식의 사용을 최대한 줄이면서, 딥러닝의 핵심 개념을 자세하게 설명하고 있어 딥러닝 입문자에게 적합하다. 또한 풍부하고 잘 짜인 파이썬 예제 코드는 학습의 폭을 넓히는 데 큰 도움이 될 것이다.

[목 차]

1장. 로젠블랫 퍼셉트론
2입력 퍼셉트론 예제
퍼셉트론 학습 알고리듬
퍼셉트론의 한계
여러 퍼셉트론 조합하기
선형대수로 퍼셉트론 구현하기
__벡터 표기법
__내적
__벡터를 2차원 행렬로 확장하기
__행렬-벡터 곱
__행렬-행렬 곱
__퍼셉트론을 위해 사용한 벡터와 행렬 연산의 요약
__행렬곱으로서의 내적
__다차원 텐서로 확장하기
퍼셉트론의 기하학적 해석
편향 항 이해하기
퍼셉트론 맺음말

2장. 기울기 기반 학습
퍼셉트론 학습 알고리듬의 직관적인 설명
미분 그리고 최적화 문제
경사 하강으로 학습 문제 풀기
__다차원 함수를 위한 경사 하강
네트워크에서의 상수와 변수
퍼셉트론 학습 알고리듬의 분석적인 설명
퍼셉트론 학습 알고리듬의 기하학적 설명
각기 다른 형태의 퍼셉트론 도표 다시 보기
패턴 식별에 퍼셉트론 사용하기
기울기 기반 학습의 맺음말

3장. 시그모이드 뉴런과 역전파
다수준 네트워크에서 경사 하강이 가능하도록 수정된 뉴런
어떠한 활성 함수를 사용해야 하는가
함수 합성과 연쇄법칙
역전파를 사용해 기울기 계산하기
__포워드 패스
__백워드 패스
__가중치 조정
층마다 복수의 뉴런이 있는 역전파
프로그래밍 예제: XOR 함수 학습하기
네트워크 아키텍처
역전파의 맺음말

4장. 다중클래스 분류에 적용된 완전 연결 네트워크
네트워크를 훈련시킬 때 쓰이는 데이터셋 소개
__데이터셋 살펴보기
__데이터에서 인간의 편향
__훈련 집합, 테스트 집합, 그리고 일반화
__초매개변수 튜닝과 테스트 집합 정보 유출
훈련과 추론
네트워크와 학습 알고리듬을 확장해 다중클래스 분류하기
숫자 분류를 위한 네트워크
다중클래스 분류를 위한 오차 함수
프로그래밍 예제: 손글씨 숫자 분류하기
미니배치 경사 하강
다중클래스 분류의 맺음말

5장. DL을 향해: 프레임워크 및 네트워크 미조정
프로그래밍 예제: DL 프레임워크로 이동하기
포화 뉴런과 기울기 소실 문제
포화 뉴런을 피하기 위한 초기화 및 정규화 기법
__가중치 초기화
__입력 표준화
__배치 정규화
포화 출력 뉴런의 영향을 완화하는 교차 엔트로피 손실 함수
__교차 엔트로피 손실 함수의 컴퓨터 구현
은닉 층에서 기울기 소실을 피하는 다른 활성 함수
학습을 개선하기 위한 경사 하강의 변형
실험: 네트워크 및 학습 매개변수 미조정
초매개변수 튜닝과 교차 검증
__검증 집합을 사용해 과적합 피하기
__훈련 데이터 사용을 개선하는 교차 검증
딥러닝을 향한 경로에 대한 맺음말

6장. 회귀에 적용된 완전 연결 네트워크
출력 유닛
__이진 분류를 위한 로지스틱 유닛
__다중클래스 분류를 위한 소프트맥스 유닛
__회귀를 위한 선형 유닛
보스턴 주택 데이터셋
프로그래밍 예제: DNN으로 주택 가격 예측하기
정칙화로 일반화 개선하기
실험: 주택 가격 예측을 위한 더 깊은 그리고 정칙화된 모델
출력 유닛과 회귀 문제의 맺음말

7장. 이미지 분류에 적용된 합성곱 신경망
CIFAR-10 데이터셋
합성곱 층의 특징과 기본 토대
특성 맵을 합성곱 층에 조합하기
합성곱 및 완전 연결 층을 네트워크로 조합하기
희소 연결과 가중치 공유의 효과
프로그래밍 예제: 합성곱 네트워크로 이미지 분류하기
합성곱 네트워크의 맺음말

8장. 더 깊은 CNN 및 사전 훈련된 모델
VGGNet
GoogLeNet
ResNet
프로그래밍 예제: 사전 훈련된 ResNet 구현 사용하기
전이 학습
CNN을 위한 역전파 및 풀링
정칙화 기법으로서의 데이터 증대
CNN이 저지르는 실수
깊이별 분리 가능 합성곱으로 매개변수 줄이기
EfficientNet으로 올바른 네트워크 디자인 균형 맞추기
더 깊은 CNN의 맺음말

9장. 순환신경망으로 시간 시퀀스 예측하기
피드포워드 네트워크의 한계
순환신경망
순환 층의 수학적 표현
층을 RNN에 조합하기
RNN을 보는 다른 시각 및 시간 전개
시간에 따른 역전파
프로그래밍 예제: 서적 매출 전망하기
__데이터 표준화 및 훈련 예제 만들기
__단순한 RNN 만들기
__순환이 없는 네트워크와 비교
__예제를 다중 입력 변수로 확장하기
RNN에서 데이터셋 고려사항
RNN의 맺음말

10장. 장단기 메모리
기울기를 건강하게 유지하기
LSTM 소개
__LSTM 활성 함수
__LSTM 셀의 네트워크 만들기
LSTM을 보는 다른 시각
관련 주제: 하이웨이 네트워크와 스킵 연결
LSTM의 맺음말

11장. LSTM과 빔 검색으로 하는 텍스트 자동완성
텍스트 인코딩
장기 예측과 자기회귀 모델
빔 검색
프로그래밍 예제: 텍스트 자동완성을 위해 LSTM 사용하기
양방향 RNN
입력 및 출력 시퀀스의 다른 조합
LSTM으로 하는 텍스트 자동완성의 맺음말

12장. 신경 언어 모델과 단어 임베딩
언어 모델 소개 및 사용 사례
다른 언어 모델의 예시
__n그램 모델
__스킵 그램 모델
__신경 언어 모델
단어 임베딩의 이점 및 동작 방식에 대한 인사이트
신경 언어 모델이 만든 단어 임베딩
프로그래밍 예제: 신경 언어 모델과 결과 임베딩
King - Man + Woman! = Queen
King - Man + Woman ! = Queen
언어 모델, 단어 임베딩, 인간 편향
관련 주제: 텍스트의 감정 분석
__단어주머니와 n그램 주머니
__유사도 지표
__BoW와 DL 조합하기
언어 모델과 단어 임베딩의 맺음말

13장. word2vec과 GloVe로부터의 단어 임베딩
언어 모델 없이 word2vec을 사용해 단어 임베딩 만들기
__언어 모델과 비교해 연산 복잡도 줄이기
__연속 단어주머니 모델
__연속 스킵 그램 모델
__계산 복잡도를 더욱 낮추기 위한 최적 연속 스킵 그램 모델
word2vec에 대한 추가적인 생각들
행렬 형식에서의 word2vec
word2vec 일단락
프로그래밍 예제: GloVe 임베딩의 속성 살펴보기
word2vec과 GloVe의 맺음말

14장. 시퀀스 투 시퀀스 네트워크와 자연어 번역
시퀀스 투 시퀀스 학습을 위한 인코더-디코더 모델
케라스 펑셔널 API 소개
프로그래밍 예제: 신경 머신 번역
실험 결과
중간 표현의 속성
언어 번역의 맺음말

15장. 어텐션과 트랜스포머
어텐션 배후의 근거
시퀀스 투 시퀀스 네트워크에서의 어텐션
__정렬 벡터 계산하기
__정렬 벡터의 수학적 표기 및 변형
__더 깊은 네트워크에서의 어텐션
__추가적인 고려사항
순환 네트워크의 대안
셀프 어텐션
멀티헤드 어텐션
트랜스포머
트랜스포머의 맺음말

16장. 이미지 캡셔닝을 위한 일대다 네트워크
이미지 캡셔닝 네트워크를 어텐션으로 확장하기
프로그래밍 예제: 어텐션 기반 이미지 캡셔닝
이미지 캡셔닝의 맺음말

17장. 추가적인 주제 메들리
오토인코더
__오토인코더의 사용 사례
__오토인코더의 다른 면들
__프로그래밍 예제: 이상치 탐지를 위한 오토인코더
멀티모달 학습
__멀티모달 학습의 분류 체계
__프로그래밍 예제: 멀티모달 입력 데이터로 분류하기
멀티태스크 학습
__멀티태스크 학습을 구현하는 이유
__멀티태스크 학습을 구현하는 방법
__다른 측면 그리고 기본적인 구현의 변형
__프로그래밍 예제: 단일 네트워크로 하는 멀티클래스 분류 및 질문 답변
네트워크 튜닝 과정
__더 많은 훈련 데이터를 모아야 하는 시기
신경 아키텍처 검색
__신경 아키텍처 검색의 주요 구성요소
__프로그래밍 예제: CIFAR-10 분류를 위한 아키텍처 검색
__신경 아키텍처 검색의 의의
맺음말

18장. 정리 및 다음 단계
여러분이 이제 알아야 할 것들
윤리적 AI 그리고 데이터 윤리
__찾아볼 문제
__질문 체크리스트
여러분이 아직 모르는 것들
__강화 학습
__변형 오토인코더 및 생성적 적대 네트워크
__뉴럴 스타일 트랜스퍼
__추천 시스템
__구어를 위한 모델
다음 단계

부록
부록 A. 선형 회귀와 선형 분류기
부록 B. 물체 탐지와 세분화
부록 C. word2vec과 GloVe 너머의 단어 임베딩
부록 D. GPT, BERT, RoBERTa
부록 E. 뉴턴-랩슨 대 경사 하강
부록 F. 숫자 분류 네트워크의 행렬 구현
부록 G. 합성곱 층을 수학적 합성곱과 연관시키기
부록 H. 게이트 순환 유닛
부록 I. 개발 환경 설정
부록 J. 치트 시트

[본 문]

◈ 이 책의 구성 ◈
1장, ‘로젠블랫 퍼셉트론’에서는 신경망의 기본 토대인 퍼셉트론을 소개한다.
2장, ‘기울기 기반 학습’에서는 경사 하강(gradient descent)이라 알려진 최적화 알고리듬 및 퍼셉트론 학습 알고리듬 이면의 이론을 설명한다.
3장, ‘시그모이드 뉴런과 역전파’에서는 DNN에서의 자동학습에 쓰이는 역전파 알고리듬을 수학적 용어 그리고 이진 분류를 위해 쓰인 프로그래밍 예제 모두를 통해 설명한다.
4장, ‘다중클래스 분류에 적용된 완전 연결 네트워크’에서는 데이터셋의 개념과 이들이 어떻게 훈련 집합과 테스트 집합으로 나뉘는지 설명한다.
5장, ‘DL을 향해: 프레임워크 및 네트워크 미조정’에서는 이전 장의 예제를 DL 프레임워크로 구현한다. 이 프레임워크가 코드를 어떻게 엄청나게 단순화하는지 그리고 네트워크의 여러 변형을 모델링하게 해주는지 보여준다.
6장, ‘회귀에 적용된 완전 연결 네트워크’에서는 이전 장에서 공부한 분류 문제 대신 수치를 예측하는 데 네트워크를 사용하는 방법을 공부한다.
7장, ‘이미지 분류에 적용된 합성곱 신경망’에서는 합성곱 신경망 혹은 그냥 합성곱 네트워크라 불리는, 2012년에 DL 붐을 시작시킨 네트워크의 한 가지 형태를 배운다.
8장, ‘더 깊은 CNN 및 사전 훈련된 모델’에서는 GoogLeNet, VGG, ResNet과 같은 더 깊은 CNN을 설명한다. 프로그래밍 예제로 사전 훈련된 ResNet 구현을 다운로드하고 이미지를 분류하는 방법을 배운다.
9장, ‘순환신경망으로 시간 시퀀스 예측하기’에서는 이전 장에서 설명한 네트워크의 한계와 관렪된 과제를 다루는 데 적합한 순환신경망(RNN, Recurrent Neural Network) 아키텍처를 설명한다.
10장, ‘장단기 메모리’에서는 RNN이 장기 의존성을 학습하지 못하게 하는 문제를 논의한다. 긴 시퀀스를 더 잘 다루게 해주는 장단기 메모리(LSTM, Long Short-Term Memory) 기법을 설명한다.
11장, ‘LSTM과 빔 검색으로 하는 텍스트 자동완성’에서는 장기 예측을 위한 LSTM 기반 RNN을 사용하는 방법을 살펴보고, 빔 검색(Beam Search)이라 알려진 개념을 소개한다.
12장, ‘신경 언어 모델과 단어 임베딩’에서는 이전 장의 예제는 단어 대신 개별 글자에 기반하는데, 많은 경우 단어 및 그 의미를 가지고 작업하는 것이 개별 글자로 작업하는 것보다 더욱 강력하다. 12장은 개념 언어 모델과 벡터 공간(임베딩 공간(-embedding space)이라고도 함)에서의 단어 임베딩에 대해 소개한다.
13장, ‘word2vec과 GloVe로부터의 단어 임베딩’에서는 단어 임베딩을 만들기 위한 두 가지 인기 있는 기법을 논의한다.
14장, ‘시퀀스 투 시퀀스 네트워크와 자연어 번역’에서는 두 순환신경망의 조합인 시퀀스 투 시퀀스 네트워크(sequence-to-sequence network)라 알려진 네트워크를 소개한다.
15장, ‘어텐션과 트랜스포머’에서는 인코더-디코더 아키텍처의 정확도를 개선할 수 있는 어텐션attention이라 부르는 기법을 설명한다.
16장, ‘이미지 캡셔닝을 위한 일대다 네트워크’에서는 어떻게 일대다 네트워크를 사용해 이미지의 텍스트 설명을 만들고 이러한 네트워크를 어텐션으로 확장하는지 설명한다.
17장, ‘추가적인 주제 메들리’에서는 지금까지 주제가 서로에 기반하여 만들어지도록 구조화했다. 17장에서는 이전 장에 포함시킬 좋은 방법을 찾지 못했던 몇 가지 주제를 소개한다. 이러한 주제의 예제로는 오토인코더, 멀티모달 학습, 멀티태스크 학습, 신경 아키텍처 검색 등이다.
18장, ‘정리 및 다음 단계’에서는 마지막 18장에서는 이전 장에서 논의한 주제를 정리하고 요약해 여러분이 이 책에서 설명한 핵심 개념을 잘 이해하고 있는지 확인할 수 있는 기회를 제공한다.
부록 A, ‘선형 회귀와 선형 분류기’에서는 매우 기본적인 ML 주제를 설명하여 여러분이 제시된 몇몇 DL 개념이 어떻게 더욱 전통적인 ML 기법에 연관되어 있는지 알 수 있게 한다. 부록 A는 논리적으로 3장 다음이다.
부록 B, ‘물체 탐지와 세분화’에서는 한 이미지 내의 여러 물체를 탐지하고 분류하는 기법을 설명한다. 부록 B는 논리적으로 8장 다음이다.
부록 C, ‘word2vec 과GloVe 너머의 단어 임베딩’에서는 단어 임베딩을 위한 더욱 정교한 기법을 설명한다. 부록 C는 논리적으로 13장 다음이다.
부록 D, ‘GPT, BERT, RoBERTa’에서는 트랜스포머로부터 만들어지는 아키텍처를 설명한다. 이 네트워크 아키텍처는 많은 NLP 과제를 상당히 개선했다. 부록 D는 논리적으로 15장 다음이다.
부록 E, ‘뉴턴-랩슨 대 경사 하강’에서는 2장에서는 경사 하강이라 부르는 수학적 개념의 기법을 소개하는데, 부록 E는 뉴턴-랩슨(Newton-Raphson)이라 알려진 다른 방법 및 이것이 경사 하강과 어떻게 연관이 있는지 설명한다.
부록 F, ‘숫자 분류 네트워크의 행렬 구현’에서는 4장에는 파이썬 코드로 신경망을 구현하는 프로그래밍 예제가 포함되는데, 부록 F는 그 프로그래밍 예제의 최적화된 변형 두 가지를 설명한다.
부록 G, ‘합성곱 층을 수학적 합성곱과 연관시키기’에서는 7장에서는 합성곱 신경망을 설명하는데, 이들은 합성곱(convolution)이라 알려진 수학적 연산에 근거하며 이로부터 이름을 얻었다. 부록 G는 이와 같은 연결을 더 자세히 설명한다.
부록 H, ‘게이트 순환 유닛’에서는 10장에서는 장단기 메모리(LSTM)라 알려진 네트워크를 설명하는데, 부록 H에서 이 유닛의 더 단순한 버전인 게이트 순환 유닛(GRU, Gated Recurrent Unit)을 설명한다.
부록 I, ‘개발 환경 설정’에서는 개발 환경을 설정하는 방법에 대한 정보와 함께, 딥러닝 프레임워크를 설치하는 방법과 코드 예제를 어디에서 찾을 수 있는지도 알아본다. 또한 이 책의 코드 예제에 쓰인 두 가지 DL 프레임워크인 텐서플로와 파이토치의 주요 차이점을 간단하게 설명한다.
부록 J, ‘치트 시트’에서는 이 책에 실린 상당 부분의 내용을 요약하는 치트 시트 세트를 포함하고 있다.

◈ 이 책에서 다루는 내용 ◈
◆ 퍼셉트론, 기울기 기반 학습, 시그모이드 뉴런, 역전파 같은 핵심 개념을 탐색하고 마스터한다.
◆ DL 프레임워크가 어떻게 더욱 복잡하고 유용한 신경망의 개발을 쉽게 만들어주는지 알아본다.
◆ 합성곱 신경망(CNN)이 이미지 분류 및 분석에 가져온 혁명을 탐색해본다.
◆ 순환신경망(RNN)과 장단기 메모리(LSTM)를 텍스트 및 다른 가변 길이 시퀀스에 적용해본다.
◆ 시퀀스 투 시퀀스 및 트랜스포머 아키텍처로 NLP을 마스터한다.
◆ 자연어 번역 및 이미지 캡셔닝을 위한 애플리케이션을 구축한다.

◈ 지은이의 말 ◈
딥러닝(DL, Deep Learning)은 빠르게 발전하고 있는 분야이며, 전통적으로 인간만이 수행할 수 있었던 과제를 수행하는 데 엄청난 결과를 보여왔다. 이러한 과제의 예시로는 이미지 분류, 이미지의 자연어 설명 생성, 자연어 번역, 음성-텍스트 변환 및 텍스트-음성 변환이 있다.
이 책은 이러한 주제를 빠르게 잘 알 수 있게 해준다. DL이 어떻게 동작하는지, 무엇을 할 수 있는지 가르쳐주며, 몇몇 실제적인 경험을 제공해 추가적인 학습을 위한 탄탄한 토대를 제공하는 것을 목표로 한다.
여러분은 퍼셉트론 및 다른 인공 신경에 대해 배우게 될 것이다. 이들은 심층신경망의 기본적인 토대로, DL 혁명을 가능케 했다. 그리고 완전 연결된 피드포워드 네트워크와 합성곱 네트워크에 대해 알아본다. 이러한 네트워크를 적용하여, 다수의 변수를 기반으로 하는 주택 가격을 예측하거나 이미지가 어떠한 범주에 속하는지와 같은 실제적인 문제를 푼다. 그림 P-1은 이러한 범주와 이미지의 예를 보여준다.
여러분은 또한 인코딩된 단어의 일부 의미를 포착하는 인코딩을 함께 사용해 자연어로부터 나온 단어를 나타내는 방법을 배울 것이다. 그 뒤 순환신경망으로 이 인코딩을 사용해 신경 기반 자연어 번역기를 만들 것이다. 이 번역기는 그림 P-2에서와 같이 단순한 문장을 영어에서 프랑스어로 아니면 다른 유사한 언어로 자동으로 번역해준다. 마지막으로, 여러분은 이미지와 언어 처리를 묶는 이미지 캡셔닝 네트워크를 어떻게 구축하는지 살펴볼 것이다. 이 네트워크는 이미지를 입력으로 받고 이미지의 자연어 설명을 자동으로 생성한다.
우리가 방금 설명한 것들이 이 책의 주요 내용이다. 이 여정을 통해 여러분은 그 밖의 많은 내용을 자세히 배울 것이다.

◈ 옮긴이의 말 ◈
딥러닝으로의 첫 여행을 시작하신 분들을 환영합니다. 또한 딥러닝 입문을 위해 이 책을 선택하신 여러분께 찬사를 보내 드립니다. 왜냐하면 여러분은 가장 탁월한 선택을 하셨기 때문입니다. 지금부터 수많은 딥러닝 책 중에서 왜 이 책이 좋은 선택이 될 수 있는지 말씀드리겠습니다.
딥러닝 기술이 발전하고 널리 보급됨으로 인한 장점 중 하나는, 예측 또는 그 비슷한 것을 무언가 부담스러운 과학의 관점에서 기술의 관점으로 바라보기가 더 쉬워졌다는 점이라고 생각합니다. 다르게 말하자면, 배경지식에 너무 신경 쓰지 말고 일단 데이터에서 유의미한 결과를 얻는 데 집중하게 되었다는 것입니다. 저자도 이 점에 대해 6장 마지막에 비슷한 의견을 표명하고는 있습니다. 하지만 초보자의 입장에서 보면, 수학에 대한 부담감은 잠시 내려놓고 자세한 설명으로 이론을 배우며 풍부한 예제 코드로 여러 가지를 시도해보면서 학습하는 것이 딥러닝을 배우는 좋은 방법이 될 수 있다고 생각합니다. 그리고 이 책은 이를 위한 좋은 시작점이라고 말씀드릴 수 있습니다.
이 책은 많은 수학적 지식이 필요하지 않습니다. 미적분에 대한 약간의 지식이 있는 것으로 충분합니다. 행렬대수학에 대해 조금 안다면 더욱 좋겠지만, 너무 걱정할 필요 없습니다. 이 책에서 별도로 잘 설명해주고 있기 때문입니다. 통계학이나 확률론이 익숙하지 않더라도 읽는 데 큰 문제는 없다고 생각합니다. 이 책은 수학 공식에 의존하기보다는, 말과 그림으로 자세히 설명하는 것을 시도합니다. 저도 번역하면서 어떻게 이렇게까지 자세히 설명해줄 수 있을까 하고 놀란 적이 한두 번이 아니었답니다. 이 책은 퍼셉트론에서 시작하여 DNN, CNN, RNN을 거쳐 비교적 최근 아키텍처인 트랜스포머에 이르기까지 주요 모델과 아키텍처를 차근차근 설명해줍니다(요즘 많이 회자되고 있는 ChatGPT는 트랜스포머 아키텍처를 기반으로 하고 있습니다).
이 책에서는 수학적 지식보다는 파이썬 활용이 중요하다고 할 수 있습니다. 물론 책을 읽기만 해도 배경지식을 얻는데 도움이 되겠지만, 이미지 분류 및 자연어 처리에 관해 잘 짜인 예제 코드를 직접 실행하고 실험해본다면 학습의 폭을 더욱 넓힐 수 있을 것입니다. 여러분의 딥러닝으로의 첫걸음에 응원을 보내면서, 이 책이 작게나마 도움이 되길 바랍니다.

추천사
인공지능(AI, Artifical Intelligence)은 지난 10년간 인상적인 진전을 이뤘다. 우리처럼 생각하고 행동할 수 있는 지적 기계를 만들고자 하는 인간의 꿈이 마침내 시작되는 것 같다. 모두가 이러한 역사적인 혁명에 참여할 수 있으려면 AI 지식과 자원의 민주화가 필요하다. 이 책은 이러한 담대한 목표를 달성하는 데 있어 시의적절하며 유의미하다.
이 책은 야망 있으며 경험을 가진 AI 개발자 모두에게 폭넓은 교육적 가이드를 제공한다. 저자인 매그너스는 AI 분야에서 확고한 리더인 NVIDIA로부터 얻은 풍부한 경험을 공유해준다. 지난 수년간 딥러닝에서의 비약적인 발전을 다루는 데 집중하고 있는 이 책은 좋은 균형을 유지하며 역전파와 같은 중요한 근본적인 내용 몇몇 도메인에서의 최신 모델(예를 들면 언어 이해를 위한 GPT, 이미지 이해를 위한 Mask R-CNN) 모두를 다룬다.
AI는 데이터, 알고리듬, 연산 인프라의 삼위일체다. ImageNet 대회가 시작되며 커다란 신경망을 훈련하기 위한 대규모 벤치마크 데이터셋을 제공했다. NVIDIA GPU의 병렬화는 이러한 커다란 신경망의 훈련을 가능케 했다. 대규모 모델의 구축과 유지는 곧 모든 AI 엔지니어의 필수적인 기술로 간주될 것이다. 이 책은 여러 도메인에서의 대규모 모델을 깊게 다루고 있으며 또한 신경 아키텍처 검색과 같은 떠오르는 분야를 다룬다. 우리가 이 분야에서 현재의 AI 모델로부터 될 수 있는 한 최대의 정확도와 하드웨어 효율성을 끌어내기 시작했으므로, 이들은 더욱 널리 보급될 것이다. 딥러닝 혁명은 거의 전적으로 오픈소스로부터 발생돼 왔다. 이 책은 코드와 데이터셋을 편리하게 접근하도록 해주며 코드 예제를 세밀하게 진행한다. 딥러닝을 위한 가장 인기 있는 프레임워크인 텐서플로(TensorFlow)와 파이토치(PyTorch) 모두를 위한 폭넓은 프로그램 코드가 준비되어 있다.
AI를 다루는 어떤 책이든지 윤리적 문제를 논의하지 않을 수 없을 것이다. 나는 AI를 개발하는 데 있어 사회적 영향을 냉정하게 생각해보는 것이 모든 AI 엔지니어의 책임이라 믿는다. 소셜미디어에서의 괴롭힘, 혐오 발언, 잘못된 정보의 확산은 잘못 디자인된 알고리듬이 어떻게 우리 사회에 커다란 혼란을 초래하는지 보여준다. 젠더 쉐이드(Gender Shades) 프로젝트와 확률적 앵무새(Stochastic Parrots) 같은 획기적인 연구는 상업적으로 대규모로 배포된 AI 모델에서 문제가 되는 편향성을 보여준다. 나는 적절한 가이드라인과 테스트가 자리잡을 때까지는 민감한 상황에서의 AI 사용을 금지해야 한다고 주장해왔다(예: 법 집행을 위한 AI 기반의 안면 인식 사용). 나는 이 책이 AI 모델 훈련과 유지에 있어 책임성과 투명성을 개선하는 모델 카드와 같은 상당한 발전 내용을 다룬다는 점을 기쁘게 생각한다. AI 커뮤니티의 밝고 폭넓은 미래를 기대한다.

매그너스 에크만(Magnus Ekman)
NVIDIA의 아키텍처 디렉터다. 컴퓨터 엔지니어링 학위를 가졌으며 다수의 특허를 보유하고 있다. 1990년대 후반에 모국인 스웨덴에서 인공 신경망으로 처음 알려졌다. 그 뒤 몇몇 혁명적인 연산 분야에 손을 댄 뒤, 컴퓨터 아키텍처에 집중하며 아내 제니퍼, 아이들 세바스찬과 소피아, 애견 바벳과 함께 살고 있는 실리콘밸리로 이주했다. 이전에는 썬 마이크로시스템즈와 삼성 리서치 아메리카의 프로세서 디자인 및 R&D에서 일했으며, 두 회사를 시작하는 데 관여했고 그중 하나인 스카우트(Skout)는 더밋그룹(The Meet Group,Inc)이 인수했다. 현재는 NVIDIA에서 자율주행차부터 인공지능을 위한 데이터 센터에 이르기까지의 시장을 겨냥하는 칩의 CPU 성능과 전력 효율성을 연구하는 엔지니어링 팀을 이끌고 있다.
NVIDIA의 GPU 기술과 CUDA에 힘입어 과거 수년간 딥러닝 분야가 폭발적으로 커짐에 따라, 그는 컴퓨터 그래픽스를 넘어 확장하면서 DL 파워하우스가 되고 있는 회사의 가운데에 있는 자신을 발견했다. 이러한 여정의 일부로, 이 분야에서 가장 최근의 발전을 통해 자신을 최신의 상태로 유지하고자 노력했다. 에크먼은 스스로를 교육자라고 생각하고 있으며, 이 책을 집필하면서 AI에 대한 실제적인 훈련, 가속화된 연산 및 가속화된 데이터 과학을 제공하는 NVIDIA 딥러닝 연구소(DLI, Deep Learning Institute)와 협력했다. 또한 이 책을 자기 진도 온라인 과정의 기존 포트폴리오인 라이브 강사 주도 워크숍, 교육자 프로그램, 교습 도구에 추가하고자 하는 DLI의 계획에 매우 기뻐하고 있다.

옮긴이 이판호
성균관대학교 통계학과를 졸업했으며, 한국과 싱가포르에서 주로 금융 관련 분석 및 개발 업무에 종사했다. 머신러닝의 이론적 이해 및 금융 데이터로의 응용에 관심이 많다. 에이콘출판사에서 펴낸 『스칼라와 머신러닝』(2018), 『통계학으로 배우는 머신러닝』(2021) 등을 번역했다.