수식을 걷어낸 자리에 직관을, 단순 튜토리얼을 넘어 원리부터 실무까지 관통하는 딥러닝 교과서

인공지능 기술을 실무에 활용하는 것이 필수가 된 시대이지만, 단순히 외부 라이브러리나 API 튜토리얼을 복사·붙여넣기 하는 것만으로는 현업의 한계에 부딪힐 수밖에 없다. 문제가 발생했을 때 원인을 찾거나, 서비스를 장기적으로 유지 보수하기 위해서는 모델의 밑바닥 구조와 구동 원리를 주물러 보며 체득한 '통찰'이 필요하다.

《멀티모달까지 직접 구현하는 딥러닝 with 파이토치》는 수학적 배경이 깊지 않은 개발자도 딥러닝 모델의 내부 원리와 동작 메커니즘을 명확히 이해하도록 돕는 실무 지향 안내서이다. 복잡한 수식과 기호 대신 직관적인 우리말 설명과 즉시 실행 가능한 파이토치 예제 코드를 나란히 배치하여, 외부 라이브러리나 거대 모델을 단순히 호출하는 한계를 극복하고 모델의 본질적인 구조와 원리를 체득할 수 있도록 책을 구성했다. 파이썬과 객체지향 기초 개념을 갖춘 개발자라면 별도의 딥러닝 사전 지식 없이도 밑바닥 구현부터 시작해 탄탄한 기본기를 쌓을 수 있다.

이 책은 AI 발전의 역사적 흐름을 따라 기초 텐서 연산과 퍼셉트론부터 시작해 CNN, RNN, 트랜스포머에 이르는 핵심 신경망 아키텍처를 단계별로 직접 조립해 보며 학습하도록 안내한다. 나아가 최신 AI 생태계의 중심인 LLM 미세 조정(Fine-tuning), 양자화, RAG(검색 증강 생성), 그리고 텍스트와 이미지를 연결하는 멀티모달 시스템까지 현업에서 즉시 활용 가능한 응용 기술을 폭넓게 아우른다. 개발 중 자주 발생하는 에러와 실패 예제, 디버깅 노하우까지 포함되어 있어 실무 현장에서 스스로 문제를 진단하고 모델을 개선할 수 있는 실질적인 개발 역량을 전해 준다.

[목 차]

__추천인의 글
__독자에게 전하는 말
__이 책의 학습 방법
__보조 학습 자료

PART 1 파이토치로 딥러닝 시작하기

CHAPTER 01 텐서와 자동 미분

1-1 텐서 자료형
__텐서: 파이토치의 기본 데이터 형식
__텐서 다루기
__텐서의 조작
__연습문제
1-2 자동 미분
__텐서와 미분
__자동 미분의 사용법
__연습문제
1-3 첫 번째 딥러닝 모델
__회귀 분석 모델의 설계
__회귀 분석 모델의 구현
__연습문제
학습노트
__요점 정리
__더 공부하거나 찾아보면 도움이 되는 것들

CHAPTER 02 똑똑한 선 긋기, 퍼셉트론

2-1 기계가 선을 긋는다면?
__퍼셉트론: 인공 뉴런의 조상
__퍼셉트론을 분류에 사용하는 원리
__연습문제
2-2 퍼셉트론으로 구현한 AND 게이트
__AND 게이트 시뮬레이터 모델
__모델 학습과 평가
__연습문제
2-3 파이토치 고수준 API
__파이토치의 방식으로 모델 만들기
__파이토치에서 제공하는 클래스 도구
__연습문제
학습노트
__요점 정리
__더 공부하거나 찾아보면 도움이 되는 것들

CHAPTER 03 선을 넘는 신경망, 다층 퍼셉트론

3-1 복잡한 분류 문제
__다층 퍼셉트론의 등장 배경
__다층 퍼셉트론
__연습문제
3-2 다층 퍼셉트론으로 구현한 XOR 게이트
__파이토치로 다층 퍼셉트론 모델 만들기
__결과로 돌아보는 다층 퍼셉트론의 결정 경계
__연습문제
3-3 좀 더 복잡한 분류 문제
__회오리 모양으로 분포한 데이터의 분류
__모델 구현하기
__더 좋은 분류 모델을 위한 도구
__연습문제
학습노트
__요점 정리
__더 공부하거나 찾아보면 도움이 되는 것들

CHAPTER 04 딥.완.데, 딥러닝의 완성은 데이터

4-1 데이터에서 시작하는 슬기로운 딥러닝 생활
__딥러닝 모델의 데이터
__일반적으로 좋은 모델 만들기
__연습문제
4-2 파이토치로 데이터를 다루는 표준 절차
__데이터 파이프라인
__파이토치의 방식으로 데이터 다루기
__연습문제
4-3 공개 이미지 데이터셋의 사용
__torchvision 라이브러리
__MNIST 숫자 분류기 모델
__연습문제
학습노트
__요점 정리
__더 공부하거나 찾아보면 도움이 되는 것들

PART 2 구조에 숨은 특징과 의미

CHAPTER 05 이미지를 보는 눈, 합성곱 신경망

5-1 딥러닝에 맞는 이미지 취급법
__이미지를 제대로 이해하는 방법
__합성곱: 이미지 맞춤 특징 추출기
__연습문제
5-2 합성곱 신경망 모델 만들기
__합성곱 신경망을 구성하는 부품
__합성곱 신경망 숫자 분류기 모델
__연습문제
5-3 좀 더 복잡한 이미지를 다루는 딥러닝
__CIFAR -10 이미지 분류 모델
__과적합을 완화하는 또 다른 방법
__연산 장치와 하드웨어 가속기의 활용
__연습문제
학습노트
__요점 정리
__더 공부하거나 찾아보면 도움이 되는 것들

CHAPTER 06 순서를 기억하는 방법, 순환 신경망

6-1 순환 신경망
__순환 신경망: 순서 맞춤 특징 추출기
__순환 신경망의 입력 데이터
__연습문제
6-2 순서를 예측하는 생성 모델 만들기
__다음 토큰을 예측하는 단순 RNN 모델
__자기회귀: 순환 신경망으로 생성하기
__연습문제
6-3 순서를 기준으로 판단하는 모델 만들기
__띄어쓰기를 예측하는 단순 RNN 모델
__LSTM: 기억을 제어하는 순환 신경망
__띄어쓰기 모델을 개선하려면
__연습문제
학습노트
__요점 정리
__더 공부하거나 찾아보면 도움이 되는 것들

CHAPTER 07 데이터 속의 의미

7-1 똑똑한 어휘 사전, 임베딩
__임베딩: 더 똑똑한 토큰 인코딩
__임베딩 벡터
__임베딩 벡터에 담긴 의미
__연습문제
7-2 임베딩을 사용하는 순환 신경망 모델
__임베딩 계층을 사용하는 모델 정의하기
__임베딩 계층을 사용하는 모델의 학습
__연습문제
7-3 데이터를 압축하는 오토인코더
__오토인코더: 표현의 압축
__오토인코더로 MNIST 데이터 재현해 보기
__연습문제
7-4 잠재 공간과 전이 학습
__잠재 벡터의 분포와 잠재 공간
__인코더를 재활용해 만드는 숫자 분류기
__연습문제
학습노트
__요점 정리
__더 공부하거나 찾아보면 도움이 되는 것들

PART 3 딥러닝을 위한 전략

CHAPTER 08 더 깊은 딥러닝

8-1 단순해도 깊어서 좋은 VGGNet
__딥러닝에서 깊이의 의미
__VGGNet: 단순하지만 깊은 모델
__연습문제
8-2 안정적으로 더 깊게 쌓기, 배치 정규화
__깊은 모델을 안정적으로 학습하는 전략
__배치 정규화가 추가된 VGGNet
__연습문제
8-3 깊이의 한계를 극복하는 덧셈의 마법, ResNet
__ResNet: 차이에 집중해 학습하는 더 깊은 모델
__잔차 학습을 적용한 모델 만들기
__연습문제
8-4 진짜 VGGNet과 ResNet 활용해 보기
__허깅페이스 허브를 통한 공개 모델 활용
__허깅페이스의 사전 학습 모델을 사용한 전이 학습
__연습문제
학습노트
__요점 정리
__8장에서 사용한 사전 학습 모델
__더 공부하거나 찾아보면 도움이 되는 것들

CHAPTER 09 가변 길이를 다루는 Seq2Seq와 어텐션

9-1 Seq2Seq 모델
__Seq2Seq: 인코더-디코더로 순차 데이터를 생성하는 모델
__Seq2Seq 모델로 구현한 날짜 형식 변환기
__기본 Seq2Seq 모델에서 개선해야 할 점
__연습문제
9-2 Seq2Seq 모델의 배치 학습
__배치 학습을 위한 표준 절차와 도구
__순차 데이터의 미니배치 학습
__연습문제
9-3 어텐션
__어텐션: 중요한 곳에 집중
__어텐션 메커니즘의 구현
__어텐션의 효과
__연습문제
학습노트
__요점 정리
__더 공부하거나 찾아보면 도움이 되는 것들

CHAPTER 10 어텐션만으로 만든 신경망, 트랜스포머

10-1 병렬 처리를 위한 새로운 패러다임, 트랜스포머
__트랜스포머의 개념과 동작 방식
__트랜스포머 구조로 만든 날짜 변환기 모델
__연습문제
10-2 트랜스포머의 변형 1, 인코더만 사용하는 트랜스포머
__BERT: 인코더만 사용하는 트랜스포머
__인코더만 사용하는 날짜 형식 분류기 모델
__연습문제
10-3 트랜스포머의 변형 2, 디코더만 사용하는 트랜스포머
__GPT: 디코더만 사용하는 트랜스포머
__디코더만 사용하는 문장 생성 모델
__텍스트 생성 모델의 추론 방법
__연습문제
학습노트
__요점 정리
__더 공부하거나 찾아보면 도움이 되는 것들

CHAPTER 11 이미지를 만드는 생성 전략

11-1 변분 오토인코더: 잠재 공간에서 이미지를 생성하기
__오토인코더의 한계와 변분 오토인코더의 등장
__Fashion -MNIST 데이터셋으로 학습한 변분 오토인코더 모델
__연습문제
11-2 GAN: 적대적 경쟁으로 이미지를 생성하기
__경쟁으로 더 좋은 모델을 만드는 전략
__Fashion -MNIST 데이터셋을 학습한 DCGAN 모델
__연습문제
학습노트
__요점 정리
__더 공부하거나 찾아보면 도움이 되는 것들

PART 4 거대한 모델의 시대

CHAPTER 12 LLM을 활용하는 애플리케이션 개발

12-1 transformers 라이브러리로 LLM 다루기
__transformers 라이브러리와 Auto 모델 클래스
__한국어 LLM 실행하기
__LLM을 애플리케이션에 통합하는 방식
__연습문제
12-2 LLM을 미세 조정해 작업에 특화시키기
__미세 조정의 의미와 모델 선택
__한국어 요약 데이터셋 준비
__모델 준비와 전이 학습 실행
__연습문제
12-3 양자화로 LLM 가볍게 돌리기
__양자화가 필요한 이유와 작동 원리
__bitsandbytes로 추론 양자화 적용하기
__연습문제
12-4 검색 증강 생성으로 환각 줄이기
__RAG의 개념과 구성
__간단한 RAG 파이프라인 구현
__연습문제
학습노트
__요점 정리
__12장에서 사용한 사전 학습 모델
__더 공부하거나 찾아보면 도움이 되는 것들

CHAPTER 13 언어 밖 진짜 세계의 모델, 멀티모달

13-1 멀티모달 모델의 구조와 구현
__멀티모달 모델의 등장 배경과 프로젝션 아이디어
__CLIP과 GPT -2를 연결해 만든 이미지 설명 모델
__연습문제
13-2 Q -Former: 이미지 정렬 트랜스포머
__이미지를 보고 텍스트를 생성하는 BLIP -2 모델
__BLIP -2의 구현 방식과 Q -Former
__연습문제
학습노트
__요점 정리
__13장에서 사용한 사전 학습 모델
__더 공부하거나 찾아보면 도움이 되는 것들
__찾아보기