생성형 AI, 이론을 넘어 실전에서 완성하다

허깅페이스 코어 개발자와 함께 한 권으로 마스터하는 GenAI 실무 구현

 

허깅페이스 코어 개발한 저자가 직접 최신 기술을 직접 구현하며 이론과 실무의 간극과 기술 갈증을 해소해 드립니다.

프로프트 엔지니어링을 넘어 트랜스포머와 확산 모델의 내부 구조를 탐구하면서 생성형 AI의 핵심 원리를 이해하고, 최신 기술을 직접 구현해보며 학습할 수 있도록 구성되어 있습니다. 트랜스포머와 확산 모델을 중심으로 생성형 AI의 주요 구조와 동작 방식을 다루고, 이미지·텍스트·오디오를 생성하는 멀티모달 모델의 작동 방식과 활용법을 깊이 있게 설명합니다.

오토인코더, CLIP, U-Net 등 핵심 개념을 정리하고, 텍스트 생성, 조건부 이미지 생성, 오디오 생성까지 다양한 프로젝트 중심 실습을 통해 개념과 구현을 함께 익힐 수 있도록 구성했습니다. 특히 허깅 페이스와 구글 코랩 기반의 환경을 활용해 복잡한 설정 없이 직접 실습할 수 있으며, 스테이블 디퓨전, 드림부스, LoRA 같은 최신 기술도 단계적으로 구현해볼 수 있습니다. 또한 텍스트 분류, 생성, 지시어 기반 파인튜닝부터 검색 증강 생성(RAG) 구현까지 실무에 필요한 전이 학습 기법을 실제 코드와 함께 소개하며, 인페인팅, 이미지 편집, 컨트롤넷 등 창의적인 활용 예제는 물론, 멀티모달, 3D 비전, 비디오 생성 등 최신 생성형 AI 기술의 발전 흐름도 함께 짚어봅니다.

생성형 AI를 실무에 활용하려는 개발자에게 이 책은 기술 원리부터 구현, 응용까지 한 권으로, 체계적으로 설명하는 좋은 안내서가 되어 줄 것입니다. 

[목 차]

[1부 개방형 모델 활용]

 

1장 생성 미디어 입문

_1.1 이미지 생성

_1.2 텍스트 생성

_1.3 사운드 클립 생성

_1.4 윤리적 및 사회적 영향

_1.5 생성 모델의 과거와 현재

_1.6 생성형 AI 모델 개발 방법

_1.7 요약

 

2장 트랜스포머

_2.1 언어 모델의 활용 사례

_2.2 트랜스포머 블록

_2.3 트랜스포머 모델 계보

_2.4 사전 학습의 힘

_2.5 트랜스포머 요약

_2.6 언어 모델을 이용한 텍스트 생성 프로젝트

_2.7 요약

_연습 문제

_도전 과제

_참고 자료

 

3장 정보 압축과 표현

_3.1 오토인코더

_3.2 변이형 오토인코더

_3.3 CLIP

_3.4 CLIP의 대안

_3.5 의미 기반 이미지 검색 프로젝트

_3.6 요약

_연습 문제

_도전 과제

_참고 자료

 

4장 확산 모델

_4.1 핵심 원리: 반복 정제

_4.2 확산 모델 학습

_4.3 노이즈 스케줄 심층 분석

_4.4 U-Net과 대안 심층 분석

_4.5 확산 목표 심층 분석

_4.6 비조건부 확산 모델 학습 프로젝트

_4.7 요약

_연습 문제

_도전 과제

_참고 자료

 

5장 스테이블 디퓨전과 조건부 생성

_5.1 조건부 확산 모델을 위한 조건 추가하기

_5.2 효율성을 높이는 잠재 확산

_5.3 스테이블 디퓨전 구성 요소 심층 분석

_5.4 주석이 달린 샘플링 루프

_5.5 오픈 데이터, 오픈 모델

_5.6 Gradio로 인터랙티브 머신러닝 데모 만들기 프로젝트

_5.7 요약

_연습 문제

_도전 과제

_참고 자료

 

[2부 생성 모델을 위한 전이 학습]

 

6장 언어 모델 파인튜닝

_6.1 텍스트 분류

_6.2 텍스트 생성

_6.3 지시 사항

_6.4 어댑터 소개

_6.5 양자화 소개

_6.6 통합 구현

_6.7 평가 방법에 대한 더 깊은 이해

_6.8 검색 증강 생성 프로젝트

_6.9 요약

_연습 문제

_도전 과제

_참고 자료

 

7장 스테이블 디퓨전 파인튜닝

_7.1 스테이블 디퓨전 전체 모델 파인튜닝

_7.2 드림부스

_7.3 LoRA 학습

_7.4 스테이블 디퓨전에 새로운 기능 추가하기

_7.5 SDXL 드림부스 LoRA 학습하기 프로젝트

_7.6 요약

_연습 문제

_도전 과제

_참고 자료

 

 

[3부 더 나아가기]

 

8장 텍스트-이미지 모델의 창의적 활용

_8.1 이미지-이미지 변환

_8.2 인페인팅

_8.3 프롬프트 가중치와 이미지 편집

_8.4 인버전으로 실제 이미지 편집하기

_8.5 컨트롤넷

_8.6 이미지 프롬프팅과 이미지 변형

_8.7 창의적 그림 생성 프로젝트

_8.8 요약

_연습 문제

_참고 자료

 

9장 오디오 생성

_9.1 오디오 데이터

_9.2 트랜스포머 기반 아키텍처를 활용한 음성-텍스트 변환

_9.3 텍스트에서 음성으로, 생성 오디오로

_9.4 오디오 생성 시스템 평가

_9.5 향후 발전 방향

_9.6 엔드-투-엔드 대화 시스템 프로젝트

_9.7 요약

_연습 문제

_도전 과제

_참고 자료

 

10장 생성형 AI 분야의 발전과 최신 동향

_10.1 선호도 최적화

_10.2 긴 컨텍스트

_10.3 전문가 혼합

_10.4 최적화와 양자화

_10.5 데이터

_10.6 모든 것을 해결하는 단일 모델

_10.7 컴퓨터 비전

_10.8 3D 컴퓨터 비전

_10.9 비디오 생성

_10.10 멀티 모달리티

_10.11 커뮤니티

 

APPENDIX A. 오픈 소스 도구

APPENDIX B. LLM 메모리 요구사항

APPENDIX C. 엔드-투-엔드 검색 증강 생성

트랜스포머, 인코더-디코더 구조 같은 개념은 인터넷만으로 이해하기 어렵습니다. 이 책은 오토인코더, VAE, 디퓨전 모델 등 이미지 생성 기술의 발전 과정을 맥락 있게 설명하며 이해를 돕고, 예제와 참고 자료도 충실해 학습에 큰 도움이 됩니다. 기존 자료에서 생성형 AI의 개념이 막연했던 분들께 특히 추천합니다.

 

김병규, 아이스크림에듀 AI연구소

 

AI 시대, 생성형 AI의 원리를 아는 것은 결정적인 차이를 만들어냅니다. 이 책은 직관적이고 실용적이면서도 기술적으로 깊이가 있다. 챗GPT나 미드저니 같은 최신 모델의 뿌리를 부담 없이 짚어내며, 예제 코드는 구글 코랩이나 로컬 환경에서 바로 실행할 수 있어 학습 효과를 극대화합니다. Python 기초가 없어도 따라가다 보면 어느새 생성형 AI에 대한 눈높이가 달라질 것입니다.

 

김설아, 생성형 AI 강사

 

생성형 AI가 일상과 산업의 경계를 허물고 있는 지금, 이 책은 그 흐름을 실용적이고 의미 있게 따라갈 수 있도록 안내한다. 텍스트, 이미지, 오디오를 직접 만들어 보는 실습은 기술의 원리뿐아니라, 생성형 AI가 사회에 미치는 영향까지 체감하게 한다. 허깅 페이스, 디퓨저, 구글 코랩 기반의 실습 환경은 접근성이 높고, 교육과 프로젝트, 실무에도 바로 활용할 수 있다. 또한 AI 윤리, 데이터 편향, 오픈 소스 철학까지 함께 고민하게 해 주어, 단순히 기술을 아는 사람을 넘어 책임 있게 활용하는 사람으로 성장할 수 있도록 돕는다.

 

이경심, NOLCO(SWAI융합교육) 대표

 

 

이론만으로는 부족한 생성형 AI 시대, 『핸즈온 생성형 AI』는 독자들이 직접 시스템을 구축하고 응용할 수 있도록 돕는 실전형 책입니다. 단순히 기술을 나열하는 데 그치지 않고, 최신 시스템 설계부터 쿼리 재작성, 개인정보 처리, 모델 최적화 같은 현실적 고민까지 아우릅니다. 시행착오를 줄이는 실용적 팁은 물론, 입문자와 실무자 모두에게 든든한 가이드가 되어줄 책입니다. 생성형 AI 역량을 한 단계 끌어올리고자 한다면 강력히 추천합니다.

 

이석곤, ㈜아이알컴퍼니 부설연구소 팀장

 

생성형 AI가 빠르게 확산하는 지금, 이 책은 꼭 알아야 할 핵심 원리와 실제 활용법을 쉽고 명확하게 안내한다. 트랜스포머, 디퓨전 모델, 프롬프트, RAG 같은 주요 개념은 물론, 파인튜닝과 실전 적용까지 폭넓게 다루며 비즈니스와 교육 현장에서 곧바로 활용할 수 있는 실용적인 가이드를 제공한다. 또한 오디오와 이미지 등 다양한 멀티 모달 사례를 들어 생성형 AI의 활용 가능성을 넓게 보여준다.

 

이효성, 코스콤 시니어 소프트웨어 개발자

 

생성형 AI의 원리를 이해하지 못한 채 무작정 도구를 사용하는 것에는 한계가 있다. 이 책은 생성형 AI가 동작하는 원리를 쉽지만 충실하게 설명하고, ‘핸즈온’이라는 제목에 걸맞게 실습하며 직접 체험할 수 있도록 구성되었다. 생성형 AI를 이론적 깊이와 실무 활용이라는 두 가지 목표를 동시에 만족시키는 보기 드문 책이다.

 

조원양, ㈜스마트사운드 AI연구소 소장

 

『핸즈온 생성형 AI』는 입문자부터 실무자까지, 모두를 위한 친절하고 깊이 있는 가이드이다. 생성형 AI의 전반을 실습과 함께 체계적으로 배울 수 있도록 구성되었으며 장마다 관련 예제와 추가 학습용 자료가 충실히 제공된다. 이 책으로 시작해 심화까지 자연스럽게 이어갈 수 있다.

 

정현준, 리디