LLM, 눈으로 익히고 손으로 구현하라.

트랜스포머 구조부터 시맨틱 검색, 미세 튜닝, 프롬프트 엔지니어링까지

그림과 실전 코드로 만들면서 배우는 대규모 언어 모델의 모든 것

 

이 책은 LLM을 쓰는 것을 넘어, 이해하고 구현하는 것까지 나아가고 싶은 이를 위한 실전 가이드입니다. 직관적인 시각 자료와 예제를 제공해 ‘왜 이런 구조가 필요한지’ 이해하고 실용적인 도구와 개념을 익힐 수 있도록 구성했습니다. 사전 훈련된 대규모 언어 모델을 사용하는 방법과 시맨틱 검색 시스템을 만드는 방법, 텍스트 분류, 검색, 클러스터링을 위해 사전 훈련된 모델과 각종 라이브러리를 사용하는 방법을 배웁니다.

 

텍스트 생성과 표현에 뛰어난 트랜스포머 언어 모델의 구조

텍스트 문서를 그룹화하고 주제를 파악하는 고급 LLM 파이프라인

밀집 검색과 재순위 결정 같은 방법으로 키워드 검색을 넘어서는 의미 검색 엔진 구축

프롬프트 엔지니어링부터 검색 증강 생성까지 생성 모델 활용법

미세 튜닝, 생성적 사전 학습, 문맥 학습 같은 기술로 특정 용도에 맞게 LLM을 훈련하고 최적화하는 방법

 

이 책의 구성

1부: 언어 모델 이해하기

소규모 및 대규모 언어 모델의 내부 동작 원리

언어 모델의 두 가지 핵심 요소: 토큰화와 임베딩

그림으로 살펴보는 트랜스포머의 모델 구조

 

2부: 사전 훈련된 언어 모델 사용하기

지도 학습 분류

텍스트 클러스터링과 토픽 모델링

임베딩 모델 활용한 시맨틱 검색

텍스트 생성 모델

비전 도메인에 언어 모델 사용하는 방법

 

3부: 언어 모델 훈련 및 미세 튜닝

임베딩 모델을 만들고 미세 튜닝하는 방법

분류를 위해 BERT를 미세 튜닝하는 방법

생성 모델을 미세 튜닝하는 방법

 

대상 독자

챗GPT 같은 AI 서비스가 어떻게 작동하는지 궁금하신 분

NLP 프로젝트를 시작하려는 학생 및 개발자

AI를 활용한 비즈니스 모델을 고민하는 실무자

[목 차]

1부 언어 모델 이해하기

 

1장 대규모 언어 모델 소개

_1.1 언어 AI란?

_1.2 언어 AI의 최근 역사

_1.3 ‘대규모 언어 모델’의 정의

_1.4 대규모 언어 모델의 훈련 패러다임

_1.5 대규모 언어 모델 애플리케이션: 왜 유용한가요?

_1.6 책임 있는 LLM 개발과 사용

_1.7 자원이 부족해도 괜찮습니다.

_1.8 대규모 언어 모델 인터페이스

_1.9 첫 번째 텍스트 생성하기

_1.10 요약

 

2장 토큰과 임베딩

_2.1 LLM 토큰화

_2.2 토큰 임베딩

_2.3 텍스트 임베딩(문장과 전체 문서)

_2.4 LLM을 넘어 활용되는 단어 임베딩

_2.5 추천 시스템을 위한 임베딩

_2.6 요약

 

3장 대규모 언어 모델 자세히 살펴보기

_3.1 트랜스포머 모델 개요

_3.2 트랜스포머 아키텍처의 최근 발전 사항

_3.3 요약

 

2부 사전 훈련된 언어 모델 사용하기

 

4장 텍스트 분류

_4.1 영화 리뷰 데이터셋

_4.2 표현 모델로 텍스트 분류하기

_4.3 모델 선택

_4.4 작업에 특화된 모델 사용하기

_4.5 임베딩을 활용하여 분류 작업 수행하기

_4.6 생성 모델로 텍스트 분류하기

_4.7 요약

 

5장 텍스트 클러스터링과 토픽 모델링

_5.1 아카이브 논문: 계산 및 언어

_5.2 텍스트 클러스터링을 위한 파이프라인

_5.3 텍스트 클러스터링에서 토픽 모델링으로

_5.4 요약

 

6장 프롬프트 엔지니어링

_6.1 텍스트 생성 모델 사용하기

_6.2 프롬프트 엔지니어링 소개

_6.3 고급 프롬프트 엔지니어링

_6.4 생성 모델을 사용한 추론

_6.5 출력 검증

_6.6 요약

 

7장 고급 텍스트 생성 기술과 도구

_7.1 모델 I/O: 랭체인으로 양자화된 모델 로드하기

_7.2 체인: LLM의 능력 확장하기

_7.3 메모리: 대화를 기억하도록 LLM 돕기

_7.4 에이전트: LLM 시스템 구축하기

_7.5 요약

 

8장 시맨틱 검색과 RAG

_8.1 시맨틱 검색과 RAG 소개

_8.2 언어 모델을 사용한 시맨틱 검색

_8.3 RAG

_8.4 요약

 

9장 멀티모달 대규모 언어 모델

_9.1 비전 트랜스포머

_9.2 멀티모달 임베딩 모델

_9.3 텍스트 생성 모델을 멀티모달로 만들기

_9.4 요약

 

3부 언어 모델 훈련 및 미세 튜닝

 

10장 텍스트 임베딩 모델 만들기

_10.1 임베딩 모델

_10.2 대조 학습이란?

_10.3 SBERT

_10.4 임베딩 모델 만들기

_10.5 임베딩 모델 미세 튜닝

_10.6 비지도 학습

_10.7 요약

 

11장 분류용 표현 모델 미세 튜닝하기

_11.1 지도 분류

_11.2 퓨샷 분류

_11.3 마스크드 언어 모델링으로 미세 튜닝 계속하기

_11.4 개체명 인식

_11.5 요약

 

12장 생성 모델 미세 튜닝하기

_12.1 LLM 훈련의 세 단계: 사전 훈련, 지도 학습 미세 튜닝, 선호도 튜닝

_12.2 지도 학습 미세 튜닝

_12.3 QLoRA를 사용한 지시 기반 튜닝

_12.4 생성 모델 평가

_12.5 선호도 튜닝/정렬/RLHF

_12.6 보상 모델을 사용한 선호도 평가 자동화

_12.7 DPO를 사용한 선호도 튜닝

_12.8 요약

 

마치며

제이와 마르턴은 복잡한 주제를 아름다운 삽화와 통찰력 있는 설명으로 펼쳐 보입니다. 실행 가능한 코드, 언어 모델의 역사와 더불어 주요 논문을 참고한 이 책은 대규모 언어 모델의 핵심 기술을 이해하고 싶은 모든 이들에게 귀중한 자료입니다.

- 앤드류 응, Deeplearning.AI 설립자

 

언어 모델의 세계와 해당 업계의 실용적인 애플리케이션을 소개하는 뛰어난 가이드입니다. 언어 모델을 활용한 생성, 표현, 검색 애플리케이션을 풍부한 시각 자료를 곁들여 설명하므로 독자들이 LLM을 빠르게 이해하고, 사용하고, 발전시킬 수 있을 것입니다. 추천합니다!

- 닐스 라이머스, 코히어 머신러닝 담당 이사

 

지금 읽어야 할 다른 책이 떠오르지 않을 만큼 중요한 책입니다. 책장을 넘길 때마다, 요즘 같은 언어 모델 시대에 성공을 견인하기 위해 갖춰야 할 결정적인 무언가를 배웁니다.

- 조쉬 스타머, StatQuest

 

LLM에 관한 모든 것을 빠르게 배우고 싶다면 다른 곳을 뒤질 필요가 없습니다! 이 놀라운 책에서 제이와 마르턴은 여러분을 초보에서 대규모 언어 모델의 역사를 거쳐 최신 기술의 전문가로 이끕니다. 직관적인 설명, 실전 예제, 명확한 삽화, 광범위한 코드 예시를 통해 트랜스포머 모델, 토크나이저, 시맨틱 검색, RAG, 그 밖에 다양하고도 복잡한 최신 기술을 쉽게 설명합니다. 최신 AI 기술에 흥미 있는 모두가 읽어야 할 책입니다!

- 루이스 세라노, Serrano Academy 설립자 겸 CEO

 

빠르게 진화하는 생성 AI 분야에 관심 있는 사람이라면 누구나 이 책을 읽어야 합니다. 텍스트 임베딩과 시각 임베딩에 초점을 맞추면서 알고리즘의 발전, 이론적 엄격함, 실용적 가이드가 훌륭한 조화를 이룹니다. 학생, 연구자, 업계 전문가 모두에게 생성 AI의 지식을 한 단계 높여 주는 사용 사례와 솔루션을 제시합니다. 탁월합니다!

- 크리스 프레글리, AWS 생성 AI 수석 솔루션 아키텍트

 

생성 AI 혁명의 한가운데에서 필독서로 자리매김한 이 가이드는 이론과 실무를 절묘하게 안배하여 광대한 대규모 언어 모델의 세계를 탐험합니다. 독자들이 AI 분야에서 혁신적인 영향을 즉각적으로 미치기에 충분한 지식의 보고입니다.

- 타룬 나라야난 벵카타찰람, 워싱턴 대학교 AI 연구원

 

언어 모델의 실전 경험을 원하는 이들에게 시의적절한 길잡이가 될 책입니다.

- 에미르 무뇨스, Genesys

 

AI에 대한 과대광고를 걷어 내고 명확하고 실용적인 예제를 선별했습니다. 설명이 명료하며 훌륭한 다이어그램과 시각 자료가 풍부합니다. 여느 책과 달리 예시와 코드가 구체적입니다. 처음에는 기초적인 내용을 다루다가 점차 영역을 넓혀 갑니다. 마지막 장에 다다르면 자신만의 대규모 언어 모델을 미세 튜닝하고 구축할 수 있을 것입니다.

- 릴런드 맥킨스, Tutte Institute for Mathematics and Computing

 

대규모 언어 모델을 피상적으로 다루는 데 만족하지 않고 이해하기 쉽고 매력적인 접근 방식으로 배경 기술을 빈틈없이 살펴봅니다. AI 분야가 빠르게 발전한다 해도 저자들이 심혈을 기울여 구성한 이 완벽 가이드는 필독서로 길이 남을 것입니다.