"LLM은 단순히 언어를 이해하고 표현하기 위한 모델이 아닌, 지식을 통합하고 응용하기 위한 모델이다."

인공지능과 자연어 처리 분야에서의 혁신은 우리의 삶을 근본적으로 변화시키고 있습니다.
특히 대규모 언어 모델(LLM)의 등장은 인간과 기계 간의 상호작용을 새로운 차원으로 끌어올리고 있습니다.
초기의 언어 모델들은 언어의 이해와 표현에 중점을 두고 개발되었으나, 최근의 LLM은 방대한 양의 텍스트 데이터를 학습하여 다양한 주제와 분야에 대한 깊이 있는 지식을 습득하였습니다.
이에 따라 LLM은 단순한 언어적 상호작용을 넘어, 새로운 정보와 지식을 통합하여 복잡한 문제를 해결하는 실제 응용에 기여하기 위한 지식 기반 시스템으로 자리잡고 있습니다.
이는 LLM이 기존의 언어 처리 작업을 넘어, 지식을 실질적으로 응용하고 사용자에게 인사이트를 제공하며, 다양한 분야에서 문제 해결에 기여하고 있음을 의미합니다.
본 도서 『LLM의 시대: 언어 모델의 혁신과 진화』 를 통해, 이러한 변화의 중심에 서 있는 언어 모델의 발전과 활용에 대한 깊이 있는 통찰을 제공하고자 합니다.
우선 [01. Transformer에서 BERT, GPT까지]에서는 언어 모델의 역사를 탐구하며, 트랜스포머(Transformer)의 탄생과 이를 기반으로 한 BERT와 GPT 등의 발전 과정을 살펴봅니다. 이 장에서는 각 모델의 핵심 개념과 구조를 통해 그들이 어떻게 언어 처리 분야를 혁신했는지를 설명합니다.
다음으로 [02. 혁신적인 LLM의 등장]에서는 LLaMA, LaMDA 등 최근 등장한 혁신적인 언어 모델들을 집중적으로 조명합니다. 이 모델들이 기존의 한계를 어떻게 극복했는지, 그리고 어떤 새로운 가능성을 열어가고 있는지를 상세히 다룹니다.
[03. 효율적인 파라미터 미세 조정 ? PEFT]에서는 언어 모델의 성능을 극대화하기 위한 미세 조정 방법인 PEFT를 소개하고,
[04. 경량화]에서는 대규모 언어 모델을 더 가볍고 빠르게 만들기 위한 다양한 경량화 기법을 소개합니다.
[05. Hallucination]에서는 언어 모델이 때때로 사실과 다른 정보를 생성하는 '환각(Hallucination)' 현상을 소개하고, 이러한 현상의 원인과 이를 완화하기 위한 다양한 노력을 설명합니다.
마지막으로 [06. LLM의 발전 방향]에서는 언어 모델 분야의 향후 연구 방향과 기술적 도전 과제를 탐색합니다.

이 책을 통해 독자들이 LLM의 핵심 원리와 진화 과정을 이해하고, 이를 연구 및 실무에 유연하게 활용하여 의미있는 성과를 창출할 수 있기를 기대합니다.

Chapter 1. Transformer에서 BERT, GPT까지
1. Attention is all you need, Transformer
1-1 Transformer 등장 배경
1-2 Transformer 구조
1-3 Transformer 특징
2. BERT
2-1 BERT 등장 배경
2-2 BERT 구조
2-3 BERT 입력
2-4 BERT 학습
2-5 BERT 파생 모델
3. GPT
3-1 GPT 등장 배경
3-2 GPT 구조
3-3 GPT 학습
3-4 GPT vs BERT
3-5 GPT 후속 모델 (GPT-2)

Chapter 2. 혁신적인 LLM의 등장
1. LLM 개요
1-1 LLM 등장 배경
1-2 혁식적인 LLM, GPT-3
1-3 LLM 활용
2. LLM 종류
2-1 LLaMA
2-2 LaMDA
2-3 기타 LLM

Chapter 3. 효율적인 파라미터 미세 조정 ? PEFT
1. PEFT(Parameter-Efficient Fine-Tuning) 개요
1-1 PEFT 등장배경
1-2 PEFT 개념
1-3 PEFT 종류
2. Soft Prompt-based Fine-tuning
2-1 소프트 프롬프트 개념
2-2 Prefix-tuning
2-3 Prompt tuning
2-4 P-tuning
3. Low-rank Decomposition
3-1 Low-rank
3-2 LoRA
3-3 LoRA 종류

Chapter 4. 경량화
1. 학습 비용의 문제 및 모델 크기 측면의 한계
1-1 LLM의 거대화
1-2 거대화된 모델 크기로 인한 한계
2. 경량화
3. 지식 증류(Knowledge Distillation)
3-1 지식 증류란
3-2 Knowledge Distillation Approaches in LLM
4. 양자화(Quantization)
4-1 양자화란
4-2 Quantization Approaches in LLM
5. 가지치기(Prunning)
5-1 가지치기란
5-2 Pruning Approach in LLM

Chapter 5. Hallucination
1. Hallucination의 정의
1-1 Hallucination의 개념
1-2 Hallucination의 유형
1-3 Hallucination의 문제점
2. Hallucination의 원인과 완화 : 데이터
2-1 Hallucination의 원인 : 데이터
2-2 Reverse Training
2-3 RAG(Retrieval-Augmented Generation)
3. Hallucination의 원인과 완화 : 추론
3-1 Hallucination의 원인 : 추론
3-2 CoVe(Chain-of-Verificaion)

Chapter 6. LLM의 발전 방향
1. LLM의 발전 방향
2. 윤리적 문제
2-1 편향
2-2 보안
3. 설명 불가능
3-1 설명 가능한 인공지능, XAI
3-2 프롬프트 엔지니어링
4. LLM의 비즈니스적 활용
4-1 멀티모달
4-2 도메인 특화 LLM
4-3 온디바이스