자연어 처리의 기본부터

허깅페이스 모델 경량화, 정렬 조정, 강화 학습까지

챗GPT와 같은 대화형 인공지능 챗봇과 다수의 오픈소스 생성형 언어 모델은 대규모 언어 모델(LLM)에 해당합니다. 허깅페이스는 각종 생성형 인공지능을 위한 모델과 데이터셋을 개발자들이 자유롭게 공유하고 쉽게 활용할 수 있도록 API 및 도구를 제공하는데, 『자연어 처리를 위한 허깅페이스 트랜스포머 하드 트레이닝』에서는 다양한 생성형 인공지능 기술 중 자연어 처리를 위한 언어 모델에 집중합니다.

 

Transformers 라이브러리를 기준으로 토크나이저 및 모델 준비, 한국어 자연어 이해 평가(KLUE) 데이터셋 전처리, 학습 파라미터 선정 및 학습 진행과 성능 평가를 실습해봅니다. 이후 사전학습 단계부터 직접 진행해야 하는 경우를 대비하여 Tokenizers 라이브러리에 대해 살펴보고 정확도, f1 스코어, 정밀도, 재현율을 기준으로 모델을 평가하는 Evaluate 라이브러리에 대해서 알아봅니다. PEFT, 양자화, QLoRA 미세조정과 같이 모델의 메모리 사용량은 줄이고 추론 속도는 높이는 경량화 기법에 대해 코드와 결과물로 꼼꼼하게 확인해본 후 RLHF, SFT, PPO, Best-of-N 샘플링 등 정렬 조정에 해당하는 다양한 방법론과 이를 강화학습을 위한 트랜스포머(TRL)를 통해 활용하는 방식까지 차근차근 학습합니다.

[목 차]
  

1 자연어 처리와 허깅페이스

_1.1 허깅페이스 소개

__1.1.1 Datasets

__1.1.2 Models

__1.1.3 Spaces

__1.1.4 Docs

_1.2 자연어 처리와 허깅페이스의 관계

 

2 환경 구축

_2.1 구글 코랩 환경 구축

__2.1.1 계정 생성

__2.1.2 새 노트북 만들기

__2.1.3 코드 실행

__2.1.4 파일 저장

__2.1.5 깃 코드 열기

_2.2 구글 드라이브 마운트

 

3 허깅페이스 주요 라이브러리

_3.1 Datasets 라이브러리

__3.1.1 Datasets 설치

__3.1.2 Datasets 실습

_3.2 Transformers 라이브러리

__3.2.1 Transformers 설치

__3.2.2 Tokenizer

__3.2.3 DataCollator

__3.2.4 Model

__3.2.5 AutoClass

__3.2.6 Trainer, TrainingArguments

__3.2.7 Pipeline

_3.3 미세조정

__3.3.1 토크나이저와 모델 준비

__3.3.2 데이터 준비 및 전처리

__3.3.3 학습 파라미터 선정

__3.3.4 학습 진행

__3.3.5 성능 평가

__3.3.6 모델 저장

_3.4 허깅페이스 허브 등록

__3.4.1 push_to_hub()

__3.4.2 CLI

__3.4.3 huggingface-hub

 

4 보조 라이브러리

_4.1 Tokenizers 라이브러리

__4.1.1 Tokenizer 학습

__4.1.2 모델 초기화 후 학습

_4.2 Evaluate 라이브러리

__4.2.1 Evaluate 평가

__4.2.2 커스텀 메트릭 만들기

__4.2.3 Trainer 적용

 

5 언어 모델 구조 및 학습

_5.1 트랜스포머 모델

_5.2 인코더 기반 모델

__5.2.1 기본 구조

__5.2.2 Sequence Classification

__5.2.3 Multiple Choice

__5.2.4 Token Classification

__5.2.5 Question Answering

_5.3 디코더 기반 모델

__5.3.1 기본 구조

__5.3.2 Causal LM

__5.3.3 Question Answering

__5.3.4 Sequence Classification

_5.4 인코더-디코더 기반 모델

__5.4.1 기본 구조

__5.4.2 Conditional Generation

__5.4.3 Sequence Classification

__5.4.4 Question Answering

 

6 모델 활용

_6.1 모델 미세조정

__6.1.1 인코더 - Sequence Classification

__6.1.2 디코더 - Causal LM

__6.1.3 인코더-디코더 - Conditional Generation

__6.1.4 언어 모델 문장 생성

_6.2 모델 서빙

 

7 모델 경량화

_7.1 모델 경량화 개요

_7.2 PEFT

_7.3 양자화

_7.4 QLoRA 미세조정

 

8 TRL

_8.1 TRL 라이브러리 개요

_8.2 RLHF

_8.3 보상 모델 트레이닝

_8.4 SFT

_8.5 PPO

_8.6 Best-of-N 샘플링

_8.7 DPO

_8.8 KTO

_8.9 CPO

_8.10 ORPO