AI에 묻는 법을 넘어, AI를 이해하고 만드는 첫 번째 책

 

ChatGPT를 쓰는 사람은 많아졌지만, ‘AI가 어떻게 작동하는지’를 이해하는 사람은 여전히 많지 않다. 이 책은 파이썬 기초부터 데이터 분석, 자연어 처리, 머신러닝·딥러닝을 거쳐 초경량 한국어 LLM 챗봇을 직접 만드는 실습까지 하나의 흐름으로 안내한다. 단순한 개념 설명에 그치지 않고, 구글 코랩 기반 실습을 통해 코드를 실행하고 결과를 확인하며 AI의 작동 원리를 몸으로 익힐 수 있도록 구성했다. 특히 데이터 수집, 분석, 시각화부터 분류와 예측, LLM과 허깅 페이스 생태계까지 폭넓게 다루며, ‘AI를 쓰는 사람’에서 ‘AI를 이해하고 구현하는 사람’으로 성장을 이끈다. AI와 챗봇 개발에 처음 도전하는 독자를 위한 가장 현실적인 출발점이 될 것이다.

[목 차]

머리말 xi

베타리더 후기 xii

이 책을 읽는 법 xiv

학습 가이드 xvi

로드맵 xviii

 

CHAPTER 1 인공지능과 ChatGPT

1.1 자연에서 모방하라 2

1.2 신경계의 가장 기본 단위 5

1.3 ChatGPT 알아보기 10

돌아보기/쪽지시험 17

 

CHAPTER 2 구글 코랩과 파이썬

2.1 취미로 만들어진 언어: 파이썬 20

2.2 구글 코랩 사용방법 23

2.3 파이썬 문법 29

돌아보기/쪽지시험 74

 

CHAPTER 3 챗봇과 ChatGPT

3.1 챗봇의 특징 및 활용 78

3.2 ChatGPT의 특징과 활용 89

3.3 챗봇과 ChatGPT의 차이 97

돌아보기/쪽지시험 99

 

CHAPTER 4 자연어 처리의 이해

4.1 자연어 처리란? 102

4.2 라이브러리 활용: spaCy 111

4.3 라이브러리 활용: KoNLPy 120

돌아보기/쪽지시험 126

 

CHAPTER 5 정형 데이터

5.1 정형 데이터란? 130

5.2 정형 데이터 직접 만들어보기 133

5.3 정형 데이터의 활용 140

5.4 Open API 활용하기 149

돌아보기/쪽지시험 156

 

CHAPTER 6 비정형 데이터

6.1 비정형 데이터 160

6.2 비정형 데이터의 수집 164

돌아보기/쪽지시험 174

 

CHAPTER 7 데이터 시각화

7.1 데이터 시각화의 종류 180

7.2 데이터 시각화의 활용 198

돌아보기/쪽지시험 205

 

CHAPTER 8 데이터 분석하기 I

8.1 데이터의 전처리 210

8.2 데이터의 기술통계량 산출하기 219

돌아보기/쪽지시험 226

 

CHAPTER 9 데이터 분석하기 II

9.1 상관분석의 정의 및 활용 230

9.2 회귀분석의 정의 및 활용 240

돌아보기/쪽지시험 246

 

CHAPTER 10 데이터 분류하기

10.1 분류 방법론의 정의 250

10.2 분류 방법론의 활용 및 해석 269

돌아보기/쪽지시험 273

 

CHAPTER 11 데이터 예측하기 I

11.1 전통적인 시계열 분석 방법론의 정의 및 활용 278

11.2 ARIMA의 활용 283

돌아보기/쪽지시험 291

 

CHAPTER 12 데이터 예측하기 II

12.1 머신러닝 기반의 시계열 분석 296

12.2 딥러닝 기반의 시계열 예측 300

돌아보기/쪽지시험 309

 

CHAPTER 13 LLM과 허깅 페이스 생태계 이해하기

13.1 ChatGPT의 등장과 LLM 시대 314

13.2 LLM의 작동 원리 317

13.3 허깅 페이스란 무엇인가? 321

13.4 허깅 페이스의 핵심 도구 324

13.5 구글 코랩에서 LLM 실행하기 328

 

CHAPTER 14 초경량 한국어 LLM 챗봇 만들기: KoGPT2 파인튜닝 실습

14.1 실습 개요 334

14.2 코랩 준비와 필수 라이브러리 설치 336

14.3 모델과 토크나이저 로딩 337

14.4 훈련 데이터 정의 및 전처리 338

14.5 데이터 토큰화 및 입력/정답 생성 340

14.6 학습 설정 및 Trainer 구성 341

14.7 학습 실행 및 모델 저장 342

14.8 CLI 챗봇 실행 및 테스트 343

14.9 최종 코드 345

 

찾아보기 347

[본 문]

인류는 오랫동안 사람의 뇌를 모방한 기술을 개발하려 노력했고, 그 결과가 바로 인공지능(artificial intelligence, AI)입니다. 인공지능을 이해하려면, 모든 분야를 깊이 파고들 필요는 없지만 인공지능 발전의 기초가 되는 지식을 알아두면 좋습니다. 이를 통해 인간 지능의 진화 과정과 미래 방향을 더 잘 이해할 수 있기 때문이죠. 대표적으로 자연 지능(natural intelligence, NI)과 인간 지능(human intelligence, HI)에 대해 이야기할 수 있습니다. 인간지능은 다양한 의미로 해석이 가능하지만 본문에서는 ‘인간이 문제를 해결하는 능력’을 인간지능으로 해석의 폭을 규정하겠습니다. (3쪽)

 

챗봇은 기존의 방식처럼 단순히 정보를 보여주는 것을 넘어, 사용자가 대화라는 자연스러운 방법으로 정보를 탐색하고 얻을 수 있도록 돕습니다. 또한, 챗봇은 초기 개발 상태에 머무르지 않고 지속적인 관리와 업데이트를 통해 점차 제공하는 정보의 범위를 확장합니다. (78쪽)

 

자연어는 어떻게 처리될까요? 여기서 ‘처리’라는 단어는 매우 넓은 의미를 포함하고 있습니다. 차근차근 해결하기 위해 상황을 쪼개서 바라봅시다. 일반적으로 사용자가 질문을 하고, 프로그램이 답변을 제공하는 순서로 이루어집니다. 프로그램을 개발하는 입장에서는 첫 번째로 사용자의 질문을 정확히 이해(understanding)하고, 두 번째로 그 질문에 적절한 답변을 생성(generation)하는 작업이 필요하겠군요. 여기서 ‘이해’와 ‘생성’이라는 키워드가 중요해보입니다. (125쪽)

 

여기서 우리는 두 가지 중요한 교훈을 얻을 수 있습니다. 첫 번째는 더 나은 결정을 내리기 위해서는 데이터가 필요하다는 점입니다. 생환한 전투기의 총탄 흔적을 기록하여 활용한 부분이 바로 데이터를 수집하는 과정입니다. 두 번째는 수집된 데이터에서 유의미한 데이터를 골라내어 결정을 내리는 것입니다. 이처럼 생환 여부와 같이 무서운 예시를 통해, 잘못된 데이터의 수집과 활용이 얼마나 치명적일 수 있는지 알 수 있습니다. 이 이야기는 데이터의 중요성을 뇌리에 깊이 새기게 합니다. (131쪽)

 

LLM의 문장 생성 원리는 비유하자면 ‘다음 단어 맞히기 게임’과 같습니다. 하나의 문장이 입력되면 모델은 그 문맥이 내포한 의미와 흐름을 분석하여, 통계적으로 가장 적합한 단어를 확률적으로 계산해 이어 붙입니다. 이 단어 예측 과정을 수백, 수천 번 반복하면서 단어가 문장을 이루고, 문장이 쌓여 하나의 단락이 형성되며, 결국에는 완결된 글이나 자연스러운 대화가 탄생합니다. (315쪽)

 

이번 장에서는 한국어 GPT2 모델인 skt/kogpt2-base-v2를 기반으로, 간단한 예시 대화 데이터셋을 이용해 초경량 한국어 챗봇을 직접 만들어보는 실습을 진행합니다.1 구글 코랩에서 제공하는 무료 GPU 환경을 활용하며, transformers, datasets, accelerate 라이브러리를 통해 모델 로딩, 데이터 전처리, 학습, 저장, 추론까지의 전체 파이프라인을 직접 구현하겠습니다. (334쪽)