세계 최대이자 대표 오픈소스 AI 플랫폼

허깅페이스로 시작하는 멀티모달 모델의 모든 것

 

허깅페이스(Hugging Face)는 전 세계의 수많은 연구자와 기업들이 자신의 모델과 데이터셋을 공개하고 공유할 수 있는 대표적인 오픈소스 AI 플랫폼입니다. 허깅페이스는 단순히 모델을 모아 둔 저장소 역할만 하지 않습니다. Transformers와 같은 라이브러리를 통해 이 모델들을 쉽게 다룰 수 있는 방법을 제공하며, 개발자들이 복잡한 기술을 간단한 코드 몇 줄로 활용할 수 있게 해줍니다. 이렇듯 허깅페이스는 AI 기술을 효과적으로 활용하는 것은 물론 텍스트, 이미지, 오디오, 비디오 등 다양한 데이터를 동시에 처리하는 멀티모달(Multimodal) AI 분야에서도 필수적인 도구로 자리 잡았습니다.

《허깅페이스로 배우는 멀티모달 모델》은 허깅페이스(Hugging Face) 생태계를 기반으로, 텍스트와 이미지를 동시에 다루는 멀티모달 (Multimodal) 모델의 기초부터 실무 활용까지 이론을 바탕으로 실습을 통해 익힐 수 있도록 구성하였습니다.

이론 설명을 넘어 멀티모달 모델의 핵심인 CLIP 인코더의 원리와 비전 언어 모델(VLM)의 파인튜닝 그리고 ControlNet을 활용한 정교한 이미지 생성 기법을 단계별 실습과 함께 알려 줍니다. 특히 급변하는 AI 트렌드에 발맞춰 비디오 LLM, 옴니 모델, 로봇 멀티모달 등 차세대 기술의 확장성까지 조망함으로써 AI 엔지니어와 개발자들이 실질적인 구현 능력을 갖출 수 있도록 도와줄 것입니다.

[목 차]
  

머리말

추천사

 

Part 01. 허깅페이스 살펴보기

Chapter 00. 들어가기에 앞서

Chapter 01. 왜 허깅페이스인가?

Chapter 02. 허깅페이스 가입하기

Chapter 03. 멀티모달 모델을 위한 허깅페이스 라이브러리

 

PART 02. 멀티모달 모델 이해하기

Chapter 00. 들어가기에 앞서

Chapter 01. 멀티모달 모델에 대해서 알아보기

Chapter 02. 이미지와 텍스트를 이해하는 CLIP

 

PART 03. 멀티모달 모델을 활용한 이미지 이해

Chapter 00. 들어가기에 앞서

Chapter 01. 비전 언어 모델 알아보기

Chapter 02. 주요 비전 언어 모델 실전 활용

Chapter 03. 특정 작업을 잘하도록 비전 언어 모델 파인튜닝하기

 

PART 04. 멀티모달 모델을 활용한 이미지 생성

Chapter 00. 들어가기에 앞서

Chapter 01. 이미지 생성 모델 이해하기

Chapter 02. 이미지 생성 모델을 더 효과적으로 제어하는 방법

Chapter 03. 나만의 멀티모달 이미지 생성 모델을 학습하는 방법

Chapter 04. 더 효율적으로 이미지 생성 모델을 사용하는 방법

 

PART 05. 멀티모달 모델 더 알아보기

Chapter 00. 들어가기에 앞서

Chapter 01. 멀티모달 이해 더 알아보기

Chapter 02. 멀티모달 생성 더 알아보기

멀티모달 AI는 빠르게 진화하고 있습니다. 영상 이해부터 옴니모달까지, 새로운 개념들이 끊임없이 등장하면서 그 변화의 속도만큼이나 체계적으로 학습하기 어려워진 분야입니다. 하지만 본질을 들여다보면, 이 모든 혁신은 결국 이 책이 다루는 '모달리티 간 정렬'이라는 핵심 원리의 확장입니다.

≪허깅페이스로 배우는 멀티모달 모델≫은 급변하는 VLM 기술 속에서도 흔들리지 않을 본질을 정확히 짚어냅니다. 이미지 이해부터 생성, 파인튜닝까지 멀티모달 AI의 전체 파이프라인을 제한된 환경에서도 직접 실습할 수 있도록 친절하게 안내합니다. 특히 허깅페이스의 최신 도구들을 활용해 이론에서 실전까지 막힘없이 연결되는 학습 경험을 제공합니다.

수년간 허깅페이스 생태계를 깊이 연구해 온 두 저자의 통찰과 노력이 이 한 권의 책에 고스란히 담겨 있습니다. 차세대 AI를 이끄는 멀티모달의 흐름에 합류하고 싶은 모든 분께 추천합니다.

- 임지훈(GS Neotek AI Research Engineer)

 

ChatGPT, Claude, Gemini 같은 범용 거대 모델의 시대에도, 실제 기업 현장에서는 자사의 도메인과 비즈니스에 특화된 모델이 필요합니다. 그 해답은 허깅페이스의 오픈소스 생태계에 있습니다.

이 책은 허깅페이스 펠로우가 직접 집필한 만큼, 멀티모달 AI의 핵심을 이론과 실전 코드로 깊이 있게 다룹니다. 단순한 API 사용법을 넘어, 이미지 생성부터 파인튜닝까지 프로덕션 레벨의 구현 노하우를 담았습니다. 멀티모달 AI 시대, 자신만의 모델을 구축하려는 개발자와 ML 엔지니어에게 이보다 확실한 길잡이는 없을 것입니다.

- 최성우(GS Neotek AI Research Engineer)

 

허깅페이스는 전 세계 개발자들이 인공지능 모델을 자유롭게 공유하고 함께 성장하는 핵심 허브입니다. ≪허깅페이스로 배우는 멀티모달 모델≫은 그 플랫폼의 가치를 한국어로 가장 잘 보여 주는 책입니다.

이 책은 Hugging Face KREW를 이끌며 한국에서 고유한 생태계를 만들어 온 우준님, 그리고 프로젝트를 진행하며 실무의 깊이와 섬세함으로 늘 놀라운 결과물을 만들어 내는 전 직장 동료 정인 님의 손에서 탄생했습니다.

 

두 분의 풍부한 경험과 열정이 고스란히 녹아든 만큼, 이 책은 단순한 가이드북을 넘어, 기술 생태계 속 깊은 기술 이해를 이끄는 나침반이 될 것입니다. 특히 각 장마다 제시되는 실행 가능한 코드로 직접 따라하며 멀티모달 AI를 손에 익힐 수 있는 구성은 정말 큰 강점입니다.

허깅페이스의 웃는 얼굴처럼 밝은 가능성을 열어 주는. 빠르게 변하는 AI의 물결 속에서도 개발자들의 성장을 비추는 든든한 등불이 될겁니다.

- 김찬란(가짜연구소 대표 / NVIDIA Senior Developer Relations Manager)

 

급변하는 AI 환경에서 연구자와 실무자에게 가장 절실한 역량은 최신 모델을 기민하게 파악하고 자신만의 무기로 만드는 능력입니다. 이 책은 허깅페이스라는 거대한 생태계를 발판 삼아 복잡한 멀티모달 모델을 실무에 즉시 녹여낼 수 있도록 돕는 정교한 지침서입니다. 기초 이론부터 최신 FLUX 모델 제어까지, 가짜연구소 Hugging Face KREW 활동을 통해 응축된 저자의 실전 노하우를 통해 데이터의 새로운 가능성과 AI 생태계의 진정한 가치를 경험해 보시길 바랍니다.

- 신진수(KRAFTON Data Analytics Dept. / 가짜연구소 이사회)

 

인공지능 기술이 텍스트의 한계를 넘어 시각 정보를 동시에 이해하고 생성하는 멀티모달 시대로 진입했습니다. 특히, 텍스트만 처리하던 기존 대규모 언어 모델(LLM)에 비전 기술로 눈을 달 아준 VLM(Vision-Language Model)의 등장은, 인공지능 모델이 세상을 더욱 폭넓고 깊이 있게 이해할 수 있게 된 획기적인 전환점이 되었습니다. 이러한 급격한 기술의 발전 속에서 오픈소스 모델을 현업에 응용하는 능력은 그 어느 때보다 중요해졌습니다.

이런 시기 ≪허깅페이스로 배우는 멀티모달 모델≫은 Hugging Face 생태계에 공개된 다양한 모델들을 폭넓게 탐구하는 것에서 출발하여, 원하는 목적과 도메인에 맞추어 모델을 직접 파인튜닝하고 최적화하여 활용하는 실무적인 방법까지 상세히 안내합니다. 단순히 코드만 나열하며 사용법을 알려주는 데 그치지 않고, 이미지 이해 및 생성 모델의 동작 원리를 꿰뚫는 핵심 개념들을 알기 쉽게 설명합니다. 자칫 이론에 매몰되지 않도록 실무 구현에 꼭 필요한 필수 개념만을 과하지 않게 짚어주는 것이 이 책의 빛나는 장점 중 하나입니다.

인공지능 기술을 활용하고 싶지만 복잡한 수식과 방대한 이론 사이에서 길을 잃기 쉬운 엔지니어들에게, 다년간 한국 허깅페이스(Hugging Face) 커뮤니티를 이끌어 온 저자들은 가장 효율적이면서도 정확한 이정표를 제시합니다. 당장 현업에 적용할 수 있는 실전 노하우는 물론, 앞으로 등장할 새로운 모델들까지 소화할 수 있는 탄탄한 기반을 마련해 줄 것입니다.

멀티모달 인공지능 기술을 통해 새로운 서비스와 가치를 창출하고자 하는 모든 분께 이 책을 강력히 추천합니다.

- 박정환(파이토치 한국 사용자 모임(PyTorchKR) 운영자)

 

The Hugging Face ecosystem has significantly grown over the past few years, and we're committed to ensuring the platform serves the open-source machine learning community. This book reflects that trajectory, offering both context on the ecosystem and practical guidance for working with it.

The authors cover significant ground in the multimodal domain: from CLIP and modern VLMs to image and video generation, quantization, and fine-tuning. The emphasis throughout is on working code, using Transformers, Diffusers, Datasets, and the Hub to solve concrete, applied problems.

This is a thorough, well-structured resource from the KREW team. We have been lucky to have been collaborating with the team since 2023, and have seen first-hand their dedication to making machine learning accessible to a Korean audience.

The Korean open-source AI community has really made strides over the past few years, developing considerable technical depth. This book captures and extends that progress.

허깅페이스 생태계는 지난 몇 년간 크게 성장해 왔으며, 우리는 이 플랫폼이 오픈소스 머신러닝 커뮤니티에 기여할 수 있도록 최선을 다하고 있습니다. ≪허깅페이스로 배우는 멀티모달 모델≫은 그 흐름을 잘 담아 내며, 허깅페이스 생태계에 대한 맥락과 실용적인 활용법을 함께 제공합니다. 저자들은 멀티모달 분야의 넓은 영역을 다루고 있습니다. CLIP과 최신 VLM부터 이미지 및 비디오 생성, 양자화, 파인튜닝에 이르기까지 폭넓은 주제를 아우릅니다. 책 전반에 걸쳐 Transformers, Diffusers, Datasets, 그리고 Hub를 활용해 실제 문제를 해결하는 실행 가능한 코드에 중점을 두고 있습니다. 이 책은 KREW팀이 만들어 낸 체계적이고 충실한 결과물입니다. 우리는 2023년부터 KREW 팀과 함께 협업해 올 수 있었고, 한국어 사용자들에게 머신러닝을 보다 쉽게 전달하고자 하는 팀의 헌신을 직접 지켜봐 왔습니다. 한국의 오픈소스 AI 커뮤니티는 지난 몇 년간 상당한 기술적 깊이를 쌓으며 눈에 띄는 발전을 이루었습니다. 이 책은 그 성과를 담아 내는 동시에 한 걸음 더 나아갑니다.

- Lysandre Debut (Hugging Face Chief Open-Source Officer)