이미지를 정교하게 조정하며 여러 요소와 조합 가능한

노드 기반 AI 이미지 생성의 혁신적인 오픈소스 도구 ComfyUI 실전 가이드

 

노드 기반 워크플로우로 이미지·영상·3D 생성 과정을 직접 설계하는 도구 'ComfyUI'의 기초부터 실전 활용법까지 담은 『이미지부터 영상·3D까지 디자이너의 AI 창작 워크플로우를 완성하는 ComfyUI 실전 가이드 ComfyUI 독학노트』가 출간됐다. 프롬프트만 입력하면 결과가 나오는 인과 관계를 알 수 없는 블랙박스형 도구인 기존 AI 서비스와 달리, 생성 과정 하나하나를 사용자가 직접 조립하고 제어할 수 있는 ComfyUI를 디자이너의 눈높이에서 풀어낸 실무서다. ComfyUI로 광고 스토리보드, 게임 그래픽, 숏폼 영상 제작까지 가능하다. 실전 영상 59개는 큐알 코드로 확인할 수 있다(영상 예: https://youtu.be/sy_usoF-eDk).

 

ComfyUI는 이미지 생성 과정을 하나의 버튼이 아니라 ‘노드(Node)’로 나누어 시각적으로 연결하는 오픈소스 도구다. 텍스트를 해석하는 단계, 모델을 불러오는 단계, 이미지를 생성하는 단계, 업스케일이나 후처리를 수행하는 단계까지 모든 과정이 하나의 그래프처럼 화면에 펼쳐진다. 사용자는 이 노드들을 자유롭게 연결·수정하며 이 책에서 소개하듯 프롬프트, 모델, 샘플러, 이미지를 생성하는 FLUX, Qwen-Image, 영상과 3D를 제작하는 Wan2.2, Hunyuan3D, Meshy 6, 품질을 결정하는 LoRA, ControlNet, Inpaint, Redux 등 다양한 요소를 원하는 방식으로 조합할 수 있다. 기존의 프롬프트 기반 AI 서비스가 '입력하면 결과가 나오는' 블랙박스형 도구였다면, ComfyUI는 그 안의 작동 원리를 눈으로 확인하며 원하는 방향으로 결과를 정교하게 조정할 수 있다는 점에서 근본적으로 다르다.

 

ComfyUI는 처음 접하는 사용자에게는 복잡하게 느껴지기 쉽고 노드가 무엇을 의미하는지, 어떤 순서로 연결해야 하는지, 결과물이 왜 그렇게 나오는지 파악하기까지 상당한 시행착오가 예상된다. 이 책은 이러한 간극을 완벽하게 메워준다. 설치와 기본 조작 같은 입문 과정부터 프롬프트 작성법, 최신 모델 활용법, 실전 프로젝트 제작까지 하나의 흐름으로 이어지도록 구성해 완독한다면 실무에 바로 적용 가능한 워크플로우를 스스로 제작할 수 있을 것이다.

 

 

✦ 대상 독자

• ComfyUI를 처음 설치해 보는 입문자: 복잡해 보이는 노드 기반 인터페이스를 익히고 싶은 입문자

• 프롬프트 기반 AI 서비스의 한계를 느낀 사용자: 세밀한 제어와 커스텀 워크플로우가 필요했던 실무 디자이너

• 디자인·그래픽 실무자: 광고, SNS 콘텐츠, 숏폼 영상, 게임 그래픽 등 실제 프로젝트에 AI 생성 이미지·영상을 활용하려는 디자이너와 마케터

• 1인 창작자 및 프리랜서: 이미지 생성부터 영상 제작, 3D 변환까지 전체 창작 과정을 다뤄야 하는 크리에이터

• AI 활용 역량을 넓히려는 개발자·강사: 생성형 AI의 구조를 이해하고 이를 교육이나 서비스 개발에 응용하려는 개발자 또는 강사

[목 차]

서문

Chapter 1 ComfyUI 소개

01 생성형 AI 시대와 디자이너의 새로운 창작 방식

1.1 렌더링 성능 향상

1.2 ComfyUI란?

① 노드 기반 인터페이스의 의미

② ComfyUI의 핵심적인 특징

③ 왜 디자이너에게 ComfyUI가 중요한가

02 ComfyUI 설치하기

2.1 Local & Cloud

① 로컬 방식

② 클라우드 방식

③ 선택 기준

2.2 ComfyUI 설치(Windows)

① 설치 파일 다운로드

② 설치 파일 실행

③ 첫 실행 초기 설정

2.3 ComfyUI 회원 가입

① ComfyUI 회원 가입 절차

② 회원 가입 후 바로 확인할 점

2.4 요금제의 구조

 

Chapter 2 ComfyUI 인터페이스와 기본 조작

01 ComfyUI 첫 화면 이해하기

1.1 실행하기

1.2 워크플로우 불러오기

1.3 첫 이미지 생성해 보기

1.4 화면 구성 살펴보기

02 노드의 이해

2.1 노드란 무엇인가?

2.2 노드의 구조

2.3 연결선과 데이터 흐름

2.4 색상별 데이터 타입

03 화면 조작 방법

3.1 확대/축소 및 이동

① 캔버스 이동

② 확대/축소

3.2 노드 선택하기

① 단일 선택

② 다중 선택

04 노드 다루기

4.1 노드 추가하기

① 캔버스 더블클릭

② 출력 포트 드래그

③ 마우스 우클릭 메뉴

4.2 노드 연결하고 끊기

4.3 노드 이동, 삭제, 복사하기

① 이동

② 크기 변경

③ 삭제

④ 복사

4.4 노드 정리하기

4.5 노드 비활성화하기(Bypass)

4.6 단축키 정리

05 워크플로우 관리

5.1 워크플로우란?

5.2 워크플로우 저장하기

① 메뉴에서 저장하기

② 워크플로우 내보내기

5.3 생성된 이미지 저장하기

5.4 워크플로우 불러오기

① json 파일로 워크플로우 불러오기

② 드래그 앤 드롭으로 워크플로우 불러오기

③ 이미지에서 불러오기

5.5 워크플로우 초기화하기

06 Nodes Manager와 커스텀 노드

6.1 Nodes Manager가 필요한 이유

6.2 커스텀 노드 설치하기

① Nodes Manager

② 커스텀 노드 설치

③ Missing Nodes

 

Chapter 3 Stable Diffusion으로 이미지 만들기

01 Stable Diffusion이란?

1.1 이미지 생성 모델과 Stable Diffusion

① 모델이란?

② ComfyUI와 Stable Diffusion

1.2 Diffusion(확산)이란?

1.3 Checkpoint란?

① CLIP(텍스트 인코더): 번역가

② Diffusion Model(Model, UNet): 화가

③ VAE(Variational Auto-Encoder): 변환기

02 Stable Diffusion 이미지 생성

2.1 모델 다운로드

① Checkpoint 모델 다운로드

2.2 Checkpoint 선택 기준

① 생성하려는 이미지 유형

② 표현 스타일

2.3 기본 Text-to-Image 워크플로우

2.4 각 노드의 역할

① Load Checkpoint

② Clip Text Encode

③ KSampler

④ 모델별 추천 Ksampler Settings

⑤ Empty Latent Image

⑥ VAE Decode

⑦ Save Image/Preview Image

03 프롬프트 작성하기

3.1 프롬프트의 기본 구조

3.2 스타일

① 스타일 카테고리 예시

② 스타일 작성 시 주의할 점

3.3 피사체 작성하기

① 인물 프롬프트 작성하기

② 인물 프롬프트에서 중요한 포인트

③ 사물과 제품 프롬프트 작성하기

3.4 프롬프트 강조하기

3.5 배경 작성하기

① 배경 복잡도 3단계

② 배경과 피사체의 균형

3.6 시간과 장소를 함께 넣기

① 시간(Time) 관련 프롬프트

② 장소(Location) 관련 프롬프트

3.7 조명은 분위기를 결정하는 핵심 요소

① 조명 타입 가이드

② 카메라 설정 용어

③ 실전 조합 예제

04 LoRA 활용

4.1 LoRA의 개념

① LoRA란?

4.2 LoRA 모델 다운로드

① LoRA 다운로드

② LoRA 모델 다운로드 확인

4.3 LoRA 적용하기

4.4 LoRA weight 조절

① LoRA weight의 의미와 조절 방법

② 추천 가중치와 트리거 단어 확인하기

 

Chapter 4 고급 모델 활용–Flux

01 FLUX 모델 이해하기

1.1 FLUX란?

① FLUX를 사용하는 이유

② FLUX의 한계

1.2 FLUX 모델 라인업과 선택 기준

① FLUX 모델의 종류와 특징

② FLUX 모델 선택 기준

③ 모델의 크기와 정밀도(fp16, fp8, GGUF)

02 FLUX.1 워크플로우 이해

2.1 FLUX.1 Dev 워크플로우 구성

① FP8 모델 설치 방법

② 노드 구성하기

③ FLUX.1 Dev fp8로 생성한 이미지

④ 설정값에 따른 변화 비교

2.2 FLUX.1 Dev GGUF 워크플로우 구성

① GGUF란?

② GGUF 모델 설치 방법

③ 노드 구성하기

④ Dev와 GGUF 성능 비교

2.3 FLUX.1 Schnell 워크플로우 구성

① FP8 모델 설치 방법

② 노드 구성하기

③ 모델 성능 비교(Dev vs. Schnell)

03 FLUX.1 프롬프트 가이드

3.1 FLUX.1 프롬프트의 특징

① 문장형 프롬프트 사용

② 부정적인 프롬프트 미사용

3.2 FLUX.1 프롬프트 기초

① 기본 프롬프트 구조

② 글자 길이 제한

③ 어순에 따른 표현 우선순위

04 FLUX.1 LoRA를 활용한 실전 테크닉

4.1 FLUX.1 Dev LoRA 워크플로우 구성

① LoRA 설치 방법

② LoRA 노드 추가하기

③ 트리거 단어 적용하기

④ 가중치 조절하기

4.2 스타일 LoRA 실전 활용

① LoRA 설치 방법

② 노드 구성하기

③ 프롬프트 작성

④ 두 스타일 LoRA 비교

4.3 캐릭터 LoRA 실전 활용

① LoRA 설치 방법

② 노드 구성하기

③ 프롬프트 구성 방식

 

Chapter 5 고급 모델 활용–Flux 생성 이미지 편집

01 Flux Tools 소개

1.1 Flux Tools 시작하기

① 모델 다운로드

02 Flux Fill로 이미지 확장하고 고치기

2.1 Inpaint: 원하는 부분 수정하기

① 전체 Inpaint 워크플로우

② 노드 설정하기

③ Inpaint 전용 설정 방법

④ 교체 실습

2.2 Outpaint: 화면 확장하기

① 전체 워크플로우

② 노드 설정하기

③ 예제로 살펴보기

03 구조는 유지하고 분위기만 바꾸기

3.1 ControlNet 이해하기

① Canny

② Depth

③ Canny vs. Depth

3.2 Canny: 윤곽을 유지한 스타일 변환

① 전체 워크플로우

② 노드 설정하기

③ 예제로 살펴보기

3.3 Depth: 공간감을 유지한 이미지 변환

① 전체 워크플로우

② 노드 설정하기

③ 예제로 살펴보기

04 레퍼런스 이미지로 새 이미지 만들기

4.1 Redux: 스타일 참조와 이미지 재생성

① 전체 워크플로우

② 노드 설정하기

③ 예제로 살펴보기

④ 프롬프트 작성 팁

05 디테일을 살려 최종 완성도 높이기

5.1 업스케일

① 업스케일 방식 비교

② 업스케일 방식 1: 단순 업스케일

③ 업스케일 방식 2: 재생성 업스케일

④ 모델 선택 기준

5.2 의류 소재 디테일 살리기

① 니트 룩북 이미지 업스케일

② 업스케일 결과 비교

③ 부분 확대 비교

④ 의류 소재 업스케일 정리

5.3 인물 피부 리터칭

① 한국 뷰티 스타일 포트레이트 업스케일

② 업스케일 결과 비교

③ 인물 업스케일에서 먼저 볼 값

④ 방식별 선택 가이드

5.4 과일·음식 사진의 신선도 강조하기

① 프리미엄 딸기 사진 업스케일

② 업스케일 결과 비교

③ 부분 확대 비교

 

Chapter 6 FLUX 고급 모델 심화

01 FLUX.1 Krea

1.1 FLUX.1 Krea의 등장

① FLUX.1 Krea의 등장 배경

② FLUX.1 Krea 모델의 탄생

③ FLUX.1 Krea 모델의 특징

1.2 FLUX.1 Krea 모델 선택 가이드

① 워크플로우 선택

② 모델 다운로드

③ 다운로드 경로

1.3 FLUX.1 Krea Dev 워크플로우

① Load Models: 모델 불러오기

② Image Size: 이미지 크기 설정

③ Prompt & Conditioning: 프롬프트 해석

④ Generate Image: 이미지 생성

1.4 FLUX.1 Krea Dev GGUF 워크플로우

① FLUX.1 Krea Dev 워크플로우

② GGUF 모델 선택

③ Unet Loader(GGUF) 노드

1.5 FLUX.1 Krea Dev 가속 추론 워크플로우

① FLUX.1 Krea Dev 워크플로우

② GPU 세대에 따른 모델 선택

③ Nunchaku FLUX DiT Loader 노드

1.6 FLUX.1 Krea 프롬프트 가이드

① FLUX.1 Krea 프롬프트 구조

② 스타일/형식

③ 주제

④ 장면/배경

⑤ 조명

⑥ 카메라 연출하기

1.7 장면을 설계해 이미지 만들기

① 목표

② 장면 분석

③ 키워드 선택

④ 프롬프트 조합

02 FLUX.1 Kontext

2.1 FLUX.1 Kontext의 등장

① FLUX.1 Kontext의 등장 배경

② FLUX.1 Kontext 모델의 탄생

③ FLUX.1 Kontext 모델의 특징

2.2 FLUX.1 Kontext 모델 선택 가이드

① 워크플로우 선택

② 모델 다운로드

③ 다운로드 경로

2.3 FLUX.1 Kontext Dev 워크플로우

① Load Models: 모델 불러오기

② Upload Image: 입력 이미지 불러오기

③ Prompt + Conditioning: 프롬프트 해석

④ Generate Image: 이미지 편집

2.4 FLUX.1 Kontext Dev GGUF 워크플로우

① FLUX.1 Kontext Dev GGUF 워크플로우

② GGUF 모델 선택

③ Unet Loader(GGUF) 노드

2.5 FLUX.1 Kontext Dev 가속 추론 워크플로우(Nunchaku)

① FLUX.1 Kontext Dev Nunchaku 워크플로우

② GPU 세대에 따른 모델 선택

③ Nunchaku FLUX DiT Loader 노드

2.6 FLUX.1 Kontext API 워크플로우(Max, Pro)

2.7 FLUX.1 Kontext 프롬프트 공식

① FLUX.1 Kontext 프롬프트의 기본 구조

② Action 동사 선택

③ 이미지 레퍼런스 활용

④ 시점 변환

2.8 FLUX.1 Kontext 멀티 이미지 합성하기

① 2개 이미지 합성

② 3개 이미지 합성

 

Chapter 7 새로운 모델 활용법

01 Qwen-Image 모델

1.1 Qwen-Image의 이해

① Qwen-Image 생성 모델 알아보기

② Qwen-Image-2512 vs. FLUX

③ 필요 모델 설치

④ 워크플로우

⑤ 프롬프트 작성법

1.2 Qwen-Image-Edit-2511

① Qwen-Image-Edit 편집 모델 알아보기

② 필요 모델 설치

③ 워크플로우

④ Qwen-Image-Edit-2511의 편집 능력

02 FLUX.2 Klein

2.1 Flux.2 Klein의 등장

① Flux.2 Klein의 등장 배경

② Flux.2 Klein 모델의 탄생

③ Flux.2 Klein 모델의 특징

2.2 Flux.2 Klein 모델 선택 가이드

① 워크플로우 선택

② 모델 다운로드

③ 다운로드 경로

2.3 이미지 생성 워크플로우

① Models: 모델 불러오기

② Image Size: 이미지 크기 설정

③ Prompt: 프롬프트 해석

④ Sampler: 이미지 생성

⑤ Save Image: 이미지 저장

2.4 이미지 편집 워크플로우

① Input Image: 입력 이미지 준비

② 멀티 레퍼런스 워크플로우

2.5 이미지 생성 예시

① 빠르게 여러 컷 생성하기

② 다양한 인물 표현하기

2.6 이미지 편집 예시

① 이미지 수정하기

② 이미지 참조하기

③ 이미지 합성하기

 

Chapter 8 Wan2.2 영상 생성

01 Wan2.2 이해하기

1.1 Wan2.2란?

① Wan의 이해

1.2 Wan2.2의 특징

① MoE(Mixture-of-Experts, 전문가 혼합) 아키텍처

② 영화 수준의 영상미

③ 더 자연스럽고 역동적인 움직임

02 주요 노드와 핵심 파라미터

2.1 해상도와 영상 길이

① Empty Hunyuan Video 1.0 Latent

② Video Combine

③ 영상 길이

2.2 Ksampler 공통 설정

① KSamplerAdvanced 사용 이유

② KSampler 설정값

2.3 그 외 주요 노드들

① ModelSamplingSD3

② CLIP Text Encode

03 Text-to-Video(T2V): 텍스트로 영상 만들기

3.1 필요 모델

① 모델 설치

② Lora 설치

③ VAE 설치

④ text encoder 설치

⑤ 모델 저장 위치

⑥ 사용하는 커스텀 노드

3.2 Text-to-Video(T2V) 기본 워크플로우

① T2V 워크플로우

② 노드 구성 확인하기

3.3 T2V 프롬프트 작성

① 프롬프트 레시피

② 구체적인 장면을 구성하는 프롬프트 작성하기

04 고급 프롬프트

4.1 에스테틱 컨트롤

① 에스테틱 컨트롤이란?

② 광원과 조명 유형(Light Source & Lighting Type)

③ 샷 사이즈와 구도(Shot Size & Composition)

④ 렌즈와 카메라 앵글(Lens & Camera Angle)

4.2 다이내믹 컨트롤

① 다이내믹 컨트롤이란?

② Camera Movement

③ Advanced Camera Movement

05 Image-to-Video(I2V): 이미지로 영상 만들기

5.1 필요 모델

① 모델 설치 및 저장하기

5.2 I2V 워크플로우

① I2V 워크플로우 알아보기

② 노드 구성

5.3 I2V 프롬프트 작성법

5.4 First-Last Frame to Video(FLF2V)

① FLF2V 기법이란?

② FLF2V 워크플로우

③ Multi Angle Prompt로 영상 구도 설정하기

06 Wan 활용 영상 제작 기법

6.1 영상 확장을 위한 이어붙이기 기법

① 이어붙이기 기법이란?

② 이어붙이기 기법의 장점

③ 이어붙이기 기법 적용 과정

6.2 Frame Interpolation

① RIFE VFI 노드

② 인터폴레이션 적용 비교

③ 인터폴레이션 적용 결과 비교

 

Chapter 9 실전 테크닉

01 유튜브 광고 스토리보드 제작

1.1 사용 모델

1.2 스토리보드 기획

① 광고 콘셉트 설정

② 광고 스토리보드 기획

1.3 제작 과정

① Krea를 이용한 장면 이미지 생성

② Kontext를 이용한 제품 합성

③ Kontext를 이용한 효과 추가

④ Kontext를 이용한 배경 생성

02 SNS 화장품 홍보 포스터 만들기

2.1 사용 모델

2.2 홍보 포스터 기획

① 홍보 제품 선정

② 홍보 포스터 기획

2.3 제작 과정

① 제품 포스터 제작

② 인물 포스터 제작

03 헤드폰 영상 광고 제작하기

3.1 AI를 활용한 헤드폰 광고 만들기

① 사용 모델

② 기획 및 스토리보드 제작 & 내레이션 대본 제작

③ 스토리보드 내용에 따른 Key Shot 이미지 생성

04 숏폼 영상 따라 하기

4.1 숏폼이란?

4.2 숏폼 제작하기

① 숏폼 제작 5단계 공정

4.3 숏폼 제작 예시

① 기획 및 스토리보드

② AI 프롬프트 설계

③ 영상 클립 생성

④ 컷 편집 및 자막 작업

⑤ 제작 결과물

05 게임 그래픽 제작하기

5.1 AI 게임 그래픽, 왜 ComfyUI인가?

5.2 실습에 필요한 모델 준비

① CivitAI에서 직접 모델 찾아보기

② 게임 아이콘 실습 모델 세트

③ Negative 임베딩: easynegative

④ 모델 다운로드 후 저장 경로

5.3 다양한 게임 아이콘 생성

① 워크플로우 구성

② 프롬프트 구조와 Negative 프롬프트

③ 스킬 아이콘 만들기

④ 장비 아이콘 만들기

⑤ 포션 아이콘 만들기

5.4 러프 스케치로 아이콘 구도 잡기

① PainterNode란?

② 워크플로우 변경 포인트

③ 스케치 기반 생성에서 바꾸는 설정

④ 실시간 생성으로 스케치하기

5.5 배경 제거하여 게임에 활용하기

① Image Remove Bg란?

② 워크플로우에 Image Remove Bg 적용하기

06 이미지를 3D 모델로 변환하기

6.1 이미지 한 장으로 3D 모델을 만들 수 있을까?

6.2 ComfyUI에서 사용 가능한 Image–to–3D 모델 비교

① API 기반 서비스

② 로컬 실행 모델

6.3 Hunyuan3D 2.0이란?

① 모델 구조와 시스템 요구사항

6.4 HY 3D 2.0 워크플로우 살펴보기

① EmptyLatentHunyuan3Dv2

② Hunyuan3Dv2Conditioning

③ VAEDecodeHunyuan3D

④ VoxelToMesh

6.5 게임 아이콘을 3D 모델로 변환하기

① 입력 이미지 준비

② 실행 및 생성 과정

③ 파라미터 조정으로 결과 개선하기

④ 결과물 확인하기

6.6 API로 텍스처까지 한 번에–Meshy 6

① 템플릿 불러오기

② 주요 설정

③ 실행하기

④ HY 3D 2.0 vs. Meshy 6

6.7 결과물을 더 좋게 만들려면