언리얼 엔진 5과 메타휴먼 크리에이터를 사용해 실사에 가까운 디지털 캐릭터를 만드는 법을 다룬다. 언리얼 엔진과 메타휴먼 크리에이터에 대한 기초와 더불어, 믹사모, 딥모션 등의 다양한 써드파티 앱을 함께 다루어 실사와 구별할 수 없을 정도의 캐릭터를 손쉽게 만들 수 있도록 도와준다. 디지털 영상 제작에 관한 전문 지식이 없더라도 쉽고 간단하게 디지털 캐릭터를 만들 수 있도록 자세한 설명과 예제를 포함하고 있다.

[목 차]

1부. 캐릭터 생성하기

1장. 언리얼 시작하기
__기술적인 요구 사항
__언리얼이란 무엇인가?
__메타휴먼이란 무엇인가?
__언리얼과 메타휴먼 크리에이터 설정하기
____에픽 계정 만들기
____언리얼 엔진 5 다운로드하고 설치하기
____UE5 시작하기
____퀵셀 브리지 설치하기
____메타휴먼 크리에이터 시작하기
__요약


2장. 메타휴먼 캐릭터 만들기
__기술적인 요구 사항
__퀵셀 브리지 시작하기
__메타휴먼 편집하기
____페이스
____헤어
____바디
__무브와 스컬프트 툴 사용하기
__캐릭터 다운로드하고 익스포트하기
____해상도
____다운로드 설정
____익스포트 설정
____백그라운드 프로세싱
__요약


2부. 블루프린트, 바디 모션 캡처, 리타기팅 살펴보기

3장. 메타휴먼 블루프린트 살펴보기
__기술적인 요구 사항
__블루프린트란 무엇인가?
__블루프린트 열기
____폴더를 사용해 블루프린트 사용하기
____폴더를 사용하지 않고 블루프린트 사용하기
__스켈레톤 임포트하고 편집하기
____마네킨 캐릭터 추가하기
____마네킨 스켈레톤 리타기팅 옵션 편집하기
____메타휴먼 스켈레톤 리타기팅 옵션 편집하기
__요약


4장. 애니메이션 리타기팅
__기술적인 요구 사항
__IK 릭이란 무엇인가?
____릭이란 무엇인가?
____IK란 무엇인가?
__IK 릭 생성하기
__IK 체인 생성하기
__IK 리타기터 생성하기
__애니메이션 데이터 임포트하기
__요약


5장. 믹사모로 애니메이션 리타기팅하기
__기술적인 요구 사항
__믹사모 알아보기
__메타휴먼을 믹사모에 업로드하기
__믹사모에서 캐릭터 조정하기
__믹사모에서 애니메이션 탐색하기
__믹사모 애니메이션 다운로드하기
__믹사모 애니메이션을 언리얼로 임포트하기
____추가 애니메이션 작업하기
__요약


6장. 딥모션으로 모션 캡처 추가하기
__기술적인 요구 사항
__딥모션 알아보기
__비디오 촬영 준비하기
__딥모션에 비디오 업로드하기
__딥모션의 애니메이션 설정 살펴보기
__딥모션 모션 캡처 파일 다운로드하기
__딥모션 애니메이션을 언리얼로 임포트하기
__딥모션 모션 캡처 리타기팅
__위치 정렬 이슈 수정하기
__요약


3부. 레벨 시퀀서, 페이셜 모션 캡처, 렌더링 살펴보기

7장. 레벨 시퀀서 사용하기
__기술적인 요구 사항
__레벨 시퀀서 알아보기
__레벨 시퀀서 생성하고 캐릭터 블루프린트 임포트하기
__캐릭터 블루프린트에 리타깃된 애니메이션 추가하기
__컨트롤 릭 추가하고 편집하기
__레벨 시퀀서에 카메라 추가하기
__레벨 시퀀서에서 테스트 애니메이션 렌더링하기
__요약


8장. 아이폰으로 페이셜 모션 캡처하기
__기술적인 요구 사항
__라이브 링크 페이스 앱 설치하기
__테이크 레코더를 포함한 언리얼 엔진 플러그인 설치하기
____라이브 링크, 라이브 링크 컨트롤 릭, 라이브 링크 커브 디버그 UI
____ARKit과 ARKit 페이스 서포트
____테이크 레코더
__라이브 링크 페이스 앱을 언리얼 엔진에 연결하고 설정하기
__메타휴먼 블루프린트 설정하고 테스트하기
__라이브 데이터 조정하고 캡처하기
__요약


9장. 페이스웨어로 페이셜 모션 캡처하기
__기술적인 요구 사항
__윈도우 PC에 페이스웨어 스튜디오 설치하기
__언리얼 페이스웨어 플러그인과 메타휴먼 샘플 설치하기
__웹캠과 스트리밍 기능 설정하기
____리얼타임 셋업 패널
____스트리밍 패널
____Status bar
__라이브 링크로 페이스웨어 데이터 수신하기
__메타휴먼 블루프린트 편집하기
__테이크 레코더로 세션 기록하기
__레벨 시퀀서로 테이크 임포트하기
__언리얼에서 페이셜 애니메이션 굽고 편집하기
__요약


10장 레벨 시퀀서로 애니메이션 블렌딩하기와 고급 렌더링 수행하기
__기술적인 요구 사항
__레벨 시퀀서에 메타휴먼 블루프린트와 바디 모캡 데이터 추가하기
____메타휴먼 블루프린트 추가하기
____앞서 리타깃된 모캡 데이터 추가하기
____바디 모캡을 추가하고 모캡 클립 통합하기
__레벨 시퀀서에 페이셜 모캡 데이터 추가하기
____저장된 페이스웨어 테이크 추가하기
____페이셜 모캡 편집하기
__심화 렌더링 기능 살펴보기
____카메라 추가하고 조정하기
____라이트 추가하고 조정하기
____포스트 프로세스 볼륨 사용하기
____무비 렌더 큐 사용하기
____ACES와 컬러 그레이딩
__요약


11장. 메시 투 메타휴먼 플러그인 사용하기
__기술적인 요구 사항
__언리얼 엔진에 메시 투 메타휴먼 설치하기
__KIRI 엔진을 살펴보고 스마트폰에 설치하기
__언리얼 엔진으로 스캔한 메시 임포트하기
__메타휴먼 크리에이터 온라인 툴에서 페이스 메시 수정하기
__요약

◈ 이 책에서 다루는 내용 ◈
◆ MHC를 사용한 맞춤형 캐릭터 제작
◆ 실제 사람에 기반한 커스텀 페이스 제작
◆ 블루프린트를 사용한 디지털 캐릭터 제어
◆ 언리얼 마네킹을 사용한 애니메이션 리타기팅
◆ 딥모션과 라이브 링크를 사용한 바디 및 페이스 애니메이션 완성
◆ 컨트롤 릭을 사용한 애니메이션 수정
◆ 캐릭터 익스포트와 렌더링

◈ 이 책의 대상 독자 ◈
영화 제작자가 영화 제작자를 위해 이 책을 썼다. 따라서 책에서 소개하는 다소 난해한 개념을 이해하려면 영화 제작 과정, 특히 3D 애니메이션의 제작 과정을 알고 있어야 한다. 3D 캐릭터 애니메이션을 다뤄본 적이 있거나 그와 관련된 주제의 책을 한 권이라도 본 사람이라면 이 책의 내용을 이해하는 데 어려움이 없을 것이다. 사전 지식이 없더라도 걱정할 필요는 없고, 책을 끝까지 막힘없이 읽을 수 있을 것이다.
궁극적으로 이 책은 언리얼을 사용해 메타휴먼을 만드는 방법을 단계별로 안내하고 있으며, 여러분의 아이디어와 디자인을 반영할 수 있는 다양한 기법을 다룬다.

◈ 이 책의 구성 ◈
1장. '언리얼 시작하기'에서는 언리얼이 무엇인지, 메타휴먼이 무엇인지 살펴본다. 아울러 컴퓨터에 언리얼 엔진을 설치하는 방법도 다룬다.
2장. '메타휴먼 캐릭터 만들기'에서는 메타휴먼 크리에이터 인터페이스의 주요 기능을 알아보고, 메타휴먼을 편집하는 방법과 편집한 메타휴먼을 다운로드하고 익스포트하는 방법을 살펴본다.
3장. '메타휴먼 블루프린트 살펴보기'에서는 블루프린트에 대해 알아보고, 메타휴먼의 관점에서 이를 사용하는 방법도 살펴본다.
4장. '애니메이션 리타기팅'에서는 IK 릭, IK 체인, IK 리타기터에 대해 알아본다.
5장. '믹사모로 애니메이션 리타기팅하기'에서는 믹사모 애니메이션 에셋(Mixamo animation asset)으로 애니메이션을 리타기팅하는 방법을 살펴본다.
6장. '딥모션으로 모션 캡처 추가하기'에서는 앞 장과 비슷하게 딥모션을 사용해 마커 없이 모션을 캡처하는 방법을 알아본다. 또한 딥모션을 통해 얻은 모션 캡처를 메타휴먼에 리타기팅하는 방법도 다룬다.
7장. '레벨 시퀀서 사용하기'에서는 레벨 시퀀서에 대해 알아보고, 메타휴먼 캐릭터를 제어하기 위해 레벨 시퀀서를 사용하는 방법도 함께 살펴본다.
8장. '아이폰으로 페이셜 모션 캡처하기'에서는 라이브 링크 앱을 설치하는 법, 아이폰에서 라이브 페이셜 캡처를 얻는 법, 이를 언리얼 엔진으로 전송하는 법을 알아본다.
9장. '페이스웨어로 페이셜 모션 캡처하기'에서는 앞 장에서 배운 것의 대안으로, 간단한 웹캠과 페이스웨어 소프트웨어를 사용해 균등한 높은 품질의 페이셜 모션 캡처를 얻는 방법을 살펴본다.
10장. '레벨 시퀀서로 애니메이션을 블렌딩하고 고급 렌더링 수행하기'에서는 레벨 시퀀서에서 여러 개의 모션 캡처 클립을 다루는 방법을 알아본다. 또한 이 장에서는 포스트 프로세스 볼륨과 같이 레벨 시퀀서를 사용한 고급 렌더링 기법도 다룬다.
11장. '메시 투 메타휴먼 플러그인 사용하기'에서는 보너스와 같은 장으로, 새로운 플러그인을 사용해 사용자들이 그들의 메타휴먼에 기반한 3D 스캔을 수정하는 방법을 배울 것이다.

작가의 말
기술과 예술은 항상 함께 발전해왔다. 최근에는 기술이 급격하게 발전해왔으며, 대부분의 사람이 이런 급격한 발전을 따라가는 것을 힘들어했다. 영화를 만들 때 사용되는 기술도 마찬가지다.
나는 모든 영화 관련 기술이 아날로그였던 1980년대에 자랐다. 이 당시 가장 깊은 영감을 받았던 영화는 <타이탄 족의 멸망(Clash of the Titans)>(1981)이었다. 이 영화의 시각 효과 애니메이션이 단 한 사람, 레이 해리하우젠(Ray Harryhausen)에 의해 만들어졌다는 사실을 알고 나서는 무척 놀랐다. 2000년대로 넘어선 지금은 수백 명의 비주얼 이펙트 아티스트와 애니메이터들이 팀을 만들고, 여러 회사가 하나의 영화를 만들기 위해 함께 작업을 수행한다.
언리얼 엔진과 메타휴먼 크리에이터가 모든 것을 바꿔놓았다. 돈 많은 대규모 스튜디오가 영화에 등장할 만한 품질의 애니메이션과 VFX 툴을 독점하던 시기는 지났다. 놀랍도록 성능이 향상된 컴퓨터, 심지어는 노트북으로도 사람들은 그들만의 영화를 만들기 시작했다. 이젠 더 이상 경계의 의미도, ‘아마추어니까’라는 식의 변명도 통하지 않는다. 우리는 새로운 레이 해리하우젠이 등장할 새로운 시대의 여명을 맞이하고 있는 것이다.

옮긴이의 말
2021년 12월, ‘Matrix Awakens’라는 이름으로 언리얼 엔진 5의 테크 데모가 공개됐습니다. 10분 남짓한 이 영상을 보면서 지금까지의 게임 엔진과는 차원이 다른 새로운 시대의 게임 엔진이 등장했음을 알 수 있었습니다. 이전의 게임 엔진이 현실을 잘 모사하는 수준에 불과했다면, 새롭게 등장한 언리얼 엔진 5의 테크 데모는 어디까지가 실사인지, 어디까지가 엔진이 만들어낸 캐릭터인지 구분하기 힘들 정도였습니다. 이 영상이 발표된 이후, 설명이 추가되지 않는다면 실사인지 아닌지 구분할 수 없을 만큼 정교한 언리얼 엔진의 산출물들이 SNS와 미디어에 등장했습니다.
디즈니가 제작한 TV 시리즈인 <만달로리안>에 이르러서는 언리얼 엔진과 LED를 활용한 영상 촬영으로 또 한 단계 진화하는 모습을 보여줬습니다. 어쩌면 엔진으로 만들어내는 영상과 실사를 구별하는 것이 더 이상 큰 의미가 없는 시대일지도 모르겠습니다.
이런 기술적 진보의 중심에는 언리얼 엔진이라는 탄탄한 시스템이 자리 잡고 있습니다. 현대 게임의 역사에서 한 획을 그었을 뿐만 아니라 지금도 진화를 멈추지 않으면서 미디어 영상과 건축, 일반 산업의 영역에 이르기까지 점점 그 영향력을 넓혀가고 있습니다. 메타휴먼은 언리얼 엔진에 가장 친화적이고 최적화된 도구 중 하나로, 사람의 표정과 행동을 실제 수준에 가깝게 영상과 게임으로 옮기는 분야에서 확고한 포지션을 차지하고 있습니다. 메타휴먼을 통해 이전 세대의 영상 제작에서 ‘특수 효과’라는 단어로 지칭되던 고비용의 작업을 하나의 툴로 간편하게 치환할 수 있게 된 것입니다.
이 책은 언리얼 엔진과 메타휴먼을 중심으로 어떻게 실사에 가깝게 사람을 표현할 수 있는지를 다루고 있습니다. 메타휴먼을 비롯한 다양한 툴을 간단히 소개하고, 실제로 이를 사용해 캐릭터를 제작하는 방법도 충분히 자세하게 설명하고 있습니다. 따라서 실사에 가까운 영상들을 하나하나 제작해보면서 이전 세대에 존재하던 높은 기술과 비용의 허들이 얼마나 낮아지고 있는지를 체감할 수 있을 것입니다. 모쪼록 독자 여러분도 책을 따라 흥미로운 여정을 즐길 수 있길 바라 마지않습니다. 마지막으로, 이 책을 통해 언리얼 메타휴먼의 새로운 세계를 접하게 될 독자 여러분께도 미리 감사의 말씀을 전합니다.
감사합니다.

추천사
브라이언 로스니와 알고 지낸 지 10년이 넘었다.
TV 광고를 찍으면서 처음 그를 만났을 때, 브라이언은 감독이었고 나는 촬영 감독이었다. 브라이언의 타고난 연출 감각과 포스트 프로덕션(post-production) 및 시각적 효과에 대한 높은 이해도는 그의 역량을 더욱 돋보이게 해줬다.
이 분야에서 축적한 브라이언의 경험과 열정은 20여 년을 거슬러 올라간다. 그는 주로 광고와 드라마 분야에서 탁월한 시각적 효과와 3D 환경, 디지털 산출물을 제작해왔다. 브라이언이 가진 스킬은 피사체의 정보를 전달하는 그의 탁월한 역량과 함께 빠르게 인정받았다. 따라서 더블린시티 대학교에서 비디오 제작을 가르치는 교수로 임용된 것도 그다지 놀라운 일은 아니었다.
나 역시 영화와 드라마의 촬영 감독으로 일하면서 사전 시각화에 익숙한 편이었다. 하지만 브라이언의 가이드와 언리얼 엔진이 제공하는 산출물을 보고는 눈을 의심하지 않을 수 없었다. 특히 조명과 애니메이션에 관련된 부분은 더욱 놀라웠다. 브라이언은 3D로 모든 샷의 사전 시각화 작업을 진행하기도 했다. 그 후 브라이언은 언리얼을 사용해 대부분의 작업을 수행했으며, 단편 영화 <아페티토(Apetito)>를 언리얼로 제작했다.
비슷한 시기에 ILM과 디즈니 역시 언리얼 엔진을 활용해 <만달로리안(The Mandalorian)> 시리즈를 만들기 시작했다!
분명 언리얼 엔진은 영화 제작에서 반드시 필요한 툴로 자리 잡았지만, 아직까지는 많은 사람이 쉽게 다루기 어렵다. 하지만 이 책을 활용하면 지루하고 어려운 기술적 문제에 빠져 허우적거리지 않을 수 있을 뿐 아니라 책의 내용을 쉽게 따라 하면서 실제와 가까운 캐릭터를 만들고 움직일 수 있을 것이다.
책은 마법 같은 기술을 모두 배울 시간은 없지만 빠르게 프로젝트를 수행하고 싶은 전문가와, 취미로 3D 캐릭터를 만들어보려는 사람을 대상으로 한다. 브라이언은 이 책을 통해 디지털 캐릭터의 기본이 되는 핵심 개념을 소개하고, 언리얼 엔진의 메타휴먼 크리에이터(MetaHuman Creator)를 사용해 디지털 캐릭터를 만드는 법을 차근차근 설명한다.
특히 믹사모 애니메이션(Mixamo animation)을 활용하거나, 딥모션(DeepMotion)을 통해 바디 모션을 맞춤 제작하는 것과 같이 메타휴먼을 가장 효과적으로 활용하는 방법도 함께 다루고
있다.
아이폰 사용자라면 아주 사실적인 페이셜 캡처를 통해 자신의 캐릭터를 만들어낼 수 있
으며, 웹캠이나 페이스웨어(Faceware)를 사용하는 것도 가능하다. 이 방법들 모두 단계별로
자세히 설명될 것이다.
메타휴먼이나 모션 캡처와 관련된 모든 것을 담고 있는 궁극적인 가이드를 내놓고자 브라이언이 이 책을 쓴 것은 아니다. 독자들이 너무 많은 정보에 의존하지 않고도 빠르게 산출물을 얻는 데 초점을 맞췄고, 이를 위해 그가 연구한 모든 결과물을 이 책 한 권에담아냈다.
자, 이제 애니메이션이나 영화를 제작하던 대형 스튜디오에서만 상상할 수 있었던 사실적인 디지털 캐릭터와 애니메이션을 직접 만들어보자.
행복한 여정이 되길!
─ 시아란 카바노프(Ciaran Kavanagh)
ISC IATSE 669

브라이언 로스니
로스니 픽처스(Rossney Pictures)의 크리에이티브 디렉터이자 VFX 수퍼바이저로 일하고 있다. 영화와 TV 산업에 22년 이상 몸담았으며, 특히 포스트 프로덕션과 디지털 특수 효과 제작에 관한 전문 역량을 지녔다. 또한 3D 애니메이션 툴과 3D 노드 기반 합성 툴을 사용해 다양한 광고와 TV 오프닝 시퀀스를 제작했다. VFX와 3D 애니메이션 파이프라인, 실사 영화 제작과 연출에 대한 이해를 바탕으로 더블린시티 대학교(Dublin City University)와 갤웨이 필름 센터(Galway Film Centre)에서 강의했으며, 홀마크(Hallmark)와 마라비스타(Maravista)에서 VFX 수퍼바이저로도 일했다. 언리얼 엔진으로 제작한 <아페티토>와 언리얼 엔진 및 메타휴먼 크리에이터로 제작한 <1976>까지 2편의 단편 영화를 제작했다.


옮긴이 진석준
데브시스터즈 진저랩에 재직하고 있으며 다양한 게임 관련 기술 서적을 번역해왔다. 끊임없이 변화하는 기술 트렌드에 맞춰 몸담고 있는 조직과 스스로가 어떻게 진화할 수 있는지 늘 고민하고 있다. 『게임 테스팅 3/e』(에이콘, 2019), 『봇을 이용한 게임 해킹』(에이콘, 2018), 『언리얼 엔진 4로 나만의 게임 만들기』(에이콘, 2016), 『게임 물리 엔진 개발』(지앤선, 2016), 『시스템으로 풀어 보는 게임 디자인』(에이콘, 2022), 『로블록스 루아 프로그래밍 첫 발자국 떼기』(에이콘, 2022) 등을 번역했다.