LLM/VLM에서 VLA까지,

시뮬레이터·데이터·오픈 생태계로 설계하는 로봇 지능

챗GPT 이후 AI는 글을 쓰고, 이미지를 만들고, 코드를 생성하는 도구가 되었습니다. 그러나 다음 질문은 다릅니다. AI는 어떻게 현실 세계를 보고, 판단하고, 직접 행동할 수 있을까요?

『피지컬 AI 시스템 설계』는 이 질문에 답하고자 준비했습니다. 이 책은 로봇공학 전공서가 아닙니다. LLM과 VLM으로 발전해온 생성형 AI가 어떻게 VLA 모델, 로봇 데이터셋, 시뮬레이터, 디지털 트윈, 합성 데이터, 파인튜닝, 온디바이스 실행, 지속 학습 시스템으로 확장되는지를 설명합니다.

‘피지컬 AI’는 단순히 로봇에 AI를 붙이는 기술이 아닙니다. 언어를 이해하는 계층, 장면을 해석하는 계층, 목표와 제약을 추론하는 계층, 행동을 생성하는 계층, 실제 몸을 제어하는 계층이 맞물려야 비로소 현실에서 움직이는 지능이 됩니다. 이 책은 바로 그 구조를 한 권으로 정리합니다.

현직 로봇 개발자인 저자(엥지유니버스)는 B2C 로봇부터 물류·제조 현장의 산업용 로봇까지 다양한 시스템 개발 경험을 바탕으로, 피지컬 AI가 왜 지금 중요한 흐름이 되었는지 현실적인 시각으로 짚어냅니다. 엔비디아 GR00T, 제미나이 로보틱스, 피지컬 인텔리전스 π 계열 등 최신 프로젝트를 통해 빅테크와 연구 그룹이 로봇 지능을 어떤 방향으로 설계하고 있는지도 살펴봅니다.

또한 이 책은 피지컬 AI를 거대한 로봇 장비를 가진 연구자만의 영역으로 남겨두지 않습니다. 로봇 장비가 없어도 시뮬레이터와 오픈소스 프레임워크로 구조를 이해하고 실험할 수 있도록 안내하며, 16장에서는 우분투 환경에서 LeRobot 프레임워크를 활용한 실습 진입점도 간략하게 설명합니다.

피지컬 AI는 아직 완성된 기술이 아닙니다. 그렇기에 지금 시작하는 사람에게 더 많은 기회가 열려 있습니다. 이 책은 AI가 화면 밖으로 나와 현실 세계에서 행동하는 시스템이 되기까지의 기술 지도를 제공합니다.

주요 내용

LLM에서 VLA로 이어지는 기술 흐름 정리:

SayCan, PaLM-E, RT-1, RT-2, Open X-Embodiment, OpenVLA, GR00T, 제미나이 로보틱스, π 계열 등 주요 연구를 따라가며, 언어 모델이 어떻게 로봇의 계획과 행동 생성 구조로 확장되었는지 살펴봅니다.

생각하는 층과 움직이는 층을 나누는 시스템 설계 관점:

최신 피지컬 AI는 모든 것을 하나의 모델에 맡기는 방향이 아니라, 상위 추론 계층과 하위 행동 생성 계층을 나누고 연결하는 방향으로 발전하고 있습니다. 이 책은 VLA, 체화 추론, 행동 전문가, 듀얼 시스템 구조를 중심으로 그 설계 원리를 설명합니다.

로봇 학습 파이프라인의 전체 구조 이해:

행동 데이터 수집과 가공, 시뮬레이터와 디지털 트윈, 합성 데이터 생성, 파인튜닝과 강화학습, 온디바이스 최적화, 현장 데이터 기반 지속 학습까지 피지컬 AI 개발을 이루는 전체 파이프라인을 하나의 흐름으로 정리합니다.

 개발자가 알아야 할 피지컬 AI의 미래 방향 제시:

피지컬 AI는 로봇공학 전공자만의 영역이 아닙니다. 앞으로는 데이터를 이해하고, 모델을 연결하고, 시뮬레이션과 실제 환경을 오가며 시스템 전체를 설계하는 개발자의 역량이 중요해집니다. 이 책은 피지컬 AI 시대에 개발자가 어떤 기술 스택과 관점을 준비해야 하는지 함께 제시합니다.

[목차]

[1부. 웹과 앱을 넘어 현실로: 피지컬 AI 시대가 온다]

1장 왜 지금 빅테크는 피지컬 AI에 주목하는가

_1.1 챗봇을 넘어 현실 세계로 튀어나온 인공지능

_1.2 지금 피지컬 AI가 현실적인 기술 흐름이 된 이유

_1.3 “로봇 없이는 못 하나요?” 진입 장벽을 깨는 흔한 오해들

_1.4 정리: 피지컬 AI는 AI가 현실 세계로 내려오는 전환점이다

2장 생성형 AI가 로봇의 지능이 되는 과정

_2.1 텍스트를 생성하는 LLM과 행동을 만드는 피지컬 AI의 차이

_2.2 뇌(LLM)와 눈(VLM)이 합쳐져 로봇 지능을 바꾸는 원리

_2.3 인공지능이 현실 세계와 상호작용하는 프로세스

_2.4 정리: 생성형 AI의 지능은 어떻게 행동으로 이어지는가

[2부. 생각에서 행동으로: 피지컬 AI 핵심 아키텍처 이해하기]

3장 LLM 플래닝: 사람의 말을 실제 행동으로 바꾸는 첫 번째 방법

_3.1 LLM을 이용한 로봇의 행동 계획 세우기

_3.2 계획하는 모델에서 보는 모델로: PaLM-E의 멀티모달 확장

_3.3 함수 호출과 코드 생성으로 로봇을 움직이는 방법

_3.4 정리: LLM은 로봇의 상위 조정자로 출발했다

4장 VLA 모델의 탄생: 판단을 넘어 직접 행동하는 AI로

_4.1 계획에서 행동으로: 로봇 정책도 스케일링할 수 있을까?

_4.2 RT-1: 실제 로봇 제어도 Transformer로 스케일링할 수 있다

_4.3 RoboCat: 여러 로봇 몸체와 작업으로 확장되는 범용 정책

_4.4 RT-2: 웹 지식이 로봇 행동으로 전이되다

_4.5 정리: RT-1, RoboCat, RT-2가 만든 세 가지 전환점

5장 오픈 로봇 데이터와 범용 모델 생태계

_5.1 피지컬 AI의 성능을 좌우하는 로봇 데이터셋

_5.2 Open X-Embodiment와 Octo: 공통 데이터 위에서 움직이는 범용 모델 활용법

_5.3 OpenVLA: 오픈소스 생태계가 제어 명령에서 범용 AI(VLA)로 진화

_5.4 정리: 오픈 생태계는 피지컬 AI의 스케일링 조건이다

6장 VLA에는 왜 중간 표현과 연속 액션이 필요했을까?

_6.1 왜 이미지와 문장만으로는 실전에서 실패할까?

_6.2 RT-H: 행동 사이에 언어적 중간 표현을 두는 방법

_6.3 π0와 RDT-1B: 연속 액션을 부드럽게 생성하는 방법

_6.4 NaVILA: 이동 로봇에 계층형 구조가 필요한 이유

_6.5 정리: 단일 VLA에서 계층형 피지컬 AI로

7장 명시적 추론과 듀얼 시스템 설계

_7.1 복잡한 환경일수록 다시 ‘생각하는 구조’가 필요한 이유

_7.2 CoT-VLA: 행동 전에 목표 장면을 먼저 추론하는 방법

_7.3 제미나이 로보틱스: 행동 모델과 추론 모델의 분리

_7.4 GR 00T N1, π0.5: 계층형 시스템 설계가 주목받는 이유

_7.5 정리: 생각하는 층과 움직이는 층을 나누기 시작한 피지컬 AI

8장 온톨로지와 장면 그래프로 현실 세계 구조화하기

_8.1 온톨로지와 OG-RAG: 단순 검색을 넘어 구조화된 지식으로

_8.2 공간을 이해하는 AI: 3D 장면 그래프를 활용한 상위 추론 레이어 설계

_8.3 정리: 구조화된 지식 표현이 피지컬 AI에 주는 의미

[3부. 로봇 없이 시작하는 피지컬 AI 실전 개발]

9장 AI를 움직이는 행동 데이터 수집하고 가공하기

_9.1 맨땅에서 시작하는 로봇 데이터, 어디서 어떻게 수집할까?

_9.2 사람의 시연을 로봇이 이해하는 행동 데이터로 바꾸는 방법

_9.3 정리: 좋은 행동 데이터가 좋은 피지컬 AI를 만든다

10장 시뮬레이터 활용법: 로봇 장비 없이 구현하는 피지컬 AI

_10.1 디지털 트윈과 가상환경이 개발자에게 주는 이점

_10.2 가상 세계에서 물리 법칙과 센서를 재현하는 방법

_10.3 시뮬레이션으로 시간을 압축하는 병렬 학습 전략

_10.4 목적에 맞는 로봇 시뮬레이터 선택 가이드

_10.5 정리: 시뮬레이터는 피지컬 AI의 실험실이다

11장 가상환경을 데이터 공장으로: 합성 데이터 생성하기

_11.1 부족한 데이터를 채워주는 합성 데이터 생성 원리

_11.2 실제 AI 학습 파이프라인에 합성 데이터를 연결하는 방법

_11.3 정리: 합성 데이터는 실세계 데이터의 빈틈을 메운다

12장 피지컬 AI 모델 파인튜닝과 학습 전략

_12.1 백본 모델을 로봇 작업에 맞게 파인튜닝하기

_12.2 모방학습과 강화학습은 언제, 어떻게 쓸까?

_12.3 정리: 학습 전략은 데이터와 목표 작업에 따라 달라진다

13장 가볍고 빠른 온디바이스 AI 설계 전략

_13.1 온디바이스 VLA 조건 ①: 제한된 스펙에 맞는 백본 선택하기

_13.2 온디바이스 VLA 조건 ②: 행동 생성 구조를 제어 친화적으로 최적화하기

_13.3 정리: 실제 로봇에서는 성능만큼 속도와 비용이 중요하다

14장 실제 디지털 트윈 환경 구축 사례

_14.1 디지털 트윈 구축의 세 가지 접근

15장 현장 데이터로 개선되는 지속 학습 시스템

_15.1 배포된 AI가 현장 데이터를 축적하며 진화하는 구조

_15.2 실패 데이터를 다음 학습 자산으로 바꾸는 방법

_15.3 정리: 피지컬 AI는 배포 이후에도 계속 학습한다

16장 LeRobot 프레임워크로 시작하는 피지컬 AI 실습

_16.1 LeRobot이 일반 개발자의 피지컬 AI 입문에 적합한 이유

_16.2 LeRobot 프레임워크 핵심 구조와 기본 개발 파이프라인 익히기

_16.3 클론 코딩에서 나만의 프로젝트로: LeRobot 기능 확장 및 실무 활용

_16.4 정리: LeRobot은 피지컬 AI 실습의 현실적인 출발점이다

17장 빅테크의 피지컬 AI 프로젝트 핵심 구조 뜯어보기

_17.1 엔비디아 GR00T: 휴머노이드용 파운데이션 모델

_17.2 제미나이 로보틱스: 생각하는 AI를 실제 로봇 행동으로 연결하는 방식

_17.3 피지컬 인텔리전스 π 계열: 범용 로봇 정책의 실전 확장

_17.4 정리: 빅테크 사례는 피지컬 AI 시스템 설계의 종합 예시다

[4부. 피지컬 AI 시대, 넥스트 커리어 준비하기]

18장 패러다임 시프트 속에서 생존하는 개발자 커리어 전략

_18.1 엔비디아와 구글의 행보로 보는 피지컬 AI의 거대한 미래 시장

_18.2 개발자 직무의 대전환: 단순 코더에서 데이터 큐레이터로

_18.3 몸값을 높이기 위해 반드시 갖춰야 할 기술 스택

_18.4 정리: 피지컬 AI 시대의 개발자는 시스템과 데이터를 함께 설계한다

19장 피지컬 AI 개발자로 거듭나기 위한 로드맵

_19.1 주니어 및 취준생을 위한 가이드: 시장에서 먹히는 피지컬 AI 포트폴리오 만드는 법

_19.2 현업 SW 개발자를 위한 가이드: 기존 백엔드·풀스택 역량에 AI 지능을 더하는 공부법

_19.3 정리: 피지컬 AI 커리어는 작은 시스템을 끝까지 만들어보는 데서 시작된다