국내 자율주행 교재의 다수가 LiDAR · HD Map 중심에 머물러 있는 사이, 이 책은 테슬라가 2024년 FSD v12 에서 보여 준 "픽셀이 곧 핸들이 되는" 세상을, Vision-only · End-to-End · Data Engine · Dojo · Optimus · VLA 로 이어지는 한 줄기의 이야기로 풀어냅니다. YOLO · MediaPipe 같은 친숙한 도구에서 출발해 MentorPi · ROS2 · Isaac Lab 까지, 책상 위의 작은 로봇이 실제로 움직이기 시작하는 순간까지 여러분을 안내합니다.

이 책의 사상적 뼈대는 세 문장으로 정리됩니다.

광합성을 공학으로 구현한 게 태양광이라면, 뇌를 공학으로 구현한 게 신경망입니다. 그렇다면 사람이 보는 그대로를 공학으로 구현한 것은 무엇일까요. 바로 테슬라의 비전 신경망입니다. 카메라 8대가 받아들인 8K 픽셀이, 운전대 각도와 가속·제동 명령으로 곧장 변환되는 한 줄기의 신경망. 이것이 자율주행에서 멈추지 않고 Optimus 휴머노이드까지 한 흐름으로 이어지는 이유입니다. "같은 뇌, 다른 몸" — 자동차에서 손을 움직이는 그 신경망이 휴머노이드의 컵을 잡는 데도 그대로 쓰입니다.

기존 모듈형 자율주행은 이미지를 "계산" 했습니다. 이진화하고, 미분하고, 특징점을 뽑고, 객체 박스를 그리고, 거리를 측정한 다음에야 비로소 사람이 짠 규칙이 핸들을 돌렸죠. 하지만 사람은 그렇게 운전하지 않습니다. 사람은 계산하지 않고 인식합니다. 신경망이 비로소 그 인식을 흉내내기 시작한 것이 3세대 자율주행의 본질입니다.

이런 분께 권합니다.

▶ 파이썬 기초는 뗐지만 자율주행·Physical AI 로 커리어를 전환하고 싶은 3~8년 차 엔지니어
▶ YOLO · MediaPipe 튜토리얼은 해봤지만 "그 다음" 이 막막한 대학원생과 취업 준비생
▶ 자동차·로봇·드론 스타트업에서 Vision AI 를 도입해야 하는 현업 개발자
▶ AI 부트캠프 강사와 교재 제작자 — 한 학기 과정의 실습 교재로 바로 활용 가능
▶ 테슬라 FSD 의 원리가 실제로 어떻게 동작하는지 깊이 알고 싶은 엔지니어·연구자

이 책의 다섯 가지 특별한 점.

하나. 국내 최초로 Tesla Vision-only × End-to-End × Physical AI 의 전체 스택을 한국어 중급 실무서로 꿰어낸 시도입니다. Tesla AI Day 자료, Wayve · Comma.ai 의 연구, 최근의 VLA 논문까지 한 줄기로 정리했습니다.

둘. "모방학습과 DAgger 를 주 무기로, 강화학습은 보조" 라는 분명한 학습 철학을 관통합니다. 저자가 2026년 발표한 논문 "See-ParkingNet: A Robust Imitation Learning Framework for Autonomous Mobile Robots" 가 이 입장의 학술적 근거를 직접 제공합니다.

셋. 교재·영상·코드의 3중 동반 구조. YouTube 채널 "All That AI" (@aidoer) 와 GitHub 저장소 physical-ai-book 이 각 장과 1:1 로 연결되어, 출간과 함께 해설 영상과 실습 코드가 순차 공개됩니다.

넷. MentorPi 실증(29장) 과 ROS2 통합(30장) 으로 교실·연구실에서 실제로 로봇이 움직이는 경험까지 안내합니다. 본문이 끝나는 순간이 진짜 공부의 시작입니다.

다섯. 전 장이 서술형 산문 문체로 쓰였습니다. 개조식 나열과 딱딱한 교과서 문체를 배제하고, 수능 장문 독해 · 카카오톡 이모티콘 · 플라이트 시뮬레이터 · 지하철 시운전 같은 친숙한 한국적 비유로 복잡한 개념의 입구를 열어 드립니다.

8부 30장 + 부록 4개, A4 219페이지, 본문 약 448,555자.

머리말 — 픽셀이 곧 핸들이 되는 세상

제1부. 자율주행의 패러다임 전환
1장. 자율주행의 세 번의 물결
2장. 왜 테슬라는 카메라만 쓰는가 — Vision-only 의 논리
3장. End-to-End 자율주행의 부상 — Photon-in Control-out

제2부. 비전 기반 인식
4장. 카메라 센서와 이미지 신호 처리(ISP)
5장. 백본부터 헤드까지 — HydraNet 의 구조
6장. Occupancy Network — 3D 점유 공간을 박스 없이
7장. BEV(Bird's-Eye View) 변환과 Vector Space
8장. Lane · Sign · Object 헤드의 통합 운용

제3부. 예측 · 계획 · 제어
9장. 다중 에이전트 궤적 예측 (Prediction)
10장. Neural Planner — 비용 함수를 신경망에 녹이기
11장. Control Net — 스티어링·가속·제동의 뉴럴 출력

제4부. Data Engine — 데이터의 자가발전기
12장. 플릿 데이터 수집과 Trigger 디자인
13장. Auto-labeling — 사람 없이 라벨을
14장. 시뮬레이션과 Corner Case 증강
15장. Dojo 슈퍼컴퓨터와 D1 칩의 철학
16장. 대규모 분산 학습 — FSDP · Pipeline · Tensor

제5부. 배포 · MLOps · 안전 인증
17장. Shadow Mode · A/B · OTA 배포
18장. Physical AI 란 무엇인가 — 바퀴에서 다리로

제6부. Physical AI · Optimus · VLA
19장. Optimus 의 스택 — 같은 뇌, 다른 몸
20장. 모방 학습과 DAgger — Physical AI 의 첫 길
21장. 강화학습은 왜 "주 무기" 가 아닌가
22장. World Model 과 VLA(Vision-Language-Action)

제7부. 실습 프로젝트
23장. 개발 환경 구축 — PyTorch · CUDA · Docker
24장. 미니 HydraNet 만들기 — YOLOv8 에서 시작
25장. 미니 Occupancy Network 실험
26장. openpilot 리버스 엔지니어링
27장. Isaac Lab 으로 Physical AI 에이전트 학습

제8부. 실증 · 통합 · 윤리
28장. 규제 · 안전 · 사회적 수용, 그리고 앞으로
29장. MentorPi 로 해보는 비전 자율주행 실증
30장. ROS2 로 올리는 자율주행 · 로보틱스 스택

부록 A. 수학 속성 복습 — 선형대수 · 확률 · 미분
부록 B. 주요 논문 50선 (테마별 핵심)
부록 C. 한 / 영 용어집
부록 D. 저자 YouTube "All That AI" · GitHub 저장소 가이드