피지컬 AI 시스템 설계: LLM/VLM에서 VLA까지, 시뮬레이터·데이터·오픈 생태계로 설계하는 로봇 지능

말하는 AI를 넘어, 현실을 움직이는 AI를 설계하다

AI의 다음 무대는 더 이상 화면 안에만 머물지 않습니다. 지금까지의 생성형 AI가 글을 쓰고, 이미지를 만들고, 코드를 생성하는 지능이었다면, 피지컬 AI는 그 지능을 현실 세계의 물체와 공간, 센서, 로봇의 움직임으로 확장하려는 새로운 흐름입니다. 이제 중요한 질문은 "AI가 무엇을 말할 수 있는가"가 아니라 "AI가 현실 세계에서 무엇을 할 수 있는가"입니다.

『피지컬 AI 시스템 설계』는 바로 이 질문에서 출발합니다. 이 책은 로봇공학 전공서가 아닙니다. LLM과 VLM으로 발전해온 생성형 AI의 지능이 어떻게 로봇의 판단과 행동으로 이어지는지, 그리고 그 과정에서 데이터, 모델, 시뮬레이션, 제어, 배포가 어떻게 하나의 시스템으로 맞물리는지를 개발자 관점에서 설명하는 책입니다.

피지컬 AI와 로봇 분야는 아직 하나의 정답으로 수렴된 단계가 아닙니다. 지금 주목받는 기술도 몇 달 뒤에는 더 나은 방식으로 보완되거나 대체될 수 있습니다. 그래서 이 분야를 이해하려면 단순히 최신 키워드를 따라가는 것만으로는 부족합니다. 어떤 한계가 있었고, 그 한계를 넘기 위해 어떤 구조와 아이디어가 등장했는지를 따라가야 변화의 방향을 읽을 수 있습니다.

이 책은 LLM 기반 플래닝에서 시작해 VLA 모델, 오픈 로봇 데이터셋, 중간 표현, 연속 행동, 듀얼 시스템 구조, 디지털 트윈, 합성 데이터, 파인튜닝, 온디바이스 실행, 지속 학습 시스템까지 이어지는 피지컬 AI 기술의 흐름을 한 권으로 정리합니다. 각각의 기술을 독립된 유행어처럼 나열하지 않고, "생각하는 AI"가 실제로 "움직이는 시스템"이 되기 위해 어떤 설계 문제를 풀어야 하는지 보여줍니다.

또한 이 책은 피지컬 AI를 거대한 로봇 장비를 가진 연구자만의 영역으로 다루지 않습니다. 로봇 장비가 없는 개발자도 시뮬레이터와 오픈소스 프레임워크를 통해 이 흐름을 이해하고 실험할 수 있다는 점에 주목합니다. 행동 데이터 수집과 가공, 시뮬레이터와 디지털 트윈, 합성 데이터 생성, 모델 파인튜닝, 온디바이스 최적화까지 이어지는 개발 파이프라인을 설명하고, 16장에서는 우분투 환경에서 LeRobot 프레임워크를 활용해 피지컬 AI 실습을 시작하는 방법도 간단히 소개합니다.

엔비디아 GR00T, 제미나이 로보틱스, 피지컬 인텔리전스 π 계열 등 최근 주요 프로젝트를 통해 빅테크와 연구 그룹이 피지컬 AI를 어떤 구조로 설계하고 있는지도 함께 살펴봅니다. 이를 통해 독자는 단순히 개별 모델 이름을 아는 데서 그치지 않고, 앞으로 로봇 지능이 어떤 방향으로 진화할지 가늠할 수 있습니다.

이 책이 독자에게 제공하는 것은 피지컬 AI의 방향감입니다. 학생이라면 아직 풀리지 않은 연구 문제를 발견할 수 있고, 개발자라면 자신이 쌓아온 소프트웨어, 데이터, 제어, 임베디드, 로봇 시스템 경험을 어떤 방향으로 확장해야 할지 힌트를 얻을 수 있습니다. 사업가라면 앞으로 필요한 제품과 서비스가 어디에서 나올지 가늠해볼 수 있습니다.

피지컬 AI는 아직 완성된 기술이 아닙니다. 그렇기 때문에 지금 시작하는 사람에게 더 많은 기회가 열려 있습니다. 『피지컬 AI 시스템 설계』는 AI가 현실 세계로 내려오는 이 거대한 전환을 이해하기 위한 기술 지도이자, 다음 시대의 개발자가 무엇을 준비해야 하는지 보여주는 출발점입니다.

[1부. 웹과 앱을 넘어 현실로: 피지컬 AI 시대가 온다]

1장 왜 지금 빅테크는 피지컬 AI에 주목하는가
_1.1 챗봇을 넘어 현실 세계로 튀어나온 인공지능
_1.2 지금 피지컬 AI가 현실적인 기술 흐름이 된 이유
_1.3 "로봇 없이는 못 하나요?" 진입 장벽을 깨는 흔한 오해들
_1.4 정리: 피지컬 AI는 AI가 현실 세계로 내려오는 전환점이다

2장 생성형 AI가 로봇의 지능이 되는 과정
_2.1 텍스트를 생성하는 LLM과 행동을 만드는 피지컬 AI의 차이
_2.2 뇌(LLM)와 눈(VLM)이 합쳐져 로봇 지능을 바꾸는 원리
_2.3 인공지능이 현실 세계와 상호작용하는 프로세스
_2.4 정리: 생성형 AI의 지능은 어떻게 행동으로 이어지는가

[2부. 생각에서 행동으로: 피지컬 AI 핵심 아키텍처 이해하기]

3장 LLM 플래닝: 사람의 말을 실제 행동으로 바꾸는 첫 번째 방법
_3.1 LLM을 이용한 로봇의 행동 계획 세우기
_3.2 계획하는 모델에서 보는 모델로: PaLM-E의 멀티모달 확장
_3.3 함수 호출과 코드 생성으로 로봇을 움직이는 방법
_3.4 정리: LLM은 로봇의 상위 조정자로 출발했다

4장 VLA 모델의 탄생: 판단을 넘어 직접 행동하는 AI로
_4.1 계획에서 행동으로: 로봇 정책도 스케일링할 수 있을까?
_4.2 RT-1: 실제 로봇 제어도 Transformer로 스케일링할 수 있다
_4.3 RoboCat: 여러 로봇 몸체와 작업으로 확장되는 범용 정책
_4.4 RT-2: 웹 지식이 로봇 행동으로 전이되다
_4.5 정리: RT-1, RoboCat, RT-2가 만든 세 가지 전환점

5장 오픈 로봇 데이터와 범용 모델 생태계
_5.1 피지컬 AI의 성능을 좌우하는 로봇 데이터셋
_5.2 Open X-Embodiment와 Octo: 공통 데이터 위에서 움직이는 범용 모델 활용법
_5.3 OpenVLA: 오픈소스 생태계가 제어 명령에서 범용 AI(VLA)로 진화
_5.4 정리: 오픈 생태계는 피지컬 AI의 스케일링 조건이다

6장 VLA에는 왜 중간 표현과 연속 액션이 필요했을까?
_6.1 왜 이미지와 문장만으로는 실전에서 실패할까?
_6.2 RT-H: 행동 사이에 언어적 중간 표현을 두는 방법
_6.3 π0와 RDT-1B: 연속 액션을 부드럽게 생성하는 방법
_6.4 NaVILA: 이동 로봇에 계층형 구조가 필요한 이유
_6.5 정리: 단일 VLA에서 계층형 피지컬 AI로

7장 명시적 추론과 듀얼 시스템 설계
_7.1 복잡한 환경일수록 다시 '생각하는 구조'가 필요한 이유
_7.2 CoT-VLA: 행동 전에 목표 장면을 먼저 추론하는 방법
_7.3 제미나이 로보틱스: 행동 모델과 추론 모델의 분리
_7.4 GR 00T N1, π0.5: 계층형 시스템 설계가 주목받는 이유
_7.5 정리: 생각하는 층과 움직이는 층을 나누기 시작한 피지컬 AI

8장 온톨로지와 장면 그래프로 현실 세계 구조화하기
_8.1 온톨로지와 OG-RAG: 단순 검색을 넘어 구조화된 지식으로
_8.2 공간을 이해하는 AI: 3D 장면 그래프를 활용한 상위 추론 레이어 설계
_8.3 정리: 구조화된 지식 표현이 피지컬 AI에 주는 의미

[3부. 로봇 없이 시작하는 피지컬 AI 실전 개발]

9장 AI를 움직이는 행동 데이터 수집하고 가공하기
_9.1 맨땅에서 시작하는 로봇 데이터, 어디서 어떻게 수집할까?
_9.2 사람의 시연을 로봇이 이해하는 행동 데이터로 바꾸는 방법
_9.3 정리: 좋은 행동 데이터가 좋은 피지컬 AI를 만든다

10장 시뮬레이터 활용법: 로봇 장비 없이 구현하는 피지컬 AI
_10.1 디지털 트윈과 가상환경이 개발자에게 주는 이점
_10.2 가상 세계에서 물리 법칙과 센서를 재현하는 방법
_10.3 시뮬레이션으로 시간을 압축하는 병렬 학습 전략
_10.4 목적에 맞는 로봇 시뮬레이터 선택 가이드
_10.5 정리: 시뮬레이터는 피지컬 AI의 실험실이다

11장 가상환경을 데이터 공장으로: 합성 데이터 생성하기
_11.1 부족한 데이터를 채워주는 합성 데이터 생성 원리
_11.2 실제 AI 학습 파이프라인에 합성 데이터를 연결하는 방법
_11.3 정리: 합성 데이터는 실세계 데이터의 빈틈을 메운다

12장 피지컬 AI 모델 파인튜닝과 학습 전략
_12.1 백본 모델을 로봇 작업에 맞게 파인튜닝하기
_12.2 모방학습과 강화학습은 언제, 어떻게 쓸까?
_12.3 정리: 학습 전략은 데이터와 목표 작업에 따라 달라진다

13장 가볍고 빠른 온디바이스 AI 설계 전략
_13.1 온디바이스 VLA 조건 ①: 제한된 스펙에 맞는 백본 선택하기
_13.2 온디바이스 VLA 조건 ②: 행동 생성 구조를 제어 친화적으로 최적화하기
_13.3 정리: 실제 로봇에서는 성능만큼 속도와 비용이 중요하다

14장 실제 디지털 트윈 환경 구축 사례
_14.1 디지털 트윈 구축의 세 가지 접근

15장 현장 데이터로 개선되는 지속 학습 시스템
_15.1 배포된 AI가 현장 데이터를 축적하며 진화하는 구조
_15.2 실패 데이터를 다음 학습 자산으로 바꾸는 방법
_15.3 정리: 피지컬 AI는 배포 이후에도 계속 학습한다

16장 LeRobot 프레임워크로 시작하는 피지컬 AI 실습
_16.1 LeRobot이 일반 개발자의 피지컬 AI 입문에 적합한 이유
_16.2 LeRobot 프레임워크 핵심 구조와 기본 개발 파이프라인 익히기
_16.3 클론 코딩에서 나만의 프로젝트로: LeRobot 기능 확장 및 실무 활용
_16.4 정리: LeRobot은 피지컬 AI 실습의 현실적인 출발점이다

17장 빅테크의 피지컬 AI 프로젝트 핵심 구조 뜯어보기
_17.1 엔비디아 GR00T: 휴머노이드용 파운데이션 모델
_17.2 제미나이 로보틱스: 생각하는 AI를 실제 로봇 행동으로 연결하는 방식
_17.3 피지컬 인텔리전스 π 계열: 범용 로봇 정책의 실전 확장
_17.4 정리: 빅테크 사례는 피지컬 AI 시스템 설계의 종합 예시다

[4부. 피지컬 AI 시대, 넥스트 커리어 준비하기]

18장 패러다임 시프트 속에서 생존하는 개발자 커리어 전략
_18.1 엔비디아와 구글의 행보로 보는 피지컬 AI의 거대한 미래 시장
_18.2 개발자 직무의 대전환: 단순 코더에서 데이터 큐레이터로
_18.3 몸값을 높이기 위해 반드시 갖춰야 할 기술 스택
_18.4 정리: 피지컬 AI 시대의 개발자는 시스템과 데이터를 함께 설계한다

19장 피지컬 AI 개발자로 거듭나기 위한 로드맵
_19.1 주니어 및 취준생을 위한 가이드: 시장에서 먹히는 피지컬 AI 포트폴리오 만드는 법
_19.2 현업 SW 개발자를 위한 가이드: 기존 백엔드·풀스택 역량에 AI 지능을 더하는 공부법
_19.3 정리: 피지컬 AI 커리어는 작은 시스템을 끝까지 만들어보는 데서 시작된다

엥지유니버스 국내 기업에서 근무하는 현직 로봇 개발자. 시중에서 판매되는 B2C 로봇 제품부터 물류 현장과 제조 현장에서 활용되는 산업용 로봇 제품까지, 현재까지 10종 이상의 다양한 로봇 시스템 개발에 참여해왔다.
로봇 개발을 업으로 삼고 있지만, 지금의 로봇이 과연 충분히 큰 시장을 만들고 현장의 생산성을 근본적으로 바꿀 수 있을지에 대해서는 회의적이었다. 그러던 중 OpenAI의 챗GPT를 필두로 한 대규모 언어 모델과 생성형 AI 기술의 발전을 보며, 이 기술이 로봇의 오래된 한계를 풀어줄 중요한 실마리가 될 수 있다고 생각했다. 이후 피지컬 AI와 관련된 연구와 산업 흐름을 추적하기 시작했고, 그 내용을 유튜브 채널 '엥지유니버스'에 정리해왔다.
아직 피지컬 AI는 하나의 정답으로 수렴된 기술이 아니다. 그렇기 때문에 이 분야의 핵심 돌파구가 모델 아키텍처의 혁신에서 올지, 대규모 로봇 데이터 획득 전략에서 올지, 시뮬레이션과 현실을 연결하는 새로운 학습 구조에서 올지에 주목하고 있다.