증강 현실 가상 현실과 공간 컴퓨팅(게임 개발 프로그래밍)

■ 예술과 디자인: 공간 컴퓨팅, 디자인 상호작용, 인간 중심 상호작용과 감각 디자인, 디지털 예술을 위한 콘텐츠 제작 도구 등을 탐구한다.
■ 기술 개발: ARkit, ARCore, 공간 매핑 기반 시스템의 차이점을 검토한다. 헤드마운트 디스플레이를 사용한 크로스 플랫폼 개발에 대한 접근 방법을 배운다.
■ 사용 사례: 공간 컴퓨팅, 교육, 스포츠, 건강, 기타 엔터프라이즈 응용 프로그램에서 데이터와 머신러닝 시각화 및 Al의 작동 방식을 알아본다.

★ 이 책의 구성 ★

아직도 표준이 만들어지고 있는 현 상황에서 독자에게 서로 다른 세 분야인 예술과 디자인, 기술 사례, 실제 사용 사례를 망라하는 개요를 제공해 테크놀로지의 발달 과정, 오늘날의 공간 컴퓨팅, 미래의 가능성을 소개한다.

예술과 디자인
공간 컴퓨팅은 3D 공간의 최적화와 작업을 이해하는 방식에서 시작된다는 점이 다른 이전 컴퓨팅 매체와 뚜렷이 다르며 사용자 경험에 모든 초점을 맞춘다. 따라서 책의 서두에는 디자인, 예술, 실제 콘텐츠 제작도구의 기반에 초점을 맞춰야 했다. 먼저 티모니 웨스트(Timoni West)(유니티의 연구 책임자)가 광범위한 공간 컴퓨팅의 상세한 역사와 디자인을 설명하며, 실카미 에스닉스(Silka Miesnieks)(어도비의 신규 디자인 책임자)가 새로운 기술 패러다임에서의 인간 중심 상호작용과 감각 디자인을 설명한다. 그런 다음 전문 3D 예술가이자 기업가에서 벤처 투자가로 변신한 티파탯 첸나바신(Tipatat Chennavasin)의 콘텐츠 제작이 이어지며, 이에 더불어 전문 3D 예술가이자 마케팅 리더인 재즈민 카노(Jazmin Cano)가 다양한 플랫폼에 맞춰 에셋을 최적화하고자 하는 예술가를 위해 설명을 이어간다.
기술 개발
2부에서는 기술 기반에 중점을 두고 AR 클라우드 시대의 여명기에 있는 하드웨어와 소프트웨어 개발을 이해할 수 있도록 컴퓨터 비전의 선구자이자 6D.ai의 공동 창립자인 빅터 프리사카리우(Victor Prisacariu)(옥스퍼드 비전 랩) 교수와 매트 미에스닉스(Matt Miesnieks)가 상세히 토론한다.
하드웨어, 컴퓨터 비전(SLAM) 알고리즘이 어떻게 기능하는지, 이 분야에 새로 진입하는 크리에이터가 AR 클라우드를 활용하는 성공적인 애플리케이션과 경험을 만들려면 어떤 기술적 벤치마크와 (어떤 HMD용으로 개발할 것인지에 대한) 사업적 결정을 프레임워크로 써야 할지 등의 기본 원칙을 깊이 있게 이해하도록 돕는다. 또한 ARKit과 ARCore를 상세히 비교한다.
공동 편집자이자 매직립과 어크로스XR(Across XR)의 스티브 루카스(Steve Lukas), 바산스 모한(Vasanth Mohan), VRTK의 하비볼(Harvey Ball)이 역시 VRTK의 개발자이자 열렬한 옹호자인 클로라마 도르빌리아스(Clorama Dorvilias)와 함께 개발한 오픈소스 소프트웨어 라이브러리를 포함해 크로스 플랫폼 오픈소스 개발에 관련된 훌륭한 저작도 포함됐다.
게임을 만들기 시작하는 개발자나 ARKit과 AR 클라우드를 활용해 iOS와 안드로이드 애플리케이션을 만드는 모바일 개발자라면 여기에서 많은 것을 배울 수 있을 것이다.

★ 옮긴이의 말 ★

코로나로 인해 도래한 '언택트' 시대, 비대면 상호작용은 그 어느 때보다 중요해졌습니다. 인간은 본질적으로 사회적 동물이며, 다른 인간과의 면대면 소통은 인류의 삶을 구성해온 근간입니다. 마주하지 않고서도 가능한 한 실제에 가까운 면대면 소통을 하고자 다양한 커뮤니케이션 도구가 개발되고 있습니다.
AR/VR은 이러한 시대적 흐름에 잘 부합하는 인터랙션 플랫폼입니다. 게임과 엔터테인먼트 분야에서 주로 활용돼 왔지만, 기술의 발전을 예상할 때 AR/VR이 제공할 수 있는 사용자 경험은 무궁무진합니다. 단순한 일상 소통뿐 아니라 다양한 공간에 대한 추체험, 세심한 케어가 필요한 돌봄 서비스, 회사에서의 트레이닝에 이르기까지 인간의 오감과 전신을 활용하는 면대면 소통에 가장 근접하는 경험을 제공할 수 있는 도구가 AR/VR입니다.
AR/VR 분야의 지속적인 발전을 예견하며 기대하는 입장에서는 지식의 최전선에서 가져온 풍성한 정보를 한국의 독자들과 공유할 수 있어 기쁘게 생각합니다. 저 역시 이 책을 번역하며, 제 전문 분야인 인간-컴퓨터 상호작용과 UX를 넘어서서 인식의 지평을 크게 넓힐 수 있었습니다. 모쪼록 AR/VR에 대해 지녔던 궁금증을 해갈하는 데 이 책이 일말의 도움이 될 수 있기를 빕니다.

김서경

21세기는 어쩌면 스마트폰의 시대라고 불릴 수도 있겠다. 남은 80년 동안 얼마나 눈부신 기술 발전이 우리가 사는 세상을 또 다른 모습으로 뒤바꿔 놓을지 아직 알 수 없지만, 적어도 지난 20년 동안 내 손을 거쳐간 아이폰 3부터 지금의 최신모델에 이르기까지 스마트폰을 손에 쥔 이래 내가 경험하는 세계는 일괄적으로 배포되는 정보를 그대로 받아들이기보다는 선별해서 소비할 수 있게 됐고, 형식 역시 개인 맞춤형 앱을 통해, 화면 혹은 손목의 스마트워치라는 렌즈를 통해 필터링돼 들어오고 있다.
하지만 내가 2020년 지금 21세기가 스마트폰의 시대라고 정의하는 이유는 다름 아니라 스마트폰만큼 혁신적으로 우리의 삶에 침투해 생활의 편의를 제공하는 다른 도구가 아직 '상용화'되지 못했기 때문이다.
AR과 VR, XR 등으로 구분돼 불리는 증강 현실과 가상 현실이 누구나 갖고 있는 스마트폰 플랫폼을 통해 간단하고 몸에 걸치기에 어색하지 않은 장비를 거쳐 제공되는 세상은 어떤 모습일까? 적어도 운전 중 스마트폰을 확인하거나 보행 중 스마트폰 화면에 집중하다가 겪는 사소한 사고들이 예방되는 순기능 정도는 기대해본다.
그렇다면 상상력을 조금만 더 발휘해보자. 이 책 후반에 소개하는 여러 사용 사례(use case)를 보면 지금 있는 기술을 어떻게 다듬어 얼마나 유익한 결과를 얻을 수 있을지 힌트를 얻을 수 있을 것이다. 이런 기술은 이미 세계 곳곳에서 개발되고 있다. 문제는 보급과 상용화인데, 이 분야를 단순히 엔터테인먼트에 국한하지 않고 지금 우리가 생활에서 항상 쓰는 다양한 부분을 확장하는 방식으로 활용한다면 삶의 질이 수직 상승할 수 있을 것이다. 아주 대단하고 근사한 것일 필요는 없다.
바야흐로 언택트가 대세가 되고 있는 지금이 거리와 시간에 구애받지 않고 전문가의 도움을 받는 경험을 설계하고 개발할 최적기다. 의료 분야와 교육 및 재교육 분야에서는 특히 증강 현실 서비스로 기존 일방향 동영상 콘텐츠의 한계를 극복하고 상시 모니터링을 적용하는 등 지금과 같은 팬데믹 상황을 기술을 통해 극복하는 시도가 필요하다.
멀지 않은 장래에 SF 영화에서 흔히 보던 서비스들을 체험하고, "21세기는 멋진 신세계구나"라고 감탄하게 되길 기대해본다.

고은혜

1부. 디지털 현실과 교차하는 디자인과 예술

1장. 인간이 컴퓨터와 상호작용하는 방법
__일반적인 용어 정의
__서론
__시대로 보는 모달리티: 20세기 이전
__시대로 보는 모달리티: 제2차 세계대전을 거치며
__시대로 보는 모달리티: 제2차 세계대전 이후
__시대로 보는 모달리티: 개인 컴퓨팅의 부상
__시대로 보는 모달리티: 컴퓨터 소형화
__공간 컴퓨팅 장치에 쓰이는 모달리티의 현재
__몰입형 컴퓨팅 시스템을 위한 컨트롤러의 현재
____신체 트래킹 기술
__핸드 트래킹과 손 포즈 인식에 대한 참고 사항
____차세대 음성, 손, 하드웨어 입력


2장. 장치가 아닌 우리의 감각을 위한 디자인
__미래 전망
__감각 기술의 설명
__우리는 누구를 위해 미래를 만들고 있는가?
____디자이너와 팀이 미래에 맡을 역할
____AI에서 여성의 역할
__감각 디자인
____서론
__다섯 가지 감각 원리
____1. 직관적 경험은 다중 감각적이다
____2. 3D는 표준의 핵심이 될 것이다
____3. 디자인은 곧 물리적 성질이다
____4. 통제할 수 없는 부분까지도 디자인하라
____5. 공간 협업의 힘을 활용하라
__어도비의 AR 이야기
__결론


2부. 확장 현실이 디지털 예술을 변화시키는 방법

3장. 예술을 위한 가상 현실
__한층 자연스럽게 3D 예술 작품을 제작하는 방법
__애니메이션용 VR


4장. 3D 아트 최적화
__서론
____고려할 만한 대안
____이상적인 해결책
____위상
____구워내기
__드로우 콜
__3D 예술 제작에 VR 도구 사용
__3D 모델 구해오기와 처음부터 직접 만들기
__요약


3부. 하드웨어, SLAM 트래킹

5장. 증강 현실을 가능하게 하는 컴퓨터 비전의 작동 방식
__우리는 누구인가
__AR의 간략한 역사
__AR 플랫폼을 고르는 방법과 그 이유
____개발자에게는 어떤 플랫폼이 적절하며 그 이유는 무엇인가?
____성능은 곧 통계다
____하드웨어와 소프트웨어 통합
____광학적 보정
____관성 보정
____트래킹의 미래
____AR 컴퓨터 비전의 미래
__매핑
____멀티플레이어 AR은 어떻게 작동하는가?
____어려운 부분은 무엇인가?
____재로컬라이징은 어떻게 작동하는가?
____이 분야 연구에서 (특히 소비자가 경험할 수 있는) 최신 기술은 무엇인가?
____재로컬라이징 문제를 소비자가 실제로 해결할 수 있는가?
____그냥 구글이나 애플이 이 문제를 해결할 수는 없는가?
____재로컬라이징 != 멀티플레이어: 사실 그 이상으로 중요한...
____앱에서는 재로컬라이징이 실제로 어떻게 이뤄지고 있는가?
__플랫폼
____애플의 ARKit
____Some Mysteries Explained
____ARCore는 그냥 경량 탱고 아닌가?
____이제 ARCore로 개발해야 하는가?
____탱고, 홀로렌즈, 부포리아 외의 다른 AR은 어떤가?
__개발 시에 고려해야 할 기타 사항
____조명
____멀티플레이어 AR? 왜 이렇게 어려운가?
____AR은 어떻게 사람들을 연결하는가?
____AR 앱은 어떻게 세상과 연결되며, 어떻게 자기 위치를 알 수 있는가?
____어떻게 AR 앱이 현실 세계의 사물을 이해하고 연결하게끔 할 수 있는가?
__AR 클라우드
____AR 클라우드를 생각할 때 내가 전망하는 것
____AR 클라우드가 그다지도 중요한가?
____AR 클라우드란 게 대체 무엇인가?
____ARKit와 ARCore에 대한 언론의 반응은 왜 그렇게 시원찮은가?
____훌륭한 AR 앱을 만들기 위해 무엇이 빠져 있는가?
____오늘날의 모바일 클라우드는 분야에 따라 달라지는가?
____AR 클라우드 없이 ARKit(또는 ARCore)를 사용할 수는 없는가?
____AR 클라우드의 서막
____더 큰 그림: 개인 정보와 AR 클라우드 데이터
__용어 사전


4부. 크로스 플랫폼 증강 현실과 가상 현실 창조

6장. 가상 현실과 증강 현실: 크로스 플랫폼 이론
__왜 크로스 플랫폼인가?
__게임 엔진의 역할
__3D 그래픽 이해
____가상 카메라
____자유도
__비디오 게임 디자인으로 보는 이식성
__컨트롤러 입력 단순화
____개발 1단계: 기본 인터페이스 디자인
____개발 2단계: 플랫폼 통합
__요약


7장. 가상 현실 툴킷: 커뮤니티를 위한 오픈소스 프레임워크
__VRTK란 무엇이며 사람들이 왜 사용하는가?
__VRTK의 역사
__스팀VR 유니티 툴킷에 온 것을 환영한다
__VRTK v4
__VRTK의 미래
__VRTK의 성공
____VRTK 4 시작


8장. 가상 현실과 증강 현실을 개발하는 세 가지 좋은 방법
__가상 현실과 증강 현실을 개발하는 일은 어렵다
__로코모션 다루기
____VR에서의 로코모션
____AR에서의 로코모션
__효과적인 오디오 사용
____VR에서의 오디오
____AR에서의 오디오
__공통적인 상호작용 패러다임
____VR에서의 인벤토리
____증강 현실 레이캐스트
__결론


5부. 데이터로 더 잘 표현하기: 공간 컴퓨팅에서의 데이터 시각화와 인공지능

9장. 공간 컴퓨팅에서의 데이터와 머신러닝 시각화 디자인 및 개발
__서론
__데이터 시각화 이해
__공간 컴퓨팅에서의 데이터와 머신러닝 시각화 원칙
__공간 컴퓨팅에서 데이터와 신러닝 시각화가 작동하는 이유
____XR의 출현에 따른 데이터 시각화 디자인의 진화 과정
____XR로 표현된 2D와 3D 데이터
__공간 컴퓨팅에서의 2D 데이터 시각화와 3D 데이터 시각화
__공간 컴퓨팅 내 데이터 시각화의 상호작용성
__애니메이션
__데이터 시각화 디자인에서의 실패
__우수한 데이터 시각화 디자인은 3D 공간을 최적화한다
__시간 절약은 단순성과도 같다
__데이터 표현, 인포그래픽, 상호작용
____데이터 시각화의 자격
__데이터 시각화와 빅데이터/머신러닝 시각화 간 차이 정의
__데이터 시각화를 제작하는 방법: 데이터 시각화를 생성하는 파이프라인
__웹XR: 웹용 데이터 시각화 구축
__XR에서의 데이터 시각화 문제
__업계에서의 데이터 시각화 사용 사례
__실제 데이터의 3D 재구성과 직접적인 조작: XR에서 보는 해부학적 구조
____글래스 브레인 자세히 살펴보기
____TVA 서그의 의료 영상 VR 모듈
__모든 사람을 위한 데이터 시각화: XR의 오픈소스 기반 데이터 시각화
__단백질 데이터 시각화
__실습용 자습서: 공간 컴퓨팅에서 데이터 시각화 만들기
__데이터 시각화를 만드는 방법: 리소스
__결론
__참고 자료
__리소스
____데이터 시각화 도구
____머신러닝 시각화 도구
____데이터 저널리즘 시각화
__용어 사전


10장. 캐릭터 AI와 행동 양식
__서론
__행동 양식
__현재의 적용법: 반응형 AI
____적용성
____복잡성과 보편성
____실효성
__시스템을 더 지능적으로: 숙고형 AI
__머신러닝
____강화학습
____심층 강화학습
____모방학습
____자율 플래닝과 머신러닝 결합
____적용
__결론
__참고 자료


6부. 체화 현실의 사용 사례

11장. 헬스케어 기술 생태계의 가상 현실과 증강 현실
__VR/AR 헬스 기술 애플리케이션 디자인
__표준 UX는 직관적이지 않다
____조용한 환경 선택
____편의성
__튜토리얼: 인사이트의 파킨슨병 실험
____인사이트의 역할
____인사이트의 구성
__기업
____계획과 지도
____의학 교육용 체험 설계
____환자의 사용을 위한 체험 설계
____예방 의학
__학계의 선도적 사례 연구


12장. 팬의 관점에서 본 스포츠 XR
__서문
__파트 1: 스포츠 AR과 VR의 핵심 원칙 5가지
____라이브란 환상이다
__파트 2: 스포츠 경험의 새로운 혁명
__파트 3: 미래 개척
____소유권
____마치며
__결론


13장. 가상 현실의 기업 현장 훈련 사례
__서문: 기업 현장 훈련의 중요성
__VR 훈련은 효과가 있는가?
__사례: 침수 가옥 훈련
__VR 훈련이 적합한 부분은? R.I.D.E.
__좋은 VR 훈련을 만들려면?
__360도 동영상
____360도 동영상의 장점
____360도 동영상의 난제
____360도 동영상에서의 상호작용
__사례: 작업 현장 훈련
__내러티브의 역할
__사례: 상점털이 강도 대비 훈련
__XR 경험의 미래: 360도 동영상을 넘어
____컴퓨터 그래픽
__사례: 대면 스킬 훈련
__미래: 포토그라메트리
__미래: 라이트 필드
__미래: AR 훈련
__미래: 음성 인식
__미래: 이상적인 훈련 시나리오
__참고 자료

에린 팡길리넌 USF 데이터 인스티튜트(USF Data Institute)의 딥러닝 프로그램에서 다이버시티 펠로우(Diversity Fellow)로 재직하고 있다. 실리콘밸리 출신으로 UC버클리 동문이자 컴퓨팅 디자이너와 소프트웨어 엔지니어를 겸하며, 스타트업 컨설턴트이기도 하다. 이 책의 수석 공동 편집자이자 기고자로서 이 집필 프로젝트를 개념화했으며, 데이터와 머신러닝 시각화 디자인 및 개발에 관한 장에 기여했다.
2017년에는 앞서 언급한 프로그램에서 다이버시티 펠로우로 선정됐으며, 2018년에는 오큘러스 런치패드(Oculus Launch Pad)의 펠로우로 선정됐다. 2015년 이래 교육과 전문 개발에 중점을 둔 두 개의 다이버시티 앤 인클루전(diversity and inclusion) 관련 비영리단체, 여성과 저소득층 커뮤니티를 지원하는 AR VR 아카데미, STEAM(과학, 기술, 공학, 예술, 수학을 아우르는 명칭) FASTER에서의 필리핀계 미국인 공동체를 공동으로 설립하고 확장했다. 이전의 시민 활동 경력을 십분 살려 전 미국 상무부 차관인 로 칸나(Ro Khanna)와 테크 포 오바마(Tech For Obama) 창립자인 스티브 스피너(Steve Spinner)의 공식 캠페인 스태프로 일했다. 트위터(@erinjerri)와 온라인(erinjerri.com)에서 만나볼 수 있다.