확장현실

확장현실 또는 XR(eXtended Reality)이란 가상현실(VR)과 증강현실(AR), 혼합현실(MR)이 연계된 현실을 의미한다.

개요

확장현실(XR)은 가상현실, 증강현실, 혼합현실이 연계된 현실을 의미한다. 가상현실(VR)이 360도 영상을 바탕으로 새로운 현실을 경험하도록 하는 기술이라면, 증강현실(AR)은 실제 사물 위에 컴퓨터그래픽(CG)을 통해 정보와 콘텐츠를 표시한다. 확장현실 이 두 기술이 각자 단점을 보완하면서 상호진화를 한 결과물이다. 사용자는 가상현실이나 증강현실 기술을 활용하거나 혼합해 자유롭게 선택할 수 있다. 예를 들어 마이크로소프트(Microsoft)에서 개발한 홀로렌즈의 경우 안경 형태로 현실 공간과 사물 정보를 파악해 3차원을 표시해 확장현실을 보여준다. 확장현실은 교육, 헬스케어, 제조업 등 다양한 분야에 적용될 전망이다. 확장현실을 현실화하기 위해선 대용량의 실시간 3D 영상을 표시하기 위해 고성능 컴퓨팅 능력과 그래픽 처리 성능이 필요하다. 또 5G 이동통신과 같이 대용량 데이터를 초저지연으로 효과 높게 전송하기 위한 기술도 필요하다.

연계

가상현실

가상현실(VR)은 실제와 유사하지만, 실제가 아닌 인공 환경이다. 컴퓨터 등을 사용한 인공적인 기술로 실제와는 유사하지만, 실제가 아닌 환경이나 상황을 만들어 사용자의 오감을 자극하며 실제와 유사한 공간적, 시간적 체험을 하게 함으로써 현실과 가상의 경계를 자유롭게 드나들게 한다. 또한 실재하는 디바이스를 이용하여 조작이나 명령을 내리는 등 가상현실 속과 상호작용이 가능하다. 가상현실을 구성하는 데 필요한 요소는 3차원의 공간성, 실시간 상호작용성, 몰입 등이 있다. 3차원 공간성은 사용자가 최대한 유사한 경험을 할 수 있는 가상공간을 만들어 내기 위해 물리적 활동 및 명령을 컴퓨터에 입력하고 그것을 3차원의 유사공간으로 출력하는 요소이다. 3차원 공간을 실시간으로 출력하기 위해 컴퓨터와 키보드, 마우스, 조이스틱 등 여러 장비를 통해 사용자는 가상현실에 더욱 몰입할 수 있다.

증강현실

증강현실(AR)은 실제 환경에 가상의 사물이나 정보를 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 현실 세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여준다. 실제 환경과 가상의 객체가 혼합된 증강현실 기술은 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 기존의 가상현실은 가상의 공간과 사물만을 대상으로 하지만, 증강현실은 현실 세계에 가상의 사물을 합성하여 현실의 효과를 더욱 증가시키는 점이 특징이다. 때문에 단순히 게임과 같은 분야에서만 한정된 적용이 가능한 기존의 가상현실과 달리, 증강현실은 다양한 현실 환경에 응용이 가능하다. 특히, 증강현실은 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.

혼합현실

혼합현실(MR)은 1994년 토론토 대학교의 폴 밀그램(Paul Milgram) 교수가 처음 현실-가상 연속계(Reality-Virtuality continuum)로 정의한 개념이다. 혼합현실은 쉽게 말해 증강현실과 증강가상현실을 포함하는 기술이라고 할 수 있다. 기술적으로는 현실과 증강현실 그리고 가상현실의 요소를 모두 혼합하기 때문이다. 가상현실은 현실세계와 관련이 없이 가상의 공간에서 이미지를 보여주고, 증강현실은 현실세계 위에 가상 이미지를 올려서 겹쳐서 보여주지만, 혼합현실은 현실 세계를 바탕으로 현실과 가상의 정보를 혼합하여 기존보다 더욱 진화된 가상세계를 구현하는 기술이다. 혼합현실은 가상현실과 증강현실의 장점은 결합하고 단점을 보완하는 차세대 기술로 각광 받으며 등장했다. 혼합현실은 가상현실이 주는 이질감을 완화하고 증강현실의 낮은 몰입도를 개선하여 가상의 이미지가 현실의 일부인 것처럼 느껴져 현실과 가상이 자연히 연결된 스마트 환경을 제공하여 사용자들이 풍부한 체험을 즐길 수 있게 사용자와의 인터랙션을 더욱 강화했기 때문이다. 가상현실은 실제 현실과 흡사하게 느끼도록 몰입도를 주지만 인지부조화로 사이버 멀미, 두통 등이 발생했다. 증강현실은 현실의 정보를 쉽고 빠르게 접한다는 장점이 있지만 특정장치를 이용해야만 구현되어 몰입도 측면에서 한계가 발생한다. 혼합현실은 현실과 가상을 균형 있게 융합하여 새로운 플랫폼으로 몰입감을 높이면서 효과적인 정보 전달이 가능하여 일상생활부터 산업 분야까지 다방면으로 활용이 가능하다.

필요 요소

확장현실을 위한 필요 기술로는 소프트웨어와 하드웨어가 있다. 모바일기기의 발전에 따라 확장현실 기술은 모바일 위주로 발전하고 있으며, 입출력 인터페이스, GPS를 활용한 위치정보 활용 기술, 카메라를 통한 영상인식, 조작, 정합 기술, 센서 기술, 3D 가속화 등의 분야에서 많은 연구 개발들이 진행되고 있다.

기술 구분	요소 기술	설 명
하드웨어 기술	입력 인터페이스	사용자 동작을 인식하여 의도를 전달하기 위한 제스처 동작 인식 기술 음성으로 사용자의 의도를 전달하는 음성인식 기술 몰입감 향상을 위해 주변 환경을 자율적이고 지능적으로 인식하는 상황인식 기술
	출력 인터페이스	가상/증강현실의 가상 객체 및 배경을 출력하는 디스플레이 장치 임장감과 몰입감을 위해 해상도 및 밝기가 중요
	컴퓨팅 장치	헤드 마운티드 디스플레이(HMD), GPU, 디스플레이, 자이로센서, 가속센서
소프트웨어 기술	추적 및 정합 기술	센서기반 추적 기술: GPS, 디지털 나침판, 가속도 센서, 자이로 센서 등을 이용하여 사물의 위치와 움직임, 속도, 방향 등을 정밀하게 추적 비전 기반 추적 기술: 마커 기반 방식과 비마커 기반 방식, 사물 인식/이미지 매칭 기반 방식으로 구분 하이브리드 추적 기술: 센서 기반과 비전 기반 추적 기술을 복합적으로사용하는 방식을 통칭
	음성인식 기술	패턴인식에서 파생된 자동음성인식(ASR)이 핵심기술 인공지능을 활용하는 자연어처리(NLP) 네트워크 고도화/클라우드 발전으로 데이터 마이닝/빅데이터 운용 용이 → 자동음성인식 기술의 정확도 향상
	상호작용 및 사용자 인터페이스 기술	제스처 기반 방식: 터치스크린 및 가속도 센서 등을 이용하여 다양한 제스처에 의한 상호작용을 가능하도록 하는 방식 촉감형 AR: 실제로 물건을 만지고 느끼고 잡고 옮기는 등의 행위를 통해 상호작용을 하는 방식으로 현실 공간과 가상공간 사이에 벽이 없이 상호연결이 되는 몰입감 제공 가능 협력형 AR: 다수의 사용자와 지속적으로 상호작용을 하는 방식으로, 하이브리드 AR 인터페이스는 다수의 상호작용 인터페이스가 복합적으로 결합된 형태임
	위치기반 서비스 기술	사용자 및 현실 세계 객체의 위치를 확인하는 기술로 보다 정밀한 위치정보 획득이 중요한데, GPS 인공위성 이용, 이동통신 환경 이용, 와이파이나 블루투스와 같이 근거리 무선통신 기술을 이용하는 방법 등이 있음 와이파이 무선랜은 2~5m, 블루투스는 1~10m, RFID는 20m, UWB는 30cm, 적외선 IR은 10~30cm, IrDA는 1~3m 정도의 위치 정확도를 가짐
	지능형 검색 기술	사용자 상황에 맞고 이미지, 위치, 영상, 사운드 등을 검색 조건으로 하는 새롭고 진화된 검색 인터페이스 스마트폰 카메라로 입력되는 실세계 정보가 검색 조건으로 전송되고, 검색 결과를 처리한 정보들이 부가 정보로 합성되어 나타나는 증강현실 기반의 검색 기술들도 등장하고 있음

컴퓨터 그래픽

혼합현실을 구현하기 위해서는 가상 객체를 컴퓨터로 생성한 후, 사용자의 시선 변화 혹은 움직임을 추적해 가며 가상 객체 및 배경에 움직임을 부여하고, 사용자와 동기화시켜야 한다. 가상객체 생성과 움직임 동기화에는 상당한 컴퓨팅 그래픽 작업이 요구된다. 이때 해상도, FPS(frame per second), 그리고 가상 객체 모델에 대한 복잡도가 가상현실에 대한 요구사항을 결정하게 된다. 일반 컴퓨팅 파워의 발전이 2010년부터 매년 1.1배씩 증가한 반면, GPU 컴퓨팅 성능은 매년 1.5배씩 증가하여, 2025년에는 2018년의 1,000배에 이를 것으로 예상된다.

6 DoF

DoF(Degree of Freedom)는 움직이는 물체의 자유도를 의미한다. 1DoF는 앞/뒤 이동, 2DoF는 좌/우 이동, 3DoF는 상/하 운동을 포함하며, 360도 영상이 이에 해당된다. 3DOF가 평면적 운동을 하는 자동차라고 가정하면, 6DoF는 3차원 운동을 하는 항공비행체에 해당한다. 4DoF는 X축을 중심으로 앞/뒤 기울기를 나타내는 피치(Pitch), 5DoF는 와이축을 중심으로 한쪽에서 다른 쪽으로 기우는 롤(Roll), 그리고 6DoF는 Z축을 중심으로 좌/우 회전하는 요우(Yaw)로 구성된다.

PPI 및 PPD

PPI(Pixel per Inch)는 인치당 픽셀 수를 나타내는 용어로써 HMD 영상의 밀집도를 나타내는 용어로 사용된다. 보통 전면 화면에 더 높은 PPI 화면을 구현한다. 그러나 눈을 돌려서 다른 방향을 볼 때, PPI가 낮은 가상 화면이 보여서 눈의 피로도가 높아지는 문제가 발생된다. 따라서 최근에는 사용자의 눈이 향하는 각도에서의 화면 밀집도를 의미하는 PPD(Pixel per Degree)라는 용어가 등장하였다.

기타

• 디스플레이 : 확장현실은 풍부한 시각적 콘텐츠와 가상과 현실 세계를 자연스럽게 전환 할 수 있게 만드는 혁신적인 디스플레이 기술을 필요로 한다. 혼합현실 디스플레이는 편안하고 내구성이 뛰어나야 하는 것 외에도 서로 상이한 거리에 있는 두 물체에 초점을 맞출 때 피로감과 불편함을 느끼게 되는 수렴-조절 불일치 현상의 해결과 디스플레이 시야각(FOV) 확대, 픽셀 밀도와 프레임 속도의 향상, 화면 밝기 개선, 동일 디스플레이에서 애플리케이션의 화면 불투명도 조절이 필요하다.
• 공통 조명 : 확장현실을 실현하기 위해서는 가상의 물체를 증강된 세계에서 시각적으로 실체 물체와 구분할 수 없게 만들어야하는데 실제 물체에 적용된 조명효과를 가상물체에 동일하게 제공하기 위한 컴퓨터 비전과 3D 그래픽 분야의 통합이 필요하다.
• 모션 트래킹 : 확장현실 글래스와 직관적으로 상호작용하면서 몰입감 넘치는 경험을 제공하기 위해서는 확장현실 글래스 상에서 지능적으로 사용자의 머리, 손, 눈을 트래킹하는 기술이 필요하다. 머리는 가상현실 MTP(Motion to Photon) 지연 조건을 충족시키기 위해 6-자유도 헤드 트래킹 기술이 필요하다. 손은 컨트롤러 없이 사람의 손으로 움직임을 컨트롤하기 위해 증강현실 모드에서 손을 추적하고 이를 가상현실 모드에서 가상의 손을 생성하는 것이 필요하다. 마지막으로 눈은 눈의 움직임 추적하여 동공사이의 거리(IPD)를 자동 계산하는 기술, 시각적 품질을 높여주는 3D 그래픽, 눈의 초점이 향하는 부분은 고해상도로 구현하고 나머지 배경은 저해상도로 처리하는 방식으로 그래픽 처리량을 줄이는 비디오 포비티드 렌터링 기술이 필요하다.
• 전력 및 발열 : 혼합현실 글래스는 전력 및 발열 관점에서 제약 조건이 많아서 상시 동작하고 집중적인 컴퓨팅 작업 부하를 수용해야 하는 저전력 이기종 컴퓨팅 성능, 배터리 기술, 재료 과학, 소프트웨어 효율성 및 표준화 등이 개선된 하드웨어 및 소프트웨어를 장착이 필요하다.
• 연결성 : 확장현실은 인터넷과 클라우드의 연결이 유지되어야 한다. 이 연결을 보다 안전하게 유지하기 위해서 6-자유도 비디오 경험 구현, 스트리밍 확장현실 비디오의 인터랙션 속도를 향상을 필요한데 이를 위해서 멀티 기가비트 처리량과, 무선 지연시간을 1/100초까지 낮춘 연결성이 필요하다.

활용 사례

국내

제조

확장현실(XR)은 국내 제조업 현장에서 현장 작업자와 원격지 전문가를 연결하는 원격협업 솔루션으로 유용하게 활용되고 있다. 현장 작업자는 증강현실 글래스(AR Glass)나 스마트폰을 통해 원격 전문가에게 실시간으로 현장 상황을 공유하고 문제 해결에 필요한 지원을 받을 수 있다. 석유 화학공장을 운영하는 한화토탈㈜은 코로나19로 인해 해외 정비사 입국이 어려워지자 증강현실 원격협업 서비스를 도입하였다. 기술지원을 위한 해외 정비사 출장 시에는 2억 원 정도의 출장비가 소요되나, 증강현실 솔루션을 도입하면서 2천만 원으로 해외 기술지원이 가능하다. 또한, 증강현실 기술은 현장 작업자에게 설비 조작, 위치안내, 재난안전관리 정보를 제공하여 오작업 방지 및 업무 효율성 향상에 도움을 줄 수 있다. 증강지능의 산업용 증강현실 내비게이션 플랫폼은 스마트팩토리와 항공기 유지관리 분야의 증강현실 작업 가이드를 제공한다. 작업자가 착용한 증강현실 기기를 통해 작업 상황에 대한 부품의 조립 위치·순서·방법 등의 정보를 작업자의 시각 내에 자동으로 투영하여 작업 효율을 높일 수 있다. 확장현실은 재난, 설비 고장 등 특정 현장 상황에 대응하는 훈련은 직원의 안전과 직무 전문성 향상에 반드시 필요하지만, 훈련 설비 구축 부담이 크고 비대면 상황에서는 운영이 어렵다. 가상현실을 활용하면 다양한 시나리오로 가상의 훈련 환경을 조성하고 안전하게 직무교육이 가능하다. 이외에도, 지에스칼텍스㈜, ㈜포스코인재창조원, 한국가스공사 등에서 공장 공정 교육, 정비 교육, 설비 관리 교육을 위해 확장현실을 활용한 바 있다.

교육

코로나19 확산 여파로 온라인 교육이 장기화됨에 따라 효과적인 비대면 실시간 온라인 강의의 필요성이 높아지고, 몰입감 있는 가상 교육 환경 구축을 위한 시도들이 늘어나고 있다. 서틴스플로어가 개발한 가상강의실은 40명까지 동시 접속 및 실시간 원격 강의를 지원한다. 이외에도 브래니, 다림, 살린 등 다양한 기업들이 가상현실을 활용한 가상 교육 시스템을 출시하거나 개발 중이다. 한양대학교는 홀로그램(hologram)으로 구현된 실물 크기의 교수가 여러 강의실의 학생에게 동시에 강의하고 질문을 받을 수 있는 쌍방향 원격 강의를 제공하고 있다. 대면 활동을 보완할 수 있는 확장현실 활용 교육 콘텐츠 수요도 늘어나고 있다. 또한 코로나19 감염 우려로 진행이 어려운 대면 면접 교육의 대안으로 가상현실 모의 면접 프로그램 수요도 늘고 있다.

의료

국내 의료 분야에서 확장현실은 주로 의료 훈련과 재활치료를 지원하기 위한 목적으로 활용되고 있다. 테트라시그넘은 국내 가상 교육 플랫폼을 외과 교육용 콘텐츠로 개선한 비대면 의료 교육 플랫폼을 개발했다. 코로나19로 인해 해외 인력 교류가 제한적인 상황에서 분당서울대병원은 이 플랫폼을 활용하여 일본, 싱가포르, 영국 등 8개 국가 의사들이 참가하는 원격 강의·토론을 진행하였으며 원격 수술실 참관도 진행했다. 서지컬마인드는 실제 환자 대신에 인체 모형과 가상현실 기술을 활용한 의료 훈련 솔루션을 제공하고 있다. 이 외에도, 다양한 긴급 상황 시나리오를 상정하여 사용자에게 심폐소생술을 훈련할 수 있는 가상현실 솔루션도 개발되고 있다. 확장현실은 재활 훈련에도 유용하게 사용될 수 있다. 테크빌리지는 뇌질환 환자를 위한 가상현실 재활 치료 솔루션을 개발하고 있다. 뇌졸중, 파킨슨병, 뇌수술 등을 앓고 있는 환자가 가상현실 공간에서 망치질, 컵 따르기, 블록 쌓기 등 재활 훈련을 할 수 있고, 비대면 상황에서도 원격으로 진행 가능하다는 이점이 있다. 대구보건대학교의 시니어웰니스센터도 가상현실 기기와 손동작 인식 기기를 활용하여 경도인지장애 및 치매 고위험군의 인지 기능, 시지각 기능 등을 향상하는 인지 재활 콘텐츠와 뇌손상 환자를 위한 신체 재활 콘텐츠를 개발했다.

유통

코로나19 발생 이후, 소비자들이 오프라인 매장 방문 대신 온라인 가상공간에서 제품 소개 및 간접 체험을 제공하는 서비스들의 이용이 증가하고 있다. 기아자동차㈜는 출시 자동차의 내외부 디자인과 옵션 변경을 증강현실로 구현한 서비스를 출시했다. 한샘은 신제품 모델하우스를 가상현실을 통해 미리 체험할 수 있는 서비스를 제공한다. 올림플래닛은 부동산 선택에 중요한 교통, 편의시설, 아파트 외양 등의 외부 요소와 내부 인테리어 및 구조를 가상현실로 제공한다. 이 회사의 1·4분기 매출액은 전년 동기보다 3배 증가하였으며 수요층도 기존 대형 건설사에서 중소규모 건설사, 개인 건축주까지 확대되고 있다. 확장현실 기술에 인공지능 기술을 적용하여 맞춤형 제품을 추천하는 서비스도 나오고 있다. 어반베이스의 증강현실 앱은 인공지능(AI)으로 실제 공간의 사물 배치, 색상, 스타일 등을 분석하여 가구를 추천하고 선택된 가구를 증강현실로 구현하여 현실처럼 배치해 볼 수 있다. 라운즈(Rounz)는 빅데이터를 기반으로 얼굴 외양을 분석하여 유형별 선호 스타일과 유행을 반영하여 인공지능이 추천한 안경을 증강현실로 가상 착용해보며 제품을 비교할 수 있다.

문화

확장현실은 공연, 음악, 게임 등 다양한 문화 분야에서도 활용된다. 코로나19 발생 이후 온라인 공연이 늘어나면서 차별화된 공연 콘텐츠를 만들기 위한 확장현실 활용이 시도됐다. 에스엠 엔터테인먼트는 온라인 공연 무대의 연출 효과를높이기 위해 증강현실로 구현된 가상의 호랑이, 비행기를 등장시켰다. 지니뮤직은 1인칭 시점의 개인 맞춤형 공연 관람 경험을 줄 수있는 가상현실 음반을 제작했다.비대면 장기화에 따른 고립감·우울감 완화에 도움을 줄 수 있는 확장현실 관광, 게임 등 다양한 문화 콘텐츠도 늘어나고 메클라우즈의 온라인 관광 매칭 서비스에서는 서비스 이용자 요청을 받은 여행객과 가이드가 실제 여행지를 방문하여 주변 풍경을 고화질 화상 중계, 또는 가상현실 생중계로 볼 수 있게 됐다. 이용자는 여행객에게 자신이 관심 있는 특정 풍경을 실시간으로 요청해서 살펴볼 수 있어 관광지 사전 탐색으로 이용된다. 에스케이티㈜(SKT)는 증강현실 문화재 관광 콘텐츠를 비롯한 가상현실을 접목한 게임, 힐링, e-스포츠 콘텐츠를 제공한다. ㈜케이티(KT)와 ㈜엘지유플러스(LGU+)도 확장현실을 활용한 게임, 스포츠, 여행, 문화재 감상 등 콘텐츠가 다양해지면서 확장현실 콘텐츠 활용도를 높이기 위해 에스케이티와 케이티는 소비자용 가상현실 헤드 마운트 디스플레이도 제공한다.

국방

코로나19로 예비군 소집 훈련이 원격 훈련으로 전환되는 등 국방 분야는 비대면 상황에서도 확장현실을 이용한 훈련 시스템으로 전력 유지와 비용과 안전상의 문제를 완화시켰다. 저격수 가상 훈련 시스템을 활용하면 대규모 사격장이 없이도 가능한 저격 훈련과 다양한 상황이 발생하는 가상의 전투 현장 구현도 가능하다. 네비웍스가 개발한 가상현실 시가전 훈련 시스템을 활용하면 실제 시가전 훈련장을 구축하는 비용에 비해 훨씬 적은 비용으로 훈련이 가능하다. 안전 측면에서는 확장현실 기반의 영상사격기반 시뮬레이터를 사용하면 총기 오발 사고의 위험을 줄일 수 있고, 가상현실 낙하 훈련 시뮬레이터도 실제 낙하 훈련의 위험성 감소에 도움주었다.

해외

에이알키드

애플(Apple)은 2017년 9월에 에이알키트(ARKit)를 발표했다. 이후 이미지 인식과 벽면 인식이 가능한 에이알키드 1.5를 2018년 1월에 출시했으며, 증강현실 경험 강화 및 물체 인식/추적 기능이 추가된 에이알키드 2를 발표했다. 증강현실 경험 공유는 다수의 사용자들이 동시에 같은 공간을 보고 상호작용할 수 있게 해주는 것으로, 증강현실 영역을 확대하여 플랫폼으로 발전시키는 중요한 요소로 볼 수 있다. 또, 애플은 가상의 물체를 표시하기 위한 유니버셜 스캔 디스크립션(Universal Scene Description)을 지원함으로써 콘텐츠 시장에도 한 발 더 다가가는 모습을 보이고 있다.

에이알코어

비록 애플에 비해 늦었지만, 구글(Google) 역시 에이알코어(ARCore)라는 플랫폼을 발표하면서 에이알키드을 바짝 따라붙어 위협했다. 에이알코어 플랫폼은 안드로이드(Android) 기기뿐만 아니라 아이오에스(iOS) 기기에서도 동작하고 유니티(Unity), 언리얼 엔진(Unreal Engine) 등 기존 3D 개발 엔진과의 연동으로 그 범위를 빠르게 확대하고 있다. 에이알코어는 에이알키드보다 늦게 시작했지만 증강현실 경험을 공유하는 기능은 먼저 제공하였고, 바닥면뿐만 아니라 기울어진 평면까지 인식하고, 사실감을 높이기 위해 실제 환경의 광원 조건을 추측해 가상의 물체가 평면에 놓일 때 추측된 광원 조건을 고려하여 렌더링 할 수 있는 기능을 제공하는 등 증강현실 생태계에서 우위를 점하기 위해 노력하고 있다.

핸드트래킹

립모션(Leap Motion)은 자체 개발한 컨트롤러를 통해 사람의 손동작 추적 기술 핸드트래킹(Hand Tracking)을 개발한 기업이다. 단순 동작부터 손가락의 움직임까지 정확히 추적하는 기술을 가지고 있다. 정교한 손동작의 추적을 통해 가상 공간과의 상호작용이 가능해지면서 다양한 분야에서의 증강현실 및 가상현실 활용도가 더욱 높아졌다. 립모션은 자사의 손동작 추적 기술을 증강현실 및 가상현실에 적용할 수 있는 오리온 소프트웨어 개발 키트(Orion SDK) 및 유니티, 언리얼 플러그인의 제공과 하드웨어 설계 및 관련 소프트웨어를 오픈소스로 공개했다.

개선 방향

실제로 헤드 마운트 디스플레이(HMD)를 착용하고 가상현실을 경험하면 신기해하나, 10분 이상 감상 시 멀미를 호소한다. 그 이유는 가상현실 영상의 낮은 해상도, 초점이 맞지 않는 화면, 깜박이는 화면에 의한 어지러움, 낮은 음질, 그리고 사용자의 눈의 움직임을 따라오지 못하는 가상현실 영상과의 시간차에 따른 집중도 저하 등에 있다. 확장현실 사용자의 경험 만족도를 높이기 위해서는 이러한 문제들의 해결이 중요하다.

시야각

사람 눈의 기본적인 시야각은 자신의 정면 방향에서 왼쪽 눈의 법선을 기준으로 코 방향 60도, 바깥 방향 90도, 위 방향 60도, 아래 방향 60도이고, 양안을 합친 시야각은 각각 수평 180도, 수직 120도가 된다. 만약, 눈알을 굴린다면 시야각은 좌안 기준 코 방향 60도, 바깥 방향 120도, 위 방향 85도, 아래 방향 95도이며, 양안 기준으로는 수평 240도, 수직 180도까지 시야각을 늘릴 수 있다. CCTV와 같은 광학 센서들도 사람 눈처럼 상하좌우로 움직이므로 센서 자체의 시야각과 센서를 상하좌우로 움직일 때의 시야각을 구분하여 표시한다. 시야각은 센서를 상하좌우로 움직였을 때 보여지는 최대 범위를 의미하며, IFOV(Instantaneous FOV)는 센서가 가만히 있을 때 얻을 수 있는 최대 범위를 뜻한다. 대부분의 헤드 마운트 디스플레이는 좌우 95도 정도의 IFOV를 지원하며, 최근 110도의 IFOV를 지원하는 헤드 마운트 디스플레이가 선보이기 시작했다.

맞춤형 초점 디스플레이

대부분의 가상현실 기기들은 시력차에 따른 초점을 맞춰주는 기능을 제공하지 않는데, 따라서 시력이 나쁜 사람은 안경을 쓰고 봐야하는 불편함이 있다. 또한, 눈에서 기대하는 가상 영상 위치와 실제로 보여지는 위치가 쉽게 어긋나는 등 서로 다른 시각 환경에 맞게 자동으로 조정되지 못하고 있다. 초점이 안 맞거나 가상 영상 화면을 제대로 쫓아가지 못하는 사람은 구토나 어지러움, 메스꺼움을 느끼게 되는데 미국 노스웨스턴대학 명예교수인 팀 헤인은 어지럼증이 감각 불일치로 인해 발생하며 가상공간에서 움직일 때 눈과 귀, 발에서 얻어지는 모든 정보가 종합적으로 감각을 일치시켜야 어지럼증을 느끼지 않는다고 지적했다. 스탠퍼드대학 컴퓨테이셔널 이미징 연구소 고든 웨츠스타인 교수 연구팀은 다트머스대학 연구진들과 협업해 복합적인 시력 문제에 대응할 수 있는 개인화 가상현실 기술을 개발했다. 연구진은 인간의 눈이 가사옇ㄴ실 헤드셋 화면에 제대로 초점을 맞추기 어렵다는 점에 주목했다. 망원렌즈로 사진을 찍으면 피사체를 뺀 나머지가 흐릿하게 보이는 것처럼 눈은 한 대상에 초점을 맞추면 나머지 사물을 흐릿한 배경으로 처리한다. 그러나 가상현실 화면은 피사체뿐 아니라 주변 물체도 또렷하게 보이는데, 따라서 시선이 분산되고 쉽게 피로감과 어지러움을 느끼게 된다. 연구진은 액체렌즈를 사용하여 가상현실 화면의 초점을 자유롭게 변경하는 기술을 연구하였는데, 액체렌즈는 다이얼을 돌리면 화면 초점을 바꿀 수는 있었다. 망원경이 초점 거리를 조절하는 것처럼 화면 자체를 앞뒤로 움직여서 초점을 맞추게 하는 기능도 추가했으며, 시선을 추적하여 시선이 닿는 곳에 가상 이미지의 초점이 맞추어 지도록 소프트웨어적으로 추적기술도 지원하였다. 초점에 대한 튜닝이 가능한 렌즈(focus-tunable lens)를 사용하면 가상 이미지에 대한 초점을 정확하게 맞출 수 있으며, 따라서 가상현실 멀미 해결에 도움을 줄 수 있다.

전망

미래에는 스마트폰, 모바일 가상현실 헤드셋, 증강현실 글래스가 하나의 혼합현실 웨어러블기기로 통합될 것이다. 그렇게 되면, 혼합현실 글래스로 증강현실(AR)과 가상현실을 동시에 사용할 수 있게 되면서 평소에는 투명한 안경이지만 별도의 기능이 필요할 때 불투명해지면서 가상현실 모드로 전환되는 기기도 개발될 것이다. 이로인해 실감나고, 인지적이며 항상 연결된 경험을 제공하여 일상을 개선하고 풍요롭게 만들어준다. 혼합현실 글래스는 티비와 같은 일상의 여러 스크린을 대체할 수 있어서 퀄컴은 혼합현실 글래스가 향후 10년 내에 음성 및 영상 정보를 전달하는 가장 보편적인 기기가 될 것으로 예상하고 있다. 이미 많은 기업들이 확장현실 기술에 많이 뛰어들고 있다. 확장현실을 잘 표현한 마이크로소프트 홀로렌즈는 평소에는 투명한 안경일 뿐이지만 특정 상황에서 가상현실 모드로 전화되는 혼합현실 글라스 형태로 발전할 것으로 보이며 항상 연결됨으로써 사용자의 일상을 개선해 줄 것이다. 퀄컴에서는 확장현실 플랫폼인 퀄컴 스냅드래곤 엑스알1 플랫폼(Qualcomm Snapdragon XR1 platform)을 최초로 발표했으며 사용자들에게 고궐리티 확장 현실을 제공하는 제조사들의 확장현실 관련 기기를 개발하는데 지원하며 또한 인공지능 기술을 활용해 상호작용, 전력소비, 발열 효율 등을 향상시켰다. 구글이나 애플에서도 확장현실에 관심을 가지고 구글은 에이알코어(ARCore)라는 플랫폼 애플은 에이알키드(ARKit) 등 확장현실 분야를 적극적으로 투자하고 있다. 포스트 코로나 시대와 더불어 5G로 인해 모바일, 가상현실 장치들에서 확장현실이 가능해졌으며 4차 산업혁명 분야에서도 많이 사용될 것으로 전망된다.

참고자료

• 원준 승준이 아빠, 〈확장현실(XR : eXtended Reality)〉, 《네이버 블로그》, 2021-06-18
• SeonBi, 〈(메타버스) 02편 - XR(eXtended Reality)의미(AR,VR,MR)〉, 《네이버 블로그》, 2021-05-25
• 퀄컴 코리아, 〈XR(Extended Reality)시대가 온다〉, 《네이버 포스트》, 2017-07-11
• 한상열, 방문영, 〈비대면 시대의 국내 XR 활용 동향〉, 《소프트웨어정책연구소》, 2020-09-25
• 이상헌, 최선일, 김승진 프로, 〈VR, AR MR을 아우르는 XR(eXtended Reality, 확장현실) 기술동향〉, 《네이버 포스트》, 2018-12-11
• 퀄컴 코리아, 〈XR(Extended Reality)시대가 온다〉, 《네이버 포스트》, 2017-07-11
• 오잇, 〈가상현실의 끝판왕!! VR, AR, MR을 포함한 확장현실 XR(eXtended Reality)에 대해 알아보자〉, 《네이버 블로그》, 2020-07-14
• ㈜가온미디어 이상엽 수석연구원, 〈XR(Cross Reality)의 기술 개요와 동향〉, 《정보통신기술진흥센터》, 2018-12-19
• 신승훈 기자, 〈(아주 쉬운 뉴스 Q&A) 가상현실·증강현실·혼합현실·확장현실의 차이점은?〉, 《아주경제》, 2021-03-17

같이 보기

• 가상현실
• 증강현실
• 혼합현실

이 확장현실 문서는 메타버스에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

개발 : 프로그래밍, 소프트웨어, 데이터, 솔루션, 보안, 하드웨어, 컴퓨터, 사무자동화, 인터넷, 모바일, 사물인터넷, 게임, 메타버스 □■⊕, 디자인 메타버스 개념 MZ세대 • 거울세계 • 다중우주(멀티버스) • 디지털 교육 • 디지털 기술 • 디지털 트윈 • 디지털 휴먼 • 라이프로깅 • 라이프로깅 메타버스 • 마이크로버스 • 메타버스 • 메타버스 교육 • 메타버스 기술 • 메타버스 기업 • 메타버스 복권 • 메타버스 사무실 • 메타버스 서비스 • 메타버스 솔루션 • 메타버스 쇼핑 • 메타버스 쇼핑몰 • 메타버스 시대 • 메타버스 시장 • 메타버스 아트 • 메타버스 정부 • 메타버스 콘서트 • 메타버스 콘텐츠 • 메타버스 테마파크 • 메타버스 프로젝트 • 메타버스 플랫폼 • 배틀로얄 • 스마트러닝 • 엔터테인먼트 • 제트세대 • 파티로얄 가상현실 0차원 • 1차원 • 2D(2차원) • 3D(3차원) • 3D 영화 • 3D 영화관 • 4D(4차원) • 4D 영화 • 4D 영화관 • 5차원 • 11차원 • 가로 • 가상 • 가상경제 • 가상공간 • 가상부동산 • 가상사무실 • 가상세계 • 가상재화 • 가상캐릭터 • 가상현실 • 가상현실 다큐멘터리 • 가상화폐 • 개더타운 • 거리 • 곡선 • 공간 • 과거 • 구 • 길이 • 너비 • 높이 • 도형 • 디지털 지구 • 면 • 면적 • 물리공간 • 미래 • 방향 • 비현실 • 선 • 세계 • 세로 • 세상 • 시간 • 시공간 • 아날로그 지구 • 엔터테인먼트 메타버스 • 우주 • 원 • 이동 • 입체 • 점 • 증강현실 • 지구 • 직선 • 차원 • 팬덤 • 평면 • 평행우주 • 현실 • 현실세계 • 현재 • 혼합현실 • 확장현실 메타버스 기술 3D 아바타 • 3D 모델링 • 3D 스캐너 • 3D 스캐닝 • 3D 안경 • 3D 프린터 • 3D 프린팅 • 3D 협업 솔루션 • 4D 프레임 • 4D 프린팅 • AR글래스 • IVAS • VIT 솔루션 • 게임엔진 • 구글 어스 • 그리드 컴퓨팅 • 딥 인터랙티브 • 렌더링 • 립모션 • 마커 • 마커리스 • 마커리스 캡처 • 메타버스 공간 관리자 • 메타버스 크리에이터 • 모델링 • 모션캡처 • 배틀 • 버추얼 유튜버 • 본캐 • 부캐 • 분산컴퓨팅 • 수중모션캡처 • 스캔 • 스테레오스코프 • 슬램 • 아바타 • 아바타 신분증 • 아이템 • 언리얼 엔진 • 에이알코어 • 에이알키트 • 영상지도 • 위성사진 • 유니티 • 인터랙티브 • 인터랙티브 콘텐츠 • 캐릭터 • 캐릭터 스캔 • 캡처 • 퀘스트 • 크리에이터 • 특수효과 • 특징점 • 페이셜 캡처 • 페이스북 스페이스 • 프린팅 • 핸드트래킹 • 핸드캡처 • 홀로그램 • 홀로렌즈 메타버스 서비스 가상화폐 • 구글 어스 • 동물의숲 • 디센트럴랜드 • 레디 플레이어 원 • 로블록스 • 도토리 • 디센트럴랜드재단 • 린든달러 • 마나 • 마이스페이스 • 마미손 • 마인크래프트 • 매트릭스 (영화) • 메타렉스 • 메타폴리스 • 미네르바 스쿨 • 배달의 민족 • 버추얼어스 • 사이버머니 • 사이펄리 • 세컨드라이프 • 스노우 • 스노우 크래시 • 시라 • 아바타 (영화) • 아이러브스쿨 • 암호화폐 • 어메이저 • 어스2 • 업랜드 • 에어비앤비 • 엑스알스쿨 • 엑스알스포츠 • 엑스알판도라 • 옴니버스 • 웨이브 • 위즈랩 • 유니버스 • 유알비타 • 이프랜드 • 인게이지 • 인피니트 오피스 • 제페토 • 젬 • 클래스브이 • 트윈월드 • 포트나이트 • 포트나이트 콘서트 • 호라이즌 메타버스 기업 ㈜갤럭시코퍼레이션 • 네이버랩스 • 네이버제트㈜ • 더디머티리얼라이즈드 • ㈜더블미 • 린든랩 • 드레스엑스 • ㈜맥스트 • 메타버스 얼라이언스 • ㈜모인 • ㈜비브스튜디오스 • ㈜비전브이알 • ㈜빌드잇 • ㈜싸이월드 • 쓰리아이 • ㈜아이스크림미디어 • ㈜아이스크림에듀 • 아티팩트스튜디오 • ㈜알체라 • ㈜어메이저 • ㈜에이트원 • 에픽게임즈 • 오큘러스 • 와이에이치데이타베이스(YHDATABASE) • ㈜위즈스쿨 • 유니티코리아 • 유니티 테크놀로지스 • ㈜이브이알스튜디오 • 일드길드게임즈 SEA • ㈜페트라인텔리전스 • 퓨처VR랩 • ㈜프론티스 • 플러스에이㈜ • ㈜한컴인텔리전스 메타버스 인물 벤 넬슨 • 이반 서덜랜드 위키 : 자동차, 교통, 지역, 산업, 기업, 단체, 업무, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반