[유비쿼터스 컴퓨팅 개론] 3강 - 가상 현실 및 메타버스

💡해당 게시글은 방송통신대학교 정광식 교수님의 '유비쿼터스 컴퓨팅 개론' 강의를 개인 공부 목적으로 메모하였습니다.

학습 개요

---

• 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR) 기술의 발달로 현실 세계와 가상의 세계를 생생하게 시각적으로 표현하고, 이미지 화 된 객체와 상호 작용하는 기술인 메타버스를 공부함
• 가상현실의 개념 및 주요 기술을 살펴보고, 메타버스의 개념 및 플랫 폼 유형에 대해 살펴봄

학습 목표

---

• 가상성의 연속성을 통한 가상현실의 개념과 주요 기술을 이해할 수 있음
• 메타버스의 개념 및 플랫폼의 유형을 이해할 수 있음
• 가상성의 연속성을 이해할 수 있음

강의록

---

가상 현실

가상 현실(VR: Virtual Reality)

• 실제로 존재하지 않은 환경이나 상황을 컴퓨터 등으로 구현한 후 인간의 감각을 이용하여 체험하게 하는 기술
• 실제로 존재하지 않은 완전히 허구적 환경이나 상황을 가능하게 하는 기술
• 유비쿼터스 컴퓨팅 기술을 활용하여 실제로 얻기 힘들거나 혹은 아예 얻을 수 없는 경험이나 환경 등을 제공해 인체의 오감을 자극함으로써 실제와 같이 체험하게 하는 기술
  • 컴퓨터 그래픽을 이용해서 기본적으로 만들어내는 내용

증강 현실(AR: Augmented Reality)

• 단말 소프트웨어 등을 활용해 현실에 가상의 정보를 추가한 실재와 허구가 혼합된 환경을 구현하는 기술
  • 객체, 사물은 진짜인데 사물들에 대한 정보나 사용법, 유래와 같은 여러가지 정보들을 같이 제공해 주는 것
  • 현실 세계에 있는 사물들을 기반으로 해 서비스 제공
• 특정 장소에 도달하면 스마트폰으로 가상의 게임 캐릭터인 포켓몬을 잡을 수 있는 포켓몬GO 게임은 증강 현실의 대표적인 예에 해당함

가상 현실과 증강 현실

• 넓은 의미의 가상 현실은 증강 현실을 포함함
• 가상 현실은 현실의 물리적 공간과 관련성이 필수적이지 않지만, 증강 현실은 현실에 가상 정보를 추가하는 형태임
• 기술의 발달은 가상 세계를 단지 보는 것에 그치지 않고 가상 현실 속에 구현된 것들과 상호 작용을 가능하게 만듦
• 가상 현실 내에서 사용자와 상호작용이 가능하고, 그 과정에서 사용자가 새로운 경험을 할 수 있으므로 의도한 대로만 보여주는 시뮬레이션과는 구분됨
• 가상 현실에서 사용자는 현실과 단절되어 가상 세계에 몰입하지만 증강 현실은 실제 현실 속에서 현실과 연계되어 사용자를 보조하는 차이가 있음
• 가상 현실은 집중이 필요한 교육 훈련 등에, 증강 현실 기술은 현실 개체 간 상호 작용이 필요한 유통이나 서비스 산업 등에 주로 활용 됨

가상성의 연속성(Virtuality Continuum)

• 현실과 가상 세계 사이에서 가상성의 정도를 구분하기 위해 제시된 개념임
• 현실에 얼마나 많은 가상적인 요소가 포함되어 있는지를 의미하는데, 이는 단계적 개념이라기보다는 현실과 가상 세계 간에 연속적인 속성을 보임

증강 가상(Augmented Virtuality)

• 디스플레이에 보여지는 내용이 현실보다 컴퓨터 그래픽으로 만든 가상 요소의 활용이 상대적으로 더 많은 단계를 의미함
• 컴퓨터 그래픽으로만 제공된 환경을 가상 현실이라 하며, 이에 반해 증강 현실은 현실적인 요소에 비해 컴퓨터 그래픽의 활용이 상대적으로 적은 환경을 의미함
• 증강 현실은 현실 세계에 가상의 대상물을 구현하게 함으로써 실재를 대체하는 것이 아닌 실재를 보완하는 역할(인공적인 기술을 통한 가성 정보)을 함

혼합 현실(MR;Mixed Reality)

• 현실과 가상 환경 사이에 존재하는 모든 것을 의미함
• 증강 현실은 혼합 현실의 한 부류임
• 현실 세계와 가상의 대상물이 함께 존재하는 것을 의미함

360도 동영상

• 360도 전방위를 촬영한 영상을 의미함
• 가상의 대상물로 구성된 동영상이 아닌 현실을 360도로 재현한 동영상이며, 새로운 영상 정보 전달 방식이지만 가상 현실은 아님

가상 현실 주요 기술

가상 현실 기술

• 사용자가 가상 현실을 체험하고 상호 작용하는 입출력 인터페이스 기술과 콘텐츠 제작이나 서비스 제공을 위한 콘텐츠 기술로 구분 됨
• 가상현실 콘텐츠 관련 기술
  • 가상 현실 콘텐츠를 개발∙실행하기 위한 개발 엔진
  • 가상 현실 콘텐츠를 개발∙제작하기 위한 저작 도구
  • 가상 현실 콘텐츠를 사용자에게 제공하는 서비스 기술

가상 현실 입출력 기술의 특징

기술 분류	기술 설명
입력 인터페이스	사용자 동작을 인식하여 사용자 의도를 전달하는 제스처 인식 하드웨어 기술
	음성으로 사용자의 의도를 전달하는 음성 인식 기술
	BCI(Brain Computer Interaction) 등 생체 신호를 이용하여 사용자의 의도 및 상태를 인식하는 기술
	몰입감 향상을 위해 주변 환경을 자율적 · 지능적으로 인식하는 상황 인식 기술
출력 인터페이스	가상 현실을 표현하고 상호작용하기 위한 컴퓨터 그래픽스(CG) 기술, HMD(Head Mounted Display), 디스플레이 기술
	공간 내 이동과 상호 작용에 따른 입체음향 표현 및 음향을 출력하기 위한 하드웨어 기술
	몰입감 향상을 위한 촉각, 후각 등 감각 요소별 표현 기술 및 감각 유형별 디바이스 기술
	6자유도 지원 모션 축의 자유로운 움직임을 지원하는 모션 플랫폼 및 모션 하드웨어 기술

가상 현실 콘텐츠 기술의 특징

기술 분류	기술 설명
콘텐츠 개발 엔진	콘텐츠 제작에 자주 활용되는 개발 노하우나 기술, 하드웨어 API 사용법 등을 쉽게 활용할 수 있는 소프트웨어 라이브러리나 모듈의 형태로 구현해 놓은 개발 환경
	2D 및 3D 콘텐츠를 개발할 수 있는 환경, 즉 저작도구가 포함된 개발 플랫폼으로 제공
	유니티(Unity): 2D 및 3D 비디오 게임의 개발 환경을 제공하는 게임 엔진
저작 도구	하드웨어와 소프트웨어를 통합하여 가상현실 환경 구성과 응용 프로그램을 개발하는 도구 기술
	유니티 에디터(Unity Editor): 3D 애니메이션과 건축 시각화, 가상현실 등 상호작용하는 콘텐츠 제작 도구
서비스	실제 세계의 자연 규칙이 가상의 사물에도 적용되는 물리 시뮬레이션 기술
	원격지 사용자가 가상에서 콘텐츠를 공유하고 인지할 수 있는 네트워크 기반 기술
	온라인에서 가상현실 콘텐츠를 유통하고 서비스하는 플랫폼 기술

가상 현실을 위한 입출력 인터페이스

• 몰입감을 위한 입체감을 표현하기 위해 3D 입체 기술의 활용도 높음
• 상호 작용을 위한 영상 기반의 제스처 인식과 하드웨어 센서를 활용한 동작 인식 및 상황 인지 기술 등의 복합 활용
• 다양한 하드웨어와의 호환성을 가진 모션 플랫폼 기술 제공
• 네트워크 기반 기술을 활용한 지리적 공간의 제약 극복
• 스마트폰을 이용한 사용자 지원
• HMD(Head Mounted Display)와 같은 착용형 디스플레이와 제스처나 생체 신호 인식을 위한 센서 디바이스 등 하드웨어 기술
• 사용자가 이동하거나 가상 사물과 상호 작용을 지원하려면 부수적 요소 기술의 활용이 필요함
• 가상 현실을 구현하기 위해 다양한 센서로부터 데이터를 수집하고 분석하여 의미 있는 정보를 제공하는 측면에서 사물 인터넷과 기술적으로 겹치는 부분이 많음

출력 기술

• 기본 감각인 시각을 통해 정보 전달을 위한 영상 출력 인터페이스 기술로 발전함
• 현장감과 몰입감을 위해 시각 효과에서 어지러움과 모션 블러 현상을 제거하기 위한 방향으로 기술 개발
• HMD, 증강 현실 안경, 프로젝션 매핑, 홀로그램 등의 기술 개발

• 고글 형태의 가상 현실용 HMD 장치들

  

가상 현실 관련 음향 기술

• 시각과 함께 콘텐츠를 인지하는 음향 기술은 기본 감각인 청각을 통해 정보를 전달하는 기술로 시점 이동에 따른 입체 표현과 현장감 및 몰입감을 극대화할 수 있는 3D 실감 음향 기술로 발전하고 있음
• 영상에 나오는 사물의 움직임, 사용자의 움직임 등을 실시간으로 추적하고 예측함으로써 음향에 방향성을 부여하는 음향 기술임
• 헤드폰 방식
  • HMD 기기 일체형이거나 연결하는 방식으로 지원됨
    • 음향이 출력 되는 공간 제어가 가능하며 3D 실감 음향 표현이 쉬움
• 스피커 방식
  • 공간 내 음향 출력을 움직임에 따라 제어하는 기술임
    • 기술적으로 어렵지만 헤드폰 방식에 비해 입체감이 좋음

가상 현실 관련 오감 기술

• 시각, 청각 외에도 가상 현실 콘텐츠의 실감성과 몰입감 향상을 위해 오감 기술은 촉각, 후각, 미각 기관 등 오감을 자극하여 정보를 전달하는 인터페이스 기술임
• 기존에는 전용 시뮬레이터 장치로 촉각을 제공하였으나 범용성이 있는 장갑이나 슈트 같은 착용형 기기로 발전하고 있음
• 촉감 등을 포함하는 햅틱 인터페이스는 스마트폰의 진동 표현이 대표적 사례이며, 진동 강도와 패턴으로 입체감을 표현하는 수준으로 진화하고 있음
• 물체의 접촉을 통한 촉각 이외에도 압축 공기를 이용한 촉각 기반 인터페이스 개발 등 감각을 확장하는 기술도 등장하고 있음
• 디즈니 연구팀이 개발한 에어리얼(Aireal)은 인터페이스 장치로부터 사용자의 손이나 얼굴 같은 대상까지의 거리를 계산하여 링 형태의 압축 공기를 분사함으로 촉각을 느끼게 함

가상 현실 관련 모션 기술

• 가상 현실 공간에서 적절하게 움직이거나 동작을 취하면서 사실적인 체험을 할 수 있는 기술
• 공간과 비용이 최소화된 형태의 모션 플랫폼으로 발전하고 있음
• 모션 플랫폼
  • 탑승 디바이스를 전후좌우로 움직이는 기계 공학적인 기술로, 움직임에 따라 3 자유도, 6 자유도로 구분할 수 있음
  • 넓은 시야각 확보를 위한 광 시야각 HMD, 바람 체감, 입체 음향과 함께 가상 현실 영상과 동기화 된 모션이 제공되는 가상 현실 융합형 모션 플랫폼이 개발되고 있음

• ex) 가상 현실 관련 모션 기술

  

가상 현실 관련 입력 기술

• 가상 현실의 상호 작용을 실현하기 위한 인식 기능이며, 직관적인 인터페이스 활용을 위한 내추럴 사용자 인터페이스 방식(NUI)으로 진화하고 있음
• 상호 작용 인터페이스는 단일 기능을 이용하는 방식에서 음성, 동작 등의 여러 기능을 복합적으로 활용하는 멀티 모달 형태로 진화하고 있음
• 동작 인식 기술은 움직임과 동작을 추적하여 사용자의 의도를 파악하는 것이 핵심 기술 요소이며, 더욱 정밀한 추적을 위해 3D 센싱 기술 등을 활용함
• 3D 센싱
  • 카메라를 이용하여 몸, 머리, 손, 눈동자 등 추적 부위의 움직임을 인식하고 배경과 사람을 분리한 후 3D 공간 정보를 제공하는 기술임
• 착용형 형태
  • 움직임 감지가 가능한 가속도 센서, 자이로 센서 등을 디바이스 또는 사용자 신체에 직접 부착하고 이를 통해 얻은 데이터를 분석해 동작을 인식함
• 비착용형 형태
  • 손이나 몸에 디바이스를 장착하지 않고 적외선 카메라 등을 이용하여 손가락 움직임에 대한 데이터를 얻음

• 대표적인 동작 인식 기술 중 손 추적 기술의 유형은 일반적으로 착용형 형태와 비착용형 형태로 분류 할 수 있음

  

메타 버스

메타버스(Metaverse) 개요

• 메타버스는 기존의 가상 현실보다 진보된 개념으로 지금도 발전하고 잇는 개념이며, 웹과 인터넷 등의 가상 세계가 현실 세계에 흡수된 형태를 의미함

  

• 가상 현실의 몰입감을 높이기 위해 시각적 요소 뿐만 아니라 청각, 촉각, 후각 등 인간의 여러 감각 정보로 확장하는 기술까지도 포함

• 온라인 회의, 공연이나 전시회, 온라인 교육, 학회, 게임이나 엔터테인먼트 등의 분야에서 이전과 다른 접근 방식으로 사용자 층을 넓히고 있으며, 메타버스 관련 서비스는 계속 확산되고 있음

  

• 미래 가속화 연구재단(ASF)은 초기에 메타버스를 증강과 시뮬레이션, 외적인 것과 사적인 것 이라는 두 가지 기준에 따라 네가지 시나리오로 구분함
  • 현실과 가상을 결합한 증강 현실(Augmented Reality)
  • 창조된 가상 세계(Virtual Worlds)
  • 현실을 복제한 거울 세계(Mirror Worlds)
  • 사람의 일상 생활을 통해 인생을 기록하는 일상 기록(Lifelogging)

메타버스에 포함된 4개의 시나리오와 결합 관계

메타버스 개념

• 메타버스란 단어는 본래 가상, 추상을 의미하는 메타와 현실 세계를 의미하는 유니버스의 합성어임
• 메타버스에서는 가상의 인물이 가상의 사물을 이용하여 다양한 활동을 할 수 있음
  • 상호작용을 이용해 다양한 활동
• 일반 적으로는 현실 세계와 같은 사회적, 경제적 활동이 통용되는 3차원 가상 공간 정도의 의미로 사용되고 있음

메타버스 플랫폼

HTC -바이버스

• HTC의 메타버스 플랫폼인 바이버스(Viverse)
• 바이버스에서는 사용자가 아바타로 변신해 사무실에서 근무하고, 게임이나 콘서트, 쇼핑 등을 즐길 수 있음
• 인게이지(ENGAGE), VR챗(VRCHAT) 등 다른 회사의 메타버스 플랫폼과 연동되는 개방형으로 개발되었음

SK 텔레콤 - 이프랜드

• SK 텔레콤은 메타버스 플랫폼인 이프랜드(ifland)의 글로벌 버전과 헤드셋 기기 버전을 선보였음
• 이프랜드에 블록체인 기반의 NFT, 마켓 플레이스 등과 같은 경제 활동을 지원하는 시스템을 갖추어 80개국 이상에 서비스를 제공할 계획임

LG 유플러스 - 아이돌 라이브

• LG 유플러스는 K팜 확장 현실 플랫폼인 아이돌 라이브에 NFT 이용을 활성화하여 동남아시아에 이어 중동 지역과 아프리카까지 수출할 계획임

유형

• 메타버스 플랫폼은 개발 동기, 접속 목적에 따라 세가지 유형으로 분류할 수 있음
  • 소셜 기반 메타버스
  • 게임 기반 메타버스
  • 생활 · 산업 기반의 메타버스

소셜 기반 메타버스

• 소셜 미디어가 모임, 쇼핑, 게임 등이 가능한 메타버스로 발전한 형태임
• 대표적으로 제페토, 게더타운, 호라이즌 월드, 위버스 등
• 게더타운은 줌(Zoom)이나 팀즈(Teams) 같은 온라인 회의 솔루션의 일종이지만, 2D 가상 공간에 아바타를 도입함
  • 예를 들어, 사무실이라는 가상 공간을 만들고, 각 참여자는 각자의 아바타를 생성하고 가상 공간 내에 자리를 부여 받음
  • 아바타는 이동할 수 있으며, 다른 아바타에 접근하여 그 사람과 화상 채팅을 할 수 있음
  • 일대일 화상 채팅은 물론 N대N 화상 채팅도 가능함

게임 기반 메타버스

• 모바일, 컴퓨터, 콘솔용 게임이 확장하여 탄생한 것임
• 게임을 수행하는 것이 주목적이지만 소통 공간을 겸함
• 게임 제작 · 판매, 쇼핑, 공연 등 이용 형태가 계속 발전 중임
• 로플록스, 마인크래프트, 포트나이트 등이 있음

게임 기반 메타버스(로블록스)

• 오픈 월드 롤플레잉 게임인 로블록스는 무료로 플레이할 수 있음
• 블록 형태의 세상에서 이용자는 자신의 아바타를 조작하며 여러가지를 창작하고 이를 다른 이용자와 공유할 수 있음
• 기업은 플랫폼만 제공하고 그 안에서 이용자가 직접 만든 규칙에 따라 많은 이들이 상호 작용하며 점점 해당 미니 게임이 형성됨
• 마치 동네 놀이터에 모인 아이들이 나름의 규칙을 만들어서 놀이를 시작하고, 점점 그 놀이를 즐기는 아이들이 많아지는 것과 같은 사례가 수시로 펼쳐지는 셈
• 사용자가 게임을 제안하고 다른 사용자가 그 게임을 즐길 수 있는 온라인 게임 플랫폼 및 게임 제작 시스템으로 게임 뿐만 아니라 아이템 제작도 가능함
• 사용자는 이런 아이템을 로벅스라는 가상 화폐를 통해 구매할 수 있고, 프리미엄 멤버십 사용자는 아이템을 판매할 수도 있음

게임 기반 메타버스(포트나이트 배틀 로얄)

• 최후의 생존자 1인을 가리는 포트나이트 배틀로얄 슈팅 게임은 게임 내에 평화 지대를 두고, 이용자가 마음껏 소통할 수 있게 구현함
• 이 공간에서 이용자들은 적을 쏘고 쫓는 액션을 즐기는 것 뿐만 아니라 달리기를 하고 높은 곳에서 뛰어내리는 다이빙을 할 수도 있음

생활 · 산업 기반 메타버스

• 혼합 현실이나 증강 현실 등의 기술이 적용된 디바이스를 이용하여 운동, 교육 및 훈련, 시뮬레이션 등을 수행하기 위한 목적의 메타버스
• 레벨 향상 및 그에 따른 보상 시스템과 같은 게임적 요소를 접목하여 활동에 몰입할 수 있도록 함
• 마이크로소프트사의 홀로렌즈2, 닌텐도의 링피트 어드벤처, 탁스의 스마트로라인도어 사이클링 등이 있음

• 홀로렌즈2는 스마트폰이나 컴퓨터에 연결할 필요가 없는 혼합 현실 착용형 홀로그래픽 컴퓨터임

  

• 혼합 현실은 현실 공간과 단절된 가상 현실 기기와 달리 현실 공간에 가상 정보를 보여 주어 주변과 상호 작용할 수 있음
• 증강 현실처럼 단순히 가상 정보를 현실 공간에 표시하는 것을 넘어, 현실의 공간과 사물 정보를 파악해 거기에 맞는 3D 홀로그램을 입힘

정리 하기

• 가상 현실은 실제로 존재하지 않는 완전히 허구적 환경이나 상황을 가능하게 하는 기술
• 증강 현실은 현실에 가상 정보를 추가하는 형태
• 메타버스는 가상, 추상을 의미하는 메타(Meta)와 현실 세계를 의미하는 유니버스(Universe)의 합성어

연습 문제

---

1. 실제로 존재하지 않은 환경이나 상황을 컴퓨터 등으로 구현한 후 인간의 감각을 이용하여 체험하게 하는 기술은 무엇인가 ? 

   a. 가상 현실

2. 미래 가속화 연구 재단(ASF; Acceleration Studies Foundation)에서 정의한 메타버스 구성의 네 가지 시나리오가 아닌 것은  무엇인가 ? 

   a. 혼합 현실

   • 미래 가속화 연구 재단에서 정의한 메타버스 구성의 네 가지 시나리오
     • 가상 세계
     • 일상 기록
     • 증강 현실

3. 소셜 미디어가 모임, 쇼핑, 게임 등이 가능한 메타버스로 발전한 형태인 소셜 기반 메타버스가 아닌 것은 무엇인가 ? 

   a. 로블록스(Roblox)

   • 소셜 기반 메타버스
     • 제페토
     • 게더 타운
     • 호라이즌 월드

정리 하기

---

• 가상 현실은 실제로 존재하지 않는 완전히 허구적 환경이나 상황을 가능하게 하는 기술
• 증강 현실은 현실에 가상 정보를 추가하는 형태
• 가상성의 연속성(Virtuality Continuum)은 현실과 가상 세계 사이에서 가상성의 정도를 구분하기 위해 제시된 개념
• 혼합 현실은 현실과 가상 환경 사이에 존재하는 모든 것을 의미하며, 현실 세계와 가상의 대상물이 함께 존재하는 것을 의미
• 가상 현실 콘텐츠 관련 기술
  • 가상 현실 콘텐츠를 개발∙실행하기 위한 개발 엔진
  • 가상 현실 콘텐츠를 개발∙제작하기 위한 저작 도구
  • 가상 현실 콘텐츠를 사용자에게 제공하는 서비스 기술
• 메타버스는 가상, 추상을 의미하는 메타(Meta)와 현실 세계를 의미하는 유니버스(Universe)의 합성어