“흔들리는 차 안에서도 나만의 공간에서 몰입한다”…GIST, 멀미 없이 자유로운 VR 기술 개발

차량 내 VR 이동방식 구현 및 분석. 차량 내 탑승자가 활용할 수 있는 다섯 가지 VR 이동 방식을 구현하고, 각 방식이 주행 중 차량 환경에서 사용자 경험에 미치는 영향을 인간 대상 실험을 통해 정량적·정성적으로 분석했다. (사진=지스트)

광주과학기술원(GIST, 총장 임기철)은 AI융합학과 김승준 교수 연구팀이 차량 안에서도 사용자가 자유롭게 움직일 수 있는 ‘VR 이동 기술’과 주행 중 발생하는 멀미를 줄여 주는 ‘시각적 보조 장치’를 개발했다고 밝혔다.

기존의 차량 기반 VR(Virtual Reality, 가상 현실)은 차량 움직임에 맞춰 VR 콘텐츠가 수동적으로 반응하는 방식이었지만, 이번에 개발된 기술은 사용자가 VR 속에서 마치 현실처럼 자유롭게 이동하면서도 몰입감과 안정성을 동시에 확보할 수 있도록 설계됐다.

연구팀은 차량 내에서 적용 가능한 5가지 VR 이동 방식(▴조이스틱 조작 ▴상체 기울이기 ▴팔 움직임 기반 ▴제자리 걷기 ▴순간 이동)을 구현하고, 참가자 20명을 대상으로 정지된 차량 환경과 실제 주행 중인 차량 환경에서 각각의 방식이 멀미 유발 정도, 몰입감, 작업 피로도, 선호도에 미치는 영향을 비교 실험했다.

왼쪽부터 GIST 김승준 교수, GIST 김보천 석사과정생, University of Washington 황석현 박사과정생, GIST 강성준·김광빈·여도현 박사과정생. (사진=지스트)

실험 결과, 조이스틱 방식이 신체적 부담이 가장 적을 뿐만 아니라 차량의 실제 움직임과도 가장 자연스럽게 연동된다는 평가를 받았다. 반면, 몸을 기울이거나 제자리에서 걷는 방식은 차량의 움직임과 충돌을 일으켜 멀미를 유발하는 경향을 보였다.

또한 연구팀은 차량의 움직임과 사용자의 감각 사이의 불일치에서 발생하는 멀미 문제를 해결하기 위해 가상 환경에서 현실 움직임을 시각적으로 자연스럽게 해석해 주는 4가지 ‘문맥 기반 시각 단서(▴기울어진 지면 ▴움직임 유도 ▴힘 전달 ▴시각적 방해)’를 고안했다.

이 시각 단서들은 가속·감속·회전에 대응하여 가상 공간의 지형, 객체, 시각 효과 등을 실시간으로 조정함으로써, 사용자가 실제 차량의 움직임을 VR 안에서도 이질감 없이 자연스럽게 인식하도록 돕는다.

‘기울어진 지면(Tilting Ground)’은 차량의 움직임에 따라 VR 속 지면도 함께 기울어져 사용자의 자세 변화와 시각 정보를 일치시켜 멀미를 효과적으로 줄인다. ‘움직임 유도(Movement Inducement)’는 가상 공간에서 사용자가 몸을 기울이거나 피하는 동작을 유도하는 시각적 요소를 제공함으로써 능동적인 반응을 유도하고 몰입감을 높인다.

‘I Want to Break Free’ 기술 개요. 차량 내 탑승자가 VR을 착용했을 때, 차량의 움직임과 비동기화된 상태로 자유롭게 가상공간을 이동함을 보여주며, 차량 움직임에 따른 문맥적 단서(Contextual Cue)가 부여되는 모습이다. (사진=지스트)

‘힘 전달(Force Transfer)’은 실제 차량의 가속이나 회전 등 물리적 힘을 가상 공간에서는 바람 등의 간접적인 시각 효과로 표현해 현실 감각을 자연스럽게 재현한다. 마지막으로 ‘시각적 방해(Visual Distraction)’는 몰입도 높은 시각 요소를 통해 사용자의 주의를 분산시켜 실제 차량의 움직임과 가상 환경 간의 감각 차이로 인한 불편함을 완화한다.

후속 실험에서는 VR 이동 방식 중 가장 적합한 것으로 평가된 ‘조이스틱 방식’을 기반으로, 4가지 시각 단서를 각각 적용한 실험을 진행했다.

그 결과, ‘기울어진 지면’과 ‘움직임 유도’ 단서가 멀미를 가장 효과적으로 줄이면서 동시에 몰입감도 높이는 데 탁월한 효과를 보였다. 반면, ‘시각적 방해’ 단서는 일부 참가자에게 산만함을 유발했으며, ‘힘 전달’ 단서는 가상 공간의 속도감과 방향성 표현에 유연하게 활용될 수 있음을 확인했다.

김승준 교수는 “이번 연구는 차량이라는 특수한 환경에서도 사용자가 자유롭게 이동하며 VR 콘텐츠를 체험할 수 있는 새로운 가능성을 제시한다”고 설명하며, “특히, 감각 불일치를 최소화하면서도 사용자 몰입감과 자율성을 동시에 유지할 수 있는 혁신적인 기술 방향을 제시했다는 점에서 중요한 의미를 갖는다”고 밝혔다.

감각 불일치 완화를 위한 문맥적 단서 제공. 차량 주행 중 발생하는 감각 불일치를 완화하기 위해 설계된 문맥적 시각 단서들을 정리한 표로, 각 단서는 차량의 움직임을 가상 환경 내에서 자연스럽게 해석하고 사용자의 몰입감과 편안함을 높이기 위한 목적이 있다. (사진=지스트)

이어 김 교수는 “이 기술은 단순한 게임이나 엔터테인먼트 VR을 넘어, 이동 중에도 마치 실제 현장에 있는 듯한 몰입감으로 학습하고, 시공간의 제약 없이 효율적으로 협업하며, 상상력을 현실로 구현하는 창작 활동에 몰두하는 미래를 여는 핵심 기반 기술이 될 것”이라고 전망했다.

김승준 교수가 지도하고 김보천 석사과정생이 제1저자로 수행한 이번 연구는 정보통신기획평가원-대학ICT연구센터(ITRC) ‘SpaceTop: 장소 제약 없이 XR 생산성 공간 제공을 위한 공간 컴퓨팅 HCI 기술’ 및 한국연구재단 ‘현실과 가상 간 체화를 위한 소프트 로보틱스 및 감각지능 기반의 Actuated XR 시스템 개발 연구’의 지원을 받았으며, GIST-MIT 공동연구사업 ‘인간중심 물리 시스템 설계를 위한 HCI+AI 융합연구’의 일환으로 진행됐다.

연구 결과는 4월 30일, 인간-컴퓨터 상호작용 분야 최고 권위의 국제학술대회인 ‘CHI 2025(Conference on Human Factors in Computing Systems)’에서 발표됐다.

한편, AI정책전략대학원 겸임교수로도 재직 중인 김승준 교수는 HCIS(Human-Centered Intelligent Systems, 인간중심 지능형 시스템) 연구실을 이끌며 인간 중심의 인터랙티브 시스템 설계를 위한 HCI(인간-컴퓨터 상호작용) 및 VR 분야에서 활발한 연구를 이어가고 있다. 이번 연구를 포함해 CHI 2025에서 총 3편의 논문과 3편의 포스터를 발표하는 성과를 거두었다.