광주과학기술원(GIST, 총장 임기철)은 AI융합학과 김승준 교수 연구팀이 가상현실(Virtual Reality, VR) 사용 중 현실 세계를 단순한 방해 요소가 아닌 상호작용 자원으로 활용해, 사용자가 원하는 현실 물체만 가상환경 안에 선택적으로 표시할 수 있는 인공지능(AI) 기반 현실-가상 융합 기술 ‘셀프블렌딩(SelfBlending)’을 개발했다고 밝혔다.
이 기술은 주변 환경 전체를 노출하는 기존 패스스루(Passthrough) 방식과 달리, 가상환경의 몰입을 유지하면서도 필요한 현실 물체를 자연스럽게 활용할 수 있도록 지원하는 것이 특징이다.
사용자가 VR 게임이나 가상 업무 환경에 몰입한 상태에서 현실 물체를 사용해야 할 경우, VR 헤드셋을 벗거나 현실 화면 전체를 표시하는 패스스루 기능을 사용해야 해 가상환경의 연속성이 저하되는 문제가 있었다.
이러한 문제를 해소하기 위해 셀프블렌딩은 사용자가 가상현실에서 손동작으로 현실 물체의 경계를 지정해 등록하면, AI가 이를 학습·인식해 필요할 때 해당 물체만 가상환경 안에 표시하는 방식으로 동작한다.
예를 들어 사용자가 물병이나 메모장을 미리 등록해 두면, 필요할 때마다 VR 기기를 벗지 않고도 가상 공간 안에서 해당 물체만 선택적으로 확인하고 활용할 수 있는 방식이다. 시각적 흐름이 끊기지 않기 때문에 사용자는 눈을 가린 VR 기기를 벗거나 현실 화면으로 전환하는 번거로움이 없다.
이는 기존 패스스루 방식처럼 현실 풍경 전체를 띄워 가상환경의 흐름을 깨뜨리는 대신, 꼭 필요한 현실 자원만 가상 세계로 가져옴으로써 작업 연속성을 극대화한 것이 특징이다. 연구팀은 18명의 참가자를 대상으로 VR 헤드셋 제거 방식, 기본 패스스루 방식, 셀프블렌딩 방식을 비교하는 사용자 평가를 수행했다.
분석 결과, 셀프블렌딩은 ▴사용자가 실제로 가상환경 안에 있는 것처럼 느끼는 정도인 현존감(Presence) ▴가상환경을 더욱 명확하게 인식하는 정도인 가상환경 인식도(Virtual Awareness) ▴상호작용의 자연스러움을 나타내는 상호작용 개연성(Plausibility) 등 주요 평가 지표에서 가장 우수한 성능을 보였다.
또한 사용자는 현실 물체를 사용하는 과정에서 더 적은 노력으로 작업을 수행할 수 있었으며, 물체를 활용하는 데 필요한 시간도 기존 패스스루 방식과 큰 차이가 없어 몰입감 향상을 위해 작업 효율성을 희생할 필요가 없는 것으로 나타났다.
김승준 교수는 “셀프블렌딩은 사용자가 필요한 현실 물체만 가상환경에 선택적으로 표시하는 기술”이라며 “VR 몰입감을 유지하면서도 현실 물체와 자연스럽게 상호작용할 수 있는 새로운 방식을 제시했으며 향후 교육·훈련·원격협업 등 다양한 확장현실(eXtended Reality, XR) 분야에서 활용될 수 있을 것으로 기대한다”고 말했다.
AI융합학과 김승준 교수가 지도하고 아흐메드 엘샤르카위(Ahmed Elsharkawy) 박사후연구원이 제1저자로 수행한 이번 연구에는 김보천 연구원과 아야 아타야(Aya Ataya) 석사가 공동저자로 참여했다.
이번 연구는 과학기술정보통신부·한국연구재단 중견연구자지원사업 및 해외우수연구기관 협력허브 구축사업, 과학기술정보통신부 지스트-이노코어(GIST-InnoCORE) 사업의 지원을 받아 수행됐다.
연구 결과는 컴퓨터과학 소프트웨어공학 분야 국제학술지 《IEEE TVCG(Transactions on Visualization and Computer Graphics)》에 2026년 5월 6일에 온라인으로 게재됐다.
한편 GIST는 이번 연구 성과가 학술적 의의와 함께 산업적 응용 가능성까지 고려한 것으로, 기술이전 관련 협의는 기술사업화센터(hgmoon@gist.ac.kr)를 통해 진행할 수 있다고 밝혔다.
Copyright ⓒ AI포스트 무단 전재 및 재배포 금지
