카메라 하나로 ‘손+도구’ 상호작용 3D복원…UNIST AI 기술 공개

연구팀이 개발한 BIGS는 손이 가려지거나 일부만 보이는 상황에서도 전체 형상을 안정적으로 예측할 수 있으며, 처음 보는 물체도 학습된 시각 정보를 통해 보이지 않는 부분까지 자연스럽게 그려낸다.

실제 ARCTIC, HO3Dv3 등 국제 데이터셋을 활용한 실험 결과, BIGS는 손의 자세, 물체의 형상, 두 손과 물체 간의 접촉 정보 복원은 물론 화면을 재현하는 렌더링 품질면에서도 기존 기술보다 우수한 성능을 보였다.

백승렬 교수는 "이번 연구는 향후 가상현실(VR), 증강현실(AR), 로봇 제어, 원격 수술 시뮬레이션 등 다양한 분야에서 실시간 상호작용 복원 기술로 활용될 것으로 기대된다"고 말했다.