GIST, 힘 감각 학습하는 AI 모델 개발···“센서별 주파수 차이 인식”

손힘 측정 장치 시스템 구성도. [사진=GIST]

[이뉴스투데이 백연식 기자] 광주과학기술원(GIST)은 AI융합학과 이규빈 교수(인공지능연구소장) 연구팀이 사람이 물체를 만질 때 느끼는 힘의 감각까지 학습해 정밀한 작업을 수행할 수 있는 인공지능(AI) 기술을 개발했다고 10일 밝혔다.

이 기술은 사람이 작업할 때 눈으로 보는 정보뿐 아니라 손끝에서 느끼는 힘과 접촉 감각까지 함께 학습하도록 한 것이 특징이다. 연구팀은 이를 위해 ‘손힘 측정 장치(ManipForce)’와 ‘주파수 인식 속도-감각 통합 AI 모델(Frequency-Aware Multimodal Transformer, FMT)’을 함께 개발했다.

제조·전자·자동차 산업에서는 로봇이 기어를 끼우거나 플러그를 연결하고, 배터리를 교체하는 등 사람의 손작업을 대신하는 정밀 조작 작업을 수행한다.

이러한 작업은 단순히 위치를 맞추는 것뿐 아니라 부품이 맞물리는 순간의 미세한 저항이나 힘의 변화를 감지하고 조절하는 능력이 필요하다.

그러나 기존 로봇 학습 방식은 대부분 카메라 영상(RGB)만으로 작업 데이터를 수집하는 모방 학습(Imitation Learning) 방식을 사용해 왔다. 이 때문에 눈으로 보이는 정보만으로 판단해야 해 부품을 끼우거나 맞추는 순간 발생하는 미세한 저항과 순간적인 힘 변화를 파악하기 어렵다는 한계가 있었다.

연구팀은 이러한 한계를 극복하기 위해 사람이 작업 과정에서 자연스럽게 느끼는 ‘힘의 감각’까지 로봇 학습에 활용하는 방법에 주목했다. 연구팀이 개발한 ‘손힘 측정 장치(ManipForce)’는 사람이 직접 손으로 작업하는 모습을 그대로 기록하면서 두 대의 카메라로 촬영한 작업 영상, 손목에 달린 센서로 측정한 힘과 회전력(Force–Torque), 손의 움직임과 위치 정보 등을 동시에 수집한다.

특히 영상은 초당 30회, 힘 정보는 초당 200회 이상 측정해 눈에 보이는 장면뿐 아니라 손끝에서 발생하는 미세한 힘까지 정밀하게 기록할 수 있다.

또한 물체와 손의 위치를 정확히 추적하는 ‘3D 마커’와 장치 자체 무게로 인한 힘을 제거하는 ‘장치 중력 보상 기능’을 적용해 실제 접촉에서 발생한 힘만을 정밀하게 측정하도록 설계됐다.

이 장치는 로봇을 원격으로 조작하는 방식이 아니라 사람이 직접 손으로 물체를 조작하는 자연스러운 동작을 그대로 기록할 수 있다는 점에서도 기존 데이터 수집 방식과 차별화된다.

연구팀은 영상과 힘 데이터의 기록 속도가 서로 다르다는 문제를 해결하기 위해 ‘주파수 인식 속도-감각 통합 AI 모델(Frequency-Aware Multimodal Transformer, FMT)’도 함께 개발했다.

영상은 초당 30회, 힘 데이터는 초당 200회 이상 측정되기 때문에 두 데이터의 시간 간격이 서로 다르다. FMT는 이러한 서로 다른 센서 주파수의 데이터를 각각 분석한 뒤 비교·통합해 학습하는 AI 모델이다.

로봇은 물체의 위치와 접촉 상황을 동시에 이해하고 접촉이 많은 정밀 조작 작업에서도 더 안정적인 동작을 수행할 수 있다.

연구팀은 기어 조립, 박스 뒤집기, 배터리 삽입, 인터넷 케이블 플러그 연결, 뚜껑 열기, 배터리 분리 등 6가지 작업을 실제 로봇 실험으로 검증했다.

이규빈 교수는 “이번 연구는 카메라 영상에만 의존하던 기존 로봇 학습 방식의 한계를 극복하고, 힘 감각 데이터를 효과적으로 활용할 수 있는 새로운 AI 학습 프레임워크를 제시한 것”이라며 “향후 제조 현장의 부품 조립이나 커넥터 체결뿐만 아니라 가정 환경에서의 배터리 교체나 전자기기 부품 조립 등 섬세한 힘 제어가 필요한 다양한 분야에서 로봇 활용을 한 단계 도약시킬 수 있을 것으로 기대한다”고 말했다.