“LLM 추론 능력 어디까지 왔을까?”…GIST, LLM 추론 능력 정량적 평가 방법 개발

인공지능은 인간이 가진 추론 능력을 어디까지 모방할 수 있을까? 오픈AI가 챗GPT에 적용된 거대언어모델(LLM)인 GPT-4는 언어 능력과 기억력에서 큰 발전을 이루었지만 실제 논리적 사고나 추론 능력은 여전히 제한적이라는 평가를 받고 있다.

이 가설에 따르면, 인간의 추론 과정은 ▴논리적 일관성 ▴구성성 ▴생성성의 세 가지 특징을 가진다.

연구 결과에 관하여 연구팀은 LLM이 일부 추론 능력을 보이지만 계획 단계가 길고 입출력 이미지가 복잡해지면 단계적인 추론을 거치지 못하여 이 세 가지 측면(논리적 일관성, 구성성, 생성성)에서 한계를 보이며, 인간과 비교했을 때 추론 능력은 여전히 뒤쳐져 있다고 설명했다.