"AI의 과학논문 요약 믿을 수 없어…과도한 일반화 편향 많아"

 

AI 과학논문 요약의 부정확성 문제

• 최근 연구에 따르면, 챗GPT, 딥시크 등 인공지능 챗봇이 과학 논문을 요약하는 과정에서 최대 73%의 부정확한 결론을 도출하는 것으로 나타났다.

• 이는 AI 모델들이 원문보다 과도하게 일반화된 결론을 생성하는 편향을 가지고 있으며, 정확성을 요구하는 프롬프트가 오히려 이러한 문제를 악화시킨다는 것을 의미한다.

• 특히 최신 AI 모델이 구형 모델보다 성능이 떨어지는 것으로 확인되었고, AI의 과도한 일반화 편향은 사람보다 5배나 높은 것으로 분석되었다.

• AI의 과도한 일반화 편향을 줄이기 위해서는 챗봇의 온도 설정을 낮추고, 간접적인 과거 시제를 사용하도록 지시하는 등의 방법이 제시되었다.