시험 환경은 실제 수능과 동일하게 구현하기 위해 모든 AI 챗봇 모델에게 인터넷 검색을 금지하고 스스로 문제를 풀도록 했다.
연구팀은 앞서 2023년 GPT-3.5 모델에게 2023년도 수능 국어· 수학·영어 문제를 풀게 했을 당시 공통 영역 6문제를 제외한 모든 문제를 틀려 17점을 받았다고 설명했다.
임 대표는 "기하 과목 자체가 이과 과목이고 30번 문제는 주관식에다가 고난도 문항에 해당하기 때문에 정답률이 낮은 편"이라며 "챗GPT가 다른 모델에 비해 수학 문제를 잘 풀긴 했지만, 의대 진학이 가능한 최상위권 수준은 아닌 것으로 보인다"고 평가했다.
뉴스픽의 주요 문장 추출 기술을 사용하여 “나남뉴스” 기사 내용을 3줄로 요약한 결과입니다. 일부 누락된 내용이 있어 전반적인 이해를 위해서는 본문 전체 읽기를 권장합니다.