AI 성능, 한국식으로 따진다···LLM 수학·장문 이해까지 평가

[사진=이뉴스투데이 DB]

[이뉴스투데이 김진영 기자] 국내 인공지능(AI) 평가 체계가 한층 고도화된다. 독자 개발 인공지능 모델 성능을 객관적으로 검증할 수 있는 데이터셋 구축이 추진, 한국형 평가 기준 정립과 연구개발 경쟁력이 강화될 전망이다.

과학기술정보통신부는 한국지능정보사회진흥원(NIA)과 독자 인공지능 기초 모형(독자 AI 파운데이션 모델) 사업의 목적으로 AI 성능평가 데이터셋 구축 사업 수행기관을 오는 8월 7일까지 공개 모집한다고 17일 밝혔다.

이번 사업은 영어권 위주의 기존 평가지표 한계를 극복하고 국내 서비스 환경과 문화·사회적 특성을 반영한 평가체계를 마련하기 위한 목적으로 진행됐다.

과기정통부는 총 24억원(과제별 8억원)을 투입해 △LLM 수학 풀이 능력 평가(수학) △한국형 지식 평가용 질의·정답 및 추론 데이터(지식) △장문 문맥 기반 성능평가(장문 이해) 등 3개 분야의 데이터셋을 우선 구축한다. 향후 멀티모달·에이전트 등 다양한 생성형 AI 영역으로 확대할 계획이다.

참여를 원하는 기관은 초거대 AI, 자연어처리, 멀티모달 AI 등 대규모 데이터셋 기반 기술 역량을 갖춘 기업·기관이 컨소시엄에 포함돼야 한다.

김경만 과기정통부 인공지능기반정책관은 “국내 사회·문화적 환경이 반영된 성능평가 데이터셋이 고성능 독자 AI 모델 확보의 기반”이라며 “이번에 구축된 데이터셋은 정예팀뿐 아니라 국내 AI 개발기관에 공개해 생태계 경쟁력 강화에 기여할 것”이라고 말했다.