대형 AI 모델 학습 비용, 최적화 시뮬레이션으로 줄인다

국내 연구진이 대형 인공지능(AI) 모델의 학습 비용을 줄이기 위해 그래픽처리장치(GPU) 사용률을 높이고, 최적의 병렬화 구성을 도출하도록 돕는 기술을 개발했다.

한국과학기술원(KAIST)은 유민수 전기전자공학부 교수 연구팀이 삼성전자 삼성종합기술원과 공동연구를 통해 대규모 분산 시스템에서 대형 언어 모델(LLM)의 학습 시간을 예측하고 최적화할 수 있는 시뮬레이션 프레임워크(vTrain)를 개발했다고 13일 밝혔다.

유민수 KAIST 전기전자공학부 교수.(사진=KAIST) 대형 언어 모델 학습 효율을 높이려면 최적의 분산 학습 전략을 찾아야 한다.