KAIST, 초거대 AI 모델 학습 최적화 기술 개발

KAIST 전기및전자공학부 유민수 교수 연구팀은 삼성전자 삼성종합기술원과 공동연구를 통해 대규모 분산 시스템에서 대형 언어 모델(LLM)의 학습 시간을 예측하고 최적화할 수 있는 시뮬레이션 프레임워크 'vTrain'을 개발했다고 13일 밝혔다.

KAIST 연구팀이 개발한 vTrain은 대형 언어 모델의 학습 시간을 정확히 예측하고, 다양한 병렬화 전략을 빠르게 탐색할 수 있도록 지원하는 시뮬레이션 프레임워크이다.

이를 통해 기업과 연구기관은 실험적으로 학습 전략을 설정할 필요 없이, vTrain을 활용해 최적의 병렬화 구성을 사전에 도출하고 효율적인 GPU 자원 활용이 가능하다.