[이뉴스투데이 고선호 기자] KAIST 전기및전자공학부 유민수 교수 연구팀은 삼성전자 삼성종합기술원과 공동연구를 통해 대규모 분산 시스템에서 대형 언어 모델(LLM)의 학습 시간을 예측하고 최적화할 수 있는 시뮬레이션 프레임워크 'vTrain'을 개발했다고 13일 밝혔다.
최근 챗GPT, 딥시크(DeepSeek) 등 대형 언어 모델이 다양한 분야에서 활용되면서 AI 모델 학습을 위한 대규모 GPU 클러스터의 효율적 운영이 중요한 과제로 떠올랐다. GPT-4의 경우 학습 비용이 약 1400억원에 달하는 것으로 알려져 있으며, 기업들은 최적의 분산 학습 전략을 찾기 위해 막대한 시간과 비용을 투자하고 있다. 그러나 기존에는 일부 경험적으로 검증된 소수의 전략만 사용되고 있어 GPU 활용이 비효율적이고, 불필요한 비용 증가가 발생하는 문제가 있었다.
KAIST 연구팀이 개발한 vTrain은 대형 언어 모델의 학습 시간을 정확히 예측하고, 다양한 병렬화 전략을 빠르게 탐색할 수 있도록 지원하는 시뮬레이션 프레임워크이다.
연구팀이 실제 다중 GPU 환경에서 대형 언어 모델 학습 시간을 측정한 결과, vTrain은 단일 노드에서 평균 절대 오차(MAPE) 8.37%, 다중 노드에서는 14.73%의 정확도로 학습 시간을 예측할 수 있음이 검증됐다. 이를 통해 기업과 연구기관은 실험적으로 학습 전략을 설정할 필요 없이, vTrain을 활용해 최적의 병렬화 구성을 사전에 도출하고 효율적인 GPU 자원 활용이 가능하다.
연구팀은 삼성전자 삼성종합기술원과 협력해 vTrain 프레임워크와 1500개 이상의 실제 학습 시간 측정 데이터를 오픈 소스로 공개했으며, AI 연구자와 기업들이 이를 자유롭게 활용할 수 있도록 지원하고 있다.
Copyright ⓒ 이뉴스투데이 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
