챗GPT 개발의 기반이 됐다고 알려진 구글의 아키텍처 트랜스포머(Transformer)는 2017년 공개된 언어 모델이다. 트랜스포머의 첫 글자인 T가 곧 챗GPT의 'T'인 점을 보면, 생성형 인공지능(AI) 뿌리는 구글에 있다는 것을 알 수 있다. 구글은 트랜스포머를 세상에 내놓은지 6년 만에 최고 성능이라고 평가받는 제미나이(Gemini)를 서비스하고 있다.
트랜스포머에서 제미나이까지 기술이 발전하는 동안 AI 훈련 비용은 얼마나 늘었을까. 4일(현지시간) 다국적 정보분석업체 비주얼캐피탈리스트(VisualCapitalist)는 스탠포드대의 '2024년 인공지능 보고서'를 기반으로 연도별 AI 훈련 비용에 대한 분석을 내놓았다.
해당 분석은 클라우드 컴퓨팅 임대 가격을 기준으로 AI 모델 훈련 비용을 추정한 값이다. 분석한 주요 요소로는 모델의 훈련 기간, 하드웨어 활용률, 훈련 하드웨어의 가치 등이다. 데이터 라이센스 비용과 데이터 센터 냉각비용, 인건비 등 부대비용을 합하면 더욱 막대한 비용이 쓰일 것으로 분석된다.
비주얼캐피탈리스트는 매년 큰 폭으로 AI 훈련 비용이 증가하고 있다고 보도했다. 2017년 구글이 공개한 트랜스포머 모델의 경우 930달러(약 130만원)이 소요됐을 것으로 추정된다. 2018년 공개된 구글의 버트(BERT-Large)는 3288달러(약 450만원), 2019년 메타가 선보인 로버타(RoBERTa Large)는 약 16만 달러(약 2억 2000만원)이 투입됐을 것이라는 분석이 나왔다.
이어 2020년에 공개된 오픈AI의 GPT-3는 432만 4883달러(약 59억 4500만원), 2021년 마이크로소프트가 만든 메가트론 튜링 NLG(Megatron-Turing NLG 530B)는 640만 5653달러(약 88억원), 2022년 공개된 구글의 람다(LaMDA)는 131만 9586달러(약 18억 1400만원) 등 비용이 소요됐을 것으로 추정된다.
2022년부터 기하급수적으로 훈련 비용이 증가하는데, 이는 치열해진 AI 시장 경쟁을 방증한다. 2022년 공개된 구글의 팜(PaLM, 540B)은 1238만 9056달러(약 170억 3500만원), 2023년부터 서비스하기 시작한 오픈AI의 GPT-4는 7835만 2034달러(약 1077억원) 등의 훈련 비용이 쓰였을 것으로 분석됐다. GPT-4 모델부터 훈련 비용만 1000억원을 넘긴 것으로 추정된다.
2023년 발표된 구글의 제미나이 울트라의 경우 훈련 비용이 1억 9140만 달러(약 2600억원)에 달하는 것으로 추정됐다. 트랜스포머 훈련 비용(약 130만원)보다 20만배나 증가한 수치다. 향후 개발될 AI 모델들은 더 많은 컴퓨팅 자원을 필요로 하기 때문에 훈련 비용은 더욱 늘어날 것으로 전망된다. 한편 훈련 비용과 더불어 운영 비용도 급격히 증가하고 있다.
이와 관련 월스트리트저널은 최근 "AI에 대한 현재의 투자 수준은 엄청나다. 인공지능이 훨씬 더 발전하고 빠르게 채택될 것이라는 생각에 기초한 것으로 보인다"라면서도 "현재 드러나는 증거는 그렇지 않다는 것을 시사한다"라고 보도한다 있다. 실제 대규모 자본력을 갖춘 기업이 아니면 점차 생성형 AI 개발에 나서기가 매우 어려워 지고 있다.
Copyright ⓒ AI포스트 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
