AI가 고도화될수록 고성능 GPU 활용 효율은 떨어지고 전력 소모는 급증한다는 세계 최초의 정량 분석 결과를 국내 연구진이 내놨다.
KAIST 전기및전자공학부 유민수 석좌교수 연구팀은 AI 에이전트가 실제 서비스 환경에서 사용하는 연산 자원과 전력 소비를 체계적으로 분석한 연구 결과를 발표했다고 5일 밝혔다.
이번 연구는 컴퓨터 아키텍처 분야 최고 권위 학회인 IEEE HPCA에서 공개됐다. 유민수 석좌교수는 AI인프라플랫폼 효율화 회사인 에이투시스(대표 이동수, A2sys)의 최고연구책임자(CRO)이기도 하다.
|
|
◇AI 에이전트, GPU 절반은 ‘대기’…응답시간 최대 153배
최근 AI는 단순 질의응답을 넘어 인터넷 검색, 코드 실행, 계산 등 다양한 외부 도구를 활용해 복합적인 업무를 수행하는 AI 에이전트로 진화하고 있다.
연구팀은 이러한 AI 에이전트를 데이터센터가 처리해야 하는 새로운 ‘워크로드(작업 부하)’로 정의하고 실행 과정을 분석했다.
그 결과 AI 에이전트는 하나의 답을 생성하기 위해 대형언어모델(LLM)을 여러 차례 반복 호출하는 특성 때문에 상당한 비효율이 발생하는 것으로 나타났다.
응답 시간은 기존 생성형 AI 대비 최대 153.7배 길어졌으며, AI가 검색이나 계산 등 외부 도구를 사용하는 동안 GPU는 아무 연산도 수행하지 못한 채 전체 실행 시간의 최대 54.5%를 대기(Idle) 상태로 보내는 것으로 분석됐다.
|
◇질문 한 건에 348Wh…전력 소비 136배
전력 소비 증가폭은 더욱 컸다.
700억 개 매개변수(파라미터)를 갖춘 상용 거대언어모델(LLM) 기반 AI 에이전트는 질문 한 건을 처리하는 데 평균 348.41Wh의 전력을 사용하는 것으로 나타났다. 이는 기존 생성형 AI의 단순 질의응답보다 136.5배 많은 수준이다.
연구팀은 하루 137억 건의 AI 에이전트 요청이 발생하는 환경을 가정해 시뮬레이션한 결과, 데이터센터 전력 수요가 약 198.9GW에 달할 것으로 추산했다. 이는 현재 글로벌 빅테크들이 추진 중인 수GW 규모 AI 데이터센터를 크게 웃도는 수준이며, 미국 평균 전력 소비량의 절반에 해당하는 규모다.
유민수 교수는 “이번 연구는 AI의 지능 구현에 필요한 전력과 비용을 정량적으로 제시한 첫 사례”라며 “앞으로는 AI 모델 성능 경쟁을 넘어 데이터센터와 전력 인프라를 함께 최적화하는 ‘공동 설계(Co-design)’ 접근이 필수적”이라고 말했다.
|
◇“AI 확장만으로는 한계”…효율 경쟁 필요
전문가들은 AI 산업이 성능 경쟁과 함께 전력 효율 경쟁으로 전환해야 한다고 지적했다.
최기영 서울대 전기정보공학부 교수(전 과학기술정보통신부 장관)은 “이번 연구는 AI 에이전트 수요에 맞춰 데이터센터 규모와 비용만 계속 늘리는 방식은 지속 가능하지 않다는 점을 보여준다”며 “AI 데이터센터(AIDC)의 에너지 소비를 줄이기 위해 GPU뿐 아니라 전력 효율이 높은 NPU 활용 등 하드웨어와 소프트웨어를 아우르는 구조 최적화가 필요하다”고 말했다.
손화철 한동대 글로벌리더십학부 교수는 AI 확산에 따른 사회적 비용도 함께 논의해야 한다고 강조했다. 그는 “전력 문제를 일시적 현상으로 치부하거나 기술 발전이 해결해 줄 것이라는 낙관론에만 기대서는 안 된다”며 “AI 확산이 사회 전체의 에너지 비용을 높이는 결과를 낳는다면 그 편익과 비용을 함께 따져봐야 한다. AI 발전이 모두에게 이익이 되는 방향으로 사회적 합의를 병행할 필요가 있다”고 말했다.
Copyright ⓒ 이데일리 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
다음 내용이 궁금하다면?
광고 보고 계속 읽기
원치 않을 경우 뒤로가기를 눌러주세요
