거대 AI서버 구축 전 '가상 실험장'서 검증해 비용 줄인다

[이데일리 강민구 기자] 한국과학기술원(KAIST) 연구진이 대규모 인공지능(AI) 서버를 구축하기 전에 컴퓨터 안에서 성능과 효율을 미리 검증할 수 있는 ‘가상 실험장’을 개발했다.

KAIST는 박종세 전산학부 교수 연구팀이 개발한 거대언어모델(LLM) 서비스 인프라 시뮬레이터 연구가 컴퓨터 시스템 성능 분석 분야 국제 학회인 ‘ISPASS 2026’에서 최우수 논문상을 받았다고 29일 밝혔다.

KAIST와 ISPASS 관계자들의 기념사진.(왼쪽부터)박종세 KAIST 교수, 조재홍 KAIST 석사과정, 최현민 KAIST 석사과정, 브랜던 리건 ISPASS 2026 프로그램 위원장.(사진=KAIST)

연구팀은 이번에 ‘LLMServingSim 2.0’은 복잡한 AI 서비스 환경에서 다양한 하드웨어와 소프트웨어 조합을 가상으로 분석할 수 있는 시뮬레이션 플랫폼을 개발했다. 연구자와 개발자들이 비싼 대규모 서버 인프라를 직접 구축하지 않고도 다양한 설계안을 자유롭게 실험하고 성능을 검증할 수 있다.

특히 기존 그래픽처리장치(GPU) 중심 환경을 넘어 차세대 AI 반도체로 주목받는 신경망처리장치(NPU)와 프로세싱 인 메모리(PIM) 등 다양한 하드웨어 환경을 지원한다. 이를 통해 아직 상용화되지 않은 미래형 AI 반도체를 가상의 데이터센터 환경에서 미리 시험해볼 수 있다.

실제 AI 서비스 운영 과정에서 발생하는 데이터 처리, 요청 분배, 메모리 활용 등 복잡한 동작을 시스템 수준에서 재현해 현실에 가까운 성능 평가도 할 수 있다.

연구팀은 이번 시뮬레이터가 연구자뿐 아니라 LLM 서비스 기업과 AI 반도체 스타트업이 차세대 AI 인프라를 설계하고, 최적화하는 데 활용할 수 있으리라고 기대했다.

박종세 교수는 “AI 서비스 경쟁력은 모델 자체뿐 아니라 이를 안정적이고 효율적으로 운영하는 인프라 기술에서 결정된다”며 “이번 시뮬레이터가 연구자와 산업계가 차세대 AI 인프라를 더 빠르고 효율적으로 개발하는 데 중요한 기반이 되길 기대한다”고 말했다.