KAIST, 고성능·저전력 NPU 핵심기술 개발···생성형 AI 추론 성능 60%↑

박종세 전산학부 교수 연구팀과 김주영 교수 창업기업 하이퍼엑셀이 고성능·저전력 NPU 핵심기술을 개발했다. [사진=KAIST]

[이뉴스투데이 김진영 기자] KAIST는 박종세 전산학부 교수 연구팀과 김주영 교수 창업 기업 하이퍼엑셀이 공동으로 고성능·저전력 신경망처리장치(NPU) 핵심기술을 개발했다고 6일 밝혔다.

이 기술은 생성형 AI 클라우드 환경에 최적화, 최신 GPU 대비 약 44% 낮은 전력 소모로 평균 60% 이상 추론 성능을 향상했다.

이번 연구 성과는 컴퓨터 아키텍처 분야 최고 권위 학회인 ‘국제 컴퓨터구조 심포지엄(ISCA) 2025’에 채택됐다. 연구팀은 생성형 AI 모델의 추론 정확도를 유지하면서도 메모리 병목 현상을 줄이는 경량화 알고리즘과 이를 최적화한 하드웨어 설계를 결합해 성능을 끌어올렸다.

메모리 사용량 대부분을 차지하는 KV 캐시를 양자화해 적은 수의 NPU로도 AI 인프라를 효율적으로 구축할 수 있도록 했다. 이에 GPU 대비 비용과 전력 소모를 줄이며 AI 데이터센터 운영 효율성을 크게 높일 수 있다는 평가다.

박 교수는 “이 기술은 생성형 AI뿐만 아니라 능동 실행형 AI 환경에서도 핵심 인프라가 될 것”이라며 “AI 반도체와 시스템 소프트웨어 통합 설계를 통해 차세대 AI 서비스의 메모리 한계를 근본적으로 해결했다”고 말했다.

한편, 이번 연구는 한국연구재단과 정보통신기획평가원(IITP)의 지원을 받아 수행됐다.