KAIST 비싼 데이터센터 GPU 대신 내 PC·모바일 GPU로 AI 서비스 '스펙엣지' 기술 개발
KAIST 제공 KAIST 연구진이 데이터센터 GPU를 줄이고 사용자의 PC나 모바일 GPU를 활용해 AI 서비스를 낮은 비용으로 제공할 수 있는 기술을 개발했다.
KAIST 전기및전자공학부 한동수 연구팀은 데이터센터 밖 소비자급 GPU를 활용해 대규모 언어모델(LLM) 인프라 비용을 크게 낮출 수 있는 '스펙엣지'(SpecEdge)를 개발했다고 28일 밝혔다.
한동수 KAIST 교수는 "데이터센터를 넘어 사용자 주변에 있는 엣지 자원까지 LLM 인프라로 활용하는 것이 목표"라며 "이를 통해 AI 서비스 제공 비용을 낮추고 누구나 고품질의 AI를 활용할 수 있는 환경을 만들고자 한다"고 말했다.
뉴스픽의 주요 문장 추출 기술을 사용하여 “중도일보” 기사 내용을 3줄로 요약한 결과입니다. 일부 누락된 내용이 있어 전반적인 이해를 위해서는 본문 전체 읽기를 권장합니다.
