"메모리 15분의 1로 축소" 프리즘ML 기술 평가중
(서울=연합뉴스) 정주호 기자 = 애플이 인공지능(AI) 시리(Siri)를 대폭 압축해 메모리 사용량을 최대 15배 절감하면서도 아이폰에서 직접 실행할 수 있도록 한다고 주장하는 스타트업과 논의 중인 것으로 알려졌다.
테스트를 통해 입증된다면 요청을 클라우드로 전송하는 대신 더 많은 AI 연산 처리를 아이폰(온디바이스)에서 처리할 수 있어 주목된다.
14일(현지시간) 미국 경제방송 CNBC에 따르면 캘리포니아공대(칼텍)에서 분사한 스타트업 프리즘ML은 이날 중국 알리바바의 오픈소스 AI 모델 '큐원'의 압축 버전 2종을 무료 공개했다.
약 54GB이던 모델을 4GB 미만으로 줄여 270억개 파라미터 전체를 아이폰15 이상 기종에서 구동할 수 있게 했다고 밝혔다.
칼텍 전기공학 석좌교수인 바박 하시비 프리즘ML 최고경영자(CEO)는 애플 등 여러 기업이 자사 기술을 평가하고 있다며 "논의는 초기 단계지만 순조롭게 진전되고 있다"고 말했다.
프리즘ML은 모델 내부 값을 16비트에서 1∼3개 값으로 단순화하는 방식으로 메모리 사용량을 기존 대비 10∼15배 줄이고, 응답 속도는 6∼8배, 에너지 소비는 3∼6배 개선했다고 설명했다.
다만 하시비 CEO는 팩트 기억력 등 일부 성능은 낮아지는 점을 인정했다. 압축률을 높인 만큼 정확도 일부를 내줘야 한다는 것이다.
프리즘ML은 이 방식을 활용하면 통상 그래픽처리장치(GPU) 8개가 필요한 클라우드용 모델을 GPU 1개로 구동할 수 있고, 한때 서버가 있어야 구동되는 모델을 스마트폰과 노트북으로 옮길 수도 있다고 설명했다.
특정 AI 작업에 드는 메모리와 컴퓨팅 용량 자체를 줄일 수 있다는 의미다. 스마트폰 등 기기에 필요한 메모리 용량이 줄어들 경우 고대역폭메모리(HBM) 중심의 수요 확대 전망이 흔들릴 수 있다.
다만 이것이 곧 전체 칩 수요 감소로 이어지는 것은 아니라는 반론도 있다.
D.A.데이비드슨의 길 루리아 애널리스트는 "모델이 작아진다고 칩이 필요 없어지는 게 아니다"며 수요가 데이터센터에서 개별 기기로 옮겨갈 뿐이라고 말했다.
그는 오히려 스마트폰 등 개별 기기에서 AI를 구동하는 것이 유휴 시간이 상당한 만큼 공유형 데이터센터 인프라보다 덜 효율적일 수 있다고 덧붙였다.
카운터포인트리서치의 타룬 파탁 연구소장은 "수백만건의 쿼리와 다양한 기기 조합에 걸친 검증이 관건"이라고 지적했고, IDC의 필 솔리스는 메모리 절감에도 불구하고 상시 구동 시 배터리 소모가 새로운 변수가 될 수 있다고 말했다.
실제로 지난 3월 구글이 모델 성능을 유지하면서 메모리 사용량을 줄이는 '터보퀀트' 논문을 발표하자 마이크론 주가가 급락했다가 곧 회복한 전례가 있어, 시장의 단기 반응과 실제 수요 변화는 별개라는 평가도 나온다.
한편 프리즘ML의 압축 모델은 아이폰, 맥북, 엔비디아 기반 PC 등 일상적인 기기에서 구동되도록 설계됐으며, 기반 특허는 칼텍이 보유하고 프리즘ML에 독점 라이선스로 제공되고 있다.
프리즘ML은 구글의 오픈소스 모델 '젬마'와 대형 프런티어 모델로도 압축 기술을 확장할 계획이며, 지난 3월 코슬라벤처스 등으로부터 1천625만달러(약 243억원) 규모의 투자를 유치했다.
이번 공개는 애플이 시리 전면 개편을 담은 iOS 27 퍼블릭 베타를 연 다음 날 이뤄졌다.
jooho@yna.co.kr
Copyright ⓒ 연합뉴스 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
