챗GPT와 같은 생성형 인공지능(AI) 모델을 훈련하기 위해서는 고사양 반도체가 필수적이다. 대규모 학습 및 추론, 연산 등을 빠르게 처리해야 하기 때문이다. 모델 개발이 완료되면 보다 저사양 기기에서도 AI 기능을 활용할 수 있어 일반 노트북으로도 AI 비서 기능을 사용할 수 있게 됐다.
생성형 AI 기능이 일상화되고 있는 가운데 기업들은 키오스크, 로봇, 저사양 모바일 기기 등 저사양, 저렴한 하드웨어에서도 AI 연산이 가능하도록 AI 모델을 구축 중이다. 인간과 자연스러운 상호 작용을 하는 생성형 AI는 어느 정도의 사양이 충족돼야 사용할 수 있을까.
스타트업 엑소 랩스(EXO Labs)는 최근 26년 전 발매된 컴퓨터로 생성형 AI 모델을 구동시키는 흥미로운 실험 결과를 공개했다. 저사양 컴퓨터에서 강력한 AI 거대언어모델(LLM)을 사용할 수 있는지를 알아보기 위함이다.
엑소 랩스는 실험에 윈도우 98이 탑재됐으며, 인텔 펜티엄 2 CPU와 128MB 램이 장착된 PC를 활용했다. 실험 결과 놀랍게도 매우 적절한 속도로 답변을 생성하는 데 성공했다고 한다. 실험을 위해 엑소 랩스는 이베이에서 오래된 PC를 약 22만원에 구매했다.
펜티엄 2 PC에 데이터를 넣는 것이 어렵기 때문에 이더넷 포트를 통해 파일을 집어넣기로 계획했다. 이를 위해 노트북에서 FTP 서버를 구동하는 방식으로 PC에 파일을 전송했다. 윈도우 98에서 최신 코드를 컴파일하는 것은 더 큰 도전이었을 것이다.
엑소 랩스는 테슬라의 전 AI 책임자이자 오픈AI 연구원 출신인 안드레이 카파시가 제작한 추론 코드인 'llama2.c'를 활용했다. 기계 학습 모델의 추론을 위한 경량화된 라이브러리로, C 언어로 작성돼 있어 다양한 플랫폼에서 사용할 수 있다는 게 특징이다.
특히 CPU에서 빠르게 작동하도록 설계됐기 때문에 이번 실험에 활용하기 적합할 것이라고 판단했다. 엑소 랩스는 라마 아키텍처를 갖춘 260K LLM을 사용해 윈도우 98에서 생성형 AI 기능을 구동하는 데 성공했다. 다만 모델 크기가 커지면 답변 속도가 현저히 느려졌다고 엑소 랩스는 전했다.
한편 엑소 랩스는 값비싼 GPU나 클라우드 서비스를 사용하는 대신 CPU를 활용해 프론티어 모델을 실행하는 것을 목표로 여러 도구를 개발 중이다.
Copyright ⓒ AI포스트 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
