리벨리온, NPU 서버로 초거대 AI 모델 실증
이번 실증은 국산 대형 모델과 고성능 국산 NPU 결합을 통해 복잡한 대규모 연산을 효율적으로 처리한 사례다.
리벨리온은 5,000억 개 이상의 파라미터를 가진 국내 최대 초거대 언어모델을 리벨서버로 안정적으로 실행하며 서빙 효율을 입증했다.
다양한 연산을 반도체 칩에 효율적으로 분산 처리해 단일 서버에서도 수많은 사용자의 요청을 실시간으로 처리할 수 있도록 했다.
뉴스픽의 주요 문장 추출 기술을 사용하여 “한스경제” 기사 내용을 3줄로 요약한 결과입니다. 일부 누락된 내용이 있어 전반적인 이해를 위해서는 본문 전체 읽기를 권장합니다.
