대만 AI 소프트웨어·하드웨어 기업 스카이미저가 온프레미스 AI 추론을 겨냥한 PCIe AI 가속기 HTX301을 공개했다.
제품은 단일 PCIe 카드에서 최대 700B 파라미터급 대형 언어 모델 추론을 지원하도록 설계됐으며, 전력 소비는 약 240W 수준으로 제시됐다.
스카이미저는 HTX301이 700B 파라미터급 모델 추론을 단일 PCIe 카드에서 처리할 수 있다고 강조했다.
뉴스픽의 주요 문장 추출 기술을 사용하여 “위클리 포스트” 기사 내용을 3줄로 요약한 결과입니다. 일부 누락된 내용이 있어 전반적인 이해를 위해서는 본문 전체 읽기를 권장합니다.