엔비디아, ‘블랙웰 울트라’로 에이전틱 AI 공략…100만 토큰 비용 최대 35배 절감

엔비디아, 블랙웰 울트라로 에이전틱 AI 시대 가속 성능 최대 50배비용 35배 ◇토큰이란 무엇인가 토큰(Token)은 생성형 AI가 문장을 처리할 때 나누는 최소 단위다.

엔비디아 GB300 NVL72, 엔비디아 다이나모, 텐서RT-LLM 등으로 구성된 공동 설계 소프트웨어 스택은 엔비디아 호퍼 플랫폼 대비 토큰당 비용을 35배 절감한다 ◇긴 컨텍스트도 공략…코딩 어시스턴트 겨냥 블랙웰 울트라는 긴 컨텍스트 워크로드에서도 비용 경쟁력을 강화했다는 점을 내세웠다.

엔비디아는 12만8000 토큰 입력과 8000 토큰 출력을 처리하는 AI 코딩 어시스턴트형 워크로드를 예시로 들며, GB300 NVL72가 GB200 NVL72 대비 토큰당 비용을 최대 1.5배 낮출 수 있다고 설명했다.