엔비디아, AI 추론 최적화 오픈소스 ‘다이나모’ 공개, 딥시크-R1 구동시 토큰 생성 30배 증가
엔비디아(NVIDIA)가 미국 새너제이에서 열린 GTC에서 오픈소스 AI 추론 소프트웨어 ‘엔비디아 다이나모(NVIDIA Dynamo)’ 를 공개했다.
엔비디아 다이나모는 AI 모델의 토큰 생성 속도를 높이고 비용을 절감 하도록 설계돼, AI 서비스 제공업체들이 더 높은 수익을 창출할 수 있도록 돕는다.
젠슨 황 엔비디아 CEO는 “AI 모델의 추론 방식이 점점 정교해짐에 따라, 대규모 AI 서빙이 필수적이다.엔비디아 다이나모는 이를 지원해 AI 팩토리 전반의 비용을 절감하고 효율성을 높일 것”이라고 말했다.
뉴스픽의 주요 문장 추출 기술을 사용하여 “M투데이” 기사 내용을 3줄로 요약한 결과입니다. 일부 누락된 내용이 있어 전반적인 이해를 위해서는 본문 전체 읽기를 권장합니다.
