엔비디아는 RTX용 NIM과 AI 블루프린트를 공개했다. NIM 마이크로서비스는 사전 패키지 생성형 AI 모델로, 개발자가 손쉽게 AI를 시작하고 RTX 성능을 활용해 윈도우 PC에서 AI를 가속화할 수 있도록 돕는다. AI 블루프린트는 NIM을 활용해 차세대 AI 경험을 구축하는 방법을 제공하는 참조 프로젝트다.
NIM과 AI 블루프린트는 지포스 RTX 50 시리즈 GPU에 최적화돼 있어 AI PC 환경에서 고급 AI 경험을 구축하고 반복할 수 있다.
AI 모델 개발이 빠르게 발전하고 있지만, 이를 PC에 적용하는 것은 여전히 복잡한 과정이다. 허깅페이스 등에서 제공하는 모델은 PC에서 실행하기 위해 최적화 및 정량화가 필요하며, 기존 도구와의 호환성을 위해 API 통합이 요구된다. NIM 마이크로서비스는 과정을 단순화해 AI 모델 실행을 손쉽게 지원한다.
마이크로서비스는 업계 표준 API를 통해 쉽게 다운로드하고 연결할 수 있으며, AI PC에 필수적인 요소들을 포함한다. 또한 다양한 AI 도구와 호환되며, PC, 데이터센터, 클라우드 등 어디서나 유연하게 배포할 수 있다. 사전 구축 엔진, 텐서RT 소프트웨어 개발 키트, 텐서 코어 기반 가속 추론을 위한 텐서RT-LLM 라이브러리를 포함하고 있다.
By 기사제보 및 정정요청 = PRESS@weeklypost.kr
〈저작권자ⓒ 위클리포스트, 무단전재 및 재배포 Ai 학습 포함 금지〉
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
다음 내용이 궁금하다면?
광고 보고 계속 읽기
원치 않을 경우 뒤로가기를 눌러주세요