엔비디아 라이트닝, 동급 지능을 4분의 1 크기로 구현
엔비디아는 이 모델과 함께 에이전트 도구 안에서 여러 모델을 상황에 맞게 배분하는 오픈소스 라우팅 라이브러리 ‘네모 스위치야드(NeMo Switchyard)’도 함께 내놓았다.
초당 약 670토큰을 처리해 같은 체급 모델 중 가장 빠른 추론 속도를 기록했다.
엔비디아 생성형 AI 부문 부사장 카리 브리스키(Kari Briski)는 브리핑에서 라이트닝을 두고 “울트라(Ultra)의 지식을 나노(Nano)의 크기에 담았다”고 설명했다.
뉴스픽의 주요 문장 추출 기술을 사용하여 “위키트리” 기사 내용을 3줄로 요약한 결과입니다. 일부 누락된 내용이 있어 전반적인 이해를 위해서는 본문 전체 읽기를 권장합니다.
