오케스트로, GPU 활용률 높이는 ‘콘체르토 AI’ 공개… AI 추론 속도 2.2배 향상
오케스트로는 29일 GPU 자원 활용률을 높이고 AI 서비스 응답 지연을 줄이는 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’를 공개했다고 밝혔다.
콘체르토 AI는 AI 모델 배포부터 추론 요청 처리, 자원 배분, 성능 모니터링까지 하나의 플랫폼에서 관리할 수 있도록 설계됐다.
김범재 대표는 “생성형 AI와 에이전트형 AI 서비스 확산으로 기업 과제가 GPU 확보에서 자원 운영 효율로 이동하고 있다”며 “콘체르토 AI를 통해 기업이 기존 AI 인프라 활용도를 높이고 프라이빗 AI 환경에서도 안정적인 서비스 운영을 할 수 있도록 지원하겠다”고 말했다..
뉴스픽의 주요 문장 추출 기술을 사용하여 “스타트업엔” 기사 내용을 3줄로 요약한 결과입니다. 일부 누락된 내용이 있어 전반적인 이해를 위해서는 본문 전체 읽기를 권장합니다.
