AI 인프라 시장의 경쟁 축이 GPU 확보에서 운영 효율과 추론 성능 최적화로 이동하고 있다는 분석이 나왔다.
AI 인프라 소프트웨어 기업 오케스트로 그룹은 7일 서울 코엑스에서 개최한 기술 컨퍼런스 'OPUS 2026'와 행사 이후 진행한 설문조사 결과를 토대로 기업과 공공기관의 AI 인프라 구축 전략이 변화하고 있다고 밝혔다.
지난 7월 28일 열린 OPUS 2026에는 금융권과 제조업, 통신사, IT 서비스 기업, 공공기관 등 다양한 산업 분야의 IT 관계자 2,000여 명이 참석했다.
행사에서는 AI 인프라 구축과 운영 과정에서 발생하는 실무 과제를 중심으로 기술 상담이 진행됐다. 특히 GPU 자원 배분, AI 추론 응답 지연 개선, 복잡한 추론 환경 운영 방안 등에 대한 문의가 집중됐으며, 새로운 장비를 추가 도입하기보다 기존 인프라를 효율적으로 활용하는 방안에 관심이 모였다고 회사는 설명했다.
오케스트로는 현장에서 확인된 수요를 종합한 결과 AI 인프라 경쟁력을 평가하는 기준이 GPU 보유 규모보다 실제 운영 성과와 자원 활용 효율로 이동하고 있다고 분석했다.
기업들은 AI 서비스의 응답 속도와 추론 성능을 유지하면서도 운영 비용과 관리 복잡성을 낮추는 방안을 핵심 과제로 인식하고 있다는 것이다.
행사 이후 기업과 공공기관 IT 담당자 1,703명을 대상으로 실시한 조사에서도 비슷한 결과가 나타났다.
AI 인프라 또는 추론 환경을 운영하면서 가장 큰 부담으로 꼽힌 항목은 GPU 서버 비용(36.9%)과 AI 인프라 전문 인력 부족(36.5%)이었다.
이어 AI 인프라 구축과 운영 경험 부족이라는 응답도 22.2%를 기록했다.
AI 추론 플랫폼을 선택할 때 중요하게 고려하는 요소로는 추론 성능과 응답 속도(20.2%)가 가장 높은 비중을 차지했다. GPU 활용률과 비용 효율은 19.2%, 기존 인프라 및 클라우드 환경과의 연계성은 16.7%로 뒤를 이었다.
조사 결과는 AI 인프라 경쟁이 하드웨어 중심에서 소프트웨어 기반 운영 효율화 단계로 확장되고 있음을 보여주는 사례로 해석된다. GPU 확보 경쟁이 이어지고 있지만 실제 서비스 운영 단계에서는 자원 활용률과 비용 절감, 운영 안정성을 함께 확보하는 것이 중요한 과제로 떠오르고 있다는 의미다.
오케스트로는 이러한 시장 변화에 대응하기 위해 AI 추론 운영 플랫폼 '콘체르토 AI(CONCERTO A.I.)'를 공급하고 있다.
콘체르토 AI는 분산 서빙 기반 추론 최적화 기술과 실시간 GPU 자원 배분 기능을 통해 응답 지연을 줄이고 GPU 활용률을 높이는 데 초점을 맞춘 플랫폼이다.
회사는 OPUS 2026에서 확인한 고객 요구와 설문조사 결과를 제품 개발과 서비스 고도화에 반영해 기업과 공공기관의 AI 인프라 운영 환경을 지원한다는 계획이다.
김민준 오케스트로 그룹 의장은 "이번 행사를 통해 금융과 제조, IT를 비롯한 다양한 산업 현장에서 AI 인프라 운영 과정의 공통된 과제를 확인할 수 있었다"며 "한정된 인프라 환경에서도 AI 서비스의 응답 성능과 운영 효율을 높일 수 있는 기술을 지속적으로 고도화해 나가겠다"고 말했다.
AI 인프라 시장은 GPU 공급 확대와 함께 운영 소프트웨어의 중요성도 커지는 흐름을 보이고 있다. 다만 이번 조사와 분석은 오케스트로가 주최한 행사 참가자와 IT 관계자를 대상으로 진행된 만큼, 전체 시장의 수요를 일반화하기보다 AI 인프라 도입 기업들의 관심 흐름을 보여주는 참고 지표로 볼 필요가 있다.
Copyright ⓒ 스타트업엔 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
