생성형 AI가 공공부문 전반으로 확산되면서 관심의 중심이 ‘도입’에서 ‘운영’으로 이동하고 있다. AI 모델 구축 자체보다 실제 행정서비스 환경에서 안정적으로 운영하고 지속적으로 확장할 수 있는 체계가 공공기관의 새로운 과제로 떠오르는 분위기다.
AI·클라우드 소프트웨어 기업 오케스트로 그룹은 오는 23일부터 24일까지 경기 고양시 킨텍스 제2전시장 9B홀에서 열리는 ‘2026 공공 AI 박람회’에 참가해 공공 AI 서비스 운영을 위한 클라우드 기반 인프라 전략과 AI 운영 플랫폼을 선보인다고 19일 밝혔다.
공공 AI 박람회는 행정안전부가 주최하고 한국지능정보사회진흥원(NIA)이 주관하는 행사로, 제9회 전자정부의 날과 연계해 개최된다. 정부와 공공기관, 민간기업이 함께 AI 기반 행정 혁신 사례와 기술 방향을 공유하는 자리다. 행사장에서는 공공 AI 기술 전시를 비롯해 재해복구(DR) 정책 및 기술 포럼, 비즈니스 매칭 프로그램 등이 진행될 예정이다.
오케스트로가 이번 전시에서 강조하는 핵심은 ‘공공 AI 운영 체계’다. 최근 공공기관들이 민원 상담, 행정 업무 자동화, 데이터 분석 등 다양한 분야에 AI를 적용하고 있지만 실제 서비스 단계에서는 응답 속도 저하, 인프라 비용 증가, 서비스 장애 대응 등의 문제가 함께 제기되고 있다. AI 활용 범위가 넓어질수록 모델 성능 관리와 인프라 운영, 장애 대응 체계의 중요성도 커지고 있다는 분석이다.
오케스트로는 이번 박람회에서 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’를 중심으로 공공기관의 AI 운영 효율성을 높이는 방안을 소개한다.
콘체르토 AI는 AI 서비스 운영 과정에서 발생하는 응답 지연과 자원 낭비를 줄이는 데 초점을 맞춘 플랫폼이다. 회사 측에 따르면 고부하 환경에서도 안정적인 응답 성능과 효율적인 자원 활용이 가능하도록 설계됐다.
전시 현장에서는 실제 시연도 진행된다. 오케스트로는 다수의 동시 요청이 발생하는 상황을 구현해 AI 추론 성능 개선 효과를 공개할 예정이다. 회사가 제시한 자료에 따르면 응답 지연 시간은 최대 92% 감소하고 처리 효율은 최대 50% 향상됐다. 토큰 생성 속도 역시 기존 방식 대비 최대 2.2배 빨라졌다는 설명이다.
다만 해당 수치는 특정 테스트 환경에서 측정된 결과인 만큼 실제 운영 환경에서는 기관별 업무 특성과 인프라 구조에 따라 차이가 발생할 수 있다. 공공기관 입장에서는 성능 향상 수치뿐 아니라 장기간 운영 과정에서의 안정성과 비용 효율성 검증도 중요한 평가 요소가 될 전망이다.
오케스트로는 AI 서비스 운영과 함께 국내 클라우드 기반의 소버린 AI 인프라 구축 방향도 제시한다.
최근 정부와 공공기관을 중심으로 데이터 주권과 디지털 주권에 대한 관심이 높아지면서 해외 플랫폼 의존도를 낮추고 자체 운영 역량을 확보하려는 움직임이 확대되고 있다. 회사는 AI와 클라우드 인프라를 하나의 체계로 통합 관리할 수 있는 운영 환경을 통해 기관별 보안 정책과 운영 기준에 맞는 AI 서비스 구축을 지원한다는 계획이다.
클라우드 인프라 운영과 재난 대응 영역도 전시의 주요 주제다. 서버 가상화 솔루션 ‘콘트라베이스(CONTRABASS)’는 공공기관의 클라우드 전환과 인프라 통합 관리를 지원하는 플랫폼이다. 함께 소개되는 재해복구 솔루션 ‘콘트라베이스 레가토 DR(CONTRABASS Legato DR)’은 장애 발생 시 자동 복구 절차와 재해복구 훈련 기능을 제공해 서비스 중단 위험을 최소화하는 데 초점을 맞췄다.
공공기관의 디지털 전환이 가속화되면서 AI 서비스의 정확성 못지않게 서비스 연속성과 장애 대응 능력도 중요한 경쟁력으로 평가받고 있다. 특히 민원·행정 서비스처럼 국민 생활과 직결되는 분야에서는 장애 발생 시 사회적 파급력이 큰 만큼 안정적인 운영 체계 확보가 필수 요소로 꼽힌다.
오케스트로는 박람회 기간 동안 공공기관 관계자를 대상으로 AI 전환(AX)과 클라우드 운영 전략에 대한 1대1 맞춤형 상담도 진행할 예정이다. 기관별 업무 환경에 맞춘 인프라 설계와 AI 운영 방안, 클라우드 전환 전략 등을 제안한다는 계획이다.
김민준 오케스트로 그룹 의장은 “공공 AI 경쟁력은 기술 도입 자체보다 실제 행정 서비스에서 안정적으로 운영할 수 있는 역량에 달려 있다”며 “AI 성능과 비용 효율성, 서비스 연속성을 함께 고려한 클라우드 운영 모델을 통해 공공 AX 확산을 지원하겠다”고 밝혔다.
AI 기술 도입 경쟁이 본격화된 공공부문에서 운영 안정성과 재난 대응 체계는 앞으로 더욱 중요한 평가 기준이 될 가능성이 높다. 이번 박람회는 공공 AI의 다음 단계가 기술 시연을 넘어 실질적인 운영 체계 구축으로 이동하고 있음을 보여주는 현장으로 주목받고 있다.
Copyright ⓒ 스타트업엔 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
