AI 에이전트 기술이 확산되는 가운데, 실제 운영 환경에서 반복되는 오류의 원인을 체계적으로 분석한 국내 연구가 국제 학계에서 주목받고 있다.
AI·클라우드 소프트웨어 기업 오케스트로(대표 김범재, 김영광)는 한양대학교 분산데이터처리시스템 연구실과 공동 수행한 연구가 국제 학술대회 ‘ASPLOS 2026’ AIOps 워크숍에 채택됐다고 밝혔다.
ASPLOS는 컴퓨터 아키텍처, 운영체제, 프로그래밍 언어 분야를 아우르는 최고 권위 학술대회로, AIOps 워크숍은 클라우드 운영 지능화 분야를 다루는 핵심 프로그램이다.
이번 연구는 ‘AI 에이전트가 클라우드 장애 원인 분석에서 왜 반복적으로 실패하는가’를 주제로 진행됐다.
연구팀은 5개 대형 언어모델(LLM)을 대상으로 총 1,675회 실행, 약 13억 8,000만 토큰 규모의 실험을 수행했다. 이를 통해 실패 원인을 12가지 유형으로 정리했다.
분석 결과, 주요 원인은 데이터 해석 과정에서 발생하는 ‘환각’과 충분하지 않은 탐색으로 나타났다. 각각 71.2%, 63.9% 비중을 차지했다.
특히 이 문제는 특정 모델에 국한되지 않고 전반적으로 반복되는 경향을 보였다. 개별 모델 성능보다 에이전트 구조 자체의 한계가 핵심 병목이라는 분석이다.
연구팀은 단순 프롬프트 수정만으로는 의미 있는 개선이 어렵다는 점도 확인했다. 대신 에이전트 간 통신 방식을 개선하는 접근이 효과를 보였다.
코드, 실행 결과, 예외 정보 등을 보다 풍부하게 공유하도록 설계한 결과, 오류율은 최대 15%포인트 감소했고 실행 시간은 22.3% 단축됐다.
이는 최근 주목받는 멀티 에이전트 구조가 단순 정확도 개선을 넘어 효율성 측면에서도 의미 있는 대안이 될 수 있음을 시사한다.
학술대회 현장에서도 해당 연구는 주요 논의 주제로 떠올랐다. 마이크로소프트 리서치 등 글로벌 연구진이 참여해 에이전트 구조 개선 방향과 한계에 대한 질의가 이어졌다.
특히 에이전트 파이프라인의 구조적 문제와 이를 해결하기 위한 멀티 에이전트 프레임워크에 대한 관심이 높았다는 설명이다. 모델 세대별 환각 현상과 컨텍스트 확장에 따른 부작용도 주요 논의 대상이었다.
이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 추진하는 AI 기반 클라우드 운영 자동화 과제의 일환으로 진행됐다.
오케스트로는 해당 성과를 자사 플랫폼에 적용해 ‘자율 운영 클라우드’ 구현을 목표로 하고 있다.
김범재 대표는 “글로벌 빅테크 중심의 클라우드 인텔리전스 분야에서 기술 경쟁력을 입증했다”며 “AI가 스스로 장애를 분석하고 해결하는 수준까지 고도화하겠다”고 밝혔다.
AI 에이전트는 차세대 클라우드 운영 기술로 주목받고 있지만, 실제 환경에서는 여전히 신뢰성과 안정성 문제가 남아 있다. 이번 연구는 그 한계를 구체적으로 드러낸 사례로, 향후 기술 발전 방향을 가늠하는 기준점이 될 가능성이 있다.
Copyright ⓒ 스타트업엔 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
