클라우드 AI MSP(관리형 서비스 제공사) 스마일샤크가 국내 최대 규모 AI·클라우드 행사에서 생성형 AI 운영 전략과 품질 관리 사례를 공개했다. 생성형 AI 서비스가 실증(PoC) 단계를 넘어 실제 운영 단계로 이동하는 가운데 ‘AI 신뢰성 확보’가 핵심 화두로 떠오르는 모습이다.
클라우드 AI MSP 스마일샤크(대표 장진환)는 지난 20일부터 21일까지 서울 삼성동 코엑스에서 열린 ‘AWS 서밋 서울 2026(AWS Summit Seoul 2026)’에 2년 연속 플래티넘 스폰서로 참여했다고 22일 밝혔다.
Amazon Web Services(AWS)가 주최한 AWS 서밋 서울은 생성형 AI와 클라우드 기술을 중심으로 산업별 혁신 사례를 공유하는 국내 대표 기술 컨퍼런스다. 올해로 12회째를 맞았다.
행사 첫날 코엑스 3층 D홀에서 열린 인더스트리 데이 스폰서 세션에서는 스마일샤크 최병주 솔루션즈 아키텍트(SA)가 ‘생성형 AI의 신뢰성 확보 전략: 매경AX의 환각(Hallucination) 통제 사례’를 주제로 발표를 진행했다.
핵심 사례는 매일경제신문사 산하 디지털 조직 매경AX의 AI 팟캐스트 자동화 프로젝트였다. 발표에 따르면 해당 프로젝트는 국내 언론사 가운데 처음으로 AI 팟캐스트 자동 생성 시스템을 실제 운영 환경에 적용한 사례다.
특히 주목받은 부분은 ‘LLM-as-a-Judge’ 방식이다. AI 모델이 다른 AI의 결과물을 평가·검증하는 구조로, 생성형 AI 출력 오류를 줄이기 위해 설계됐다. 스마일샤크 측은 이 체계를 도입한 뒤 월평균 15~20건 수준이던 사실 오류를 월 1건 이하로 낮췄고, 콘텐츠 검수 인력 투입 시간도 90% 이상 단축했다고 설명했다.
생성형 AI 서비스 상용화 과정에서 ‘환각’ 문제는 가장 큰 과제 중 하나로 꼽힌다. 잘못된 정보 생성이나 출처 불명 답변이 서비스 신뢰도를 훼손할 수 있기 때문이다. 업계에서는 단순히 성능이 높은 AI 모델을 도입하는 것을 넘어, 출력 결과를 검증·평가하는 운영 체계 구축이 중요해지는 흐름이 나타나고 있다.
최병주 스마일샤크 솔루션즈 아키텍트는 “생성형 AI는 개념 검증(PoC)을 넘어 실제 서비스 단계에 들어가는 순간 품질 관리가 경쟁력이 된다”며 “LLM 기반 평가는 AI 결과를 단순 검토하는 수준을 넘어 원문 근거와 명확한 기준을 기반으로 오류를 걸러내는 운영 전략”이라고 설명했다. 이어 “모델 관리, 평가 체계, 실패 사례 관리까지 함께 구축돼야 안정적인 서비스 운영이 가능하다”고 말했다.
스마일샤크는 행사 기간 플래티넘 부스도 운영했다. ‘야구단 포지션 테스트’를 활용한 성향 분석 기반 클라우드 추천 콘텐츠와 맞춤형 굿즈 제작 프로그램을 선보이며 기술을 보다 친숙한 방식으로 소개했다. 회사 측에 따르면 이틀간 약 4000명의 방문객이 부스를 찾았으며, AI 도입을 검토 중인 스타트업과 중소기업 실무자 대상 기술 상담도 활발히 진행됐다.
장진환 스마일샤크 대표는 “이번 AWS 서밋에서는 기술 전문성뿐 아니라 고객이 클라우드를 쉽고 친근하게 경험할 수 있는 접점을 만드는 데 집중했다”며 “AI 도입을 고민하는 기업들이 참고할 수 있는 실제 운영 사례와 노하우를 지속 공유해 AI MSP 역할을 확대해 나가겠다”고 밝혔다.
Copyright ⓒ 스타트업엔 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
