기업들의 AI 도입이 가속화되면서 예상치 못한 비용 폭탄이 터지고 있다. 데이터를 잘게 쪼갠 '토큰'이라는 단위가 과금의 기준이 되기 때문이다. 연합뉴스에 따르면 글로벌 리서치 기관 가트너가 최근 발표한 보고서에서 이 같은 토큰 기반 요금 체계에 대한 이해 부족이 심각한 예산 초과와 투자 효과 측정 실패로 이어질 수 있다고 경고했다.
토큰은 AI가 언어를 해석하고 생성하는 과정에서 활용하는 가장 작은 데이터 조각이다. 단어 하나가 대략 1.3개의 토큰으로 환산되며, 천 단어 분량의 문서를 처리하려면 약 1,300개의 토큰이 소모된다. 텍스트만 해당되는 것이 아니다. 이미지 한 장을 분석할 때는 수백에서 수천 개의 토큰이 한꺼번에 사라질 수 있다.
과금 방식을 살펴보면 입력과 출력 모두 비용이 발생하는 구조다. 특히 AI가 생성해내는 출력 토큰의 단가가 입력보다 3~10배 높게 책정되어 있어 주의가 필요하다. 현재 주요 서비스 제공업체들의 최신 모델 기준으로 입력 토큰 100만 개당 약 2.5달러, 출력 토큰 100만 개당 약 20달러가 부과되고 있다.
◇ 활용 방식이 비용을 좌우한다
동일한 AI 서비스라도 사용 패턴에 따라 토큰 소비량은 천차만별이다. 일회성 질의응답은 상대적으로 부담이 적다. 그러나 연속 대화 방식을 택하면 상황이 달라진다. 매번 이전 대화 내용 전체가 재입력되는 구조 탓에 대화가 길어질수록 토큰이 눈덩이처럼 불어난다. 외부 문서를 참조해 답변 품질을 높이는 검색 증강 생성(RAG) 기법 역시 참조 문서량에 비례해 비용이 증가한다.
복잡한 문제를 해결할 때 AI 내부에서 진행되는 추론 과정도 토큰을 소비하지만, 이 수치는 사용자 화면에 표시되지 않아 정확한 파악이 어렵다.
최근 각광받는 에이전틱 AI의 경우 토큰 소비량이 가장 극심하다. 목표 달성을 위해 계획을 세우고, 외부 도구를 호출하며, 결과를 점검하는 일련의 과정이 수십 차례 반복되기 때문이다. 에이전트 수가 늘어나고 작업 단계가 복잡해질수록 비용은 기하급수적으로 치솟는다.
과금 체계의 변화도 예측을 어렵게 만든다. 과거에는 사용자당 정액제가 일반적이어서 예산 수립이 용이했다. 그러나 AI 기능이 각종 소프트웨어에 녹아들면서 실사용량 기반 종량제로 빠르게 전환되는 추세다.
더 본질적인 난제는 토큰 소비와 실제 업무 성과 간의 연결고리를 입증하기 어렵다는 점이다. 토큰을 많이 썼다고 생산성이 향상됐다고 단정할 수 없고, 비용을 절감했다고 해서 AI를 효과적으로 활용하고 있다고 보기도 힘들다.
◇ 전사적 관리 체계와 핀옵스 전략 통합이 해법
이러한 상황에서 기업은 어떤 전략을 취해야 할까. 가트너는 토큰 사용 현황을 실시간으로 파악할 수 있는 모니터링 시스템 구축을 최우선 과제로 꼽았다.
다양한 방법이 존재한다. API 응답 메타데이터를 분석하거나 AI 게이트웨이를 활용하는 방식이 있고, 오픈AI나 앤트로픽이 제공하는 기업용 관리 콘솔을 통해서도 추적이 가능하다. 헬리콘, 랭퓨즈 등 전문 분석 솔루션 도입도 대안이 될 수 있다.
단순히 비용을 확인하는 데서 그쳐서는 안 된다고 가트너는 조언한다. 보고서에서는 토큰 비용의 관리와 최적화가 특정 부서만의 업무가 아니라 조직 전체의 협업을 통해 이뤄져야 한다고 강조했다. AI를 활용하는 임직원들에게 효율적인 사용법을 교육하고, 프롬프트 템플릿 같은 지원 도구를 제공해 올바른 토큰 사용 습관을 뿌리내리게 해야 한다는 것이다.
더 나아가 토큰 비용 관리를 클라우드 재무 최적화 방법론인 핀옵스(FinOps) 전략에 편입시키고, 경영진과 실무 부서가 공동으로 AI 투자 가치를 측정할 지표를 설계해야 한다고 제언했다.
AI 에이전트 활용 확대와 업무 소프트웨어 전반에 걸친 AI 기능 내재화로 인해 토큰 소비량은 앞으로 더욱 가파르게 증가할 것으로 전망된다. 토크노믹스는 이제 기술 전문가들만의 관심사를 넘어섰다. AI에 투입된 자원이 어떤 성과로 돌아오는지 증명해야 하는 기업 재무 전략의 핵심 화두로 부상하고 있다.
Copyright ⓒ 나남뉴스 무단 전재 및 재배포 금지
