사진=비드래프트 제공
[비하인드=김현수기자] 서울AI허브 입주 AI 스타트업 비드래프트(VIDRAFT, 대표 김민식)가 대규모 언어모델(LLM)의 환각(hallucination)을 감소시키고 자기 교정 능력을 부여하는 AI 추론 미들웨어 'MARL(Model-Agnostic Runtime Middleware for LLMs)'을 허깅페이스, 깃허브, PyPI, 그리고 26만 개발자 커뮤니티를 보유한 AI 에이전트 플랫폼 OpenClaw의 스킬 마켓플레이스 'ClawHub'에 동시 공개했다.
MARL은 모델 재학습(파인튜닝) 없이 런타임에서 다단계 자기 검증 파이프라인을 자동 실행하여 LLM의 환각을 줄이는 미들웨어다. 기존 코드에 한 줄만 변경하면 OpenAI API 포맷을 지원하는 모든 LLM에 즉시 적용할 수 있다.
메타인지(metacognition)란 AI가 자기 답변이 틀렸을 가능성을 인식하고 스스로 교정하는 능력이다. 그러나 현재 LLM에는 두 가지 근본적 한계가 있다.
첫째, 메타인지 격차. 비드래프트가 공개한 세계 최초 AI 메타인지 벤치마크 'FINAL Bench'에서 GPT-5.2·Claude Opus 4.6·Gemini 3 Pro 등 SOTA 모델 9종, 총 1,800건을 평가한 결과, '틀릴 수 있다고 인식하는 능력(MA=0.694)'과 '실제로 오류를 고치는 능력(ER=0.302)' 사이에 극심한 괴리가 확인됐다.
둘째, 자기 부정의 구조적 불가능. LLM은 자기 회귀(autoregressive) 구조상 한번 답변 생성을 시작하면 중간에 방향을 바꿀 수 없다. 초반에 잘못된 가정을 세우면 끝까지 그 방향으로 달려가며, 이것이 환각이 자신감 있게 생성되는 근본 원인이다.
'한 번에 답하는' 구조에서 '의심하고 고쳐 쓰는' 구조로 MARL은 하나의 LLM 호출을 다수의 독립적인 전문가 역할로 분화시킨다. 기획자가 접근법을 설계하고, 실행자가 초안을 작성하고 검증자가 오류를 지적하고, 통합자가 피드백을 반영해 완전히 새로운 최종본을 생성하는 구조다. 사용자에게는 정제된 최종 답변만 제공되며, 다단계 추론 과정은 각 단계별로 투명하게 기록되어 선택적으로 확인할 수 있다.
이 구조는 기존 LLM의 두 가지 한계를 동시에 해소한다. 단일 모델에서는 나타나지 않는 새로운 관점이 다단계 상호작용을 통해 도출되고, 적대적 검증 단계에서 초안의 오류를 재검토한 뒤 완전히 새로운 최종 답변을 생성한다. FINAL Bench 연구에서 메타인지 구조 적용 시 최상위 난이도 문제에서 성능이 70% 이상 향상되었고, 그 효과의 94.8%가 자기 교정 능력에서 발생한 것이 이를 뒷받침한다.
기본 추론 강화 외에 신약 개발, 창작, 법률 등 9개 전문 창발 엔진을 내장하고 있어, 도메인 특화 아이디어 생성도 가능하다.
파인튜닝은 수천만 원의 비용과 수 주의 시간이 필요하고, RAG는 외부 지식을 보강할 뿐 추론 오류 자체를 교정하지 못한다. MARL은 모델 가중치를 건드리지 않고 런타임에서 추론 구조 자체를 바꾸는 제3의 접근법으로, 모델을 전환하더라도 MARL 레이어는 그대로 유지된다. 멀티 LLM 전략을 채택하는 기업에게 벤더 락인 없이 일관된 품질 보장 수단을 제공한다.
MARL은 GitHub 스타 26만 개를 돌파한 AI 에이전트 플랫폼 OpenClaw의 마켓플레이스 ClawHub에 공식 등록됐다. 3,200개 이상의 스킬 중 '추론 강화' 카테고리의 첫 번째 미들웨어로, AI 에이전트가 행동하기 전에 충분히 생각하지 않는 문제를 구조적으로 해결한다. OpenClaw 에이전트가 실행(Execution) 전문가라면, MARL은 그 에이전트에게 메타인지를 부여하는 두뇌 업그레이드다.
관계자는 "FINAL Bench 연구를 통해 현존 최고 AI조차 '자기가 모르는 것을 아는 능력'이 크게 부족하다는 사실을 확인했다. MARL은 모델을 바꾸는 것이 아니라 '생각하는 방식'을 바꾸는 것이며, AI가 스스로 의심하고 고치는 과정을 투명하게 보여주는 것, 그것이 신뢰의 시작이라고 생각한다"고 전했다.
2026년 상반기 엔터프라이즈 에디션을 출시하며, FINAL Bench 기반 효과 검증 결과를 국제 학술지에 투고할 계획이다. 미국 시장 진출을 위한 현지 기업 PoC를 마쳤고 로컬라이제이션을 진행 중이다.
한편, 비드래프트(VIDRFT)는 2030년 이내 True-AGI 개발을 목표로 2024년 설립된 서울AI허브 입주 스타트업이다. AI 메타인지 벤치마크 FINAL Bench를 개발하여 허깅페이스 데이터셋 글로벌 인기 5위, 리더보드 '금주의 스페이스'에 2주 연속 선정됐다.
또 Google DeepMind FACTS Grounding Leaderboard 의료 AI 분야 세계 2위(CNRS 검증), HuggingFace 히트맵 리더보드 글로벌 4위, STAR AI TOP 12(2024, 한국 유일) 등의 실적을 보유하고 있으며 최근 폭스사 넷플릭스 ESPN에 수출 납품하는 글로벌 방송용 모니터 제조사 웨어큐브와 공동연구개발 계약을 맺었다.
[사진=비드래프트 제공]
Copyright ⓒ 비하인드 무단 전재 및 재배포 금지