온라인 시험 시장이 빠르게 확대되는 가운데, 시험 감독 방식에도 생성형 AI 기술이 본격 도입되고 있다. AI가 단순 이상행동 탐지를 넘어 행동 맥락을 분석하고 서술형 보고서까지 생성하는 수준으로 진화하면서 ‘AI 감독관’ 시대가 현실화되고 있다는 평가가 나온다.
AI 기반 온라인 테스팅 플랫폼 기업 그렙은 21일 자사 온라인 시험 감독 솔루션 ‘모니토(Monito)’에 LLM(대규모언어모델) 기반 AI 에이전트를 적용했다고 밝혔다.
이번 업데이트의 핵심은 AI가 단순 움직임 탐지를 넘어 부정행위 의심 행동의 맥락(context)을 해석하고 감독관이 이해하기 쉬운 형태로 요약·보고한다는 점이다. 기존 온라인 시험 감독 솔루션이 특정 행동을 기계적으로 감지하는 데 집중했다면, 이제는 행동 패턴을 종합 분석해 부정행위 가능성을 설명하는 방향으로 진화했다는 설명이다.
예를 들어 기존 시스템은 ‘손이 화면 밖으로 이동했다’는 이벤트만 감지했다. 반면 새 AI 에이전트는 “응시자가 반복적으로 특정 방향으로 시선을 이탈했다”거나 “보조 모니터 참조 가능성 또는 대리 응시 정황이 의심된다”는 식으로 상황을 해석해 전달한다.
새롭게 추가된 AI 에이전트 패널은 감독 화면 우측에서 실시간 분석 결과를 제공한다. 감독관은 AI가 선별한 위험 상황을 우선 검토하고 최종 판단을 내리는 방식으로 업무 구조가 달라진다. 사실상 인간 감독관이 모든 응시자의 영상을 전수 모니터링하던 구조에서 ‘AI 선별→인간 검증’ 체계로 이동하는 셈이다.
모니토의 주요 기능은 세 가지다. 우선 AI가 의심 행동 발생 맥락을 설명하는 상황 요약 기능을 제공한다. 여기에 위험도가 높은 응시자를 우선 선별할 수 있는 ‘부정행위 스코어링’ 기능이 추가됐다. 의심 정황 확인 즉시 관련 영상 시점으로 이동하는 기능도 지원해 감독 효율을 높였다.
그렙 측은 내부 테스트 결과도 공개했다. AI가 생성한 서술형 보고서를 기반으로 검토한 결과, 기존처럼 전체 시험 영상을 일일이 확인하던 방식 대비 사후 검토 시간이 약 30% 단축됐다고 밝혔다. 맥락 분석 기반 필터링으로 오탐(false positive) 알림도 약 20% 감소했다고 설명했다.
온라인 시험 감독 시장에서는 정확성과 공정성이 핵심 과제로 꼽힌다. 원격 시험 환경에서는 응시자의 시선 이동이나 화면 외 행동만으로 부정행위를 단정하기 어려워 감독관 부담이 컸다. 특히 자격시험, 채용 테스트, 온라인 교육 평가가 확대되면서 AI 기반 감독 솔루션 수요도 커지는 추세다.
다만 AI 감독 시스템 도입 확대와 함께 개인정보 보호와 오탐 논란 가능성도 함께 제기된다. 응시자 얼굴, 시선, 행동 데이터가 실시간 분석되는 만큼 데이터 처리 투명성과 오판 방지 체계 확보가 중요해질 수 있다는 지적이다. AI 판단이 최종 제재로 이어질 경우 설명 가능성과 이의 제기 절차도 중요한 쟁점이 될 전망이다.
그렙은 이번 업데이트로 시험 감독 효율이 최소 1.5배 이상 향상될 것으로 보고 있다.
임성수 대표는 “시험 감독에서 가장 어려운 부분은 특정 행동이 실제 부정행위인지 판단하는 일”이라며 “AI가 행동 맥락을 설명하고 객관적 근거를 제시하면 감독관이 더 빠르고 정확하게 최종 판단을 내릴 수 있다”고 말했다.
회사는 올해 상반기 중 감독 체계를 추가 고도화할 계획이다. 신뢰도가 높은 시험에는 인간 감독관과 AI가 함께 모니터링하는 ‘라이브 피드’ 방식을, 대규모 시험 사후 검토에는 AI 중심의 ‘AI 피드’ 방식을 적용하는 ‘듀얼 피드(Dual Feed)’ 구조를 도입할 예정이다. 고객사가 시험 유형과 보안 수준에 따라 감독 방식을 유연하게 선택할 수 있도록 하겠다는 전략이다.
Copyright ⓒ 스타트업엔 무단 전재 및 재배포 금지
