[현장] 영상 피드백 반복 업무, AI가 대신할 수 있을까?

넥슨게임즈 진승범 부실장이 NDC 26에서 강연을 하고 있다. [사진=송진원 기자]

“여기 애니메이션 튑니다”

이는 시네마틱 연출을 제작하는 아트실에서 하루에도 수없이 오가는 피드백이다. 실제로 작업자가 영상을 온종일 수정하다 보면 어느 순간 어색한 장면조차 눈에 익숙해져 정상처럼 보이기 마련이다.

이를 잡아내기 위해서는 감독자의 '제3의 눈'이 필수적이지만 매번 같은 지적을 반복하는 과정은 작업자와 감독자 모두에게 막대한 시간과 감정적 비용을 소모하게 만든다.

넥슨게임즈 진승범 퍼스트 디센던트 아트실 부실장은 17일 열린 ‘넥슨 개발자 콘퍼런스 2026’(NDC 26)에서 이러한 고충을 해결하기 위해 개발한 AI 기반 아트 리뷰 시스템 ‘리뷰허브’의 연구 기록을 공개했다.

진 부실장은 실제 프로젝트 아트 리뷰 툴에 누적된 피드백 134건을 분석하고 분류했다. 그 결과 피드백 약 60%가 캐릭터 및 오브젝트 클리핑, 밝기 오류, 타이밍, 모션의 튐 등 객관적으로 식별 가능한 항목으로 나타났다. 연출 의도나 모션 느낌 등 주관적 영역을 제외하면 상당 부분 AI를 통한 자동 분석이 가능하다고 판단했다.

가설을 세운 진 부실장은 구글 생성형 AI 제미나이를 활용해 시네마틱 영상 자율 분석을 시도했다. AI는 영상 속 타임코드와 결함의 심각도, 수정 제안까지 추려내며 정상적으로 작동하는 듯했다.

그러나 실제 실무에 적용하기에는 명확한 한계가 있었다. AI 피드백은 ‘상체와 하체 분리감이 다소 어색하고 물리적 리액션이 섬세하게 조율될 필요가 있다’는 표현처럼 실무자가 구체적으로 어떤 포인트를 고쳐야 할지 파악하기 어려웠다.

실제 개발 파이프라인에서 쓸 수 있는 신뢰도를 확보하려면 단순한 분석 보고서 생성을 넘어선 고도화된 AI 리뷰 플랫폼이 필요했다. 이에 진 부실장은 본격적으로 평가 기준을 코드로 변환해 데이터화하는 플랫폼 ‘리뷰허브’ 구축에 나섰다.

가령 발이 미끄러지는 현상을 ‘풋 슬라이딩’과 같이 표준화된 명칭으로 정의하고 이를 총 30개의 기준 코드로 분류한다. 작업자가 영상을 업로드하면 AI가 이 기준 코드를 기반으로 1차 검수를 진행한다. 이후 감독자가 AI 분석 내용에 대해 동의 또는 오탐 판정을 내리면 피드백이 데이터로 축적돼 AI 모델별 스코어 카드를 고도화하는 방식이다. 

하지만 또 다른 문제에 부딪혔다. 최종 렌더링 화면을 판단하는 과정에서 밝기나 타이밍이 중시되는 FX 영역은 비교적 잘 감지했으나 애니메이션 영역 1~2프레임 수준의 미세하게 튀는 동작은 잡아내지 못했다. 무엇보다 학습된 맥락이 실제 관찰 데이터를 앞서는 환각 현상이 발생하며 사실과 다른 분석 결과를 내놓기도 했다.

넥슨게임즈 진승범 부실장이 NDC 26에서 프레젠테이션을 활용해 강연을 진행 중이다. [사진=송진원 기자]

이를 해결하기 위해 캐릭터 뼈대의 원본 로그 데이터인 FBX 포맷을 추가로 도입했으나 이 역시 부작용을 낳았다. 규칙 설정을 지나치게 엄격하게 적용한 탓에 AI가 모든 판단을 수치에만 의존하기 시작한 것이다. 육안으로 뻔히 보이는 시각적 오류임에도 수치상 문제가 없다는 이유로 AI가 이를 감지하지 않고 침묵하는 역설적인 상황이 발생했다.

진 부실장은 단순한 데이터 증량 대신 AI에게 데이터의 개념을 재정의해 주는 방식으로 해결책을 모색했다. FBX 데이터를 별개의 기준이 아닌 영상의 또 다른 3D 표현 방식으로 묶고 튀는 현상을 단일 수치가 아닌 앞뒤 흐름의 복귀 과정 전체로 판단하도록 설정을 바꿨다.

데이터 간 경계를 명확히 하자 비로소 영상과 FBX 데이터가 유기적으로 결합하며 관절의 급격한 변형 이슈와 타이밍을 정확히 짚어냈다. 여기에 생성형 AI 모델을 활용해 수정 방향을 시각적인 가이드 영상으로 직접 제시하는 시스템도 도입했다.

넥슨게임즈 진승범 부실장이 NDC 26에서 강연을 통해 '리뷰허브' 개발 경험을 공유하고 있다. [사진=송진원 기자]

가령 이펙트가 너무 빨리 소멸한다는 지적이 나오면 AI가 자동으로 타이밍을 조절한 가이드 영상을 생성해 감독자에게 보여주는 식이다. 애니메이션의 경우 원본 옆에 타이밍, 포즈, 방향을 직관적으로 보여주는 래퍼런스 영상을 함께 띄워 가이드를 제공하거나 프레임 위에 수정 개념을 얹어줬다.

끝으로 진 부실장은 세션에서 공유한 시스템이 실무에 곧바로 도입될 만큼 완성된 단계는 아니라고 자평했다. 모션의 미묘한 감성을 판단하는 문제나 생성된 영상이 원본의 맥락을 완벽히 유지하지 못하는 등 해결해야 할 과제가 남아있다는 설명이다.

그럼에도 AI에게 단순 반복적인 기본기 리뷰를 맡기는 것만으로도 업무 프로세스를 대폭 효율화할 수 있다고 강조했다.

다만 “설계 없는 방임은 환각과 침묵으로 돌아올 뿐이다”라며 “AI가 무엇을 보고 어떤 기준으로 판단하며 어디까지 일해야 하는지 역할 범위를 명확히 설계해야만 비로소 가치를 발휘할 수 있다”라고 덧붙였다.

송진원 기자 [e-mail]