[현대차그룹 자율주행 ②] "5년 내 데이터 추월"…700만대 양산 기반 '플라이휠'

[프라임경제] 현대자동차(005380)와 기아(000270)가 세계 시장에서 연간 판매하는 차량은 700만대를 웃돈다. 자율주행 시대에는 이 제조 규모가 AI를 키울 데이터 공급망으로 바뀔 가능성이 있다.

다만 700만대라는 숫자가 현재 자율주행 학습에 투입되는 데이터 규모를 뜻하지는 않는다. 포티투닷(42dot)이 운영하는 데이터 수집 전용 차량은 40여대다. 차량 한 대에서 일주일에 80시간 이상의 데이터를 확보하지만 수집 내용의 절반 가까이는 직선 차로 정속 주행처럼 학습 가치가 상대적으로 낮은 장면이다.

현대차그룹은 데이터 규모만큼 '학습 속도'를 중요한 경쟁 요소로 보고 있다. 수많은 주행 기록 가운데 AI가 취약한 장면을 찾아 재학습하고 개선 모델을 다시 차량에 배포하는 속도가 자율주행 성능을 좌우한다.

판교 42dot 본사에서 열린 '현대차그룹 자율주행 미디어데이'에서 현대차·기아 AVP본부장 박민우 사장이 발표하는 모습. ⓒ 현대자동차그룹

현대차그룹은 지난 11일 경기도 성남시 포티투닷 본사에서 열린 '현대차그룹 자율주행 미디어 데이'에서 이 순환 체계를 '데이터 플라이휠(Data Flywheel)'로 제시했다. 차량에서 데이터를 모아 문제를 분석하고 AI를 재학습한 뒤 가상·실차 환경에서 검증한다. 검증 모델은 다시 차량에 적용돼 새로운 데이터를 만든다. 본격적인 자율주행 양산 이후 5년 안에 경쟁사가 축적한 데이터 규모를 추월한다는 목표도 내걸었다.

◆700만대는 잠재력…현재 수집차는 40여대

현대차·기아는 190여개 국가와 지역에서 연간 700만대 이상의 차량을 판매한다. 향후 판매 차량에서 자율주행 데이터를 안정적으로 확보할 체계가 갖춰지면 데이터 수집 규모를 빠르게 확대할 수 있는 기반이다.

현재 개발 단계에서는 아이오닉 5 기반 데이터 수집 차량 40여대가 역할을 맡고 있다. 목적에 따라 카메라 12개와 라이다 1개, 레이더 5개, 초음파 센서 12개를 장착해 주야간 도로를 달린다. 도로공사와 악천후, 급격한 차로 변경, 이면도로 주정차 등 실제 도로에서 만나는 다양한 상황을 수집한다.

문제는 모든 주행 데이터가 같은 가치를 갖지는 않는다는 점이다. 직진 차로를 일정한 속도로 달리는 장면이 전체 수집량의 절반 가까이를 차지한다. 이미 충분히 학습한 장면을 반복해서 추가하는 것보다 기존 모델이 제대로 대응하지 못하는 엣지 케이스(Edge Case) 한 건이 성능 개선에 더 큰 역할을 할 수 있다.

'현대차그룹 자율주행 미디어데이'에서 42dot AD Test Team 박지열 TL(Team Lead)이 자율주행 기술을 개발하는 '비히클 워크숍(Vehicle Workshop)'을 소개하는 모습. ⓒ 현대자동차그룹

박민우 현대차·기아 AVP본부장 사장 겸 포티투닷 대표도 같은 100만개의 샘플 가운데 중요한 한 개가 전체 성능을 끌어올릴 수 있다고 설명했다. 현대차그룹은 시험·검증 과정에서 확인한 취약 상황을 겨냥해 필요한 데이터를 수집하는 방식도 활용하고 있다.

연 700만대라는 제조 규모는 결국 잠재력이다. 판매 차량을 공통 데이터 체계에 연결하고 그 안에서 학습 가치가 높은 장면을 빠르게 골라낼 때 제조력이 AI 경쟁력으로 전환된다.

◆SER로 앞뒤 15초 저장…가치 있는 데이터 선별

데이터 플라이휠의 출발은 문제가 발생한 순간을 포착하는 데 있다. 현대차그룹은 자율주행 시스템이 제대로 대응하지 못했거나 운전자가 위화감을 느낀 상황을 '스페셜 이벤트(Special Event)'로 관리한다.

스페셜 이벤트 리코더(Special Event Recorder, SER)는 이벤트 발생 시점을 기준으로 앞뒤 15초의 센서 데이터와 차량 신호, 아트리아 AI(Atria AI)의 중간 처리 결과를 기록한다. 데이터는 통신망을 통해 서버로 전송되고 이슈 분석과 AI 학습에 필요한 어노테이션(Annotation·AI 학습용 정답 데이터를 만드는 작업)까지 자동 처리된다.

박 사장이 현대차그룹 합류 이후 개발 조직에 요구한 핵심 기능 가운데 하나도 SER였다. 모든 데이터를 쌓아두고 필요한 장면을 나중에 찾는 방식보다 주행 중 학습 가치가 높은 데이터를 빠르게 확보하는 체계를 우선했다.

42dot 연구원들이 '비히클 워크숍(Vehicle Workshop)'에서 자율주행 기술을 개발하고 있는 모습. ⓒ 현대자동차그룹

수집한 데이터에서는 하드 이그잼플 마이닝(Hard Example Mining)이 AI가 어려워하는 상황을 선별한다. 컨티뉴어스 트레이닝(Continuous Training)은 새 데이터를 모델 학습에 다시 반영한다. 실도로에서 반복하기 어려운 위험 상황은 실제 영상을 3차원 환경으로 재구성하는 3D 가우시안 스플래팅(3D Gaussian Splatting)을 활용해 검증한다.

한국과 미국 개발 거점의 시차도 이용한다. '팔로우 더 선(Follow-the-Sun)' 방식으로 한 지역의 업무가 끝나면 다른 거점이 데이터 분석과 모델 개선을 이어받는다. 데이터 수집부터 재학습과 검증까지 걸리는 시간을 줄이기 위한 개발 체계다.

◆1억 파라미터 차 안으로…학습 뒤 검증·배포

데이터를 확보하고 AI를 재학습해도 양산차에 적용하려면 차량 환경에 맞춘 최적화가 필요하다.

아트리아 AI의 모델 크기는 약 1억개의 파라미터(parameter·AI 모델이 학습을 통해 조정하는 내부 값)다. 80억개 이상의 파라미터를 사용하는 대규모 언어 모델보다 작지만 차량에서는 메모리와 소비전력, 발열 제약을 받으면서 실시간으로 주변 상황을 판단하고 제어 명령을 만들어야 한다.

포티투닷은 연산량을 줄이면서 정확도를 유지하기 위해 양자화 기술을 적용한다. 서버에서는 대규모 그래픽처리장치(GPU)와 머신러닝 운영(MLOps) 체계를 활용해 매주 개선된 모델을 확보한다. 학습 작업이 비정상적으로 종료되면 자동으로 복구해 GPU 자원이 계속 가동되도록 설계했다.

왼쪽부터 42dot PR Team 주재율 TL(Team Lead), 현대차·기아 AVP본부 자율주행개발센터장 권정현 부사장, 현대차·기아 AVP본부장 박민우 사장, 42dot Atria Group 정성균 GL(Group Lead), 42dot Trion Group 이희석 GL(Group Lead)이 Q&A 세션을 진행하는 모습. ⓒ 현대자동차그룹

배포 단계에는 안전 장치가 추가된다. AI의 주행 판단을 차량 제어에 연결하는 가드레일(Guardrail)과 위험 상황을 방지하는 액티브 세이프티(Active Safety), 시스템 이상 시 차량을 최소 위험 상태로 이동시키는 체계를 별도로 둔다.

데이터 플라이휠의 속도는 학습 시간 하나로 결정되지 않는다. 문제 장면을 찾아 데이터를 확보하고 모델을 개선한 뒤 차량에 맞춰 최적화하고 안전 검증을 마치는 전체 주기를 얼마나 빠르고 안정적으로 반복하느냐가 핵심이다.

◆워크숍서 실도로까지…차량 단위 검증 반복

포티투닷 비히클 워크숍(Vehicle Workshop)은 개선된 소프트웨어가 실제 차량으로 이동하는 공간이다. 새로운 자율주행 소프트웨어가 나오면 도로에 투입하기 전 제어기 통신과 기본 기능을 확인하는 '스모크 테스트(Smoke Test)'를 거친다.

차량 역할도 나뉜다. 아이오닉 5 기반 수집차가 실도로 데이터를 확보하면 이를 통해 아트리아 AI를 학습한다. 개선한 소프트웨어는 아이오닉 6 기반 소프트웨어 정의 차량(Software Defined Vehicle, SDV) 테스트베드에 적용해 워크숍과 실제 도로에서 검증한다. 결과는 다시 데이터 수집과 모델 개선으로 돌아간다.

아이오닉 6 테스트베드에는 외부 카메라 8개와 전방 레이더 1개가 장착돼 있다. 차량 내부에는 고성능 컴퓨터와 차량용 운영체제를 바탕으로 각종 기능을 제어하는 조널 제어 장치가 탑재됐다. 현재 SDV 테스트베드 차량은 약 20대 규모다.

왼쪽부터 SDV 테스트베드(Testbed), 광주 자율주행 실증사업 차량, 데이터 수집 차량(Data Collection Vehicle). ⓒ 현대자동차그룹

실도로 범위도 넓힌다. 현대차그룹은 SDV 페이스카 개발을 완료했으며 개발자들의 서울·판교 주행 과정에서도 엣지 케이스를 수집할 계획이다. 연말에는 광주 자율주행 실증사업을 통해 아트리아 AI 기반 레벨 4 기술요소를 검증하고 실증 데이터를 다시 데이터 플라이휠에 투입한다.

서울과 수도권의 복잡한 교통 환경에서 진행한 원테이크 주행과 10개 엣지 케이스 대응 영상도 공개했다. 주정차 차량 회피와 갑작스러운 끼어들기 등 실제 도로에서 발생하는 문제 상황을 중심으로 구성됐다.

한 번의 성공적인 주행보다 중요한 것은 그다음 과정이다. 문제를 발견하고 데이터를 확보해 재학습과 검증을 반복할 수 있어야 양산차의 성능 개선으로 연결된다.

◆E2E 자산 VLA로…데이터 플라이휠 확장

아트리아 AI를 위해 구축한 데이터 플라이휠은 차세대 VLA 개발에도 활용된다. 포티투닷은 비전-언어-행동(Vision-Language-Action, VLA) 기반 자율주행 모델을 아트리아 AI와 병행 개발하고 있다.

VLA는 센서 입력과 주행 행동을 연결하는 E2E 구조에 언어 기반 상황 이해와 추론을 더한다. 데이터가 부족한 희귀 상황에 대응하고 차량이 특정 판단을 내린 이유를 사용자에게 설명하는 기능도 개발 대상이다. 아트리아 AI를 만들며 확보한 주행 데이터와 개발 인프라를 VLA에도 활용한다.

판교 42dot 본사에서 열린 '현대차그룹 자율주행 미디어데이'에서 현대차·기아 AVP본부장 박민우 사장이 발표하는 모습. ⓒ 현대자동차그룹

현재 VLA는 시뮬레이션 검증 단계다. 올해 말부터 내년 초까지 실차 테스트를 포함한 개발 체계를 갖추고 실제 주행에서 발생하는 문제를 다시 학습에 반영할 계획이다.

아트리아 AI를 위해 구축한 데이터와 학습·검증 체계가 차세대 모델로 이어지는 구조다. 데이터 플라이휠의 경쟁력도 특정 AI 모델 하나보다 축적한 데이터를 여러 세대의 기술 개발에 얼마나 빠르게 재사용할 수 있느냐에 달렸다.

현재 출발점은 데이터 수집차 40여대다. 본격적인 양산 이후 판매 차량으로 데이터 규모를 확대해 5년 안에 경쟁사의 누적 데이터 규모를 추월한다는 게 현대차그룹의 목표다.

제조 규모가 데이터 규모로 바뀌고 다시 AI 성능으로 연결돼야 연간 700만대라는 숫자가 강점이 된다. 현대차그룹이 내건 '5년 내 추월'의 성패는 자동차를 얼마나 많이 만드느냐보다 그 자동차에서 얻은 경험을 얼마나 빨리 다음 모델의 학습으로 돌려보낼 수 있느냐에서 갈릴 전망이다.