자율주행이 갑자기 똑똑해졌다···테슬라가 연 문, E2E가 답?

그래픽=박혜수 기자

테슬라의 자율주행 소프트웨어 '풀셀프드라이빙(FSD)'이 국내 도로에 본격 등장하면서 자율주행 기술을 바라보는 업계의 시선이 빠르게 달라지고 있다. 단순히 기능 완성도를 높이는 수준을 넘어, 자율주행을 구현하는 방식과 개념 자체를 재정의하려는 흐름이 뚜렷해지고 있는 것이다. 업계와 학계가 공통적으로 주목하는 키워드는 '엔드투엔드(End-to-End, E2E) 자율주행'이다.

AI한입뉴스

OpenAI의 기술을 활용해 기사를 한 입 크기로 간결하게 요약합니다.

전체 기사를 읽지 않아도 요약만으로 핵심 내용을 쉽게 파악할 수 있습니다.

Quick Point!

테슬라 FSD의 국내 도입과 함께 자율주행 기술 패러다임이 빠르게 변화

업계와 학계는 엔드투엔드(E2E) 자율주행에 집중

기존 기능 완성도 경쟁에서 구현 방식 혁신으로 논의 이동

E2E 자율주행이란

기존 인지-판단-제어 단계 분리 대신 AI가 전체 과정을 통합 처리

실제 운전 데이터 기반 모방 학습으로 성능 향상

복잡한 도심 환경과 예외 상황에 유연하게 대응

숫자 읽기

테슬라 FSD, 2024년 E2E 방식으로 전환

누적 주행 데이터 112억km 확보

국내 출시 두 달 만에 한국 도로 데이터 100만km 이상 축적

맥락 읽기

모듈형 자율주행은 규칙 추가·수정의 한계로 확장성 부족

E2E는 사람이 반응하는 방식을 학습해 엣지 케이스에 강점

카메라 기반 신경망 해석, 기존 룰 기반 코드 30만 줄 삭제로 구조 단순화

반박

충분한 데이터 없으면 E2E 성능 한계

엣지 케이스 데이터 확보 어려움

고성능 GPU 등 개발비 부담으로 중소·후발 기업에 불리

복합적 접근과 기술 조합 필요

AI한입뉴스 전체보기

이 같은 변화는 최근 국회에서 열린 '테슬라 FSD 국내 상륙과 우리나라 모빌리티 산업의 미래' 토론회에서도 핵심 화두로 다뤄졌다. 이날 발제를 맡은 최준원 서울대 전기·전자공학부 교수는 "자율주행 기술의 패러다임이 이미 전환 국면에 들어섰다"며 "기존 접근법으로는 완전 자율주행에 도달하기 어렵다"고 진단했다.

E2E 자율주행은 인지·판단·제어 단계를 각각 나눠 처리하던 기존 구조와 달리, 카메라 등 센서 입력부터 조향·가속·제동까지의 전 과정을 하나의 AI 모델이 통합적으로 처리하는 방식이다. 기존 자율주행이 '사물을 인식하고 → 상황을 판단하고 → 차량을 제어한다'는 단계적 논리를 따른다면, E2E는 인간 운전자의 직관처럼 즉각적인 판단을 내리는 데 초점을 둔다.

E2E 방식의 핵심은 이른바 '스케일의 법칙'이다. 최 교수는 "E2E는 인간의 실제 주행 데이터를 기반으로 한 모방 학습(Imitation Learning) 구조"라며 "데이터가 축적될수록 성능이 지속적으로 향상되는 특성을 가진다"고 설명했다. 다양한 도심 환경과 예외 상황을 반복 학습할수록, 시스템은 점점 사람처럼 '눈치껏' 대응할 수 있는 능력을 키운다는 의미다.

이 지점에서 E2E는 기존 룰 기반 모듈형 자율주행과 분명한 대비를 이룬다. 모듈형 방식은 미리 정의된 규칙과 시나리오에는 강하지만, 공사 구간이나 돌발 보행자, 예측 불가능한 골목길과 같은 엣지 케이스에서는 한계를 드러낸다. 새로운 상황이 발생할 때마다 엔지니어가 규칙을 추가·수정해야 해 확장성과 효율성이 떨어지고, 궁극적으로는 운전자 개입이 없는 완전 자율주행에 대응하기 어렵다는 지적이 나온다.

반면 E2E는 실제 도로에서 발생하는 비정형 상황을 통째로 학습한다. 사람이 어떻게 반응하는지를 그대로 학습해, 복잡한 도심 환경에서도 보다 유연한 대응이 가능하다는 평가다.

테슬라 코리아가 30일 오전 경기 고양시 킨텍스 제1전시장에서 열린 2023서울모빌리티쇼 언론공개 행사에서 'Model X' 전기차량을 선보이고 있다. 사진=강민석 기자 [e-mail]

대표적인 사례가 테슬라다. 테슬라는 2024년 기존 모듈형 구조였던 FSD를 E2E 방식으로 전환하고, 실제 도로 주행 데이터를 지속적으로 수집·학습하는 구조를 구축했다. 그 결과 누적 주행 데이터는 112억km에 달한다. FSD 국내 출시 이후 불과 두 달 만에 한국 도로 주행 데이터도 100만km 이상 확보한 것으로 알려졌다.

초기 FSD는 차선 유지나 신호 인식 등 기능별 모듈이 개별적으로 작동하는 수준에 머물렀다. 하지만 E2E로 전환한 이후 데이터가 쌓이면서 교차로 통과, 비보호 좌회전, 복잡한 도심 골목 주행 등 고난도 상황에서도 사람과 유사한 판단을 수행하는 방향으로 진화했다는 평가가 나온다.

특히 테슬라는 카메라 기반 시각 정보를 신경망이 직접 해석하도록 구조를 단순화하면서 효율성과 성능을 동시에 끌어올렸다. 이 과정에서 기존 룰 기반 제어 코드 약 30만 줄을 삭제했다. 그 결과 FSD는 업데이트가 반복될수록 주행 능력 자체가 함께 향상되는 스케일 효과를 보이고 있다. 최근 업계에서 주목받는 엔비디아의 자율주행 시스템 '알파마요' 역시 E2E 계열로 분류된다.

최 교수는 "3년 전의 챗GPT와 지금의 챗GPT는 완전히 다른 존재"라며 "주행 데이터가 축적되고 AI가 이를 지속적으로 학습한다면 자율주행 기술도 매우 빠른 속도로 고도화될 것"이라고 말했다.

다만 E2E 방식이 만능은 아니라는 지적도 나온다. 충분한 데이터가 확보되지 않을 경우에는 오히려 룰 기반 모델보다 판단력이 떨어질 수 있고, 실제 주행의 대부분이 평범한 상황이기 때문에 의미 있는 엣지 케이스 데이터를 확보하기 어렵다는 한계도 있다. 또 고성능 GPU가 필수적이어서 개발 비용이 높아 중소·후발 기업에는 불리한 구조라는 평가다.

최 교수는 "하나의 기술이 정답이라기보다는, 엣지 케이스 대응 능력을 어떻게 효율적으로 키울지가 핵심"이라며 "E2E 자율주행에 추론형 VLA AI를 결합하는 등 복합적인 접근이 필요하다"고 강조했다.