"차 안에서 잠들고 목적지에서 눈을 뜰 수 있다."
테슬라 CEO 일론 머스크가 제시한 완전 자율주행의 비전은 더 이상 미래의 공상이 아니다. 웨이모(Waymo) 로보택시는 이미 미국 주요 도시를 주행하고 있으며, 테슬라 FSD(Full Self-Driving) 역시 최근 한국 출시를 예고하며 빠르게 진화하고 있다.
그러나 화려한 비전의 이면에서는 기술이 하나의 방향으로 수렴되기보다는 다양한 경로로 분기하고 있다. 절대적인 답이 존재하지 않는 가운데, 동일한 목표를 지향하면서도 기술 철학의 차이가 기업들을 상이한 전략으로 이끌고 있다. 이러한 혼돈 속에서 미래 모빌리티의 성공 방정식이 새롭게 작성되고 있다.
'눈'에 대한 논쟁, 순수 비전(Vision) vs 다중 센서 융합(Fusion)
자율주행의 첫 번째 격전지는 자동차가 세상을 어떻게 인지할 것인가에 대한 논쟁이다. 순수 비전 방식과 라이다(LiDAR) 기반 다중 센서 융합 방식이 대표적인 대립 구도다.
테슬라의 순수 비전이 하나의 트렌드를 만들고 의미 있는 성과를 내고 있음에도 불구하고, 이는 기술 철학을 넘어 안전성에 대한 현실적 판단과 전략적 선택의 문제로 이어지고 있다.
인간의 시각 메커니즘을 기계가 학습할 수 있다는 전제하에 여러 대의 카메라와 방대한 주행 데이터를 기반으로 2D 이미지를 3D 환경으로 재구성하는 방식으로, 비용 경쟁력과 알고리즘 확장성이 주요 강점이다.
반면 순수 비전은 악천후나 야간 등 특정 환경에서 성능 저하가 발생할 수 있다. 이 때문에 대부분의 글로벌 완성차 기업은 다중 센서 융합을 채택하고 있다. 이 논쟁은 기술 철학과 안전성 평가를 둘러싼 전략적 선택의 문제로 이어지고 있다.
'두뇌'에 대한 논쟁, 모듈러(Modular) vs 종단간(End-to-End)
두 번째 논쟁은 자율주행 시스템의 두뇌 구조를 설계하는 방식이다. 모듈형 구조와 종단간(E2E) 구조가 대표적인 대립축이다.
모듈형 설계는 인지 → 예측 → 계획 → 제어를 독립된 모듈로 구분해 최적화하는 방식으로, 모듈별 디버깅이 용이하고 기능 안전 표준 검증에도 유리하지만, 부분 최적화가 전체 최적화로 이어지지 않는 구조적 제약이 존재한다.
테슬라가 FSD에서 제시한 E2E 구조는 이러한 전통적 방식을 흔들었다. E2E는 센서 입력을 대규모 신경망으로 처리해 조향·가속·제동을 직접 생성하는 방식으로, 정보 손실을 줄이고 성능 상한을 높일 수 있다.
다만 E2E는 블랙박스(Black Box) 특성으로 사고 발생 시 원인 규명이 어렵다는 점이 문제로 지적된다. 그럼에도 여러 기업에서는 E2E 연구를 확대하고 있다.
Figure 1. Wayve의 E2E 기반 자율주행 (출처: Wayve)
'영혼'에 대한 논쟁, VLM (조력자) vs WM (실행자)
마지막 논쟁은 AI 모델이 자율주행 시스템 내부에서 어떤 역할을 수행해야 하는가에 대한 것이다. 이는 앞선 두뇌 구조 논쟁의 연장선이면서 최근 중국을 중심으로 빠르게 확산되고 있다.
우선 VLM(Vision-Language Model) 기반 접근은 AI를 ‘의미를 해석하는 조력자’로 본다. AI 모델은 카메라 영상을 의미적으로 이해하고 설명하며, 감속·회피 등 주행과 관련된 결정은 기존의 계획·제어 모듈이 수행한다. 환각 가능성이 존재하는 영역에서는 AI의 역할을 이해와 추론으로 제한하고, 최종 제어권을 검증된 모듈에 남겨두려는 설계 철학이 반영되어 있다.
반면 중국의 선도 기업들이 지향하는 모델은 AI를 ‘직접 실행하는 두뇌’로 설정한다. 리오토(Li Auto)가 추구하는 VLA(Vision-Language-Action)는 인식 → 언어 추론 → 행동으로 이어지는 구조지만, 최근 흐름은 언어 단계를 제거해 실행 경로를 단순화하는 방향으로 이동하고 있다. 샤오펑이 공개한 ‘VLA 2.0’은 사실상 VA(Vision-to-Action) 모델이며, 화웨이는 한 단계 더 나아가 WA(World-to-Action) 방식을 궁극적 해법으로 제시하고 있다.
이른바 월드 모델(World Model) 기반 접근은 AI가 외부 환경을 이해하고 내부에서 미래 변화를 시뮬레이션한 뒤, 행동으로 연결하는 방식이다. 인지·예측·계획 기능이 하나의 세계 모델로 통합된다는 점에서 AI가 ‘영혼’에 가까운 역할을 수행하게 된다.
Figure 2. Xpeng의 VLA 2.0 (출처: Xpeng)
디리스킹 시대, 'AI 주권'이라는 새로운 생존 조건
글로벌 자율주행 시장의 경쟁은 기술적 논쟁을 넘어 통합 생태계의 경쟁으로 전환되고 있다. 미국은 수직계열화와 데이터 우위를 기반으로, 중국은 국가 전략 차원에서 생태계 구축을 가속하고 있다. 특히 중국의 ‘차량-도로-클라우드’ 통합 전략은 자율주행 인프라를 국가 단위로 확장하는 흐름이라 할 수 있다.
우리 산업계는 외부 기술에 의존하는 방식으로는 미래 시장에서의 주도권 확보가 어렵다는 문제의식 아래, AI E2E 소버린 자율주행 주권을 고민하고 있다. 패스트 팔로워 전략이 더 이상 유효하지 않을 가능성이 높아지는 가운데, 데이터·AI 모델·칩·플랫폼을 아우르는 국가 단위의 E2E 주권 확보는 점차 필수 조건이 되고 있다.
기술 패권이 재편되는 시대, 자율주행 AI 주권을 둘러싼 총력전은 이미 시작되었다.
"차 안에서 잠들고 목적지에서 눈을 뜰 수 있다."
테슬라 CEO 일론 머스크가 제시한 완전 자율주행의 비전은 더 이상 미래의 공상이 아니다. 웨이모(Waymo) 로보택시는 이미 미국 주요 도시를 주행하고 있으며, 테슬라 FSD(Full Self-Driving) 역시 최근 한국 출시를 예고하며 빠르게 진화하고 있다.
그러나 화려한 비전의 이면에서는 기술이 하나의 방향으로 수렴되기보다는 다양한 경로로 분기하고 있다. 절대적인 답이 존재하지 않는 가운데, 동일한 목표를 지향하면서도 기술 철학의 차이가 기업들을 상이한 전략으로 이끌고 있다. 이러한 혼돈 속에서 미래 모빌리티의 성공 방정식이 새롭게 작성되고 있다.
'눈'에 대한 논쟁, 순수 비전(Vision) vs 다중 센서 융합(Fusion)
자율주행의 첫 번째 격전지는 자동차가 세상을 어떻게 인지할 것인가에 대한 논쟁이다. 순수 비전 방식과 라이다(LiDAR) 기반 다중 센서 융합 방식이 대표적인 대립 구도다.
테슬라의 순수 비전이 하나의 트렌드를 만들고 의미 있는 성과를 내고 있음에도 불구하고, 이는 기술 철학을 넘어 안전성에 대한 현실적 판단과 전략적 선택의 문제로 이어지고 있다.
인간의 시각 메커니즘을 기계가 학습할 수 있다는 전제하에 여러 대의 카메라와 방대한 주행 데이터를 기반으로 2D 이미지를 3D 환경으로 재구성하는 방식으로, 비용 경쟁력과 알고리즘 확장성이 주요 강점이다.
반면 순수 비전은 악천후나 야간 등 특정 환경에서 성능 저하가 발생할 수 있다. 이 때문에 대부분의 글로벌 완성차 기업은 다중 센서 융합을 채택하고 있다. 이 논쟁은 기술 철학과 안전성 평가를 둘러싼 전략적 선택의 문제로 이어지고 있다.
'두뇌'에 대한 논쟁, 모듈러(Modular) vs 종단간(End-to-End)
두 번째 논쟁은 자율주행 시스템의 두뇌 구조를 설계하는 방식이다. 모듈형 구조와 종단간(E2E) 구조가 대표적인 대립축이다.
모듈형 설계는 인지 → 예측 → 계획 → 제어를 독립된 모듈로 구분해 최적화하는 방식으로, 모듈별 디버깅이 용이하고 기능 안전 표준 검증에도 유리하지만, 부분 최적화가 전체 최적화로 이어지지 않는 구조적 제약이 존재한다.
테슬라가 FSD에서 제시한 E2E 구조는 이러한 전통적 방식을 흔들었다. E2E는 센서 입력을 대규모 신경망으로 처리해 조향·가속·제동을 직접 생성하는 방식으로, 정보 손실을 줄이고 성능 상한을 높일 수 있다.
다만 E2E는 블랙박스(Black Box) 특성으로 사고 발생 시 원인 규명이 어렵다는 점이 문제로 지적된다. 그럼에도 여러 기업에서는 E2E 연구를 확대하고 있다.
Figure 1. Wayve의 E2E 기반 자율주행 (출처: Wayve)
'영혼'에 대한 논쟁, VLM (조력자) vs WM (실행자)
마지막 논쟁은 AI 모델이 자율주행 시스템 내부에서 어떤 역할을 수행해야 하는가에 대한 것이다. 이는 앞선 두뇌 구조 논쟁의 연장선이면서 최근 중국을 중심으로 빠르게 확산되고 있다.
우선 VLM(Vision-Language Model) 기반 접근은 AI를 ‘의미를 해석하는 조력자’로 본다. AI 모델은 카메라 영상을 의미적으로 이해하고 설명하며, 감속·회피 등 주행과 관련된 결정은 기존의 계획·제어 모듈이 수행한다. 환각 가능성이 존재하는 영역에서는 AI의 역할을 이해와 추론으로 제한하고, 최종 제어권을 검증된 모듈에 남겨두려는 설계 철학이 반영되어 있다.
반면 중국의 선도 기업들이 지향하는 모델은 AI를 ‘직접 실행하는 두뇌’로 설정한다. 리오토(Li Auto)가 추구하는 VLA(Vision-Language-Action)는 인식 → 언어 추론 → 행동으로 이어지는 구조지만, 최근 흐름은 언어 단계를 제거해 실행 경로를 단순화하는 방향으로 이동하고 있다. 샤오펑이 공개한 ‘VLA 2.0’은 사실상 VA(Vision-to-Action) 모델이며, 화웨이는 한 단계 더 나아가 WA(World-to-Action) 방식을 궁극적 해법으로 제시하고 있다.
이른바 월드 모델(World Model) 기반 접근은 AI가 외부 환경을 이해하고 내부에서 미래 변화를 시뮬레이션한 뒤, 행동으로 연결하는 방식이다. 인지·예측·계획 기능이 하나의 세계 모델로 통합된다는 점에서 AI가 ‘영혼’에 가까운 역할을 수행하게 된다.
Figure 2. Xpeng의 VLA 2.0 (출처: Xpeng)
디리스킹 시대, 'AI 주권'이라는 새로운 생존 조건
글로벌 자율주행 시장의 경쟁은 기술적 논쟁을 넘어 통합 생태계의 경쟁으로 전환되고 있다. 미국은 수직계열화와 데이터 우위를 기반으로, 중국은 국가 전략 차원에서 생태계 구축을 가속하고 있다. 특히 중국의 ‘차량-도로-클라우드’ 통합 전략은 자율주행 인프라를 국가 단위로 확장하는 흐름이라 할 수 있다.
우리 산업계는 외부 기술에 의존하는 방식으로는 미래 시장에서의 주도권 확보가 어렵다는 문제의식 아래, AI E2E 소버린 자율주행 주권을 고민하고 있다. 패스트 팔로워 전략이 더 이상 유효하지 않을 가능성이 높아지는 가운데, 데이터·AI 모델·칩·플랫폼을 아우르는 국가 단위의 E2E 주권 확보는 점차 필수 조건이 되고 있다.
기술 패권이 재편되는 시대, 자율주행 AI 주권을 둘러싼 총력전은 이미 시작되었다.