자율주행차의 두뇌를 이루는 주요 AI 기술들은 서로 보완적으로 작용하며, 안전하고 똑똑한 자율주행을 구현하는 데 쓰이고 있다.
출처: Freepik
대규모 언어모델 (LLM) 한때 자율주행과 언어모델은 거리가 먼 얘기로 들렸지만, 오늘날 AI 트렌드를 얘기할 때 LLM을 빼놓을 수 없다. LLM이란 말 그대로 인터넷 텍스트 등 거대 데이터로 학습된 언어 모델로서, 인간 수준의 자연어 이해와 생성 능력을 보여주는 AI다. 대표적인 예로 2023년 전세계적 돌풍을 일으킨 ChatGPT와 그 기반 GPT-4 모델을 들 수 있다. 수천억~조 단위의 매개변수를 가진 이러한 모델은 사람처럼 질문에 답하고 상식적인 추론까지 해내며, AI의 새로운 가능성을 각인시켰다. 그렇다면 언어모델이 자동차 운전에 어떤 도움을 줄까? 연구자들은 LLM의 풍부한 상식 지식과 추론력을 활용해, 자율주행 AI의 의사결정을 보조하려는 실험을 시작했다. 예를 들어 복잡한 교차로 상황을 텍스트로 설명해주면 LLM이 그 맥락을 이해하고 "지금은 진입하면 안 된다"는 식의 고차원 판단을 내리는 식이다. 실제 2024년 발표된 한 연구에서는 LLM을 자율주행차의 행동 플래너로 활용하고 별도의 안전검증 모듈을 붙이는 방식을 제시했는데, 시뮬레이션에서 기존 방법 대비 우수한 안전성 지표를 보였다고 한다. 즉, 언어모델을 차량 두뇌 일부에 넣어 사고를 미연에 방지하는 방향으로까지 AI가 진화하고 있다는 것이가. 아직 초기 단계이지만, LLM과 자율주행의 융합은 예측 불가능한 상황에 대한 대응력을 높여줄 잠재력이 있다. 무엇보다도 LLM의 강점은 인간과의 소통 능력이기에, 운전자와 대화하는 차량 AI 비서 형태로도 활용되고 있다. 실제로 메르세데스-벤츠는 2023년 자사 차량에 ChatGPT 기반 AI 비서를 시범 도입해, 운전 중 복잡한 질의응답이나 정보 제공을 자연어로 수행하게 했다. 이처럼 LLM은 자율주행차의 두뇌와 운전자 인터페이스 양측면에서 혁신을 일으키고 있다.
몬테카를로 트리 탐색 (MCTS) 자율주행 AI가 순간의 주행 판단을 내릴 때, 일종의 미니 시뮬레이션을 머릿속에서 돌린다면 어떨까? 인간 운전자도 교차로를 건널 때 ‘지금 출발하면 저 차와 충돌할 것 같다’며 머릿속으로 시나리오를 그려보곤 한다. 몬테카를로 트리 탐색(MCTS)은 컴퓨터가 이러한 시나리오 시뮬레이션을 체계적으로 수행하도록 하는 알고리즘이다. 무작위 시뮬레이션을 여러 번 돌려보고 그 결과에 따라 의사결정 트리를 구축하여, 승률이 높은 가지를 선택하는 방식이다. 앞서 언급한 알파고의 승리에 핵심적 역할을 한 기술이며, 이후 여러 게임 AI와 복잡한 문제 해결에 응용되었다. 자율주행에서는 MCTS를 활용해 차량의 경로 결정이나 행동 플랜을 세울 수 있다. 예컨대 좌회전 신호가 없는 교차로에서 언제 좌회전을 감행할지 결정할 때, MCTS는 가상의 차량 움직임들을 수백 번 시뮬레이션해보고 가장 안전하고 원활한 타이밍을 찾아낼 수 있다. 2023년 한 연구에서는 실제 MCTS 알고리즘을 자율주행 행동계획에 적용해봤다. 이 방법은 안전, 승차감, 주행거리 등 여러 기준을 비용함수로 설계하여 MCTS의 시뮬레이션 평가에 넣었는데, 그 결과 복잡한 도시 교차로나 끼어들기 상황에서도 차량이 실시간으로 적절한 판단을 내릴 수 있음을 보였다. 심지어 무신호 교차로 좌회전, 끼어들기, 램프 합류처럼 인간에게도 까다로운 상황들을 MCTS로 처리한 시연에서 높은 성공률을 기록하기도 했다. MCTS의 강점은 시나리오를 폭넓게 탐색하면서도, 이전 시뮬레이션 결과를 토대로 효율적으로 학습해나간다는 점이다. 다만 계산량이 많아 실제 차량에 단독 적용하기엔 제약이 있는데, 이를 개선하기 위해 신경망과 MCTS를 결합하거나 휴리스틱을 가미하는 연구가 활발하다. 요약하면 MCTS는 자율주행차에게 몇 수 앞을 내다보는 지능을 부여하는 기술이라 할 수 있다.
강화학습: 보상으로 배우는 운전 강화학습(RL)은 AI 에이전트가 시행착오를 통해 스스로 학습하는 대표적인 기법이다. 자동차 게임을 여러 번 플레이하며 최적의 운전법을 터득하는 AI를 떠올리면 이해하기 쉬운데, 자율주행에 강화학습을 적용하면, 가상 시뮬레이션에서 차량이 수만 번 달리게 하면서 보상(예를 들면 무사고로 목적지 도달이라는 보상)을 최대화하도록 학습시킬 수 있다. 이를 통해 사람의 운전 데이터를 흉내내지 않고도, 스스로 최적의 주행 전략을 발견하는 AI 모델을 얻을 수 있다. 이론적으로 매우 매력적이지만, 현실에 바로 쓰기엔 걸림돌도 있다. 실제 도로에서 시행착오를 할 수는 없으니, 어디까지나 시뮬레이터 내 학습에 의존해야 하고, 보상 함수를 잘못 설정하면 엉뚱한 주행 버릇을 학습할 위험도 있다. 그럼에도 불구하고 강화학습의 잠재력은 거대하다. 예를 들어 테슬라는 도로에서 수집한 방대한 데이터를 활용해 시뮬레이터를 만들고, AI 운전자가 가상환경에서 스스로 연습하도록 하는 방향을 연구하고 있다. 웨이모(Waymo) 역시 주행 데이터로 학습한 모델 기반 강화학습 기법을 도입해 희귀한 위험 상황에서도 안전하게 대응하도록 AI를 개선했다. 2023년 웨이모 연구진은 “모방학습만으로는 충분치 않다”는 제목의 논문을 통해, 인간 운전 데이터를 모방학습(IL)한 모델에 추가로 강화학습을 적용하면 가장 어려운 주행 상황에서 사고율을 38% 이상 감소시킬 수 있음을 보고했다. 특히 이 방법은 10만 마일 이상의 실제 주행 데이터를 활용하여 대규모 실험으로 효과를 입증했는데, 업계 최초로 모방학습과 강화학습의 대규모 결합 사례를 보여준 것이기도 하다. 왜 두 기법을 섞으면 좋을까? 모방학습은 사람이 운전한 데이터를 그대로 따라하니 보상 설계가 필요 없지만, 예외 상황에서는 한계를 드러낸다. 반대로 강화학습은 보상을 통해 새로운 해법을 찾을 수 있으나 보상 설정이 까다롭다. 두 가지를 결합하면 간단한 보상 함수만으로도 학습이 가능하면서, 드문 위험 상황에 대처하는 안정성이 크게 향상된다. 요컨대 강화학습은 자율주행 AI에 스스로 운전 연습하는 능력을 주는 것으로, 이미 여러 시뮬레이션 및 실제 도로 테스트에 활용되고 있다. 다만 완전 자율주행 상용화까지는 아직도 풀어야 할 과제가 많아, 강화학습 또한 안전성 검증과 효율성 개선 연구가 병행되고 있다.
ReST-MCTS: AI 스스로 발전하는 새로운 방법 최신 AI 연구 동향 중 하나로 ReST-MCTS라는 다소 생소한 용어가 등장한다. 이는 “Reinforced Self-Training with Monte Carlo Tree Search”의 약자로, 우리말로 하면 몬테카를로 트리 탐색을 활용한 강화 자기훈련 정도로 설명할 수 있다. 원래는 대규모 언어모델(LLM)을 더 똑똑하게 만들기 위해 고안된 기법이지만, 그 아이디어는 자율주행 같은 다른 AI 분야에도 시사점을 준다. ReST-MCTS의 핵심은 AI가 스스로 생성한 시나리오에 대해 평가하고 학습하는 능력을 갖춘다는 점이다. 예를 들어 언어모델의 경우, 문제에 대한 여러 단계별 추론 과정을 스스로 만들어보고(트리 탐색), 각 단계가 최종 정답에 도움이 되는지 보상을 계산한다. 일일이 사람이 피드백을 주지 않아도, AI가 올바른 추론 경로를 스스로 찾아내도록 한 것이다. 이렇게 모은 양질의 추론 데이터로 다시 모델을 학습시킨 결과, 이전보다 높은 정답률을 달성했다. 쉽게 말해, AI가 스스로 질문을 만들고 답해보는 과정을 수백 번 시도하면서 자기 능력을 향상시키는 셈이다. 이는 마치 인간이 문제를 풀 때 다양한 접근법을 머릿속으로 그려보고, 가장 그럴듯한 방법을 채택해 자기 실력을 키우는 것과 닮았다. 자율주행에 직접 적용된 사례는 아직 없지만, 개념적으로 ReST-MCTS는 강화학습 + 트리 탐색의 융합이라는 점에서 앞서 언급한 MCTS 기반 주행이나 강화학습형 자율주행 AI와 맥락을 같이 한다. 특히 예측하기 어려운 "희귀 상황(long-tail scenario)"에서 AI 스스로 대처법을 모색하게 한다는 발상은, 안전을 위한 자율주행 AI 자기훈련과도 통하는 부분이 있다. 궁극적으로 이러한 기술은 자율주행차 AI가 사람의 개입 없이도 끝없이 배우고 개선되는 방향을 제시하며, AI 연구계의 최신 흐름을 보여주는 좋은 예이다.
적용 사례 및 한계 자율주행 AI 기술의 발전은 연구실을 넘어 실제 도로 위 실증으로 이어지고 있다. 앞서 언급했듯 2023년 현재 웨이모, 크루즈(Cruise) 등의 자율주행차는 미국 샌프란시스코나 피닉스 일부 지역에서 완전 무인 택시 서비스를 운영 중이다. 수백만 km에 이르는 시험 주행을 통해 AI의 성능을 담금질한 결과로, 제한된 구역이지만 안전운행 기록을 하나씩 세워가고 있다. 한편 메르세데스-벤츠는 세계 최초로 독일에 이어 미국 네바다주에서 레벨 3 자율주행 시스템(Drive Pilot)에 대한 인증을 획득하여, 고속도로 상에서 일정 조건 하에 차량 스스로 운전을 맡도록 상용화했다. 이 시스템은 운전자가 눈을 떼도 될 정도로 차량이 차간 거리 유지와 차로 유지, 제한 속도 준수 등을 알아서 수행하며, 운전 피로를 획기적으로 줄여주는 사례로 평가된다. 이처럼 부분 자율주행 기능들은 이미 상용차에 속속 탑재되어 운전자 보조 역할을 톡톡히 하고 있다. 테슬라의 오토파일럿이나 풀 셀프 드라이빙(FSD) 베타 소프트웨어도 카메라 기반 딥러닝과 강화학습적 접근으로 고속도로는 물론 도심 주행까지 어느 정도 자동화하여 수십만 명의 운전자로부터 피드백을 모으고 있다. 그렇지만 자율주행 AI가 넘어서야 할 한계도 분명하다. 첫째로, AI의 예외 상황 대응력이 인간만큼 완벽하지 않다. 아무리 많은 데이터를 학습해도 현실에서는 예측 불가능한 돌발상황이 생기기 마련이고, 이런 롱테일(long-tail) 사례에서 AI는 때때로 오판을 한다. 실제로 2023년 샌프란시스코에서는 무인 자율주행차가 공사 현장의 젖은 시멘트 위를 지나 꼼짝 못하게 되거나, 긴급차량 사이렌을 인지하지 못해 사고를 일으킨 사례들이 보도되며 화제가 됐다. 이는 현재의 자율주행 AI가 훈련 데이터 분포를 벗어난 상황에 취약함을 보여준다. 둘째로, AI의 판단 근거를 설명하기 어려운 문제도 있다. 딥러닝 기반 자율주행 시스템은 수백만 개의 매개변수로 이루어진 일종의 블랙박스이기 때문에, 차량이 특정 순간에 왜 그런 행동을 했는지 개발자나 이용자가 이해하기 어렵다. 이로 인해 신뢰 확보에 시간이 걸리고 있으며, 일부 사건이 발생할 때마다 규제 당국도 신중을 기하는 실정이다. 셋째로는 센서 한계와 기상조건 같은 기술적 이슈이다. 폭우나 폭설 시 센서가 제 역할을 못 하면 AI도 눈이 가려지는 셈이라, 이런 악천후 대응력은 아직 인간 기사에 못 미친다. 끝으로, 윤리적 판단이나 법·제도 정비도 과제다. 사고 발생 시 책임소재를 어떻게 할지, AI가 딜레마 상황에서 어떻게 행동해야 할지 등에 대한 사회적 합의도 필요하다. 이러한 한계를 극복하기 위해 업계와 학계에서는 다양한 접근을 시도 중이다. 앞서 살펴본 강화학습과 모방학습 결합은 드문 상황에서의 안전성을 높이기 위한 노력이고, LLM 통합 연구 역시 AI 판단에 설명 가능성과 상식적 추론을 더해 신뢰도를 높여보려는 시도라 할 수 있다. 또한 멀티모달 AI를 통한 센서 융합 개선, 가상환경 시뮬레이션을 통한 극한 상황 생성 및 테스트, 법규 준수형 주행 알고리즘 등도 활발히 논의되고 있다. 요컨대, 자율주행차의 완성도를 높이기 위한 AI 진화는 현재진행형이다.
미래를 향한 가속 자율주행차의 두뇌인 AI 기술은 지난 십여 년간 눈부시게 발전해왔으며, 그 속도는 더욱 빨라지고 있다. 딥러닝으로 시각인지의 문턱을 넘었다면, 이제는 강화학습과 MCTS로 결정력을 키우고, LLM으로 이해력과 설명력까지 더하는 방향으로 나아가는 모습이다. 물론 완전한 자율주행의 실현까지는 기술적 난제와 사회적 과제가 남아 있다. 그러나 작은 진전들이 모여 큰 도약을 이루듯, 최근의 연구개발 추세는 그 난제들을 하나씩 해결해가는 과정이라 볼 수 있다. 가까운 미래에 우리는 AI 운전사에게 운전을 맡기고 더욱 안전하고 편리한 이동을 즐길 수 있을 것이다. 스스로 학습하고 진화하는 똑똑한 AI와 함께, 자율주행차의 시대가 성큼 우리 앞에 다가오고 있다.
| 
출처: Freepik
대규모 언어모델 (LLM)
한때 자율주행과 언어모델은 거리가 먼 얘기로 들렸지만, 오늘날 AI 트렌드를 얘기할 때 LLM을 빼놓을 수 없다. LLM이란 말 그대로 인터넷 텍스트 등 거대 데이터로 학습된 언어 모델로서, 인간 수준의 자연어 이해와 생성 능력을 보여주는 AI다. 대표적인 예로 2023년 전세계적 돌풍을 일으킨 ChatGPT와 그 기반 GPT-4 모델을 들 수 있다. 수천억~조 단위의 매개변수를 가진 이러한 모델은 사람처럼 질문에 답하고 상식적인 추론까지 해내며, AI의 새로운 가능성을 각인시켰다. 그렇다면 언어모델이 자동차 운전에 어떤 도움을 줄까? 연구자들은 LLM의 풍부한 상식 지식과 추론력을 활용해, 자율주행 AI의 의사결정을 보조하려는 실험을 시작했다.
예를 들어 복잡한 교차로 상황을 텍스트로 설명해주면 LLM이 그 맥락을 이해하고 "지금은 진입하면 안 된다"는 식의 고차원 판단을 내리는 식이다. 실제 2024년 발표된 한 연구에서는 LLM을 자율주행차의 행동 플래너로 활용하고 별도의 안전검증 모듈을 붙이는 방식을 제시했는데, 시뮬레이션에서 기존 방법 대비 우수한 안전성 지표를 보였다고 한다.
즉, 언어모델을 차량 두뇌 일부에 넣어 사고를 미연에 방지하는 방향으로까지 AI가 진화하고 있다는 것이가. 아직 초기 단계이지만, LLM과 자율주행의 융합은 예측 불가능한 상황에 대한 대응력을 높여줄 잠재력이 있다.
무엇보다도 LLM의 강점은 인간과의 소통 능력이기에, 운전자와 대화하는 차량 AI 비서 형태로도 활용되고 있다. 실제로 메르세데스-벤츠는 2023년 자사 차량에 ChatGPT 기반 AI 비서를 시범 도입해, 운전 중 복잡한 질의응답이나 정보 제공을 자연어로 수행하게 했다. 이처럼 LLM은 자율주행차의 두뇌와 운전자 인터페이스 양측면에서 혁신을 일으키고 있다.
몬테카를로 트리 탐색 (MCTS)
자율주행 AI가 순간의 주행 판단을 내릴 때, 일종의 미니 시뮬레이션을 머릿속에서 돌린다면 어떨까? 인간 운전자도 교차로를 건널 때 ‘지금 출발하면 저 차와 충돌할 것 같다’며 머릿속으로 시나리오를 그려보곤 한다. 몬테카를로 트리 탐색(MCTS)은 컴퓨터가 이러한 시나리오 시뮬레이션을 체계적으로 수행하도록 하는 알고리즘이다. 무작위 시뮬레이션을 여러 번 돌려보고 그 결과에 따라 의사결정 트리를 구축하여, 승률이 높은 가지를 선택하는 방식이다. 앞서 언급한 알파고의 승리에 핵심적 역할을 한 기술이며, 이후 여러 게임 AI와 복잡한 문제 해결에 응용되었다. 자율주행에서는 MCTS를 활용해 차량의 경로 결정이나 행동 플랜을 세울 수 있다. 예컨대 좌회전 신호가 없는 교차로에서 언제 좌회전을 감행할지 결정할 때, MCTS는 가상의 차량 움직임들을 수백 번 시뮬레이션해보고 가장 안전하고 원활한 타이밍을 찾아낼 수 있다. 2023년 한 연구에서는 실제 MCTS 알고리즘을 자율주행 행동계획에 적용해봤다. 이 방법은 안전, 승차감, 주행거리 등 여러 기준을 비용함수로 설계하여 MCTS의 시뮬레이션 평가에 넣었는데, 그 결과 복잡한 도시 교차로나 끼어들기 상황에서도 차량이 실시간으로 적절한 판단을 내릴 수 있음을 보였다.
심지어 무신호 교차로 좌회전, 끼어들기, 램프 합류처럼 인간에게도 까다로운 상황들을 MCTS로 처리한 시연에서 높은 성공률을 기록하기도 했다.
MCTS의 강점은 시나리오를 폭넓게 탐색하면서도, 이전 시뮬레이션 결과를 토대로 효율적으로 학습해나간다는 점이다. 다만 계산량이 많아 실제 차량에 단독 적용하기엔 제약이 있는데, 이를 개선하기 위해 신경망과 MCTS를 결합하거나 휴리스틱을 가미하는 연구가 활발하다. 요약하면 MCTS는 자율주행차에게 몇 수 앞을 내다보는 지능을 부여하는 기술이라 할 수 있다.
강화학습: 보상으로 배우는 운전
강화학습(RL)은 AI 에이전트가 시행착오를 통해 스스로 학습하는 대표적인 기법이다. 자동차 게임을 여러 번 플레이하며 최적의 운전법을 터득하는 AI를 떠올리면 이해하기 쉬운데, 자율주행에 강화학습을 적용하면, 가상 시뮬레이션에서 차량이 수만 번 달리게 하면서 보상(예를 들면 무사고로 목적지 도달이라는 보상)을 최대화하도록 학습시킬 수 있다. 이를 통해 사람의 운전 데이터를 흉내내지 않고도, 스스로 최적의 주행 전략을 발견하는 AI 모델을 얻을 수 있다. 이론적으로 매우 매력적이지만, 현실에 바로 쓰기엔 걸림돌도 있다. 실제 도로에서 시행착오를 할 수는 없으니, 어디까지나 시뮬레이터 내 학습에 의존해야 하고, 보상 함수를 잘못 설정하면 엉뚱한 주행 버릇을 학습할 위험도 있다. 그럼에도 불구하고 강화학습의 잠재력은 거대하다. 예를 들어 테슬라는 도로에서 수집한 방대한 데이터를 활용해 시뮬레이터를 만들고, AI 운전자가 가상환경에서 스스로 연습하도록 하는 방향을 연구하고 있다. 웨이모(Waymo) 역시 주행 데이터로 학습한 모델 기반 강화학습 기법을 도입해 희귀한 위험 상황에서도 안전하게 대응하도록 AI를 개선했다.
2023년 웨이모 연구진은 “모방학습만으로는 충분치 않다”는 제목의 논문을 통해, 인간 운전 데이터를 모방학습(IL)한 모델에 추가로 강화학습을 적용하면 가장 어려운 주행 상황에서 사고율을 38% 이상 감소시킬 수 있음을 보고했다.
특히 이 방법은 10만 마일 이상의 실제 주행 데이터를 활용하여 대규모 실험으로 효과를 입증했는데, 업계 최초로 모방학습과 강화학습의 대규모 결합 사례를 보여준 것이기도 하다.
왜 두 기법을 섞으면 좋을까? 모방학습은 사람이 운전한 데이터를 그대로 따라하니 보상 설계가 필요 없지만, 예외 상황에서는 한계를 드러낸다. 반대로 강화학습은 보상을 통해 새로운 해법을 찾을 수 있으나 보상 설정이 까다롭다. 두 가지를 결합하면 간단한 보상 함수만으로도 학습이 가능하면서, 드문 위험 상황에 대처하는 안정성이 크게 향상된다.
요컨대 강화학습은 자율주행 AI에 스스로 운전 연습하는 능력을 주는 것으로, 이미 여러 시뮬레이션 및 실제 도로 테스트에 활용되고 있다. 다만 완전 자율주행 상용화까지는 아직도 풀어야 할 과제가 많아, 강화학습 또한 안전성 검증과 효율성 개선 연구가 병행되고 있다.
ReST-MCTS: AI 스스로 발전하는 새로운 방법
최신 AI 연구 동향 중 하나로 ReST-MCTS라는 다소 생소한 용어가 등장한다. 이는 “Reinforced Self-Training with Monte Carlo Tree Search”의 약자로, 우리말로 하면 몬테카를로 트리 탐색을 활용한 강화 자기훈련 정도로 설명할 수 있다. 원래는 대규모 언어모델(LLM)을 더 똑똑하게 만들기 위해 고안된 기법이지만, 그 아이디어는 자율주행 같은 다른 AI 분야에도 시사점을 준다. ReST-MCTS의 핵심은 AI가 스스로 생성한 시나리오에 대해 평가하고 학습하는 능력을 갖춘다는 점이다. 예를 들어 언어모델의 경우, 문제에 대한 여러 단계별 추론 과정을 스스로 만들어보고(트리 탐색), 각 단계가 최종 정답에 도움이 되는지 보상을 계산한다.
일일이 사람이 피드백을 주지 않아도, AI가 올바른 추론 경로를 스스로 찾아내도록 한 것이다. 이렇게 모은 양질의 추론 데이터로 다시 모델을 학습시킨 결과, 이전보다 높은 정답률을 달성했다.
쉽게 말해, AI가 스스로 질문을 만들고 답해보는 과정을 수백 번 시도하면서 자기 능력을 향상시키는 셈이다. 이는 마치 인간이 문제를 풀 때 다양한 접근법을 머릿속으로 그려보고, 가장 그럴듯한 방법을 채택해 자기 실력을 키우는 것과 닮았다. 자율주행에 직접 적용된 사례는 아직 없지만, 개념적으로 ReST-MCTS는 강화학습 + 트리 탐색의 융합이라는 점에서 앞서 언급한 MCTS 기반 주행이나 강화학습형 자율주행 AI와 맥락을 같이 한다. 특히 예측하기 어려운 "희귀 상황(long-tail scenario)"에서 AI 스스로 대처법을 모색하게 한다는 발상은, 안전을 위한 자율주행 AI 자기훈련과도 통하는 부분이 있다. 궁극적으로 이러한 기술은 자율주행차 AI가 사람의 개입 없이도 끝없이 배우고 개선되는 방향을 제시하며, AI 연구계의 최신 흐름을 보여주는 좋은 예이다.
적용 사례 및 한계
자율주행 AI 기술의 발전은 연구실을 넘어 실제 도로 위 실증으로 이어지고 있다. 앞서 언급했듯 2023년 현재 웨이모, 크루즈(Cruise) 등의 자율주행차는 미국 샌프란시스코나 피닉스 일부 지역에서 완전 무인 택시 서비스를 운영 중이다. 수백만 km에 이르는 시험 주행을 통해 AI의 성능을 담금질한 결과로, 제한된 구역이지만 안전운행 기록을 하나씩 세워가고 있다. 한편 메르세데스-벤츠는 세계 최초로 독일에 이어 미국 네바다주에서 레벨 3 자율주행 시스템(Drive Pilot)에 대한 인증을 획득하여, 고속도로 상에서 일정 조건 하에 차량 스스로 운전을 맡도록 상용화했다.
이 시스템은 운전자가 눈을 떼도 될 정도로 차량이 차간 거리 유지와 차로 유지, 제한 속도 준수 등을 알아서 수행하며, 운전 피로를 획기적으로 줄여주는 사례로 평가된다. 이처럼 부분 자율주행 기능들은 이미 상용차에 속속 탑재되어 운전자 보조 역할을 톡톡히 하고 있다. 테슬라의 오토파일럿이나 풀 셀프 드라이빙(FSD) 베타 소프트웨어도 카메라 기반 딥러닝과 강화학습적 접근으로 고속도로는 물론 도심 주행까지 어느 정도 자동화하여 수십만 명의 운전자로부터 피드백을 모으고 있다.
그렇지만 자율주행 AI가 넘어서야 할 한계도 분명하다.
첫째로, AI의 예외 상황 대응력이 인간만큼 완벽하지 않다. 아무리 많은 데이터를 학습해도 현실에서는 예측 불가능한 돌발상황이 생기기 마련이고, 이런 롱테일(long-tail) 사례에서 AI는 때때로 오판을 한다. 실제로 2023년 샌프란시스코에서는 무인 자율주행차가 공사 현장의 젖은 시멘트 위를 지나 꼼짝 못하게 되거나, 긴급차량 사이렌을 인지하지 못해 사고를 일으킨 사례들이 보도되며 화제가 됐다. 이는 현재의 자율주행 AI가 훈련 데이터 분포를 벗어난 상황에 취약함을 보여준다.
둘째로, AI의 판단 근거를 설명하기 어려운 문제도 있다. 딥러닝 기반 자율주행 시스템은 수백만 개의 매개변수로 이루어진 일종의 블랙박스이기 때문에, 차량이 특정 순간에 왜 그런 행동을 했는지 개발자나 이용자가 이해하기 어렵다.
이로 인해 신뢰 확보에 시간이 걸리고 있으며, 일부 사건이 발생할 때마다 규제 당국도 신중을 기하는 실정이다.
셋째로는 센서 한계와 기상조건 같은 기술적 이슈이다. 폭우나 폭설 시 센서가 제 역할을 못 하면 AI도 눈이 가려지는 셈이라, 이런 악천후 대응력은 아직 인간 기사에 못 미친다.
끝으로, 윤리적 판단이나 법·제도 정비도 과제다. 사고 발생 시 책임소재를 어떻게 할지, AI가 딜레마 상황에서 어떻게 행동해야 할지 등에 대한 사회적 합의도 필요하다.
이러한 한계를 극복하기 위해 업계와 학계에서는 다양한 접근을 시도 중이다. 앞서 살펴본 강화학습과 모방학습 결합은 드문 상황에서의 안전성을 높이기 위한 노력이고, LLM 통합 연구 역시 AI 판단에 설명 가능성과 상식적 추론을 더해 신뢰도를 높여보려는 시도라 할 수 있다.
또한 멀티모달 AI를 통한 센서 융합 개선, 가상환경 시뮬레이션을 통한 극한 상황 생성 및 테스트, 법규 준수형 주행 알고리즘 등도 활발히 논의되고 있다. 요컨대, 자율주행차의 완성도를 높이기 위한 AI 진화는 현재진행형이다.
미래를 향한 가속
자율주행차의 두뇌인 AI 기술은 지난 십여 년간 눈부시게 발전해왔으며, 그 속도는 더욱 빨라지고 있다. 딥러닝으로 시각인지의 문턱을 넘었다면, 이제는 강화학습과 MCTS로 결정력을 키우고, LLM으로 이해력과 설명력까지 더하는 방향으로 나아가는 모습이다. 물론 완전한 자율주행의 실현까지는 기술적 난제와 사회적 과제가 남아 있다. 그러나 작은 진전들이 모여 큰 도약을 이루듯, 최근의 연구개발 추세는 그 난제들을 하나씩 해결해가는 과정이라 볼 수 있다. 가까운 미래에 우리는 AI 운전사에게 운전을 맡기고 더욱 안전하고 편리한 이동을 즐길 수 있을 것이다. 스스로 학습하고 진화하는 똑똑한 AI와 함께, 자율주행차의 시대가 성큼 우리 앞에 다가오고 있다.