2022년 말 ChatGPT 공개로 첫 선을 보인 생성형 AI는 최근까지 모델의 크기 경쟁, 결과 의 정확도와 윤리 문제 등이 이슈로 떠올랐다. 그런데 최근에는 생성형 AI를 활용하여 새로운 고객 경험을 제시하는 제품이나 서비스에 대한 관심이 커지고 있다. 온디바이스(On Device) AI를 이용하여 스마트폰에서 실시간 통역을 해주거나, PC에서 문서의 작성부터 편집, 요약, 창작 등의 도움을 받을 수 있는 서비스가 대표적인 사례다. 생성형 AI가 적용되어 학습된 자동차를 타게 되었을 때 어떤 모습을 예상할 수 있을까?

장면 #1

2030년 3월, 경기도에서 서울로 출근하는 김모 씨는 어제 늦게 귀가했지만, 아침 일찍 잡힌 회의로 인해 평소보다 1시간 일찍 집에서 출발했다. 핸들을 잡은 악력, 안구 상태 등으로 운전자의 피로를 확인한 자동차 AI Agent는, 고속도로 진입 전에 평소보다 카페인 함량이 높은 커피를 파는 매장을 추천해주고, 쿠폰까지 알려주었다. 경부고속도로 진입 후 ‘완전’자율주행 모드를 작동하고 회의 전에 처리해야 할 이메일에 답장을 썼다. 음성으로 메일의 내용을 말하자, 자동차 AI가 메일을 대신 작성해 주었다. 해 뜰 무렵 판교 IC를 지나던 중, 200m 앞에서 달리던 트럭이 갑자기 전복돼 많은 양의 자갈이 도로에 쏟아졌다. 생성형 AI로 학습한 자동차는 바로 사고 차량을 피하고 차선을 바꾸어 현장을 지났다. 잠시 후, 자동차 AI는 자갈 위를 지날 때 과도하게 뒤틀어진 휠얼라인먼트를 예정보다 일찍 점검하고 타이어 외관을 살펴볼 것을 추천했다. 회의에 늦지 않기 위해 달리던 1차로에서 갑자기 2차로로 이동하였는데, 1~2분 내로 지나갈 앰뷸런스 때문이라고 알려주었다. 사고로 도착이 5분 늦어진 김 씨는, 차량에서 내리자마자 상대적으로 차량이 많지 않은 주차장 ‘A Zone’을 손가락으로 가리키며 “저기 주차해”라고 말하고 사무실로 뛰어들어갔다.

장면 #2

2040년 7월, 두 돌 된 딸과 아내와 함께 드라이브에 나선 이모 씨는 완전자율주행 중인 차 안에서 대형 디스플레이를 통해 개봉한 ‘겨울왕국’ 의 새로운 에피소드를 보고 있다. 남한강변의 6번 국도를 달리고 있지만, 차량 밖 AR 풍경은 북유럽 어느 근사한 해안 도로다. 갑자기 차량 에어컨에서 이상한 냄새가 나기 시작했다. 자동차 AI Agent가 문제가 생긴 필터를 교환하라고 음성과 동영상으로 안내해줬다. 다행히 여분의 에어컨 필터가 있어 쉽게 교환할 수 있었다. 닭갈비가 먹고 싶다는 아내의 말에 이모 씨는 춘천으로 가는, 풍경이 멋진 코스를 추천해 달라고 말했다. 터널이 많은 고속도로 대신 강변을 따라 난 길을 추천해주고, 유아 동반 식당 및 급속 충전소를 경유할 수 있도록 알려준다. 집으로 돌아오는 길에, 자동차 AI Agent가 10만 km 이후 빈번한 급속 충전으로 배터리의 충전량이 다른 전기차들 대비 줄어든 사실을 알려주더니, 권고 시점인 누적 주행거리 16만 km보다 짧은 14만 km에서 배터리를 교체하라 했다.

자동차 산업에서도 생성형 AI를 적용하려는 움직임이 나타나고 있다. 연초 CES에서 완성 차 기업들은 생성형 AI를 자동차에 적용한 Voice Assistant 기능을 경쟁적으로 선보였다. 벤츠는 Voice Assistant에 생성형 AI를 적용하여 인포테인먼트(Infotainment) 기능을 업그레이드하였으며, 폭스바겐은 OpenAI의 ChatGPT를 적용하여 내비게이션, 편의 기능, 일반 지식 등에 대한 답변을 제공할 예정임을 밝혔다. 아직 생성형 AI 적용은 자동차의 음성인식을 고도화해서 Voice Assistant 기능을 강화하는 수준이나, 생성형 AI의 발전 가능성을 고려하면 자동차 고객 경험은 향후 생성형 AI를 통해 더욱 고도화하고 다양해질 것으로 보인다.
생성형 AI는 기존 AI(판별형 AI) 대비 대형화한 모델을 사용하여 훨씬 지능적이며 자연어 처리도 뛰어나 전후 관계를 인식하여 맥락을 잘 이해할 수 있다. 또 다양한 형태의 대규모 자료를 통합적으로 학습하고 표현할 수 있어 복합적인 상황 또는 예상하기 어려운 상황에 대한 예측과 액션으로의 연결에 뛰어나다.
운전 중에 고객은 많은 것을 하고 싶지만, 안전상의 이유로 기기를 자유롭게 조작할 수 없다. 또한 다른 기기와 달리 정차 및 주행 과정, 인포테인먼트 사용, 진단 장치 등 다양한 곳에서 대규모 데이터가 만들어진다. 이처럼 다양한 곳에서 발생하는 데이터를 생성형 AI로 빠르게 학습하고 처리하게 되면 고객의 잠재적 니즈를 해결하고 나아가 맞춤형 결과나 새로운 제안 서비스를 통해 고객 경험을 확장할 수 있다. 또, 기존 대비 훨씬 자연스러운 음성 UI, 가상 주행 경험 등을 통해 고객 경험을 한 단계 업그레이드시킬 것이다. 이런 측면에서 많은 기업들은 생성형 AI가 자동차 고객 경험을 혁신할 수 있는 잠재력이 있다고 여긴다.

생성형 AI가 변화시킬 자동자 경험

자율주행 고도화

10년 전만 해도 완전자율주행은 금방이라도 올 것 같았다. 그런데 최근 애플이 10년 동안 진행한 전기차 개발 프로젝트를 포기하는 등 그 시기는 계속 늦춰지는 상황이다. 자율주행 기술 개발이 어려운 이유는 여러 가지겠지만, 무엇보다 기존 AI 기술로는 자율주행 시, 예측이 어려운 코너 케이스(Corner Case) 상황을 완전히 극복하기 어렵다는 것이다. 규칙 기반(Rule-Based) AI의 경우, 지정된 또는 예상되는 상황에서 자율주행은 무리 없이 잘 수행한다. 그런데 예상하지 못한 코너 케이스가 발생했을 때, 사람은 그동안 학습해온 경험을 바탕으로 능동적으로 대응할 수 있다. 하지만 기존 자율주행차는 코너 케이스 대응이 미숙해 사고로 이어진 경우가 있다. 자율주행에 적용된 생성형 AI는 사람처럼 인식에서 행동까지 전체 데이터를 이용해 학습하고, 어떻게 주행해야 하는지를 판단하는 코드를 스스로 생성하여 적절한 경로를 결정할 수 있어 코너 케이스를 어느 정도 극복할 전망이다. 따라서 갑작스런 전방 트럭 적재함 탈락, 전복, 악천후로 인한 교통표지 미인식 등과 같은 경우에도 능동적으로 대처하여 사고 발생을 크게 줄일 수 있을 것이다.

생성형 AI를 이용한 자율주행 2.0 시대 도래

현재까지의 자율주행 기술(AV 1.0)은 개별 탐지(Detection)하는 영역에 있어서는 학습 기반(Learning-Based)으로 전환되었으나, 예측(Prediction)부분과 기타 다른 영역에서는 규칙 기반 알고리즘에 생성형 AI가 적용되어 있는 경우는 많지 않다. 또 개별 기능을 모듈화하여 분산해 기능을 수행하는 구조였는데, 모듈 간에 데이터가 넘어가는 과정에서 일부 손실이 있었다. 생성형 AI가 적용되는 자율주행 2.0(AV 2.0)에서는 사물의 인식에서부터 차량의 제어까지 전 과정을 하나의 신경망 학습으로 처리하는 것을 의미하는 E2E(End-to-End) 방식을 적용했다. 그래서 사물 인식부터 계획해서 제어하는 ‘결정 (Decision Making)’ 영역까지 하나의 학습 모델로 작동하면서 전후 관계를 파악하여 사람과 유사한 형태의 추론이 가능해질 것으로 보고 있다.
테슬라 운전자 보조 기능인 FSD(Full Self Driving)는 V11까지 자동차의 움직임을 프로그래밍하는 규칙 기반 방식을 적용했다. 하지만 2023년 11월에 발표한 FSD V12부터는 E2E 방식으로 입력부터 출력까지 하나의 통합된 신경망이 학습하고 처리하고 있다. 그래서 어떻게 주행해야 하는지를 판단하는 코드를 스스로 생성하고, 이를 이용하여 적절한 경로를 결정하는 방식으로 바뀌었다. 테슬라는 FSD V12로 기존 OEM들 대비 완전자율주행에 한 걸음 더 다가갈 수 있을 것으로 자체 평가하고 있다.

자율주행차에 사용되는 인공지능 기술 진화

L출처 : Nvidia

운전 편의 개선

운전하면서 가장 많이 사용하는 기능이 내비게이션을 이용한 경로 안내다. 교통 상황 및 사고 유무에 따라 AI를 이용해 최단 거리 또는 최소 시간 경로 안내 기능을 가진 내비게이션도 최근 나오고 있다. 생성형 AI는 이에 더해 Multimodal 입력을 지원하고, 자동차 외부 상황과 운전자 취향에 최적화한 경로를 생성하고 개인 최적 주행모드를 설정할 수 있을 것이다. 자동차의 주행 데이터와 결합하여 주행 중에 갑자기 작동하는 제동 또는 차선 이동에 대해서도 운전자에게 자세히 설명할 수 있을 것이다.
최근 자동차에 커넥티비티(Connectivity) 기능이 적용되면서, 자동차의 주행 정보, 주유·충전 가능 거리, 엔진 오일 교환, 타이어 위치 교환 등의 정보를 스마트폰 앱을 통해 알려주어 차량 관리에 도움을 주고 있다. 하지만 아직은 개별 차량의 특성 및 운전자의 주행 패턴, 외부 환경의 변화 등을 반영하지 못하고, 설정된 주행 거리에 연동되어 기계적으로 점검 시기를 알려주고 운전자의 주의를 상기시켜주는 정도이다. 자동차에 탑재된 다양한 센서에서 나오는 데이터와 운전자의 주행 습관 등을 이용해 생성형 AI를 학습시킨다면, 고장났을 때 차량 매뉴얼에서 참고할 수 있는 부분을 정확히 알려줄 수 있다. 또한 배터리와 구동모터의 적절한 예상 교체 시점을 알려줘 관리할 수 있게 해주는 ‘선제적 예측 유지 관리’ 등 맞춤형 서비스를 제공할 수 있을 것이다.

개인 맞춤형 엔터테인먼트

현재 자동차에서 즐길 수 있는 컨텐츠는 안전 주행을 방해하지 않기 위해 대부분 음악 또 는 음성 컨텐츠 형태이다. 생성형 AI를 이용한다면 운전자의 취향, 주행 환경에서 나오는 데이터를 학습하면서 운전자 감정, 외부 날씨, 교통 상태 등에 따른 다양한 컨텐츠를 제안할 수있을 것이다. 향후 자율주행 단계가 높아진다면 외부 환경을 이용한 가상 드라이브 환경도 구성할 수 있다. 소니는 혼다와 세운 합작 회사에서 개발 중인 전기차 Afeela에, 다양한 센서 장치에서 수집한 데이터들을 모아 차량과 보행자, 지형과 날씨 등을 시뮬레이션하고 AR과 결합하여, 몰입감 있는 경험과 게임·엔터테인먼트를 제공할 수 있다고 밝혔다. 완전자율주행 상황을 가정했을 때, 서울에 있어도 마치 미국 캘리포니아 도로를 주행하는 것과 같은 상황을 묘사할 수 있으며, 외부 상황과 연동한 자동차 주행 게임도 제공할 수 있어 주행 중 탑승자의 재미 요소를 배가할 수 있을 것이다.
TV나 스마트폰은 사용자의 검색 및 구매 이력과 같은 개인 정보를 이용하여 맞춤형 정보를 제공하고 있는데, 자동차는 아직 제한적인 상황이다. 자동차 내부 데이터를 사용할 수 없는 제도적 한계와 생성되는 데이터를 센싱하는 센서 및 분석·처리 장치가 미흡하기 때문이다. 다양한 고객 데이터를 센싱하고 이를 처리할 수 있는 장치와 함께 생성형 AI를 연계시킨다면 초개인화한 다양한 정보와 서비스들을 자동차에서도 즐길 수 있을 것이다. 생성형 AI의 가장 중요한 특징이 차량과 탑승자의 데이터를 지속적으로 학습하여 맞춤화 또는 업그레이드를 통한 새롭고 다양한 경험을 개발할 수 있다는 것이다. 고객 경험에 대한 이해가 높아지면, 편의 기능 제공을 넘어 맞춤형 서비스까지 제안하는 개인 비서, 즉 자동차 기반의 AI Agent의 등장도 충분히 예상할 수 있다.

• 실제 주행 환경

  

  BMW의 AR 기반 가상 주행 환경 모사(개념도)

• 생성형 AI에서 표현한 AR기반 주행 환경

  

  출처 : Wired

자동차 특성에 맞는 통합이 중요

그러나 금방이라도 가능할 것 같았던 완전자율주행이 여전히 멀고, 전기차 보급속도조차 주춤해지는 것은 자동차라는 복잡한 디바이스에서 고객 경험을 변화시키는 것이 쉽지 않다는 것을 말해준다. 생성형 AI를 자동차에 적용하여 고객 경험을 혁신적으로 변화시키기 위해서는 먼저, 자동차에 탑재되는 생성형 AI의 정확성과 할루시네이션(Hallucination) 이슈가 해결되어야 한다. 자동차는 다른 디바이스 대비 안전이 앞으로도 계속 중시될 것이기 때문이다. 그리고 스마트폰, TV 대비 긴 제품 주기와 연간 판매량이 적은 자동차 산업의 특성으로 인해, 생성형 AI를 이용한 새로운 자동차 고객 경험을 적용하는 데 다소 시간이 필요하다. 그렇더라도 AI가 필수 요소로 자리 잡아가고 있어 자동차와 관련 서비스에 생성형 AI를 적용하는 흐름은 바뀌지 않을 것이다. 따라서 많은 시간과 투자가 필요하지만, 향후 생성형 AI를 이용한 새로운 고객 경험 변화에 준비하는 동시에, 예상되는 사업의 기회 및 위협에도 주목할 필요가 있다.
첫째, 빨라지는 AI 혁신 속도에 적응해야 한다. AGI(Artificial General Intelligence, 인공 일반 지능)라는, 인간과 유사한 인공 지능의 등장이 조만간 예상되는 등 AI 기술의 발전 속도는 예측을 넘어서고 있다. 따라서 자동차 기업들은 생성형 AI의 동향과 향후 기술 진전, 생태계 변화에 주목하고 지속적으로 모니터링 해야 한다. AI는 데이터, 모델, 반도체 간 상호 작용이 중요하므로, 자동차용 반도체의 성능 향상과 통합 칩 적용 등의 변화도 예의주시해야 한다.
둘째, 생성형 AI를 차량의 특성에 최적화할 수 있는 통합 역량이 점차 중요해질 것이다. AI 기술이 보편적으로 적용되면, 비용 대비 효과측면에서 자체 AI 기술 개발보다는 적절한 외부 AI 모델을 가져와 사용하는 것이 더 나을 수 있다. 또, 생성형 AI의 적용은 SDV(Software Defined Vehicle)로의 전환을 가속시키면서 자동차가 새롭고 다양한 경험을 담는 서비스 플랫폼으로 바뀌는 것을 의미한다. 때문에 자동차 산업지식에 기반해 생성형 AI를 결합하여 최적화한 자동차 고객경험을 줄 수 있는 역량을 확보하는 것이 중요하다. 생성형 AI를 기반으로 하는 통합 역량을 확보하려면 빅테크, 소프트웨어 기업 등 외부 기업들과 개발 초기부터 지속적인 협력을 고려할 필요가 있다.

1) 인공지능이 주어진 데이터나 맥락에 근거하지 않은 잘못된 정보나 허위 정보를 생성하는 것을 의미