-'인식' 넘어 '판단 고도화에 집중
-거대 AI가 작은 AI 가르치는 '교사-학생' 구조가 핵심
-가상 세계서 주행 반복..실수 결과까지 학습
자율주행차가 교차로에 진입하려는데 오른쪽에서 자전거가 접근하고 있다고 가정해보자. 횡단보도에는 보행자가 서 있고 앞 차는 이유 없이 속도를 줄이고 있으며 반대편에서는 좌회전하려는 차 까지 기다리고 있다. 이 상황에서 자율주행차는 어떻게 판단할까.
일단 기존의 자율주행 기술로도 이 현상에 대한 인식은 가능하다. 카메라나 레이더가 차와 사람, 자전거를 인식하고 각각의 위치와 속도를 계산하면 될 일이다. 문제는 그 다음이다. 앞차가 왜 속도를 줄이는지, 자전거가 도로에 진입할 가능성이 있는지, 보행자가 과연 횡단보도를 건걸 것인지를 종합해서 '차를 어떻게 제어할까' 라는 결정이다.
엔비디아가 자율주행 AI '알파마요 2 슈퍼'에서 구현하려는 것도 이 과정이다. 라이다나 레이더, 카메라 같은 '눈'을 달아주는 데 그치지 않고 이해하고, 판단한 뒤 행동하는 '두뇌'를 더욱 고도화 하겠다는 게 핵심이다.
알파마요 2 슈퍼는 약 300억개의 파라미터를 가진 비전·언어·행동(VLA) 모델이다. 엔비디아의 피지컬 AI 기반 모델인 코스모스를 토대로 개발했으며 멀티 카메라 영상과 내비게이션 정보, 주행 상황 등을 입력받아 자동차가 앞으로 이동할 궤적과 판단 과정을 생성한다. 엔비디아는 이를 레벨4 로보택시 개발을 위한 기반 모델로 활용한다는 계획이다.
알파마요를 이해하려면 먼저 VLA를 알아야 한다. VLA는 비전(Vision)과 언어(Language), 행동(Action)을 하나로 연결한 AI다. 쉽게 말해 '보고 생각해서 행동하는 AI'다.
챗봇에 사진을 보여주고 "사진 속에서 무슨 일이 벌어지고 있어?"라고 물으면 AI가 이미지를 이해하고 글로 답한다. 이것이 비전과 언어의 결합이라면 VLA는 여기서 한 단계 더 나간다. 사진이나 영상을 이해한 결과를 글이 아닌 실제 행동으로 연결한다.
자동차에서는 카메라 영상이 '비전'이다. '앞차가 급제동했고 오른쪽 차선에서는 다른 차가 접근하고 있다'고 상황을 이해하는 과정이 언어와 추론에 해당한다. 그 결과 브레이크를 밟거나 차선을 유지하는 것이 행동이다.
물론 기존 자율주행 시스템도 물론 이와 비슷한 과정을 거친다. 일반적으로 인지, 예측, 판단, 경로 계획, 제어 등을 여러 단계로 나누고 각각의 알고리즘이 역할을 수행한다. 예를 들어 카메라가 보행자를 발견하면 인지 시스템이 이를 '보행자'로 분류한다. 예측 시스템은 보행자가 어디로 움직일지 계산하고 경로 계획 시스템은 이를 피하기 위한 궤적을 만든다. 마지막으로 제어 시스템이 스티어링과 가속·제동을 움직인다.
알파마요가 다른 부분은 이 사이에 '추론'을 적극적으로 넣었다는 점이다. 단순히 '보행자가 있으니 감속한다'는 관계만 학습하는 것이 아니라 주변 상황을 하나의 맥락으로 이해하고 어떤 행동이 적절한지 판단하도록 하는 것. 기존 자율주행이 수많은 상황에 대한 대응 능력을 쌓아왔다면 알파마요는 처음 접하는 상황에서도 앞뒤 맥락을 토대로 답을 찾아내는 능력을 강화하는 데 초점을 맞춘다.
실제 도로는 예외의 연속이다. 경찰관이 신호등과 다른 방향으로 수신호를 할 수도 있고 공사 때문에 차선이 사라질 수도 있다. 이중주차한 차가 도로를 막거나 사고차 때문에 중앙선을 넘어가야 하는 상황도 발생한다.
자율주행 업계에서는 이런 드물고 복잡한 상황을 '엣지 케이스'라고 부른다. 문제는 모든 상황을 미리 경험할 수 없다는 데 있다. 100만㎞를 달리며 데이터를 모아도 100만1㎞째에 전혀 새로운 상황이 등장할 수 있다. 세계 각국의 도로 환경과 운전 문화까지 고려하면 경우의 수는 사실상 무한에 가깝다.
알파마요가 추론을 강조하는 이유가 여기에 있다. 과거에 똑같은 상황을 본 적이 없더라도 현재 보이는 상황의 의미와 각각의 관계를 분석해 합리적인 행동을 찾아내도록 하겠다는 것이다.
알파마요 2 슈퍼는 기존 알파마요 1 나노와 1.5 나노의 100억 파라미터에서 320억 파라미터로 규모를 세 배 이상 키웠다. 파라미터가 많다고 무조건 운전을 잘한다는 의미는 아니지만 더 큰 모델을 통해 복잡한 관계와 공간 정보를 학습하고 특히 드문 상황에서의 추론과 3차원 공간 이해, 궤적 예측 능력을 높이는 것이 엔비디아의 목표다.
눈도 넓어졌다. 기존 알파마요가 전방 카메라를 중심으로 주변을 바라봤다면 2 슈퍼는 앞과 옆, 뒤를 포함한 멀티 카메라 영상을 처리한다. 사실상 360도 주변 상황을 하나의 맥락으로 이해하는 것이다.
차선 변경을 생각하면 이유를 쉽게 이해할 수 있다. 전방만 잘 본다고 차선을 바꿀 수 있는 것은 아니다. 앞차와의 거리뿐 아니라 옆 차선에서 달려오는 차의 속도, 뒤에서 접근하는 오토바이, 진입하려는 도로의 상황을 동시에 살펴야 한다. 알파마요 2는 이 모든 정보를 종합해 판단하도록 설계됐다.
더 큰 변화는 AI가 내놓는 답이다. 자율주행 시스템의 중요한 출력 가운데 하나가 '궤적'이다. 쉽게 말해 앞으로 몇 초 동안 자동차가 지나갈 길을 점으로 그려주는 것이다. 기존 알파마요도 주변 상황을 분석하고 적절한 궤적을 생성했다. 알파마요 2 슈퍼에는 여기에 '메타 액션'이 추가됐다. 양보, 차선 변경, 정지와 같은 상위 단계의 운전 행동을 먼저 표현한다.
사람의 운전으로 비교하면 차이가 명확하다. 기존 방식이 '핸들을 오른쪽으로 몇 도 돌리고 속도를 얼마까지 낮춰 어느 지점으로 이동할 것인가'를 계산하는 데 집중했다면 메타 액션은 그보다 앞선 '저 차를 먼저 보내자', '여기서는 차선을 바꾸자', '일단 멈추자'라는 판단에 가깝다.
또 다른 특징은 CoC(Chain of Causation)다. 자율주행 AI가 무엇을 봤고 어떤 관계를 파악했으며 왜 특정 행동을 선택했는지를 연결하는 추론 기록이다.
예를 들어 자동차가 갑자기 감속했다고 해보자. 결과만 보면 '속도를 줄였다'가 전부다. 하지만 안전성을 검증하려면 왜 감속했는지를 알아야 한다. AI가 정답을 내더라도 왜 그런 답을 냈는지 알 수 없다면 안전이 중요한 자동차에 적용하기 어렵기 때문이다.
아무리 많은 주행 영상을 학습해도 한 가지 문제가 남는다. 자동차가 자신의 판단 때문에 다음 상황이 어떻게 달라지는지를 경험하기 어렵다는 점이다. 이를 이해하려면 '오픈루프'와 '폐쇄루프'의 차이를 알아야 한다.
오픈루프 학습에서는 실제 운전자가 달린 영상을 AI에 보여준다. AI에게 "이 상황이라면 어떻게 운전하겠느냐"고 물어보고 사람이 실제로 운전한 경로와 비교한다. 시험 문제와 모범답안을 반복해서 공부하는 것과 비슷하다.
하지만 실제 운전은 다르다. 운전자가 브레이크를 밟으면 뒤차와의 거리가 달라지고 차선을 바꾸면 주변 차들도 반응한다. 첫 번째 판단이 두 번째 상황을 바꾸고 두 번째 판단이 다시 세 번째 상황을 만든다. 작은 실수가 시간이 지나며 커질 수도 있다.
엔비디아가 알파마요 2와 함께 내놓은 '알파짐'이 필요한 이유다. 알파짐은 자율주행 AI를 가상환경에 넣고 직접 운전하도록 한다. AI가 스티어링을 움직이거나 브레이크를 밟으면 가상세계가 이에 맞춰 변한다. AI는 달라진 상황을 다시 보고 다음 행동을 결정한다. 단순히 모범답안을 외우는 데서 벗어나 가상도로에서 직접 운전하고 자신의 실수에 따른 결과까지 경험하게 하는 셈이다.
실제 도로가 아닌 가상 세계에서의 학습까지 수행한다. 이를 담당하는 것이 '코스모스 드림스'다. 생성형 AI를 이용해 자율주행 학습에 필요한 주행 상황을 만들어낸다. 갑작스럽게 사람이 튀어나오거나 비가 쏟아지는 야간 도로, 복잡한 사고 현장처럼 실제 도로에서 일부러 재현하기 어렵거나 위험한 상황을 가상으로 생성한다.
알파마요 2 슈퍼는 거대한 모델이다. 알파마요 2 슈퍼가 방대한 데이터를 토대로 복잡한 상황을 추론하는 방법을 학습하면 그 지식을 실제 자동차에서 돌릴 수 있는 작은 AI에 전달한다. AI 업계에서는 이를 '증류'라고 부른다. 교수가 자신의 모든 정보를 학생에게 가르치는 게 아닌 핵심만을 알려주는 것과 비슷하다.
이 지점에서 엔비디아의 전략도 보인다. 엔비디아는 자동차를 만들지 않는다. 그렇다고 알파마요만 공급하려는 것도 아니다. 실제 차에서 데이터를 모으고 이를 3D 가상세계로 재구성하고, 생성형 AI로 수많은 돌발상황을 만든다. 알파마요가 이를 학습하고 알파짐에서 직접 운전하며 실수를 수정한다. 이후 지식을 작은 AI에 증류하고 그 AI는 엔비디아의 컴퓨터에서 돌아간다.
완성차 업체 입장에서는 모든 기반 기술을 처음부터 만들 필요가 없다는 장점이 있다. 알파마요라는 기반 모델에 각 회사가 보유한 주행 데이터와 운전 정책을 추가해 자체 자율주행 시스템을 개발할 수 있다. 반대로 생각하면 자율주행 개발 과정에서 엔비디아의 영향력이 지금보다 훨씬 커질 가능성도 있다.
엔비디아는 PC 시대 GPU와 CUDA를 묶어 개발 생태계를 구축했다. 생성형 AI 시대에는 데이터센터용 GPU를 장악했다. 그리고 모빌리티 산업에서는 자동차용 반도체뿐 아니라 AI가 운전을 배우는 방법과 가상 훈련장까지 제공하고자 한다. 자율주행차 개발 방식을 '얼마나 많은 상황을 미리 학습시켰느냐'에서 '처음 보는 상황을 얼마나 잘 이해하고 판단하며, 자신의 행동 결과를 다시 학습할 수 있느냐'로 옮기려는 엔비디아의 움직임에 주목해볼 필요가 있겠다.
박홍준 기자 hj.park@autotimes.co.kr
