자율주행 기술기업 모셔널(Motional)과 매사추세츠공대(MIT) 연구진이 자율주행차의 판단 근거를 사람이 읽을 수 있는 개념으로 실시간 제시하는 시스템을 개발했다. Nature에 발표된 이 연구는 자율주행 인공지능(AI)의 ‘블랙박스’ 문제를 겨냥한다.
연구진이 제안한 ‘콘셉트-래퍼 네트워크(Concept-Wrapper Network·CW-Net)’는 자율주행 시스템 신경망 내부의 계산을 인간이 이해할 수 있는 개념으로 변환한다. 예컨대 대시보드에는 ‘정지 차량에 접근 중’이나 ‘자전거 이용자와 근접’ 같은 항목이 표시돼, 어떤 요소가 차량의 주행 판단에 영향을 주는지 보여줄 수 있다.
현재의 자율주행차가 뚜렷한 위험 요소가 없는 도로에서 급제동하더라도 탑승자나 운전자는 그 이유를 알기 어렵다. 대량의 주행 데이터로 훈련된 신경망은 성능을 낼 수 있지만, 판단 과정을 드러내지 않는다는 것이 연구진이 지적한 한계다.
사후 설명이 아닌 판단 구조에 개념을 반영
CW-Net의 특징은 행동 뒤에 그럴듯한 설명을 생성하는 방식이 아니라는 데 있다. 차량의 최종 의사결정 시스템이 사람이 해석할 수 있는 개념을 직접 바탕으로 행동하도록 설계됐다. 따라서 제동이 일어났다면 어떤 특정 개념이 그 행동을 촉발했는지 추적할 수 있다.
모셔널은 이를 ‘인과적으로 충실한’ 설명이라고 규정했다. 자연어로 설명을 생성하는 일부 접근법은 설득력 있게 보일 수 있으나, 실제 신경망의 판단과 정확히 일치한다는 보장은 없다는 점과 구분된다.
“일반적인 종단간(end-to-end) 전용 접근법은 상당히 좋은 80~90%, 어쩌면 95% 수준의 해법에 도달할 수 있다. 하지만 운전자를 없애거나 도시, 지역사회, 고객의 신뢰를 얻기에는 충분하지 않다.”
모셔널 최고경영자(CEO)이자 연구팀 구성원인 로라 메이저는 이 같은 설명 가능성이 필요하다는 근거를 이렇게 밝혔다.
라스베이거스 도로에서 확인한 두 사례
모셔널에 따르면 설명 가능한 AI 연구는 주로 실험실의 컴퓨터 시뮬레이션에 머물러 왔다. 연구팀은 숙련된 안전 운전자가 운전석에 탑승한 자율주행차에 CW-Net을 적용하고, 비공개 시험장과 미국 라스베이거스 주변 공공도로에서 데이터를 수집했다.
시험에는 경쟁력 있는 성능을 보였지만 뚜렷한 한계도 있던 초기 실험용 딥러닝 기반 경로 계획 시스템이 사용됐다. 한 사례에서 차량은 교통 콘 근처에서 반복적으로 멈췄고, 운전자는 콘이 원인이라고 추정했다. 그러나 콘을 제거한 뒤에도 차량은 계속 정지했다. CW-Net 화면은 실험용 계획 시스템이 전방의 정지 차량을 잘못 인식하고 있음을 보여줬다. 연구진은 이 패턴을 훈련 데이터와 연결해 원인을 파악했고, 문제를 예측하고 해결할 수 있었다.
다른 시험에서는 차량이 자전거 이용자를 감지하고 예상대로 정지했다. 하지만 CW-Net은 실험용 계획 시스템이 실제로는 자전거 이용자의 존재를 근거로 판단하지 않았다고 드러냈다. 이를 확인한 안전 운전자는 자전거 이용자 주변에서 더 주의해 대응했다. 후속 분석 결과, 해당 제동은 실험용 딥러닝 계획기가 아니라 안전 백업 시스템에 의해 이뤄진 것으로 확인됐다.
주행 성능 차이는 1% 미만
AI 시스템에 설명 가능성 계층을 추가하면 속도와 성능이 저하될 수 있다는 우려가 있다. 모셔널도 이 위험을 인정했다. 다만 연구진이 CW-Net을 주요 자율주행 알고리즘과 비교 평가한 결과, 주행 역량 차이는 1% 미만이었다고 밝혔다.
연구팀은 이 같은 가시성이 안전 운전자와 엔지니어링 조직의 대응 정밀도를 높일 수 있다고 봤다. 정지가 존재하지 않는 차량을 잘못 인식한 결과인지, 주 계획기가 아닌 백업 시스템의 작동인지 파악할 수 있다면 의도된 행동과 결함을 더 명확히 구분할 수 있다는 설명이다.
모셔널은 자율주행 기술이 새로운 시장과 관할 지역으로 확대되면서 규제기관이 AI 판단 과정의 투명성을 더 요구할 것으로 예상했다. CW-Net과 같은 도구가 연구 프로젝트를 넘어 기본 요건으로 자리 잡을 수 있다는 전망도 제시했다. 연구진은 승용차 외에도 자율비행 드론과 로봇 수술처럼 안전이 중요한 분야에서 시스템의 역량, 한계, 예기치 않은 행동을 이해할 수단이 필요하다고 언급했다.
출처: https://www.artificialintelligence-news.com/feed/ — 원문 기사 보기 (Motional and MIT AI explains self-driving car decisions)
