[논문 리뷰]Motion Prediction on Self-driving Cars: A Review

이번에 자율주행 분야에서 prediction 관련 과제에 참여하게 되어서 prediction 관련 논문 리뷰를 진행하게 되었다.

prediction이란 차량의 미래 trajectory를 미리 예측하는 분야라고 할 수 있다. 본 논문은 특히 딥러닝 및 강화학습을 통해 prediciton을 진행한 방법들에 대해 소개하고 있다.

Abstract

자율주행 차량의 motion prediction 관련된 최근 SOTA 논문들을 리뷰, 각 방법의 장단점을 비교해볼것이며 마지막 부분에서는 object tracking에 대해 설명. deep reinforcement learning이 자율주행에서 가장 중요한 후보 중 하나이다.

---

Introduction

자율주행에 있어서 차량은 다음 움직임 및 trajectory를 predict할 수 있어야 한다.

---

Basics and Chanllenges of Vehicle motion prediction

motion prediction은 위험에서 벗어나거나 decision making을 위해 중요한 역할을 한다.

A. Technical Concepts and Terminology definitions

• Semantic Map : 차량의 주변 환경(도로, 빌딩 주변 차량, 차선, 인도 등)을 알아야 prediction 가능. 따라서 다양한 주변 환경 정보가 담긴 high-resolution map이 필요
• Sensors : 주변 환경의 정보들을 얻기 위해 다양한 센서(Camera, LiDAR, Radar 등)가 필요
• Ego Vehicle : 자신의 자율주행 차량
• Target Vehicles : Ego vehicle이 predict시 interaction이 돼야만 하는 차량

---

Chanllenges

차량은 non-holomonic system(새로운 status에 따라 즉각적으로 궤적을 바꿀 수 없음)이다.

사람은 주변 환경을 참고하면서 자신의 decision을 수정하지만 자율주행 차량은 알고리즘에 의해 decision을 수행한다. 따라서 갑작스러운 주변 환경(신호, sudden maneuvers, 기후 등)이 변화된다면 자율주행차량은 그에 맞게 행동을 정하기 어렵다.

---

Mathmatical representation of the problem

자율주행 차량의 움직임은 수식적으로 다음과 같이 표현한다.

future behavior of the autonomous vehicle

이때 x는 차량의 pose를 나타내고 N은 target vehicel의 수, m은 prediction window의 크기이다. 우리의 목적은 ego vehicle에서 관측할 수 있는 target vehicle의 조건부 확률 분포를 계산하는 것이다.

---

classification of existing works

prediction 모델은 physics-based, maneuver-based, interaction-aware model로 구분할 수 있다. 또 prediction의 input, output으로도 구분할 수 있다. 이 리뷰에서는 딥러닝 및 강화학습에 focus를 맞춘다.

A. Deep learning approach for Automous Vehicles

• 딥러닝 method를 이용하는 것은 크게 세 가지로 나누어지는데 RNN, CNN, 기타(GRU, LSTM, GNN 등)으로 나누어진다.
• Altch´e and de La Fortelle 은 NGSIM dataset을 이용했으며 LSTM을 이용해 10초까지의 trajectory를 예측했다. 이들 모델의 장점은 차량 6000대를 동시에 고려한 일반화로 요약할 수 있다.
• Xin et al. 은 dual LSTM을 이용했으며 5초를 넘은 trajectory를 predict 했다.
• Deo and Trivedi는 multiple-layer SLTM을 이용해 interaction aware prediction을 제공했다. 모델은 multi-modal distribution을 제공한다. - NGSIM US-101, I-80 dataset을 이용
• 이후에도 LSTM의 구조를 조금씩 변형하거나 다른 네트워크 구조를 추가해서 prediction 진행하는 내용을 설명했다.

B. Reinforcement learning approach for Autonomous Vehicles 강화 학습은 agent가 여러 시나리오를 경험함으로써 환경과 상호작용하면서 학습하는 접근법이다. trajectory를 predict 하는 방법은 크게 5개로 나눌 수 있는데, (i) Value-based methods (ii) Policy-based methods (iii) Actor-critic methods (iv) Model-based (vs. Model-free) & On/Off Policy methods and (v) Deep reinforcement learning.이다.

• Keselman et al. 은 model-based 강화 학습을 통해 차량의 부드러운 제어를 위한 trajectory를 제공했다.
• Ngai and Yung은 multiple-goal 강화학습 방법을 통해서 overtaking problem을 풀었으며 차량의 충돌 회피를 제공했다. 그들은 Q-learnig을 사용했다.
• 이후에도 강화학습과 MPC, q-net, RNN, CNN등을 같이 결합해서 trajectory prediction을 진행하는 내용을 설명했다.

---

Gap of the knowledge and suggestions for future research

1. 딥러닝 또는 강화학습 접근법의 성능을 측정해볼 수 있는 벤치마크가 존재하지 않으므로 벤치마크가 정리될 필요성이 있다.
2. 대부분의 논문들이 주변 환경에 대한 대부분의 정보들을 가지고 있다고 가정한다. 하지만 실제로는 그 정보들을 모두 가지고 있다는 것이 가능하지 않다.
3. interation이 고려되지 않은 future trajectory를 청각, 시각정보를 사용해서 predict 해볼 수 있다. 4) 시뮬레이션 환경과 대규모 데이터 집합은 실제 환경에 대한 적절한 반영을 제공할 수 있지만 실제 사건의 분포가 다르므로 그런 부분들을 고려해야 한다.

---

Miscellangeous literature - Motion and Tracking

tracking의 접근법은 크게 recognition-based와 motion-based로 나누어진다.

recognition-based 방법의 경우 연속적인 이미지에서 물체가 인지되면 물체의 translation과 rotation을 얻을 수 있다. 하지만 이 방법은 인지할 수 있는 object 존재해야만 한다.

motion-based 방법은 움직이는 대상이 인식 기반 시스템의 모션 감지를 통해서만 감지된다는 점에서 매우 다양하며 사이즈나 모양에 상관없이 어떤 움직이는 물체이던지 사용할 수 있어서 우리 시스템에 적절하게 적용할 수 있다.

---

conclusion

다양한 prediction 접근법에 대해서 리뷰해보았고 CNN과 RNN 모델을 적절히 혼합함으로써 prediction을 진행하거나 강화 학습 방법을 통해 prediction을 하는 논문들에 대해 리뷰해 보았다. 실제 적용과의 갭은 크지만 앞으로 accuracy 또는 complicity를 판별할 수 있는 룰도 나와야 한다고 생각한다.

---

끝으로 앞으로 더 많은 리뷰들을 보게 될 테지만 이 논문에서 언급한 것처럼 prediction분야가 아직 연구단계이다 보니 prediction에 관련된 척도나 성능평가 지표등이 아직 확정되어있지 않다. 따라서 이 부분들에 대해 고민해 볼 필요가 있다고 생각한다.