[논문 리뷰] An LSTM Network for Highway Trajectory Prediction

차량의 trajectory를 prediction을 진행할 때 딥러닝 기법을 활용하는 추세가 되었다. 따라서 기본적인 LSTM 네트워크를 이용한 prediction 논문에 대해 리뷰해보려고 한다.

 

Abstract

LSTM을 이용해 고속도로에서의 trajectory prediction 진행. NGSIM US- 101 dataset에서 training 및 test 진행

---

Introduction

주위 차량의 motion prediction은 효과적이고 안전정인 자율주행에 꼭 필요한 요소이다. trajectory prediction은 크게 classification과 regression method로 나누어지는데 본 논문은 regression method이다.

 

clssification method - hidden Markov model, Kalman filtering, SVM, ANN 등등

regression method - instance regression forests, ANN

 

본 논문에서는 RNN 중 LSTM 네트워크를 이용해서 prediction을 진행. LSTM은 time series를 다루는 데에 효과적이다. 본 논문에서는 고속도로 상황이 많은 NGSIM US101 dataset을 사용했으며 RMS error는 10 time step을 predict 했을 때 0.7m(laterally) 이하이며 2.5m/s(longitudinally) 이하이다.

---

Problem Statement

$K_{prev}+1$개의 measurement가 존재했을 때, $T_{prev}=\{-K_{prev},...,0\}$ 이다. k time step에서의 input feature x를 $x_k$라 한다. $T_{post}=\{{0,...,K_{post}}\}$ 이며 k step에서의 output y를 $y_k$라 한다.

input 과 output

---

Data and features

A. Dataset

이 논문에서는 US-101에서 local coordinates를 이용할 것이다.

 

B. Data preparation

data들은 다양한 노이즈에 노출되어 있기 때문에 전처리가 필요하다. velocity의 경우 first order Savitzky-Golay filter를 사용한다.

first order Savitzky-Golay filter

surrounding vehicle은 다음과 같이 총 9개를 사용하며 해당 차량이 없는 경우에는 그 해당 차량의 데이터를 모두 0이라고 설정한다.

surrounding vehicles

 

C. Feautres

본 논문에서는 GNSS 나 LiDAR 등을 이용해 실질적으로 얻을 수 있는 데이터만 사용한다.

 

target vehicle - local lateral position, local longitudinal position, 종방향 횡방향 속도, 해당 차량의 type(motorcycle, car, truck)을 -1, 0 , +1로 각각 인코딩 (총 5개)

surrounding vehicle - 횡방향 속도, 종방향 상대 속도, 횡방향·횡방향 상대 거리, TTC(time to collision) $TTC_p=\frac{\Delta{y_p}}{{\Delta{v_{yp}}}}$,차량 type (총 6개)

 

횡방향 종방향 거리와 속도들을 10으로 나누어서 [-2,2] 사이의 값으로 나타냈다.

 

 

D. Outputs

종방향의 경우 값이 너무 크기 때문에 속도로 내신 output을 정했다.

output

 

---

Learning Model

 

LSTM는 256개의 셀이 존재하며 뒤로 Dense(fc layer)를 추가했으며 각각 256, 128개의 뉴런을 가지로 있다. LSTM을 추가하는 것에 대해 딱히 개선 사항이 없으므로 한 개의 LSTM을 사용했다.

LSTM 구조

최종 모델 구조

---

Results

dataset의 80%는 training, 20%는 test에 사용했다. 10 time step의 past observation을 이용해 10 time step의 future prediction을 예측 텐서 shape 은 (B X 100 X N)이며 B는 대략 20000, N은 대략 50개이다.

(timeseries가 100인 이유는 target과 surrounding vehicle이 총 10개이며 각각 10개의 data이기 때문)

batchsize = 32

train epoch = 5

다양한 test를 통해 RMS 에러를 확인

특히 vehicle type은 종방향 prediction을 예측할 때 향상에 도움이 되었다.

delay가 살짝 존재한다.

 

각 다른 case에서 RMSE 도출한 결과

 

 

delay가 생기는 것을 확인

---

LSTM 기법을 사용함으로써 효과적으로 이후 10 timestep을 예측할 수 있었다. 하지만 delay가 존재하는 이유는 아무래도 속도 자체가 빠른 것 뿐만 아니라 feature에서 놓치고 있는 부분이 있을 것이라고 생각이 든다. 더 다양한 논문을 읽어봐야겠다.