기본 RNN과 LSTM 비교

【5】RNN 기본 다지기 / 실습으로 익히는 순환신경망

기본 RNN과 LSTM 비교

 

여기까지 RNN과 LSTM을 자세히 살펴 보았다. 두 순환신경망의 구조를 비교해보자. 아래 그림을 보자.

 

 

 

가장 간단하게 두 구조를 구별하는 방법은 타임스텝이 진행될때 한 셀에서 다음셀로 전달되는 정보의 개수를 확인하면 된다. 즉 위 그림에서는 셀과 셀 사이의 화살표 개수를 확인하면 되는것이다. 단기 기억 뿐인 RNN의 경우 다음 셀로 전달 되는 정보는 역시 바로 직전 타임스텝의 정보일 뿐이다. 그래서 그림에서 하나의 화살표만 볼 수 있다. 그러나 LSTM은 이름에서 보듯 Long-Short Term Momory 이므로 장기와 단기 기억이 모두 존재한다. 그러므로 구조 그림에서 두개의 화살표를 확인할 수 있다. 위 화살표는 장기 기억, 아래 화살표는 단기기억에 해당된다. 그림에서 보듯 단기 기억 뿐인 RNN을 보완하여 장기와 단기로 나누어서 정보를 전달하는 LSTM의 구조가 더욱 정교하다. 이로써 시계열, 텍스트 데이터 뿐만아니라 소리와 같은 오디오 데이터 등의 순차 데이터를 처리할 때 입력의 길이가 길어져도 이전 정보를 더 오래 기억하므로 RNN보다 더 성능이 좋다. 한마디로LSTM은 RNN보다 발전된 형태의 순환신경망인 것이다.

 

향 후 LSTM을 보완한 GRU라는 순환 신경망이 등장하는데 이는 다음 장에서 다루도록 하겠다.

 

 

 

 

---

작성자 홍다혜 ghdek11@gmail.com / 이원재 wonway333@gmail.com