Keras / RNN (Recurrent Neural Network)

출처 : https://wikidocs.net/22886

 

RNN은 hidden layer에서 활성화 함수를 통해 나온 결과값을 output layer로 보내면서, 다시 hidden layer에도 보내 다음 계산의 입력으로 사용한다.

cell은 이전의 값을 기억하는 역할을 수행하기도 한다.

이전 타임 스텝에서 나온 결과값을 기억하고 있다가 해당 타임 스텝의 입력으로 사용한다.

 

 

위 그림은 입력 벡터의 차원이 4, hidden state가 2, output이 2인 상태를 시각화한 것이다.

RNN은 입력과 출력의 길이를 다르게 설정할 수 있다. 

one-to-many는 하나의 입력으로 여러개의 output을 낼 수 있다. 이는 하나의 이미지 입력에 대해 다양한 이미지의 제목을 출력하는 경우 등이 있다.

many-to-one은 단어 시퀀스를 입력했을 때 그 결과가 긍정인지 부정인지, classficiation과 detection에 사용된다.

many-to-many는 한글 단어 시퀀스를 입력하면 영어 단어 시퀀스를 출력하는 번역기, 개체명 인식 등에 사용된다.