RNN
Standard Network가 시퀀스 데이터 처리에 적합하지 않은 이유 텍스트의 서로 다른 위치에서 학습된 피쳐가 공유되지 않는다. 예컨대 문장의 특정 위치에서 다음 단어를 예측하는 문제에서는 이전 단어들을 아는 것이 도움이 될 것이다. standard network에서는 한 위치에서의 정보가 다른 위치로 빠르게 일반화되지 않는다. 다시 말해, 우리가 문장을 이해할때는 단어 단위로 이해하지 않고 전체 문맥을 이해하는데, Standard Network는 이런 방식으로 정보를 처리하지 않는다. 모든 트레이닝 데이터는 같은 입력 길이를 가지지 않는다. Fully connected layer를 사용하면 파라미터의 개수가 너무 많아진다. 만약 고려해야할 총 단어 수가 10,000개이고 시퀀스의 길이가 100이라..
Study/Deep Learning
2019. 7. 28. 18:39