데이터 과학/딥러닝(Deep Learning) 썸네일형 리스트형 Attention 모델 - 구현편 목차 1. Seq2Seq의 문제점 2. Encoder의 개선 3-1. Decoder의 개선 (1) 3-1-1. 대응 관계를 찾는 방법 3-2. Decoder의 개선 (2) 3-3. Decoder의 개선 (3) 3-4. Time Attention 계층의 구현 4. Attention을 갖춘 Seq2Seq의 구현 5. 평가 1. Seq2Seq의 문제점 짧은 문장이든, 긴 문장이든 Encoder에서 같은 길이의 벡터만 출력한다. 2. Encoder의 개선 Encoder의 출력 길이는 입력 문장의 길이에 따라 바꿔준다. LSTM 계층의 은닉 상태 벡터를 모두 이용한다. 지금까지는 LSTM 계층의 마지막 은닉 상태만을 Decoder에 전달했었다. 3-1. Decoder의 개선 (1) 지금까지와 똑같이 Encoder.. 더보기 RNN & LSTM 설명 및 구현 ※ 아래의 글은 Colah의 "Understanding LSTM Network"를 번역한 것입니다. Contents 1. RNN(Recurrent Neural Network) 2. RNN의 단점 3. LSTM Network 4. LSTM Network 상세 5. 다양한 LSTM Network 종류 6. 다음 방향 7. Pytorch LSTM Network 1. RNN(Recurrent Neural Network) 과거 사건(시간이 지난 사건)을 네트워크에 반영할 수 없는 것은 기존 NN(Neural Network)의 단점이었다. RNN은 루프(Loop)를 이용하여 이 문제를 해결하였다. 루프는 같은 네트워크를 반복하여 사용하지만(multiple copies of the same network), 정보가 .. 더보기 이전 1 2 다음
