4:14, Seq2Seq (참고1) 은 Context vector (문맥 벡터) 의 크기가 너무 제한적이라는 단점을 가진다. 그래서 도입되었던 것이 Attention mechanism (어텐션) 이다. 디코더의 각 시점에 대해 인코더의 모든 시점에 대한 유사도를 가중치로 만든 context vector 을 사용한다.