5:40, Seq2Seq (참고1) 에서 도입된 Attention mechanism (어텐션) 을 Query (쿼리), Key (키), Value (값) 의 관점에서 다시 들여다볼 수 있다. 먼저 디코더의 첫번째 시점에 대한 정보를 "쿼리", s1 이라고 하고, 인코더의 각 시점에 대한 정보를 "키" (만약 입력 문장이 세 개의 단어로 이루어져 있다면 h1, h2, h3) 라고 한다. 쿼리와 키에 dot product (내적) 을 통해 코사인 유사도를 계산한 뒤 softmax (소프트맥스) 취하면 attention score 을 계산할 수 있다. 이 attention score 에 인코더 각 시점에 대한 정보 (키, 참고3) 를 곱해주면 각 정보의 중요도를 반영한 context vector 을 만들 수 있는 것이 된다.