🧠

6:50, attention mechanism (어텐션) 을 전체적인 시점에서 바라본 것 (그림1) 그림이다. (이를 온전히 이해하기 위해서는 참고1 를 이해해야 한다.)

출처

수집시간

2021/10/10 07:55

연결완료

인라인 메모

하 진짜 잘그린 그림이었네 망할

그림

참고

1.

5:40, Seq2Seq (참고1) 에서 도입된 Attention mechanism (어텐션) 을 Query (쿼리), Key (키), Value (값) 의 관점에서 다시 들여다볼 수 있다. 먼저 디코더의 첫번째 시점에 대한 정보를 "쿼리", s1 이라고 하고, 인코더의 각 시점에 대한 정보를 "키" (만약 입력 문장이 세 개의 단어로 이루어져 있다면 h1, h2, h3) 라고 한다. 쿼리와 키에 dot product (내적) 을 통해 코사인 유사도를 계산한 뒤 softmax (소프트맥스) 취하면 attention score 을 계산할 수 있다. 이 attention score 에 인코더 각 시점에 대한 정보 (키, 참고3) 를 곱해주면 각 정보의 중요도를 반영한 context vector 을 만들 수 있는 것이 된다. 