Search
🧠

9:05, 논문 내 계산식의 설명

출처
수집시간
2021/11/06 08:00
연결완료
1 more property
1D image patch
각각의 패치들의 linear projection
(구현을 간단하게 하기 위해) hidden dimension 으로 D*3D_h 으로 만든 뒤 그냥 쪼개서 Q, K, V 의 의미를 부여한다.
패치에 대해서 Q,K,V 를 구하기 때문에 Q 의 개수는 9개이다. 따라서 dot product 의 결과 벡터는 총 9 개가 나온다.
각각의 channel 에 대해서 softmax 를 거치면 attention score 가 된다.