/
Search
📖

모든 sentence의 첫번째 token은 언제나 [CLS](special classification token) 입니다. 이 [CLS] token은 transformer 전체층을 다 거치고 나면 token sequence의 결합된 의미를 가지게 되는데, 여기에 간단한 classifier를 붙이면 단일 문장, 또는 연속된 문장의 classification을 쉽게 할 수 있게 됩니다. 만약 classification task가 아니라면 이 token은 무시하면 됩니다.

출처
수집시간
2024/05/27 06:54
연결완료
1 more property
위 그림을 가장 마지막 레이어의 출력이라고 본다면, 가장 좌측에 보이는 토큰 임베딩 E[CLS]\mathrm{E_{[CLS]}} 가 CLS 토큰이다.