Search

the main idea behind contrastive learning is to learn representations that are invariant to image augmentations in a self-supervised manner.

출처
수집시간
2021/08/14 06:24
연결완료
1 more property
하지만 잘 생각해 보자. "이미지 변형들에도 흔들리지 않는 고유한 표현을 학습해야 한다. (learn representations that are invariant to image augmentations) " 라는 것이 목표로 주어진다면, has a trivial degenerate solution : the case where the representations are constant, and do not depend at all on the input images. degenerate solution what is Degeneracy (in linear programming and mathematics) 이 발생할 수 있다고 한다. 맞다. 잘 생각해 보면, 모델이 모든 이미지에 대해서 동일한 표현(constant) 을 내뱉는 것도 - 각 representation 이 이미지 변형에도 흔들리지 않는 강인한 표현이라고 생각할 수 있다.