Unsupervised feature learning via non-parametric instance discrimination (2018) 에서는 L2 정규화를 한 뒤, 메모리 뱅크에서 현재 타깃 이미지의 과거 임베딩 벡터 (positive) & 나머지 이미지들의 일부 임베딩 벡터를 (negative) 샘플링한다. 현재 타깃 이미지의 임베딩 벡터를 앵커(anchor) 라고 하고, anchor 과 positve 을 끌어당기고 (pull), anchor 과 negative 가 밀어내도록 (push) 손실함수를 만든다. 이때 유사도를계산하는 것으로 Cosine 유사도를 사용한다. anchor 과 positive 를 분자로 올리고, softmax 로 만들면 NCE (Noise Contrast Estimation) loss 가 된다.

출처

수집시간

2021/08/17 11:50

연결완료

1 more property

•

확실한 것은, 위 식이 negative log likelihood 형태임.

•

i 번째 이미지 (x_i) 가 들어갔을 때, i 번째에 속할 확률  P(i∣fθ(xi))P(i|f_{\theta}(x_i))P(i∣fθ​(xi​)) 을 최대화하는 θ{\theta}θ 를 찾는 것

◦

i 번째 이미지가 들어갔을 때 i 번째에 속한다는 것은 곧, 각 이미지마다 고유의 클래스가 된다는 것

•

그것에 그냥 로그를 붙이고 마이너스를 붙여 최소화하는 θ{\theta}θ 를 찾는다는 것

•

그리고 참고* 에 따르면, P(i∣fθ(xi))P(i|f_{\theta}(x_i))P(i∣fθ​(xi​)) 가 의미하는 것이 곧 그림** 임.

그림**