모델 성능을 추적(from1)하기 위해서는 모델 추론에 대한 정답값(GT)이 필요하다.
미래를 예측하는 모델의 경우, GT는 시간이 지남에 따라 자동으로 수집된다(참고1). 예를 들어, 5일 뒤의 기온을 예측하는 모델을 만들었다고 쳐 보자. 오늘 모델의 출력값을 5일 뒤에 실제 기온과 비교하면 모델의 성능을 추적할 수 있다.
그렇지 않은 경우에는, 서비스 차원에서 유저로부터 GT를 얻을 수 있는 방법을 고민해 보아도 좋다(참고1). 유저로부터 GT를 얻어내고 이를 다시 학습 데이터로 사용하여 모델을 지속적으로 개선하는 것을 피드백 루프(from2)라고 한다.
피드백 루프를 활용한 GT 수집을 다이어그램에 명시적으로 표현하기도 한다. 아래 AWS 그림은 유저(애플리케이션)으로부터 모델 추론에 대한 GT를 수집하여, 병합 작업(Merge Job)에서 모델 추론값과 유저가 제시한 GT를 병합하여 모니터링에 사용될 뿐 아니라 데이터과학자들에게 제공한다는 점이 표현되어 있다.
그림(참고2)
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.
1.
None
from : 과거의 어떤 생각이 이 생각을 만들었는가?
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?
1.
None
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?
1.
None
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되고 이어지는가?
1.
None
참고 : 레퍼런스