모델이 잘 동작하지 않는 이유는 정말 많다. 정말 많아서 어디서부터 잘못된 것인지 알기가 쉽지 않다. 그래서 모델을 개발하는 사람이라면, 모델을 잘 디버깅하는 전략과 프로세스를 가지고 있는 것이 도움이 된다. 한 번에 완성시키겠다는 생각은 어디서든지 위험한 생각이다(from1). 최대한 잘게 쪼개서 자주 피드백을 받아야 한다. 핵심은 문제가 있을만한 부분을 고립시키고, 그 부분을 빠르게 인지할 수 있어야 한다는 것이다(참고1).
논문과 실제 훈련 결과는 이렇게 차이가 날 수 있다.
사소한 하이퍼파라미터 셋업에 따라 이렇게 많은 차이가 날 수 있다.
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.
1.
None
from : 과거의 어떤 생각이 이 생각을 만들었는가?
2.
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?
3.
4.
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되고 이어지는가?
1.
참고 : 레퍼런스
