Search
🌍

b3.4_5.1_2.1_2_1. title: 최소자승법(‣)은 적절한 모델 파라미터로 모델과 데이터의 잔차(residual) 제곱합(혹은 평균)이 가장 작은 경우가 좋다고 판단하는 방법이지, 경사하강 등 최적화 방법을 포함하지는 않는다.

생성
🚀 prev note
🚀 next note
♻️ next note
14 more properties
e=XwyJs(w)=e2=i=1n(wTx(i)y(i))2e=Xw -y \\J_s(w)=\|e\|^2=\sum_{i=1}^n(w^Tx^{(i)}-y^{(i)})^2
최소자승법(‣ Least Square Method, LSM)은 적절한 모델 파라미터란 “모델(일차함수, 포물선(참고3), 곡면, 등…)과 데이터의 잔차(residual) 제곱합 혹은 평균(Js(w)J_s(w), 위 수식에서는 제곱합)이 가장 작은 것” 이라고 판단하는 방법이다.
머신러닝, 반복법(‣ Iterative solution)과 함께 언급되며 ‘잔차 최소화’ 라는 타이틀 덕분인지 ‘LSM = 반복법을 통한 잔차 최소화’ 라는 오해가 생기곤 한다(from2). 하지만 최소자승법은 모델이 포함하는 ‘파라미터’가 적절하다는 것에 대한 기준을 제시할 뿐이라(참고1,5) 실제로 최소자승법상 최적의 값을 가지는 파라미터를 어떻게 계산할지까지 내포하고 있지 않는다(참고4).
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.
from : 과거의 어떤 생각이 이 생각을 만들었는가?
2.
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?
1.
2.
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?
1.
None
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되고 이어지는가?
1.
None
참고 : 레퍼런스