Search
🔵

b3.4_4. [info] title: 4주차 뉴럴 네트워크

생성
🚀 prev note
♻️ prev note
🚀 next note
14 more properties
뉴럴 네트워크는 뉴런이 연결된 것으로, 뉴런은 그냥 단순한 함수다. (x∈RN\mathrm{x}{\in}\mathbb{R}^N 이고 y∈R1y{\in}\mathbb{R}^1)
y=f(x)y=f(\mathrm{x})
뉴런으로 구성된 뉴럴 네트워크도 그냥 함수다. (x∈Ra\mathrm{x}{\in}\mathbb{R}^{a} 이고 y∈Rb\mathrm{y}{\in}\mathbb{R}^{b})
y=F(x)\mathrm{y=F(x)}
뉴런 하나는 한개 이상의 파라미터를 가지고 있다. 예를 들어, 뉴런 함수 y=f(x)y=f(\mathrm{x}) 에서 x∈R2\mathrm{x}{\in}\mathbb{R}^2 이면, f(x)=σ(w1x1+w2x2+b)f(x)={\sigma}(w_1x_1+w_2x_2+b) 이다. 이 경우 파라미터는 w1,w2,bw_1, w_2, b 총 세 개이다. σ\sigma는 활성화함수다.
한 개 이상의 뉴런으로 구성된 뉴럴 네트워크도 마찬가지로 수많은 파라미터들을 가지고 있다. 뉴럴 네트워크에 들어 있는 수십만, 수백만, 수천만, 수억개의 파라미터를 통틀어 θ{\theta} 라고 표현하며, 뉴럴 네트워크가 훈련 가능한 파라미터를 가지고 있음을 다음과 같은 방법들로 표현할 수 있다.
y=Fθ(x)y=F_{\theta}(x)
y=F(θ,x)y=F({\theta},x)
뉴럴 네트워크는 이 수많은 파라미터 θ{\theta} 를 적절히 조절하는 일을 수행한다. 어떤 기준으로 파라미터를 조절해 낼지는 손실함수(loss function, cost function) LL 을 이용해 정의한다(ref1). 뉴럴 네트워크는 사람이 정의한 임의의 손실함수 LL 을 최소화할 수 있는 이상적인 파라미터 θ∗{\theta}^*를 찾아서 모험을 떠난다(sup2). 이를 수식으로 표현하면 다음과 같다. arg min⁡ab{\argmin_{a}b} 는 bb가 최소가 되게 만드는 aa를 찾겠다는 것이다.
θ∗=arg min⁡θ L=arg min⁡θ∑iL(Fθ,xi,yi){\theta}^* ={\argmin_{\theta}}\ L ={\argmin_{\theta}}{\sum}_iL(F_{\theta},x_i, y_i)
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료을 보관해 두는 영역입니다.
1.
None
from : 과거의 어떤 원자적 생각이 이 생각을 만들었는지 연결하고 설명합니다.
1.
•
사진측량 스터디에서도 뉴럴 네트워크와 관련된 내용을 다룬다.
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는지 연결합니다.
2.
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는지 연결합니다.
1.
None
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되거나 이어지는지를 작성하는 영역입니다.
1.
2.
ref : 생각에 참고한 자료입니다.