여러 연결 신경으로부터 자극을 받아서 그 총체적인 자극이 일정 임계값을 넘는 순간 활성화되는 성질을 가진 뉴런이라는 신경세포를 상상해 보자. 컴퓨터에서도 이러한 성질을 가진 뉴런을 모델링할 수 있다.
출처 미상
예를 들어 어떤 음식을 먹을 때 도파민이라는 호르몬의 분비 여부를 결정하는 뉴런을 모델링해 보자. 달콤한 자극(), 짭짤한 자극(), 새콤한 자극(), 매운 자극(), 씁쓸한 자극() 등의 미각 입력을 받아 하나의 출력을 내보내는 함수 (from1)로 표현할 수 있을 것이다. 이렇게 모델링한 뉴런 함수 를 구체적으로 표현하면 다음과 같다.
1.
들어온 자극들()에 적절한 가중치(weight)를 곱한 결과를 더한다. 이때, 적절한 가중치가 하는 역할은 무엇일까? 대부분의 사람들은 씁쓸한 것을 먹을 때 행복해하지 않는다. 씁쓸한 자극 입력()에 대해 곱해지는 가중치()는 0에 가까울 것이다. 반면 내가 매운것을 먹을 때 너무나 행복한 사람이라면 매운맛 입력()에 곱해지는 가중치()가 높을 것이다. 따라서 가중치는 특정 입력이 출력을 만드는 데 얼마나 영향을 많이 주는지를 모델링한다(ref1). 이 값이 0이라면 뉴런의 출력값에 전혀 영향을 주지 않는다고 생각할 수 있겠다.
2.
그 결과가 어떠한 값보다 작으면 아무것도 하지 않고() 충분히 크다면 도파민을 분비하라는 명령()을 출력한다. 이를 계단 함수(ref3) 를 이용한다면, 아래와 같이 와 bias 를 추가함으로써 뉴런 함수 모델링을 완성할 수 있다. 여기서 bias 를 이용하면 내가 무엇을 먹든지에 상관없이 쉽게 도파민이 분비되는 그런 매사에 행복한 사람인지 아닌지를 표현할 수 있다. 이러한 성질 때문에 bias가 출력을 얼마나 쉽게 만들어내는 뉴런인지를 표현하는 수단이라고 이야기하는 사람들이 있다(ref2).
이 예시에서는 활성화함수 로 계단 함수를 사용했지만, 이것은 그 어떤 것이 되어도 의미만 해치지 않는다면 상관없다. 지금까지 다양한 연구를 통해 수많은 활성화 함수들이 제안되었다(이 글에서는 어떤 활성화 함수를 사용해야 하고, 어떤 것을 사용해야 하지 않는지를 다루지 않는다).
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료을 보관해 두는 영역입니다.
1.
None
from : 과거의 어떤 원자적 생각이 이 생각을 만들었는지 연결하고 설명합니다.
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는지 연결합니다.
1.
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는지 연결합니다.
1.
None
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되거나 이어지는지를 작성하는 영역입니다.
1.
ref : 생각에 참고한 자료입니다.