신경망은 우리 뇌의 신경망 구조에서 아이디어를 얻은 함수들의 집합(class)이다. 비선형의 복잡한 함수를 만들기 위해 간단한 함수들을 계층적으로 여러개 쌓아 올린 구조이다. 이전에는 비교적 간단한 linear function을 주로 구했지만, 현재 이 linear function의 중간값에 비선형 함수를 올린 2-layer Neural Network가 주를 이루어 비선형의 변환이 중요해졌다.

⚠️ 주의! 생물학적 신경망과 Neural Networks의 구조는 다르다.

생물학적 신경망은 정말 다양한 구조가 있다.

Dendrite가 linear한 계산이 아닌 non-linear computations도 수행할 수 있다.

Synapses는 하나의 weight가 아니라 복잡한 시스템일 수 있다.

Activation function을 통해서 얻은 rate들이 적절하지 않을 수 있다. Activation function을 사용하면 입력값에 대한 출력값이 linear하게 나오지 않으므로 linear classifier를 non-linear classifier로 만들 수 있다.

자세한 내용은 Activation Function 문서를 참고하시오.

Neural Networks의 Architectures

2-Layer-NN or 1-hidden-layer NN

행렬 곱셈을 하는 완전히 연결된 두 선형 layer로 이루어진다. 행렬 곱의 수를 세는 대신 hidden-layer 벡터를 셀 수 있기 때문에 NN 취급한다.

3-Layer-NN or 2-hidden-layer NN

다음 챕터 에서 이어서 확인하실 수 있습니다.