Neural Networks의 역사

NN의 역사

Mark I Perceptron machine(1957)

 

• Frank Rosenblatt가 개발한 퍼셉트론 알고리즘을 구현한 최초의 기계로 W(가중치)x + b(편향) 원리에 의해 작동한다. 출력 값은 1 또는 0이다. Update 규칙이 존재해 역전파와 유사해보이지만 가중치값을 직접 조정하는 것에 그쳐 역전파를 구현했다고 보기에는 어려움이 있다.

Adaline and Madaline(1960)

• Widrow와 Hoff가 개발한 뉴럴넷으로, 최초로 선형레이어를 다층 퍼셉트론 네트워크에 쌓기 시작했다. 그러나 아직 역전파의 원리가 적용되지 않았고, 따로 훈련시킬 방법이 존재하지 않았다.

최초의 Backporp (1986)

• Rumelhart 개발했으며, 역전파를 구현함으로서 최초로 network를 학습시키는 개념 정립했다. 이로 인해 Chain rule과 Update rule이 등장할 수 있었다.

Geoff Hinton 과 Ruslan Salakhutdinov의 논문 (2006)

• DNN(심층 신경망)의 학습가능성이 최초로 나온 논문이다. 그러나 세심한 초기화가 필요하며, 초기화를 위해 RBM(제한 볼츠만 머신)을 이용해서 각 히든레이어 가중치 학습 필요하다는 한계가 있다.

NN 열풍 (2012)

• Hintin lab의 Acoustic Modeling과 Speech Recognition 연구들이 뉴럴넷 열풍의 시작이었다. 특히 Alex Krizhevsky의 영상 인식 관련 Imagenet 분류에서 최초로 뉴럴넷을 사용한 연구가 등장하였다.