Convolutional Neural Networks의 역사

CNN의 역사

Hubel과 Wiesel의 뉴런 연구 (1950년대)

• 고양이 뇌의 반응을 알아보는 실험을 통해서 뉴런이 oriented edges와 shapes에 반응한다는 것을 알아냈다. 피질 내부에 지형적 매핑이 있다는 사실을 밝혀냈는데, 피질 내 서로 인접해있는 세포들이 visual field 안에 어떤 지역성을 띄고 있다는 것이다.

• 또한, 뉴런들이 계층 구조를 가지고 있다는 사실을 알아냈다. 시각신호가 가장 먼저 도달하는 곳인 Retinal ganglion 이라는 곳의 가장 상위에 다양한 모서리의 방향과 빛의 방향에 반응을 하는 Simple Cell들이 위치해있는데, 이 세포들은 Complex Cell과 연결되어있다. 이러한 복잡한 세포들은 빛의 방향 뿐만 아니라 움직임에서도 반응을 한다. 이처럼 복잡도가 증가함에 따라 Hyper Complex Cell들이 되어가면서 끝점과 같은 것에도 반응하게 된다.

Fukushima의 Neocognitron (1980)

• 위의 simple/complex cells의 아이디어를 사용한 최초의 뉴럴넷이다.

Yann LeCun의 LeNet-5 (1998)

• 뉴럴넷 학습을 위해 역전파와 gradient-based learning을 최초로 적용한 사례다. 실제로 문서인식과 우편번호 인식에 사용하였다.

Alex Krizhevsky의 AlexNet (2012)

• AlexNet이 개발된 덕분에 Imagenet과 같은 대형 데이터 셋을 활용할 수 있게 되었으며, GPU의 병렬 컴퓨팅 성능을 사용할 수 있게 되었다.