Batch Normalization

Batch Normalization 방법

1. mini-batch에서의 평균을 계산한 후 모든 mini-batch마다 평균과 분산을 각각 계산

2. 평균과 분산으로 Normalize

3. 다시 추가적인 scaling(), shifting factor()를 사용

특징

• gradient가 개선되어 학습이 잘되게 만들어준다.

• Weight의 초기화에 의존하지 않는다.

• Regularization의 역할을 하여 Overfitting을 막아준다.

• Learning rate 가 높아도 사용 가능하다.

• train data는 batch의 mean을 이용하고, test data는 train을 거친 후 전체 data의 mean를 이용해 정규화를 한다.

Batch Normalization 설명 및 구현

NIPS (Neural Information Processing Systems) 는 머신러닝 관련 학회에서 가장 권위있는 학회들 중 하나이다. 이 학회에서는 매년 컨퍼런스를 개최하고, 작년 12월에도 NIPS 2015라는 이름으로 러시아에서 컨퍼런스가 개최되었다. 이 컨퍼런스에 참가한 Brad Neuberg라는 참가자가 있는데, 그가 이 컨퍼런스에서 느낀 10가지 딥러닝 트렌드(원문) 라는 글이 굉장히 화제가 되었었다.

https://shuuki4.wordpress.com/2016/01/13/batch-normalization-%EC%84%A4%EB%AA%85-%EB%B0%8F-%EA%B5%AC%ED%98%84/