Activation Functions

Sigmoid

특징

• 입력을 받아서 그 입력을 [0, 1] 사이의 값이 되도록 변경한다.

• 입력의 값이 크면 Sigmoid의 출력은 1에 가까울 것이고 값이 작으면 0에 가깝게 출력된다.

• 0 근처 구간(rigime)을 보면 선형함수 같은 형태를 띈다.

 

문제점

Vanishing Gradient

not zero-centered

exp()로 인한 큰 계산비용

Tanh

특징

• 범위가 [-1 , 1]인 출력값을 갖는다.

• 함수값이 zero-centered 되어있다.

• saturation 때문에 여전히 gradient를 죽이는 현상이 나타나게 된다.

ReLU

특징

• element-wise 연산을 수행하며 입력이 음수면 값이 0, 양수면 입력 값 그대로를 출력

• 양의 값에서는 saturetion되지 않는다 → 절반은 saturation 되지 않는다 → 양의 값에서 Vanishing Gradient 문제 해결

• 계산 효율이 아주 뛰어남

문제점

• not zero-centered

• 이하의 값들 미사용

dead ReLU 발생 이유

• 초기화를 잘 못한 경우

• Leraning rate가 지나치게 높은 경우

leaky ReLU

특징

• negative에도 기울기를 살짝 주게 되어 ReLU의 문제를 상당 부분 해결한 함수이다.

• negative space 에서도 saturation 되지 않는다.

• sigmoid 나 tanh보다 수렴을 빨리 할 수 있다.

• dead ReLU 현상도 발생하지 않는다.

PReLU

• negative space에 기울기가 있다는 점에서 Leaky ReLU와 유사하다.

• Leaky ReLU가 0.01을 곱해서 dying을 방지했다면, PReLU는 alpha를 곱해서 사용한다.

• 기울기가 alpha 라는 파라미터로 결정된다.

• alpha는 backpro으로 학습시키는 파라미터로 만들며 활성함수가 조금 더 유연해 질 수 있다.

ELU

특징

• zero-mean 에 가까운 출력값을 갖는다.

• negative에서 기울기를 가지는 것 대신에 또다시 saturation 문제 발생하게 된다.

• 하지만 saturation이 noise에 강한 모습을 보인다고 주장한다.

Maxout Neuron

• w1에 x를 내적한 값 + b1과 w2에 x를 내적한 값 + b2 의 최댓값을 사용 → 기본형식을 미리 정의하지 않는다.

• 선형이기때문에 saturation 되지 않으며 gradient가 죽지 않는다.

• 뉴런당 파라미터의 수가 두배가 되어 연산량이 증가하는 단점이 있다.