Optimization (최적화)

• loss의 최솟값을 찾아나가는 일련의 과정이다.

• Backpropagation 과정 중에 가중치를 업데이트하면서 진행되는데, 이 때 한 스텝마다 이동하는 발자국의 크기(보폭)이 학습률(learning rate)로 정의되고, 앞으로 이동할 방향은 현 지점의 기울기(gradient)를 통해 정의된다.

• 매 스텝마다 forward pass의 끝단에서 계산되는 손실 함수값은 지금까지 업데이트된 가중치들이 얼마나 잘 설정되어 있는지를 나타내는 지표와도 같다.

SGD(Stochastic Gradient Descent)

# Vanilla update
x += - learning_rate * dx

#dx: x에서의 loss에 대한 기울기

• loss의 값이 최소가 되는 방향으로 가중치를 업데이트하는 방법으로 계속 반복해서 optimization을 진행한다.

문제점

slow

local minima & saddle point

• local minima

극대값들 사이의 극소값에 안착하는 경우 더 이상 가중치가 업데이트 되지 않고 멈춘다. 기울기가 0인 지점을 loss의 최소값으로 인식해 해당 지점(local minima)을 최적점으로 판단하여 더 이상 업데이트가 이뤄지지 않는 것이다. 보통 2차원에서 빈번하게 발생한다.

• saddle point

기울기가 완벽하게 0은 아니지만 그 주변이 굉장히 완만해서 업데이트가 느리게 진행되면서 발생하는 문제이다. 보통 고차원 그래프에서 빈번하게 발생한다.

noisy

• Mini-Batch Gradient Descent의 경우 미니배치마다 loss를 계산하여 최적화를 진행하는데 이는 매우 비효율적이다. 따라서 많은 noise가 발생하게 된다.

Momentum

vx = 0
while True:
  dx = compute_gradient(x)
  vx = rho * vx + dx
  x -= learning_rate * vx

• SGD에 Momentum term 추가한 것이다. 즉, 가중치 x를 업데이트할때 속도 vx의 개념을 추가한 것이다.

• v는 가속도를 의미하며, rho는 보통 0.9, 0.99를 이용하여 가속도에 약간의 마찰값을 넣어주는 파라미터다. v는 이전 gradients의 가중합이라고 봐도 무방하다. gradient 를 계산할 때 기울기방향으로 이동하는 것이 아닌 속도 방향으로 이동한다.

의의

local minima & saddle point 한계 극복

noise 평균화

• Momentum을 추가해서 velocity가 생기면 가속도가 생기며, momentum이 수평방향으로는 가속도를 유지하게 되어 SGD에서 처럼 지그재그로 움직이지 않도록 step을 갖는다. step이 커짐에 따라 noise도 평균화된다.

Nestero Momentum

• 빨간점에서 velocity 방향으로 출발한 뒤 거기서 gradient를 계산한다. 그리고 다시 원점으로가서 actual step으로 최적화를 진행한다.

• 이전 스텝의 velocity 방향을 따라 먼저 이동하여 그 자리에서 gradient를 계산하고 다시 본래 자리로 돌아와 actual step을 이동한다. 즉, gradient를 계산하는 지점과 실제 이동하는 지점이 다르다. 이렇게 되면 새롭게 변화되는 식에서 error-correcting term이라는 것이 생기는데 이는 이전 velocity와 현재 velocity의 차이를 반영하여 급격한 슈팅을 방지한다는 측면에서 효과가 있고 더 빠른 학습을 가능하게 한다고 한다. (https://velog.io/@yookyungkho/딥러닝-옵티마이저-정복기부제-CS231n-Lecture7-Review 참고)

• Convex optimization에서는 잘 작동하지만, Neural Network와 같은 non-convex에서는 잘 사용하지 않는다.

AdaGrad

grad_sqaured = 0
while True:
  dx = compute_gradient(x)
  grad_squared += dx * dx
  x -= learning_rate * dx/(np.sqart(grad_squared) + 1e-7)

• grad_squared를 이용하여 dx의 제곱에 루트를 씌운 값을 x값 업데이트할때 나눠주는 방식이다. 학습 중에 기울기의 제곱값을 grad_squred에 계속 더해서 update step에서 나눠 준다. small gradient인 경우에는 grad_squared가 작은 값으로 나눠주니 속도가 더 잘붙고, large gradient인 경우에는 큰 수로 나누어서 wiggling dimension은 slowdown해서 천천히 내려오게 된다. 즉 파라미터 x들 마다 다른 학습률을 제공한다.

• 수직축과 수평축의 업데이트 속도를 적절히 맞춘다.

문제점

• step size가 오랜시간 지속되는 상황에서는 grad가 매우 작아지게 되어 전체적인 속도가 매우 느려지게 되며 가중치가 0이 되어 학습이 종료될 수 있다.

• non-convex에서는 saddle point에 걸린다.

• 잘 쓰이지 않는다.

RMSProp update

grad_squared = 0
while True:
  dx = compute_Gradient(x)
  grad_sqaured = decay_rate * grad_sqaured + (1-decay_rate) * dx * dx
  x -= learning_rate * dx / (np.sqrt(grad_squared) + 1e-7)

• AdaGrad과 마찬가지로 grad_squared를 이용하지만, RMSProp update에서는 훈련하는 동안에 값을 계속해서 축적시킨다는 차이가 있다. 누적된 grad_squared항에 decay_rate를 곱하고, 현재의 dx항에는 (1-decay_rate)를 곱해 grad_squared가 누적되는 속도를 줄여준다. Momentum 방식과 유사하다.

• 보통 decay rate으로 0.9나 0.99를 사용하며 오버슈팅이 심하지 않은 편이다.

Adam

# almost
first_moment = 0
second_moment = 0
while True:
  dx = compute_gradient(x)
  first_moment = beta1 * first_moment + (1-beta1)*dx
  second_moment = beta2 * second_moment + (1-beta2) * dx * dx
  x -= learning_rate * first_moment / (np.sqrt(second_moment) + 1e-7))

• RMSProp + Momentum

• First moment와 second moment를 이용해 이전 정보를 유지하고 gradients의 제곱을 이용하는 방법이다. 이때 First moment는 velocity를 담당한다. 그리고 second moment는 AdaGrad이나 RMSProp처럼 gradient 제곱 활용한다. 초기에 second moment를 0으로 초기화한 후 1회 업데이트하고 나서도 beta2 = decay_rate로 0.9또는 0.99로 1에 가까운 값이기 때문에 여전히 0에 가깝다. update step에서 second moment로 나누기 때문에 초기 step이 엄청나게 커져버릴 수 있기 때문에 Adam은 이를 해결하기 위해 현재 스텝에 맞는 bias correction term 추가한다. first/second moments를 Update하고 난 후 현재 Step에 맞는 적절한 unbiased term 을 계산하는 방식이라고 할 수 있다.

• 회전된 타원(poor conditioning) 문제는 여전히 해결할 수 없다는 한계가 있다.

Ensemble

• 여러개의 모델을 각각 따로 학습시켜 그 평균값을 이용하는 방식이다. train/test error의 격차를 줄이는 가장 쉬운 방법이다.

• 모델을 독립적으로 학습시키는 것이 아니라 학습 도중 중간 모델들을 저장(sanpshots)하고 앙상블로 사용할 수 있다. 그리고 Test time에는 여러 snapshots에서 나온 예측값들을 평균을 내서 사용하는데 이런 snapshots은 Training 과정 중간에 저장한다.