정의

이미 pre trained 된 모델을 이용하여 우리가 이용하는 목적에 맞게 finetuning 하는 방법이다.

원리

1. Train on Imagenet에서 훈련시킨 모델을 현재의 2. Small Dataset에 적용시킨다. 현재 데이터셋은 양이 적으니까 가장 마지막의 FC layer에 최종 feature(class score로 배출하는 층)을 초기화시킨다.

이때 last layer말고 나머지는 전부 freeze한다. 마지막 layer만 가지고 지금 가진 작은 데이터셋을 학습시키는 과정이다. 3. Bigger dataset 처럼 데이터의 양에 따라서 train을 다시 시킬 layer를 약간 조정해주는 fine tuning을 하기도 한다.

ㅤ	데이터셋이 유사 (학습모델의 레이블이 많이 포함)	데이터셋이 상이(학습 모델의 레이블이 별로 없음)
데이터가 작음	Linear Classifier	할 수 있는 것이 없음 🥲
데이터가 큼	적은 레이어만 파인튜닝	많은 레이어를 파인튜닝

Transfer Learning

정의

원리