Transfer learning

Transfer Learning (전이학습): ImageNet 1K, 21K 등의 거대한 데이터셋으로 pretrained 된 model을 이용하는 것

 

 

Pretrain 의 종류

• (Image, Label) 이 주어진 supervised learning
• Contrastive Learning, MAE 을 이용한 self-supervised learning

 

이렇게 학습된 모델을 Fine-tune 또는 Linear Probing (Feature extraction) 하여 사용하고 싶은 Task (Classification, Detection, Segmentation) 에 사용

 

Fine-tune (미세조정): Model 전체 또는 일부의 작은 parameter 와 Linear head 를 downstream task 에 맞게 학습하여 사용

 

Linear Probing: Pretrained model 은 fix 하고 오직 Linear head 만 downstream task 에 맞게 학습하여 사용