이미지 품질 측정 metric: 영상의 화질에 대한 손실 평가 $PSNR=10\cdot log_{10}\left ( \frac{MAX^2_I}{MSE} \right )$ $MSE=\frac{\sum_{M,N}^{}[I_1(m,n)-I_2(m,n)]}{M*N}$ MSE 를 통해 pixel 간의 오차를 계산 MAX 는 pixel 의 최댓값으로 scale 의 역할을 수행 MSE 가 작을수록, 즉 손실이 적을수록 높은 PSNR 값을 보임

Penultimate: 마지막(끝) 에서 두 번째 Penultimate Layer: 제일 마지막 Layer 인 Classifier (Linear + softmax) 바로 전 layer 를 뜻함 예를 들어, ViT에선 제일 마지막 block 에서 768 dimension으로 output 이 나오는 layer 를 뜻함

Transfer Learning (전이학습): ImageNet 1K, 21K 등의 거대한 데이터셋으로 pretrained 된 model을 이용하는 것 Pretrain 의 종류 (Image, Label) 이 주어진 supervised learning Contrastive Learning, MAE 을 이용한 self-supervised learning 이렇게 학습된 모델을 Fine-tune 또는 Linear Probing (Feature extraction) 하여 사용하고 싶은 Task (Classification, Detection, Segmentation) 에 사용 Fine-tune (미세조정): Model 전체 또는 일부의 작은 parameter 와 Linear head 를 downstream task..

Mode Collapse : GAN 에서 학습시키려는 모델이 실제 데이터를 커버하지 못하고 다양성을 잃어버리는 현상 위 그림에서 BSA 의 예시를 보게 되면 모두 다 비슷한 이미지를 생성한다는 것을 관찰할 수 있다. 이런 문제는 Discriminator 와 Generator 학습의 불균형으로 Generator 가 계속 같은 종류의 이미지를 생성하려고 하면서 발생하게 된다. 참고문헌 [1] Li, Yijun, et al. "Few-shot image generation with elastic weight consolidation." arXiv preprint arXiv:2012.02780 (2020).

End-to-End : 끝에서 끝을 잇는(종단간), 처음부터 끝까지 End-to-End Learning : 입력에서 출력까지 파이프라인 네트워크(pipeline network) 없이 신경망(neural network)으로 한번에 처리하는 학습 방법 파이프라인 네트워크(pipeline network) : ML에서 문제 정의, 데이터 처리, 모델 구축, 학습, 모델 검정 등의 전체 과정, 간단히 말해서 ML의 절차 일반적으로 생각했을 때 당연히 절차를 나누어서 처리하는 것보다 한 번에 처리하는게 더 효과적이라고 생각할 수 있다. 그러나 신경망에 너무 많은 계층(layer)이나 노드(node)가 있는 경우, 메모리가 부족한 경우에는 사용할 수 없다. 또한 정의한 문제가 복잡할수록 한 번에 처리하기보다 절차를 ..