2022년 여름에 transformer 를 공부하고 기억이 가물가물하여 다시 한 번 정리합니다! Self Attention Cross Attention Key Value 는 같은 곳에서, Query 만 다른 곳에서 가져옴

Autoregressive: 자동회귀, 자기회귀 AutoRegressive (AR) Model: 자기회귀 모델 ChatGPT 4 says that... Autoregressive model(자기회귀 모델)은 통계학과 신호 처리에서 널리 사용되는 개념으로, 시계열 데이터에서 이전의 관측값들이 현재 관측값에 영향을 미친다고 가정하는 모델입니다. 이 모델의 핵심은 과거의 데이터 포인트가 현재 데이터 포인트를 예측하는 데 사용된다는 점입니다. Diffusion 논문, 특히 딥러닝과 관련된 연구에서 autoregressive model이 언급되는 경우는 주로 생성 모델링과 관련이 있습니다. 여기서 autoregressive model은 데이터의 분포를 학습하고, 이를 바탕으로 새로운 데이터를 순차적으로 생성하는 ..

Variational Auto-Encoder (VAE) : Input image $x$ 를 잘 표현하는 latent vector $z$ 로 바꾸고, 이 $z$ 를 다시 image $x$ 와 유사하지만 다른 데이터 $x^{\prime}$ 을 생성하는 Generative Model ➡︎ Auto-Encoder 라는 단어가 들어가기 때문에 관련이 있어보이지만, 구조적으로만 비슷해보일뿐, 사용 목적은 다름 Encoder Input $x$ 가 주어졌을 때 latent $z$ 의 분포를 approximate 하는 것이 목표 즉, 평균 $\mu$ 와 표준편차 $\sigma$ 를 구하고 noise $\epsilon$ 을 추가하여 latent $z$ 를 구성 Decoder Latent $z$ 가 주어졌을 때 $x^{\p..

GAN: $G$ 와 $D$ 가 two-player minimax game 을 하는 것 $G$: Generator $D$: Discriminator Minimax game: 게임이론, 결정이론 등에서 쓰이는 것으로 최악의 상황에서 손실을 최소화 하는 방향 Value function: $\min _G \max _D V(D, G)=\mathbb{E}_{\boldsymbol{x} \sim p_{\text {data }}(\boldsymbol{x})}[\log D(\boldsymbol{x})]+\mathbb{E}_{\boldsymbol{z} \sim p_{\boldsymbol{z}}(\boldsymbol{z})}[\log (1-D(G(\boldsymbol{z})))]$ $G$ 의 입장 $\min _G V(D, G..

Penultimate: 마지막(끝) 에서 두 번째 Penultimate Layer: 제일 마지막 Layer 인 Classifier (Linear + softmax) 바로 전 layer 를 뜻함 예를 들어, ViT에선 제일 마지막 block 에서 768 dimension으로 output 이 나오는 layer 를 뜻함

Transfer Learning (전이학습): ImageNet 1K, 21K 등의 거대한 데이터셋으로 pretrained 된 model을 이용하는 것 Pretrain 의 종류 (Image, Label) 이 주어진 supervised learning Contrastive Learning, MAE 을 이용한 self-supervised learning 이렇게 학습된 모델을 Fine-tune 또는 Linear Probing (Feature extraction) 하여 사용하고 싶은 Task (Classification, Detection, Segmentation) 에 사용 Fine-tune (미세조정): Model 전체 또는 일부의 작은 parameter 와 Linear head 를 downstream task..

Mode Collapse : GAN 에서 학습시키려는 모델이 실제 데이터를 커버하지 못하고 다양성을 잃어버리는 현상 위 그림에서 BSA 의 예시를 보게 되면 모두 다 비슷한 이미지를 생성한다는 것을 관찰할 수 있다. 이런 문제는 Discriminator 와 Generator 학습의 불균형으로 Generator 가 계속 같은 종류의 이미지를 생성하려고 하면서 발생하게 된다. 참고문헌 [1] Li, Yijun, et al. "Few-shot image generation with elastic weight consolidation." arXiv preprint arXiv:2012.02780 (2020).

End-to-End : 끝에서 끝을 잇는(종단간), 처음부터 끝까지 End-to-End Learning : 입력에서 출력까지 파이프라인 네트워크(pipeline network) 없이 신경망(neural network)으로 한번에 처리하는 학습 방법 파이프라인 네트워크(pipeline network) : ML에서 문제 정의, 데이터 처리, 모델 구축, 학습, 모델 검정 등의 전체 과정, 간단히 말해서 ML의 절차 일반적으로 생각했을 때 당연히 절차를 나누어서 처리하는 것보다 한 번에 처리하는게 더 효과적이라고 생각할 수 있다. 그러나 신경망에 너무 많은 계층(layer)이나 노드(node)가 있는 경우, 메모리가 부족한 경우에는 사용할 수 없다. 또한 정의한 문제가 복잡할수록 한 번에 처리하기보다 절차를 ..