2022년 여름에 transformer 를 공부하고 기억이 가물가물하여 다시 한 번 정리합니다! Self Attention Cross Attention Key Value 는 같은 곳에서, Query 만 다른 곳에서 가져옴

Autoregressive: 자동회귀, 자기회귀 AutoRegressive (AR) Model: 자기회귀 모델 ChatGPT 4 says that... Autoregressive model(자기회귀 모델)은 통계학과 신호 처리에서 널리 사용되는 개념으로, 시계열 데이터에서 이전의 관측값들이 현재 관측값에 영향을 미친다고 가정하는 모델입니다. 이 모델의 핵심은 과거의 데이터 포인트가 현재 데이터 포인트를 예측하는 데 사용된다는 점입니다. Diffusion 논문, 특히 딥러닝과 관련된 연구에서 autoregressive model이 언급되는 경우는 주로 생성 모델링과 관련이 있습니다. 여기서 autoregressive model은 데이터의 분포를 학습하고, 이를 바탕으로 새로운 데이터를 순차적으로 생성하는 ..

Variational Auto-Encoder (VAE) : Input image $x$ 를 잘 표현하는 latent vector $z$ 로 바꾸고, 이 $z$ 를 다시 image $x$ 와 유사하지만 다른 데이터 $x^{\prime}$ 을 생성하는 Generative Model ➡︎ Auto-Encoder 라는 단어가 들어가기 때문에 관련이 있어보이지만, 구조적으로만 비슷해보일뿐, 사용 목적은 다름 Encoder Input $x$ 가 주어졌을 때 latent $z$ 의 분포를 approximate 하는 것이 목표 즉, 평균 $\mu$ 와 표준편차 $\sigma$ 를 구하고 noise $\epsilon$ 을 추가하여 latent $z$ 를 구성 Decoder Latent $z$ 가 주어졌을 때 $x^{\p..

생성모델에서 실제 이미지와 생성된 이미지에 대해 distribution 측면에서 얼마나 유사한지 평가하는 metric 기존 Inception Score (IS) 는 생성된 이미지를 사용하여 성능을 평가 FID 는 IS 를 개선하여 단순하게 생성된 이미지로 평가하지 않고 실제 이미지의 distribution 과 생성 이미지의 distribution 을 비교 Pretrained Inception v3 를 사용 $d^2\left((m, C),\left(m_w, C_w\right)\right)=\left\|m-m_w\right\|_2^2+\operatorname{Tr}\left(C+C_w-2\left(C C_w\right)^{1 / 2}\right)$ 낮은 값을 가질수록 좋은 품질(실제 이미지와 유사)!!

GAN: $G$ 와 $D$ 가 two-player minimax game 을 하는 것 $G$: Generator $D$: Discriminator Minimax game: 게임이론, 결정이론 등에서 쓰이는 것으로 최악의 상황에서 손실을 최소화 하는 방향 Value function: $\min _G \max _D V(D, G)=\mathbb{E}_{\boldsymbol{x} \sim p_{\text {data }}(\boldsymbol{x})}[\log D(\boldsymbol{x})]+\mathbb{E}_{\boldsymbol{z} \sim p_{\boldsymbol{z}}(\boldsymbol{z})}[\log (1-D(G(\boldsymbol{z})))]$ $G$ 의 입장 $\min _G V(D, G..

AUROC 를 알기위해선 ROC (Receiver Operating Characteristic) curve 가 무엇인지 알아야한다. ROC curve: $x$ 축이 FPR (False Positive Rate), $y$ 축이 TPR (Talse Positive Rate) 으로 이루어져 있으며 모든 threshold 에 대한 모델의 성능을 보여주는 그래프 AUROC: ROC curve 밑 부분의 넓이를 구하는데 높을수록 모델의 성능이 좋음 (↑) Specificity (특이도): $\frac{TN}{FP+TN}$ Precision (정밀도): $\frac{TP}{TP+FP}$ Recall (재현율) = Sensitivity (민감도): $\frac{TP}{TP+FN}$ Accuracy (정확도): $\fr..

2개의 이미지의 유사도를 평가하는 metric 으로 사용하는 network 가 사람의 뇌와 비슷하게 이미지를 인식한다는 전제 하에 진행 2개의 이미지를 pretrained network 에 넣어 feature 를 뽑아 유사도를 비교 낮을수록 좋은 수치 Pretrained network: VGGNet, AlexNet, SqueezeNet $d(x,x_0)=\sum_{l}^{}\frac{1}{H_lW_l}\sum_{h,w}^{}\left\| w_l\odot(\hat{y}^l_{hw}-\hat{y}^l_{0hw})\right\|^2_2$ $l$: Layer $h,w$: Height, Width $y,y_0$: Unit-normalized feature vector $L2$ loss 의 형태

두 이미지의 유사도를 Luminance, Contrast, Structure 를 이용하여 비교 Luminance (휘도): 빛의 밝기 Contrast (대조): 빛의 밝기 차이 Structure (구조): SSIM 은 0~1 의 값을 가지며, 값이 높을수록 두 이미지가 유사함 $SSIM(x,y)=[l(x,y)]^\alpha \cdot [c(x,y)]^\beta\cdot[s(x,y)]^\gamma$ $l(x,y)=\frac{2\mu_x\mu_y+C_1}{\mu^2_x+\mu^2_y+C_1}$ $c(x,y)=\frac{2\sigma_x\sigma_y+C_2}{\sigma^2_x+\sigma^2_y+C_2}$ $s(x,y)=\frac{\sigma_{xy}+C_3}{\sigma_x\sigma_y+C_3}$ $C..

이미지 품질 측정 metric: 영상의 화질에 대한 손실 평가 $PSNR=10\cdot log_{10}\left ( \frac{MAX^2_I}{MSE} \right )$ $MSE=\frac{\sum_{M,N}^{}[I_1(m,n)-I_2(m,n)]}{M*N}$ MSE 를 통해 pixel 간의 오차를 계산 MAX 는 pixel 의 최댓값으로 scale 의 역할을 수행 MSE 가 작을수록, 즉 손실이 적을수록 높은 PSNR 값을 보임

Penultimate: 마지막(끝) 에서 두 번째 Penultimate Layer: 제일 마지막 Layer 인 Classifier (Linear + softmax) 바로 전 layer 를 뜻함 예를 들어, ViT에선 제일 마지막 block 에서 768 dimension으로 output 이 나오는 layer 를 뜻함