생성모델에서 실제 이미지와 생성된 이미지에 대해 distribution 측면에서 얼마나 유사한지 평가하는 metric 기존 Inception Score (IS) 는 생성된 이미지를 사용하여 성능을 평가 FID 는 IS 를 개선하여 단순하게 생성된 이미지로 평가하지 않고 실제 이미지의 distribution 과 생성 이미지의 distribution 을 비교 Pretrained Inception v3 를 사용 $d^2\left((m, C),\left(m_w, C_w\right)\right)=\left\|m-m_w\right\|_2^2+\operatorname{Tr}\left(C+C_w-2\left(C C_w\right)^{1 / 2}\right)$ 낮은 값을 가질수록 좋은 품질(실제 이미지와 유사)!!

AUROC 를 알기위해선 ROC (Receiver Operating Characteristic) curve 가 무엇인지 알아야한다. ROC curve: $x$ 축이 FPR (False Positive Rate), $y$ 축이 TPR (Talse Positive Rate) 으로 이루어져 있으며 모든 threshold 에 대한 모델의 성능을 보여주는 그래프 AUROC: ROC curve 밑 부분의 넓이를 구하는데 높을수록 모델의 성능이 좋음 (↑) Specificity (특이도): $\frac{TN}{FP+TN}$ Precision (정밀도): $\frac{TP}{TP+FP}$ Recall (재현율) = Sensitivity (민감도): $\frac{TP}{TP+FN}$ Accuracy (정확도): $\fr..

이해하기 쉽도록 좀 극단적인 이미지를 예시로 들어 설명을 시작하도록 하겠습니다.사람은 눈과 뇌를 통해, 서로 다른 종, 다른 옷, 다른 배경의 강아지 이미지를 보더라도 모두 다 강아지이기 때문에 비슷한 이미지라고 인식함 그렇다면 딥러닝 모델은 이 두 이미지가 비슷한 이미지라는 것을 어떻게 평가할까? 픽셀 단위로 본다던지 다른 방법이 있을수도 있겠지만, 너무 low level 에서의 비교는 blur 와 같이 큰 영향을 끼치는 차이를 별 것 아닌 것처럼 인식할 수 있음 (L2 loss 의 차이가 적을 수 있음) 이때 LPIPS 라는 metric 을 사용하면 쉽게 비교가 가능한데, 이 metric 은 주로 생성모델 (GAN, ...) 에서 생성되거나, 복원, deblur 등을 진행한 이미지가 실제 이미지와 얼..

두 이미지의 유사도를 Luminance, Contrast, Structure 를 이용하여 비교 Luminance (휘도): 빛의 밝기 Contrast (대조): 빛의 밝기 차이 Structure (구조): SSIM 은 0~1 의 값을 가지며, 값이 높을수록 두 이미지가 유사함 $SSIM(x,y)=[l(x,y)]^\alpha \cdot [c(x,y)]^\beta\cdot[s(x,y)]^\gamma$ $l(x,y)=\frac{2\mu_x\mu_y+C_1}{\mu^2_x+\mu^2_y+C_1}$ $c(x,y)=\frac{2\sigma_x\sigma_y+C_2}{\sigma^2_x+\sigma^2_y+C_2}$ $s(x,y)=\frac{\sigma_{xy}+C_3}{\sigma_x\sigma_y+C_3}$ $C..

이미지 품질 측정 metric: 영상의 화질에 대한 손실 평가 $PSNR=10\cdot log_{10}\left ( \frac{MAX^2_I}{MSE} \right )$ $MSE=\frac{\sum_{M,N}^{}[I_1(m,n)-I_2(m,n)]}{M*N}$ MSE 를 통해 pixel 간의 오차를 계산 MAX 는 pixel 의 최댓값으로 scale 의 역할을 수행 MSE 가 작을수록, 즉 손실이 적을수록 높은 PSNR 값을 보임