- Introduction 최근 Diffusion Model 이 Image Synthesis 분야에서 아주 좋은 결과물을 보이고 있음 Reference 정리 [30] Denoising diffusion probabilistic models [NeurIPS 2020] DDPM 논문 [85] Score-based generative modeling through stochastic differential equations [ICLR 2021] Stochastic Differential Equations (SDE) 를 응용한 diffusion 기술 이와 관련된 논문으로는 Generative modeling by estimating gradients of the data distribution [NeurIPS ..

- Introduction Diffusion: 확산 이 표현은 열역학(Thermodynamics)에서 원자나 분자가 농도가 높은 곳에서 낮은 곳으로 이동하는 현상을 모티브로 하였음 Diffusion (Probabilistic) Model 은 parameterized 된 Markov Chain 으로 이루어져 있으며, finite 시간이 지난 후에 data 에 맞는 이미지를 생성하도록 설계 되어 있음 Diffusion process 는 데이터에 noise 를 점진적으로 추가하는 방식으로 이루어짐 Diffusion 모델 자체로 직관적이고 학습하기 용이하지만 high quality sample 을 만드는 연구는 없었음 (ICML 2015 논문을 뜻하는듯) - Method Forward Process (Diffu..

- Introduction 몇 2D generative model 은 3DMM 을 도입하여 image animation 을 수행 그러나 geometry constraint 의 부족으로 shape distortion 이 발생함 따라서 3D GAN 과 3DMM 을 결합하고자 하는 시도가 있었지만, topological change 와 under-constrained deformation field 로 인해 문제들이 있었음 ► 이 task 의 key challenge 는 animation accuracy 와 topological flexibility 를 위한 3D generative setting modeling deformation Next3D 에서는 머리를 dynamic part 와 static part ..

[1] Supervised Contrastive Learning (NIPS 2020) [2] Generalized Category Discovery [3] Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning [4] Multi-Source domain adaptation via supervised contrastive learning and confident consistency regularization (BMVC 2021) [5] Learning Transferable Visual Models From Natural Language Supervision (Contrastive Language-Image Pre-traini..

- Introduction 3D geometry 는 한 개의 monocular image 만으로 만들 수 없기 때문에, 3D inversion result 는 별로 좋지 못함 → Optimization 이 진행될수록 점점 얼굴이 납작해지며 blurry & inconsistent 하는 등의 퀄리티도 좋지 못함 Main contribution 사람의 얼굴이 symmetrical 하다는 점을 이용하는 3D GAN inversion method 제안 Depth-guided 3D warping 을 이용하여 texture quality 와 geometry 향상 - Method Two-stage inversion pipeline 1. Inversion with Symmetry for Rough Geometry 이 부..

[CVPR 2021] pSp - Introduction pSp: pixel2style2pixel StyleGAN 에서 진행 실제 이미지에서 512 dimension 을 가지는 vector $\mathbf{w} \in \mathcal{W}$ 로 바꾸면 recon 이 제대로 이루어지지 않음을 알 수 있음 대신 이미지를 $\mathcal{W}+$ 라는 확장된 공간으로 encoding 하지만 정확도도 높지 않고 시간도 오래 걸림 pSp 에선 encoder 를 사용하여 빠르고 정확하게 했음 - Method ResNet 을 backbone 으로 하는 Feature Pyramid Network (FPN) 에서 feature map 을 뽑음 Three-level feature map: Coarse, medium, fi..

- Introduction 3D aware GAN: Single view 2D 사진 collection 으로 unsupervised 3D representation 을 배우는 Generator 제안 3D-grounded rendering 의 computational efficiency 를 향상시킴 - 이를 통해 이전에 존재하던 resolution, quality issue 를 최소화 Dual discrimination strategy 를 사용하여 neural rendering 과 final output 사이의 consistency 를 유지하여 바람직 하지 않은 view 의 불일치를 regularize 학습 중에는 pose-correlated attributes 을 잘 모델링 하면서, inference 에..

StyleGAN - Introduction Input latent space 가 train data 의 probability 를 따르다보면, entanglement 발생 StyleGAN 에선 intermediate latent space 를 사용함으로서 disentangle 시킬 수 있음 Perceptual path length 와 Linear seperability 를 제안 - Method 기존 PGGAN 에서 z 를 input 으로 주던 것과 달리, StyleGAN 에선 Constant 로 부터 시작함 z 는 non-linear mapping network f 를 통해 w 로 mapping Mapping network f 는 8 layer MLP 로 512 dimension 을 갖도록 구성 w 를 $..

- Introduction Machine Unlearning 이란? Machine Learning: 경험을 통해 자동으로 개선하는 컴퓨터 알고리즘의 연구 머신러닝은 정의에서도 알 수 있듯이 새로운 데이터를 학습시키는 반면, Machine unlearning 은 말 그대로 배우지 않게 하는 것, 즉 배운 것을 까먹게 하는 것이라고 할 수 있음 기존 unlearning 방법들은 model parameter 를 scrub 하는 방식으로 forgetting data 의 정보를 파괴 하지만 이 방법은 large dimension 으로 인해 parameter space 가 너무 크기 때문에 expensive (Fisher Information Matrix) Retrain 한 model 의 decision space..

간략하게 정리하느라 intro 와 method 를 제외한 부분은 SKIP 했습니다. - Introduction Polygon: 다각형 Polygon Mesh: 곡면이 있는 형태의 음함수 (implicit function)들은 GPU 로 표현하기가 어려워서 곡면을 여러 개의 다각형으로 나누어 표현함, 삼각형이나 사각형 Linear Blend Skinning: Skeleton 에 skinning 을 하여 mesh 를 생성하는 방법으로 관절과 같은 부분에서 부자연스러운 현상 발생 관절이 있는 3D 물체들의 shape(형태) 와 deformation(변형) 을 modeling 하기 위해선 일반적으로 Linear Blend Skinning (LBS)를 사용하였으나, resolution-to-memory ratio..