- Introduction 3D geometry 는 한 개의 monocular image 만으로 만들 수 없기 때문에, 3D inversion result 는 별로 좋지 못함 → Optimization 이 진행될수록 점점 얼굴이 납작해지며 blurry & inconsistent 하는 등의 퀄리티도 좋지 못함 Main contribution 사람의 얼굴이 symmetrical 하다는 점을 이용하는 3D GAN inversion method 제안 Depth-guided 3D warping 을 이용하여 texture quality 와 geometry 향상 - Method Two-stage inversion pipeline 1. Inversion with Symmetry for Rough Geometry 이 부..

[CVPR 2021] pSp - Introduction pSp: pixel2style2pixel StyleGAN 에서 진행 실제 이미지에서 512 dimension 을 가지는 vector $\mathbf{w} \in \mathcal{W}$ 로 바꾸면 recon 이 제대로 이루어지지 않음을 알 수 있음 대신 이미지를 $\mathcal{W}+$ 라는 확장된 공간으로 encoding 하지만 정확도도 높지 않고 시간도 오래 걸림 pSp 에선 encoder 를 사용하여 빠르고 정확하게 했음 - Method ResNet 을 backbone 으로 하는 Feature Pyramid Network (FPN) 에서 feature map 을 뽑음 Three-level feature map: Coarse, medium, fi..

- Introduction 3D aware GAN: Single view 2D 사진 collection 으로 unsupervised 3D representation 을 배우는 Generator 제안 3D-grounded rendering 의 computational efficiency 를 향상시킴 - 이를 통해 이전에 존재하던 resolution, quality issue 를 최소화 Dual discrimination strategy 를 사용하여 neural rendering 과 final output 사이의 consistency 를 유지하여 바람직 하지 않은 view 의 불일치를 regularize 학습 중에는 pose-correlated attributes 을 잘 모델링 하면서, inference 에..

StyleGAN - Introduction Input latent space 가 train data 의 probability 를 따르다보면, entanglement 발생 StyleGAN 에선 intermediate latent space 를 사용함으로서 disentangle 시킬 수 있음 Perceptual path length 와 Linear seperability 를 제안 - Method 기존 PGGAN 에서 z 를 input 으로 주던 것과 달리, StyleGAN 에선 Constant 로 부터 시작함 z 는 non-linear mapping network f 를 통해 w 로 mapping Mapping network f 는 8 layer MLP 로 512 dimension 을 갖도록 구성 w 를 $..

- Introduction Machine Unlearning 이란? Machine Learning: 경험을 통해 자동으로 개선하는 컴퓨터 알고리즘의 연구 머신러닝은 정의에서도 알 수 있듯이 새로운 데이터를 학습시키는 반면, Machine unlearning 은 말 그대로 배우지 않게 하는 것, 즉 배운 것을 까먹게 하는 것이라고 할 수 있음 기존 unlearning 방법들은 model parameter 를 scrub 하는 방식으로 forgetting data 의 정보를 파괴 하지만 이 방법은 large dimension 으로 인해 parameter space 가 너무 크기 때문에 expensive (Fisher Information Matrix) Retrain 한 model 의 decision space..

GAN: $G$ 와 $D$ 가 two-player minimax game 을 하는 것 $G$: Generator $D$: Discriminator Minimax game: 게임이론, 결정이론 등에서 쓰이는 것으로 최악의 상황에서 손실을 최소화 하는 방향 Value function: $\min _G \max _D V(D, G)=\mathbb{E}_{\boldsymbol{x} \sim p_{\text {data }}(\boldsymbol{x})}[\log D(\boldsymbol{x})]+\mathbb{E}_{\boldsymbol{z} \sim p_{\boldsymbol{z}}(\boldsymbol{z})}[\log (1-D(G(\boldsymbol{z})))]$ $G$ 의 입장 $\min _G V(D, G..

간략하게 정리하느라 intro 와 method 를 제외한 부분은 SKIP 했습니다. - Introduction Polygon: 다각형 Polygon Mesh: 곡면이 있는 형태의 음함수 (implicit function)들은 GPU 로 표현하기가 어려워서 곡면을 여러 개의 다각형으로 나누어 표현함, 삼각형이나 사각형 Linear Blend Skinning: Skeleton 에 skinning 을 하여 mesh 를 생성하는 방법으로 관절과 같은 부분에서 부자연스러운 현상 발생 관절이 있는 3D 물체들의 shape(형태) 와 deformation(변형) 을 modeling 하기 위해선 일반적으로 Linear Blend Skinning (LBS)를 사용하였으나, resolution-to-memory ratio..

들어가기 앞서.. 너무 생소하기도 하고 어려워서 이게 최선이었습니다... 더 공부하다보면 이 논문이 잘 이해되는 날이 올지도.. - Introduction SMPL 은 skinned vertex-based model 로 다양한 realistic human body 생성을 목표로 함 기존에는 Linear Blending Skinning (LBS) model 이 주로 쓰였지만 밑 그림처럼 비 현실적인 경우 발생 (사실 눈으로 봤을땐 잘 모르겠지만 약간 토이스토리 woody 팔 같은 느낌?) 기존 방식들의 문제를 해결하기 위해 다양한 blend shape 을 학습 Identity Pose Soft-tissue dynamics Key component: Pose blend shape 들을 Part rotatio..

- Introduction 최근 monocular video 에서 NeRF 를 이용한 avatar reconstruction 등장 NeRF 는 canonical space 를 사용하는 model (canonical space 라는 단어가 굉장히 많이 등장) Canonical space 란? canonical: 기본형의, 표준이 되는 Canonical space: Object-centered coordinate system View space: Viewer-centered coordinate system 좋은 성능을 내지만 (1) Differentiable deformation module 과 (2) Volume rendering 두 가지에 의해 다음과 같은 문제점 발생 오랜 train 시간 실시간 ren..

conda create -n [가상환경 이름] python=[파이썬 버전] conda remove --name [가상환경 이름] --all