Ethan's Winery

- IntroductionAI 가 발전할수록 privacy 문제나 윤리와 관련된 문제가 대두되고 있는데, 이를 위해 기존의 정보를 지우는 machine unlearning 이라는 task 가 연구되어왔음이러한 문제는 continual learning task 에도 적용되기 때문에, 해당 논문에서 CL 에서 MU 를 처음으로 진행하며 Learning with Selective Forgetting (LSF) 를 제안함Continual learning setting 중 Task-Incremental Learning (TIL)에서 진행되었는데, 아무래도 처음 진행하다보니 최대한 쉽게 task 를 풀기위한 setting 이 아닐까 싶음 Task Setting각 task 마다 데이터가 입력으로 들어오는건 일반적인 ..

- Introduction스마트 시티 환경에서 공공 공간 침해 또는 침범의 탐지가 중요해졌음다만 이 작업을 사람이 직접 하기엔 많은 시간과 비용이 들어가는 문제가 있음따라서 이를 visual change detection task 로 생각하고 해결해결해야하는 문제들조명 / 밝기 변화대비 차이화질, 해상도, 노이즈스케일, 포즈, 가림- Related Works변화 감지의 정의이미지 간의 고차원 추론을 통한 외관상의 실질적 변화 감지객체의 삽입이나 삭제 또는 구조적 변환 포함주요 선행 연구전통적인 방법CDNet 데이터셋 기반 연구Semantic Change DetectionDeep Learning 기반 접근법- Method모델 구성Siamese network 와 Fully convolutional netwo..

DUST3R 연구 흐름은 아래 링크 참고 바랍니다. GitHub - Ethan-Lee-Sunghoon/Awesome-DUST3R: A curated list of awesome DUST3R/MAST3R related papers.A curated list of awesome DUST3R/MAST3R related papers. - Ethan-Lee-Sunghoon/Awesome-DUST3Rgithub.com - Introduction현대 3D reconstruction 은 아래의 하위 분야들을 통합한 결과라고 볼 수 있음1. Keypoint detection (키포인트 감지)- 이미지에서 특징이 될 만한 중요한 점들을 찾아내는 과정- 예: 모서리, 코너, 특이한 텍스처가 있는 부분 등- 대표적인 알고리즘..

- Introduction 어떤 물체의 이미지 한 장으로 3D reconstruction 이 가능할까? 최근 2d image generation 분야를 보면, large 모델을 사용하면서 아주 좋은 성능을 보이고 있음► 3D recon 분야에도 적용 (transformers) 1. 이미지를 받아서 triplane representation 형태로 NeRF 추정 (EG3D 에서 제안)Volume 이나 Point cloud 에 비해 연산량이 적음2. Encoder-Decoder architecture 제안 (DINO)- Method  Image EncoderDINO 학습된 ViT 사용 Input: 512 x 512 x 3 Conv Output, ViT Output: (32 x 32) x 768 일반적으로 C..

- Introduction 최근 Diffusion Model 이 Image Synthesis 분야에서 아주 좋은 결과물을 보이고 있음 Reference 정리 [30] Denoising diffusion probabilistic models [NeurIPS 2020] DDPM 논문 [85] Score-based generative modeling through stochastic differential equations [ICLR 2021] Stochastic Differential Equations (SDE) 를 응용한 diffusion 기술 이와 관련된 논문으로는 Generative modeling by estimating gradients of the data distribution [NeurIPS ..

- Introduction Diffusion: 확산 이 표현은 열역학(Thermodynamics)에서 원자나 분자가 농도가 높은 곳에서 낮은 곳으로 이동하는 현상을 모티브로 하였음 Diffusion (Probabilistic) Model 은 parameterized 된 Markov Chain 으로 이루어져 있으며, finite 시간이 지난 후에 data 에 맞는 이미지를 생성하도록 설계 되어 있음 Diffusion process 는 데이터에 noise 를 점진적으로 추가하는 방식으로 이루어짐 Diffusion 모델 자체로 직관적이고 학습하기 용이하지만 high quality sample 을 만드는 연구는 없었음 (ICML 2015 논문을 뜻하는듯) - Method Forward Process (Diffu..

- Introduction 몇 2D generative model 은 3DMM 을 도입하여 image animation 을 수행 그러나 geometry constraint 의 부족으로 shape distortion 이 발생함 따라서 3D GAN 과 3DMM 을 결합하고자 하는 시도가 있었지만, topological change 와 under-constrained deformation field 로 인해 문제들이 있었음 ► 이 task 의 key challenge 는 animation accuracy 와 topological flexibility 를 위한 3D generative setting modeling deformation Next3D 에서는 머리를 dynamic part 와 static part ..

- Introduction  Gaussian Splatting 은 기존에 품질이 3D recon 분야에서 제일 좋다고 평가되던 Mip-NeRF (CVPR 2022) 보다 더 좋은 품질과 학습이 빠르기로 유명한 Instant-NGP (SIGGRAPH 2022) 보다 더 빠른 학습으로 최근 굉장히 각광 받고 있음 Goal of this paper: Real-time high-resolution rendering Main components of Gaussian Splatting NeRF 와 똑같이 SfM (Structure-from-Motion) point 를 input 으로 받음 ↔︎ MVS (Multi-View Stereo) data 를 요구하는 point-based method 들과는 다름Optimiz..

[1] Supervised Contrastive Learning (NIPS 2020) [2] Generalized Category Discovery [3] Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning [4] Multi-Source domain adaptation via supervised contrastive learning and confident consistency regularization (BMVC 2021) [5] Learning Transferable Visual Models From Natural Language Supervision (Contrastive Language-Image Pre-traini..

- Introduction 3D geometry 는 한 개의 monocular image 만으로 만들 수 없기 때문에, 3D inversion result 는 별로 좋지 못함 → Optimization 이 진행될수록 점점 얼굴이 납작해지며 blurry & inconsistent 하는 등의 퀄리티도 좋지 못함 Main contribution 사람의 얼굴이 symmetrical 하다는 점을 이용하는 3D GAN inversion method 제안 Depth-guided 3D warping 을 이용하여 texture quality 와 geometry 향상 - Method Two-stage inversion pipeline 1. Inversion with Symmetry for Rough Geometry 이 부..