Ethan's Winery

Stable Diffusion (SD) code 를 다른 opensource 와 마찬가지로 공식 github 에서 받아 돌려봤는데, 돌리긴 어렵진 않은데 ChatGPT 에 있는 Dall-E 와 비교했을 때 사용법이 좀 불편하다는 것을 느낌 일단 LDM 공식 github 실험 결과를 보자. Weight 는 Huggingface [2] 에서 SD v1-5 를 사용했고 GPU 는 연구실에서 사용하던 Ubuntu 서버로 따로 학습은 진행하지 않고 Sampling 만 진행 Img2Img 이 실험은 내 증명사진으로 진행을 해봤음 제일 왼쪽 사진이 내 증명사진이고 오른쪽 10장의 이미지는 정확한 prompt 는 기억이 나지 않지만... '얼굴을 좀 더 잘생기게 바꿔줘' 이런 내용이 들어갔던것 같은데.. 성능이 좀 별..

2022년 여름에 transformer 를 공부하고 기억이 가물가물하여 다시 한 번 정리합니다! Self Attention Cross Attention Key Value 는 같은 곳에서, Query 만 다른 곳에서 가져옴

Autoregressive: 자동회귀, 자기회귀 AutoRegressive (AR) Model: 자기회귀 모델 ChatGPT 4 says that... Autoregressive model(자기회귀 모델)은 통계학과 신호 처리에서 널리 사용되는 개념으로, 시계열 데이터에서 이전의 관측값들이 현재 관측값에 영향을 미친다고 가정하는 모델입니다. 이 모델의 핵심은 과거의 데이터 포인트가 현재 데이터 포인트를 예측하는 데 사용된다는 점입니다. Diffusion 논문, 특히 딥러닝과 관련된 연구에서 autoregressive model이 언급되는 경우는 주로 생성 모델링과 관련이 있습니다. 여기서 autoregressive model은 데이터의 분포를 학습하고, 이를 바탕으로 새로운 데이터를 순차적으로 생성하는 ..

- Introduction 최근 Diffusion Model 이 Image Synthesis 분야에서 아주 좋은 결과물을 보이고 있음 Reference 정리 [30] Denoising diffusion probabilistic models [NeurIPS 2020] DDPM 논문 [85] Score-based generative modeling through stochastic differential equations [ICLR 2021] Stochastic Differential Equations (SDE) 를 응용한 diffusion 기술 이와 관련된 논문으로는 Generative modeling by estimating gradients of the data distribution [NeurIPS ..

석사 졸업 전 CVPR 2024 에 제출한 논문 'Generative Unlearning for Any Identity' 이 Accept 되었습니다! 컴퓨터 비전 분야 최고 권위 학회에 참가할 수 있어 정말 영광이고, CVPR 2024 에서 더 많이 배웠으면 합니다. 더불어 참여하시는 많은 researcher 분들과 교류할 수 있었으면 좋겠습니다! Seattle 에서 봅시다!!

- Introduction Diffusion: 확산 이 표현은 열역학(Thermodynamics)에서 원자나 분자가 농도가 높은 곳에서 낮은 곳으로 이동하는 현상을 모티브로 하였음 Diffusion (Probabilistic) Model 은 parameterized 된 Markov Chain 으로 이루어져 있으며, finite 시간이 지난 후에 data 에 맞는 이미지를 생성하도록 설계 되어 있음 Diffusion process 는 데이터에 noise 를 점진적으로 추가하는 방식으로 이루어짐 Diffusion 모델 자체로 직관적이고 학습하기 용이하지만 high quality sample 을 만드는 연구는 없었음 (ICML 2015 논문을 뜻하는듯) - Method Forward Process (Diffu..

Variational Auto-Encoder (VAE) : Input image $x$ 를 잘 표현하는 latent vector $z$ 로 바꾸고, 이 $z$ 를 다시 image $x$ 와 유사하지만 다른 데이터 $x^{\prime}$ 을 생성하는 Generative Model ➡︎ Auto-Encoder 라는 단어가 들어가기 때문에 관련이 있어보이지만, 구조적으로만 비슷해보일뿐, 사용 목적은 다름 Encoder Input $x$ 가 주어졌을 때 latent $z$ 의 분포를 approximate 하는 것이 목표 즉, 평균 $\mu$ 와 표준편차 $\sigma$ 를 구하고 noise $\epsilon$ 을 추가하여 latent $z$ 를 구성 Decoder Latent $z$ 가 주어졌을 때 $x^{\p..

Ray tracing 이란 광선의 반사, 굴절, 산란 등을 통해 카메라를 거쳐 돌아오는 경로를 계산 모방하는 기법 Rasterization 에 비해 훨씬 자연스럽고 real-world 에 가깝지만, 계산량이 많은 관계로 렌더링을 하는데 많은 시간이 걸림

Rasterization 이란 vector graphic 을 pixel pattern 으로 변환하는 작업 Ray Tracing 같은 렌더링 기법에 비해 빠르기 때문에 대부분의 실시간 3D 엔진에 사용 단점으로는 그림자, 반사 그리고 투명한 물체의 표현이 불가능

- Introduction 몇 2D generative model 은 3DMM 을 도입하여 image animation 을 수행 그러나 geometry constraint 의 부족으로 shape distortion 이 발생함 따라서 3D GAN 과 3DMM 을 결합하고자 하는 시도가 있었지만, topological change 와 under-constrained deformation field 로 인해 문제들이 있었음 ► 이 task 의 key challenge 는 animation accuracy 와 topological flexibility 를 위한 3D generative setting modeling deformation Next3D 에서는 머리를 dynamic part 와 static part ..