Ethan's Winery

- Introductionpixel-NeRF 와 같은 image-conditioned model 의 경우 target view 에 있는 pixel 이 input 에서 관찰이 불가능한 경우, significantly degrade 됨 따라서 이 논문에선 ViT 를 이용하여 global feature 를, CNN 을 이용하여 local feature 를 뽑고 incorporate 하여 더 나은 occluded region 에 대한 rendering quality 향상을 목표로 함   차에서 input view 에서 보이지 않는 wheel 을 rendering 하기 위해선, image-conditioned model 의 경우엔 ray 를 따라서 feature 를 query 이 논문의 method 는 long-..

- Introduction Problem define: 기존 NeRF 는 너무 많은 수의 image 를 요구하며 너무 긴 optimization 시간으로 인해 impractical ► pixelNeRF 는 image feature 를 사용하지 않는 NeRF 와 달리, 각 pixel 에 aligned 된 spatial image feature 를 input 으로 사용 ► pixelNeRF 는 NeRF 와 달리 few input image 로 잘 작동함 Framework Single Image Input image → Fully convolutional image feature grid Sample the corresponding image feature via projection and bilinear i..

아래 링크를 통해 본인 GPU 에 맞는 CUDA 버전 확인 https://www.wikiwand.com/en/CUDA#GPUs_supported Wikiwand - CUDACUDA is a proprietary and closed source parallel computing platform and application programming interface that allows software to use certain types of graphics processing units for general purpose processing, an approach called general-purpose computing onwww.wikiwand.com아래 링크를 통해 특정 CUDA 버전의 pytorch ..

터미널 열고 아래 명령어 입력python -m torch.utils.collect_env 아래와 같이 출력됨Versions of relevant libraries:[pip3] numpy==1.24.4[pip3] torch==2.4.1[pip3] torchvision==0.19.1[pip3] triton==3.0.0[conda] numpy 1.24.4 pypi_0 pypi[conda] torch 2.4.1 pypi_0 pypi[conda] torchvision 0.19.1 pypi_0 pypi[co..

torch.where torch.index_select #class_value 라는 label을 가지는 값들의 index 뽑기 target_indexes = torch.where(target_tensor == class_value)[0] #뽑은 index의 값을 가지는 새로운 tensor 정의 input_with_class_value = torch.index_select(input_tensor, 0, target_indexes)

.detach().cpu().numpy()

이해하기 쉽도록 좀 극단적인 이미지를 예시로 들어 설명을 시작하도록 하겠습니다.사람은 눈과 뇌를 통해, 서로 다른 종, 다른 옷, 다른 배경의 강아지 이미지를 보더라도 모두 다 강아지이기 때문에 비슷한 이미지라고 인식함 그렇다면 딥러닝 모델은 이 두 이미지가 비슷한 이미지라는 것을 어떻게 평가할까? 픽셀 단위로 본다던지 다른 방법이 있을수도 있겠지만, 너무 low level 에서의 비교는 blur 와 같이 큰 영향을 끼치는 차이를 별 것 아닌 것처럼 인식할 수 있음 (L2 loss 의 차이가 적을 수 있음) 이때 LPIPS 라는 metric 을 사용하면 쉽게 비교가 가능한데, 이 metric 은 주로 생성모델 (GAN, ...) 에서 생성되거나, 복원, deblur 등을 진행한 이미지가 실제 이미지와 얼..

두 이미지의 유사도를 Luminance, Contrast, Structure 를 이용하여 비교 Luminance (휘도): 빛의 밝기 Contrast (대조): 빛의 밝기 차이 Structure (구조): SSIM 은 0~1 의 값을 가지며, 값이 높을수록 두 이미지가 유사함 $SSIM(x,y)=[l(x,y)]^\alpha \cdot [c(x,y)]^\beta\cdot[s(x,y)]^\gamma$ $l(x,y)=\frac{2\mu_x\mu_y+C_1}{\mu^2_x+\mu^2_y+C_1}$ $c(x,y)=\frac{2\sigma_x\sigma_y+C_2}{\sigma^2_x+\sigma^2_y+C_2}$ $s(x,y)=\frac{\sigma_{xy}+C_3}{\sigma_x\sigma_y+C_3}$ $C..

이미지 품질 측정 metric: 영상의 화질에 대한 손실 평가 $PSNR=10\cdot log_{10}\left ( \frac{MAX^2_I}{MSE} \right )$ $MSE=\frac{\sum_{M,N}^{}[I_1(m,n)-I_2(m,n)]}{M*N}$ MSE 를 통해 pixel 간의 오차를 계산 MAX 는 pixel 의 최댓값으로 scale 의 역할을 수행 MSE 가 작을수록, 즉 손실이 적을수록 높은 PSNR 값을 보임

rm 파일명 # 파일 삭제 rm -rf 디렉토리명 # 하위 디렉토리까지 한 번에 강제 삭제