Ethan's Winery

- Introduction pixel-NeRF 와 같은 image-conditioned model 의 경우 target view 에 있는 pixel 이 input 에서 관찰이 불가능한 경우, significantly degrade 됨 따라서 이 논문에선 ViT 를 이용하여 global feature 를, CNN 을 이용하여 local feature 를 뽑고 incorporate 하여 더 나은 occluded region 에 대한 rendering quality 향상을 목표로 함 차에서 input view 에서 보이지 않는 wheel 을 rendering 하기 위해선, image-conditioned model 의 경우엔 ray 를 따라서 feature 를 query 이 논문의 method 는 long-r..

- Introduction Problem define: 기존 NeRF 는 너무 많은 수의 image 를 요구하며 너무 긴 optimization 시간으로 인해 impractical ► pixelNeRF 는 image feature 를 사용하지 않는 NeRF 와 달리, 각 pixel 에 aligned 된 spatial image feature 를 input 으로 사용 ► pixelNeRF 는 NeRF 와 달리 few input image 로 잘 작동함 Framework Single Image Input image → Fully convolutional image feature grid Sample the corresponding image feature via projection and bilinear i..

- Introduction 기존에 널리 사용하던 rehearsal based method 의 단점 Increase memory costs Violate data privacy Pretrained ViT 의 등장으로 rehearsal based method 를 대체할 prompting method 등장 일반적인 prompting method 는 key-query 메커니즘을 이용하는데, task sequence 에 end-to-end 로 학습되지 않는 문제점이 있음 이로 인해 plasticity 의 감소가 일어나고, new task의 학습이 원활하게 이루어지지 않으며, parameter capacity 증가로 이득을 얻지 못함 저자들은 자신들의 연구가 prior work 와 달리 end-to-end 방식으로..

- Introduction OOD detection 의 main challenge Deep neural network 가 OOD sample 에 대해서 overconfident 한 prediction 을 보임 ID (In-Distribution) 과 OOD 의 구분을 어렵게 만듦 기존 OOD 기법들은 sparcification 을 간과하며 오직 overparameterized weight 만을 이용하여 OOD score 를 계산 저자들은 중요하지 않은 unit 과 weight 에 의존하는것이 OOD detection 을 취약하게 만들 수 있다고 주장 ID 인 CIFAR10 에 학습된 network 가 OOD 인 SVHN 의 데이터가 입력으로 들어왔을 때 무시할 수 없을 정도의 unit 을 penultim..

- Introduction Pinhole camera model (바늘 구멍 사진기) Normalized Plane: 3D 의 object 를 2D 로 mapping $\left[\begin{array}{l}X \\ Y \\ Z\end{array}\right]=Z\left[\begin{array}{l}u \\ v \\ 1\end{array}\right]$ Intrinsic Parameter: Normalized Plane 위의 meter 단위로 표현된 좌표 $\left[\begin{array}{l}u \\ v \\ 1\end{array}\right]$ 를 pixel 단위 좌표 $\left[\begin{array}{l}x \\ y \\ 1\end{array}\right]$로 변환 $\left[\begin{..

- Introduction Real world 에선 pre-defined class 이외에도 user-defined class 에 adapt 되어야하는데, 굉장히 few 인 경우가 존재한다. 이런 상황에서도 새로운 class 에 대하여 잘 학습하기 위해서 few-shot class-incremental learning 이 존재한다. 하지만 fewshot 상황에서 일반적인 finetune 을 적용하게되면 두 가지 severe problem을 일으킨다. 1. Forgetting old: Catastrophic forgetting 으로 인해 이전 데이터들에 대한 성능이 감소 2. Overfitting new: 적은 수의 support set 으로 인해 새로운 class 에 overfitting 되어 gener..