Ethan's Winery

- Introduction 기존에 널리 사용하던 rehearsal based method 의 단점 Increase memory costs Violate data privacy Pretrained ViT 의 등장으로 rehearsal based method 를 대체할 prompting method 등장 일반적인 prompting method 는 key-query 메커니즘을 이용하는데, task sequence 에 end-to-end 로 학습되지 않는 문제점이 있음 이로 인해 plasticity 의 감소가 일어나고, new task의 학습이 원활하게 이루어지지 않으며, parameter capacity 증가로 이득을 얻지 못함 저자들은 자신들의 연구가 prior work 와 달리 end-to-end 방식으로..

Penultimate: 마지막(끝) 에서 두 번째 Penultimate Layer: 제일 마지막 Layer 인 Classifier (Linear + softmax) 바로 전 layer 를 뜻함 예를 들어, ViT에선 제일 마지막 block 에서 768 dimension으로 output 이 나오는 layer 를 뜻함

- Introduction OOD detection 의 main challenge Deep neural network 가 OOD sample 에 대해서 overconfident 한 prediction 을 보임 ID (In-Distribution) 과 OOD 의 구분을 어렵게 만듦 기존 OOD 기법들은 sparcification 을 간과하며 오직 overparameterized weight 만을 이용하여 OOD score 를 계산 저자들은 중요하지 않은 unit 과 weight 에 의존하는것이 OOD detection 을 취약하게 만들 수 있다고 주장 ID 인 CIFAR10 에 학습된 network 가 OOD 인 SVHN 의 데이터가 입력으로 들어왔을 때 무시할 수 없을 정도의 unit 을 penultim..

- Introduction Pinhole camera model (바늘 구멍 사진기) Normalized Plane: 3D 의 object 를 2D 로 mapping $\left[\begin{array}{l}X \\ Y \\ Z\end{array}\right]=Z\left[\begin{array}{l}u \\ v \\ 1\end{array}\right]$ Intrinsic Parameter: Normalized Plane 위의 meter 단위로 표현된 좌표 $\left[\begin{array}{l}u \\ v \\ 1\end{array}\right]$ 를 pixel 단위 좌표 $\left[\begin{array}{l}x \\ y \\ 1\end{array}\right]$로 변환 $\left[\begin{..

- Introduction Real world 에선 pre-defined class 이외에도 user-defined class 에 adapt 되어야하는데, 굉장히 few 인 경우가 존재한다. 이런 상황에서도 새로운 class 에 대하여 잘 학습하기 위해서 few-shot class-incremental learning 이 존재한다. 하지만 fewshot 상황에서 일반적인 finetune 을 적용하게되면 두 가지 severe problem을 일으킨다. 1. Forgetting old: Catastrophic forgetting 으로 인해 이전 데이터들에 대한 성능이 감소 2. Overfitting new: 적은 수의 support set 으로 인해 새로운 class 에 overfitting 되어 gener..

Transfer Learning (전이학습): ImageNet 1K, 21K 등의 거대한 데이터셋으로 pretrained 된 model을 이용하는 것 Pretrain 의 종류 (Image, Label) 이 주어진 supervised learning Contrastive Learning, MAE 을 이용한 self-supervised learning 이렇게 학습된 모델을 Fine-tune 또는 Linear Probing (Feature extraction) 하여 사용하고 싶은 Task (Classification, Detection, Segmentation) 에 사용 Fine-tune (미세조정): Model 전체 또는 일부의 작은 parameter 와 Linear head 를 downstream task..

Mode Collapse : GAN 에서 학습시키려는 모델이 실제 데이터를 커버하지 못하고 다양성을 잃어버리는 현상 위 그림에서 BSA 의 예시를 보게 되면 모두 다 비슷한 이미지를 생성한다는 것을 관찰할 수 있다. 이런 문제는 Discriminator 와 Generator 학습의 불균형으로 Generator 가 계속 같은 종류의 이미지를 생성하려고 하면서 발생하게 된다. 참고문헌 [1] Li, Yijun, et al. "Few-shot image generation with elastic weight consolidation." arXiv preprint arXiv:2012.02780 (2020).

End-to-End : 끝에서 끝을 잇는(종단간), 처음부터 끝까지 End-to-End Learning : 입력에서 출력까지 파이프라인 네트워크(pipeline network) 없이 신경망(neural network)으로 한번에 처리하는 학습 방법 파이프라인 네트워크(pipeline network) : ML에서 문제 정의, 데이터 처리, 모델 구축, 학습, 모델 검정 등의 전체 과정, 간단히 말해서 ML의 절차 일반적으로 생각했을 때 당연히 절차를 나누어서 처리하는 것보다 한 번에 처리하는게 더 효과적이라고 생각할 수 있다. 그러나 신경망에 너무 많은 계층(layer)이나 노드(node)가 있는 경우, 메모리가 부족한 경우에는 사용할 수 없다. 또한 정의한 문제가 복잡할수록 한 번에 처리하기보다 절차를 ..