- Introduction In real-world applications, incremental data are often partially labeled. ex) Face Recognition, Fingerprint Identification, Video Recognition → Semi-Supervised Continual Learning: Insufficient supervision and large amount of unlabeled data. SSCL 에선 기존 CL 에서 사용하던 regularization-based method, replay-based method 가 잘 작동하지 않음 (왜 Architecture-based method 를 뺐는지는 모르겠음) 다만, Joint trainin..

- Introduction 기존에 널리 사용하던 rehearsal based method 의 단점 Increase memory costs Violate data privacy Pretrained ViT 의 등장으로 rehearsal based method 를 대체할 prompting method 등장 일반적인 prompting method 는 key-query 메커니즘을 이용하는데, task sequence 에 end-to-end 로 학습되지 않는 문제점이 있음 이로 인해 plasticity 의 감소가 일어나고, new task의 학습이 원활하게 이루어지지 않으며, parameter capacity 증가로 이득을 얻지 못함 저자들은 자신들의 연구가 prior work 와 달리 end-to-end 방식으로..

- Introduction Real world 에선 pre-defined class 이외에도 user-defined class 에 adapt 되어야하는데, 굉장히 few 인 경우가 존재한다. 이런 상황에서도 새로운 class 에 대하여 잘 학습하기 위해서 few-shot class-incremental learning 이 존재한다. 하지만 fewshot 상황에서 일반적인 finetune 을 적용하게되면 두 가지 severe problem을 일으킨다. 1. Forgetting old: Catastrophic forgetting 으로 인해 이전 데이터들에 대한 성능이 감소 2. Overfitting new: 적은 수의 support set 으로 인해 새로운 class 에 overfitting 되어 gener..