Ethan's Winery

- Introduction OOD detection scenarios Covariate shift: Change in the input distribution Semantic shift: Change in the label distribution Existing OOD detection works Predictive distribution Incorporate feature statistics for ID data Requires a portion of training data Internal feature activation GOAL: Explore and push the limits of OOD detection when the output of a softmax layer is the only av..

- Introduction In real-world applications, incremental data are often partially labeled. ex) Face Recognition, Fingerprint Identification, Video Recognition → Semi-Supervised Continual Learning: Insufficient supervision and large amount of unlabeled data. SSCL 에선 기존 CL 에서 사용하던 regularization-based method, replay-based method 가 잘 작동하지 않음 (왜 Architecture-based method 를 뺐는지는 모르겠음) 다만, Joint trainin..

Singular Value Decomposition (SVD): 행렬을 분해하는 방법 (Square, Symmetric 상관없이) $\boldsymbol{A}=\boldsymbol{U}\boldsymbol{\Sigma}\boldsymbol{V}^T$ $\boldsymbol{A}\in \mathbb{R}^{m\times n}$ $\boldsymbol{U}\in \mathbb{R}^{m\times m}$ orthogonal matrix $\boldsymbol{\Sigma}\in \mathbb{R}^{m\times n}$ diagonal matrix $\boldsymbol{V}\in \mathbb{R}^{n\times n}$ orthogonal matrix $\boldsymbol{V}$에서 orthogonal..

LG Aimers 에서 제공하는 KAIST 신진우 교수님의 lecture 입니다. Part 1: Matrix Decomposition (1) Determinant and Trace Determinant $2\times2$ matrix and $3\times3$ matrix are expanded to this generalized form. [DEF] For a matrix $\boldsymbol{A}\in \mathbb{R}^{n\times n}$, for all $j=1,...,n$, $det(\boldsymbol{A}) = \sum_{k=1}^{n}(-1)^{k+j}a_{kj}det(\boldsymbol{A}_{k,j})$ Trace [DEF] The trace of a square matrix $..

LG Aimers 에서 제공하는 KAIST 의 차미영 교수님의 lecture 입니다. Part 1: 데이터 분석과 AI학습에서 유의할 점 데이터를 잘 해석하고 있는가? 데이터 전처리와 분석방법은 적절한가? 학습에 쓰는 데이터가 충분한가? Blackbox AI - 설명력 Handling the Web data Spiral of Silence: 목소리 큰 사람이 우세하다. → 잘못된 정보도 사실처럼 받아들여질 수도 있다 AI and Ethical Decisions Part 2: AI Ethics AI and Creativity AI Art in Action Copyright Issue AI contributed harm Part 3: 세계적인 데이터 과학자가 되는 방법 계획을 세워라 데이터를 다루는 것을 ..

2023년 LG Aimers 3기에 선정되었다...! 열심히 정리해보겠습니다!

pytorch 에서 일반적으로 optimizer 를 다음과 같이 사용 optimizer = optim.Adam(model, lr=0.0001) 만약 model 의 각 parameter 에 다른 옵션 (learning rate, eps 등)을 주고 싶은 경우 다음과 같이 각 parameter group 지정 optim.Adam([{'params': model.base.parameters()}, {'params': model.classifier.parameters(), 'lr': 1e-3}], lr=1e-2) Parameter group 은 다음으로 확인 가능 #n 번째 parameter group 을 보고 싶은 경우 print(optimizer.param_groups[n]) >>> Adam (Paramet..

list 연장 a = [1,2,3] b = [4,5] a.extend(b) print(a) >>> [1,2,3,4,5] list element 추가 a = [1,2,3] b = 4 a.insert(2,b) print(a) >>> [1,2,4,3]

두 개의 데이터 원소를 각각 tuple 로 짝지어줌 Transpose 로 볼 수도 있음 >>> for item in zip([1, 2, 3], ['sugar', 'spice', 'everything nice']): print(item) (1, 'sugar') (2, 'spice') (3, 'everything nice') # unzip >>> *zip 두 개의 데이터의 길이가 같지 않다면 길이가 짧은 데이터 기준으로 stop

# 찾고싶은 디렉토리 내부에서 grep -r '찾고 싶은 내용' ./