pytorch 에서 일반적으로 optimizer 를 다음과 같이 사용 optimizer = optim.Adam(model, lr=0.0001) 만약 model 의 각 parameter 에 다른 옵션 (learning rate, eps 등)을 주고 싶은 경우 다음과 같이 각 parameter group 지정 optim.Adam([{'params': model.base.parameters()}, {'params': model.classifier.parameters(), 'lr': 1e-3}], lr=1e-2) Parameter group 은 다음으로 확인 가능 #n 번째 parameter group 을 보고 싶은 경우 print(optimizer.param_groups[n]) >>> Adam (Paramet..

# batch 개수 len(dataloader) # train/test data 개수 len(dataloader.dataset)

torch.manual_seed(seed) np.random.seed(seed) random.seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False

아래 링크를 통해 본인 GPU 에 맞는 CUDA 버전 확인 https://www.wikiwand.com/en/CUDA#GPUs_supported Wikiwand - CUDACUDA is a proprietary and closed source parallel computing platform and application programming interface that allows software to use certain types of graphics processing units for general purpose processing, an approach called general-purpose computing onwww.wikiwand.com아래 링크를 통해 특정 CUDA 버전의 pytorch ..

python -m torch.utils.collect_env

torch.where torch.index_select #class_value 라는 label을 가지는 값들의 index 뽑기 target_indexes = torch.where(target_tensor == class_value)[0] #뽑은 index의 값을 가지는 새로운 tensor 정의 input_with_class_value = torch.index_select(input_tensor, 0, target_indexes)

.detach().cpu().numpy()