[Linux] GPU서버에 dataset 다운로드 (wget, Google Drive, scp)

1. 링크로 바로 다운 받는 경우

cd data/dataset/

wget $url

 

1-1. wget 링크로 다운받을 때 로그인이 필요한 경우

 

가끔 로그인이 필요한 dataset 제공 사이트가 있음 (NTU RGB+D, ...)

 

이런 경우 그냥 wget 으로 진행하면 제대로 다운로드가 되지 않음

 

따라서 웹에서 로그인한 상태로 쿠키정보를 복사해서 wget 옵션에 넣어주면 됨

 

쿠키 복사하는법

1. 해당 데이터셋 홈페이지에서 F12 로 개발자모드 진입
2. Network 탭에서 Preserve log 체크
3. 다운받고자 하는 파일 링크 클릭하면 해당 이름으로 발생한 요청 항목 선택
4. Headers 탭에서 Request headers 확인
5. 그 안에 'Cookie:' 의 내용을 아래 예시와 같이 통째로 복사

wget --header $쿠키 $url

# ex) wget --header "Cookie: session_id=abc123; user_token=xyz789; ..." https://...

---

2. 구글 드라이브에서 다운 받는 경우

wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&confirm=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies --no-check-certificate 'https://docs.google.com/uc?export=download&id=FILEID' -O- | sed -rn 's/.*confirm=([0-9A-Za-z_]+).*/\1\n/p')&id=[FILEID]" -O [FILENAME] && rm -rf /tmp/cookies.txt

#[FILEID] = 링크에서 아이디 복사 붙여넣기
#[FILENAME] = 저장할 이름

 

가끔 큰 dataset 다운로드 시 다음과 같이 나오는 경우가 있음

HTTP request sent, awaiting response... 429 Too Many Requests

---

3. 압축파일의 경우 압축해제

tar -xvf [파일명.tar]

unzip [파일명.zip] # 현재 위치
unzip [파일명.zip] -d [압축 풀 경로] # 특정 위치

---

4. Local 에서 서버로 복사하는 경우

scp -r 보낼파일명 계정명@IP주소:/경로