Ethan's Winery

Cloud GPU 가격 비교 (Runpod, Shadeform, Massed Compute, Elice)

이성훈 Ethan — Sat, 15 Nov 2025 02:22:39 +0900

4개 업체 가격비교

Runpod
Shadeform
Massed Compute
Elice

per hour, on demand	A100 80GB PCIe	Storage (GiB/h)	etc
Runpod	$1.39/hr = ₩2,020/hr		3달, 6달, 12달 단위 예약 시 할인
Shadeform	$1.24/hr = ₩1,802/hr		무조건 on-demand
Massed Compute	$1.2/hr = ₩1,744/hr
Elice	₩2,000/hr	₩0.035	1달, 12달 단위 예약 시 할인

2025.11.15 기준 환율: $1 = ₩1,453

[Jetson Orin Nano] Troubleshooting: Chromium, Firefox 가 켜지지 않을 때

이성훈 Ethan — Tue, 26 Aug 2025 00:19:11 +0900

Jetson dev kit 첫 구매 후, chromium 과 firefox 로 인터넷 접속을 시도해보았지만 창이 뜨자마자 바로 꺼지는 문제 발생

https://forums.developer.nvidia.com/t/neither-chromium-nor-firefox-work-with-my-jetson-orin-nano/338669/9

Neither Chromium nor Firefox work with my Jetson Orin Nano

The problem is fixed after updating the latest snap today. I can run Firefox and Chromium now.

forums.developer.nvidia.com

위 링크의 명령어를 통해 해결

[Jetson Orin Nano] ViT tutorial: NanoOWL

이성훈 Ethan — Sat, 2 Aug 2025 03:00:58 +0900

https://www.jetson-ai-lab.com/vit/tutorial_nanoowl.html

NanoOWL - NVIDIA Jetson AI Lab

Tutorial - NanoOWL Let's run NanoOWL , OWL-ViT optimized to run real-time on Jetson with NVIDIA TensorRT . What you need One of the following Jetson: Jetson AGX Orin (64GB) Jetson AGX Orin (32GB) Jetson Orin NX (16GB) Jetson Orin Nano (8GB) Running one of

www.jetson-ai-lab.com

Task 는 text 입력을 주고 그에 해당하는 물체를 detect 하는 것으로, Google research 에서 ECCV 2022 에 발표한 OWL-ViT 를 경량화하여 만든 튜토리얼입니다.

튜토리얼 순서대로 진행해봅시다.

Jeston containers 설치 및 run

git clone https://github.com/dusty-nv/jetson-containers

bash jetson-containers/install.sh

jetson-containers run --workdir /opt/nanoowl $(autotag nanoowl)

카메라 입력 확인

ls /dev/video*

위 명령어를 실행하여 아래와 같이 카메라 입력이 뜨는지 확인

만약 아래 이미지와 같이 카메라가 잡히지 않는 경우 카메라를 잡아야합니다.

저는 pi cam v2를 csi 포트로 연결했는데, jetson 보드 설정에 들어가서 csi 쪽 설정을 해주고 리부팅이 필요하다고 합니다.

cd /opt/nvidia/jetson-io/

sudo python jetson-io.py

# 유튜브 영상을 따라서 설정 진행

# Reboot

아래 유튜브 링크 참고 부탁드립니다.

https://youtu.be/gJPIJ3yxME0?si=RY90NTlGLttdADeO

리부팅을 진행하고 나면 잘 인식되는 것을 확인할 수 있습니다.

참고로 저는 카메라 입력을 확인하는 과정에서 문제가 좀 있었습니다..

카메라 모듈을 사는 돈이 아까워서 집에 있는 카메라들을 연결해서 되지 않을까? 라는 생각으로, 보유하고 있던 액션캠인 insta360 x4 를 연결해봤는데, ls 명령어에 뜨긴 하지만 실제로 잡히지는 않았습니다.

저와 같이 삽질하는 분이 없길 바랍니다.

필요한 모듈 다운로드

pip install aiohttp

위 명령어를 실행하면 되는데, 아래와 같은 에러가 발생할 수 있습니다.

원인을 검색해보니 엔비디아측에서 주소를 조금 바꿨다고 하네요... 그럼 명령어를 수정해주지..
https://forums.developer.nvidia.com/t/problems-running-nanoowl/339372

Problems running nanoOWL

I have a 8GB Orin Nano and am trying to run the NanoOWL tutorial project at NanoOWL - NVIDIA Jetson AI Lab Below is the result of running the container, and when I try to install aoihttp. I did install aoihttp as a user, it just searches without success as

forums.developer.nvidia.com

따라서 아래 명령어를 사용하시면 됩니다.

pip install --index-url https://pypi.jetson-ai-lab.io/jp6/cu126 aiohttp

Demo 실행

cd examples/tree_demo

python3 tree_demo.py --camera 0 --resolution 640x480 ../../data/owl_image_encoder_patch32.engine

- Reference

[1] Minderer, Matthias, et al. "Simple open-vocabulary object detection." ECCV 2022 [Paper link]

[Jetson Orin Nano] Initial Setup Guide 따라하기

이성훈 Ethan — Sat, 19 Jul 2025 23:25:34 +0900

https://www.jetson-ai-lab.com/initial_setup_jon.html

Initial Setup Guide - Jetson Orin Nano - NVIDIA Jetson AI Lab

On the Ubuntu desktop click the power icon ( ) and select " Restart... ".

www.jetson-ai-lab.com

제대로 된 Jetson Orin Nano AI 활용에 앞서, 초기 세팅을 먼저 진행해보겠습니다.

1. Storage 준비

Dev kit 에는 Storage 가 포함되어있지 않아, 별도로 구매가 필요합니다.

종류는 NVMe SSD 또는 Micro SD 카드 둘 중 하나를 준비해야하며, 준비된 저장장치의 종류에 따라 세팅 방식이 달라집니다.

SSD 도 안쓰고 ubuntu pc 도 없다? ► microSD-only method

이후엔 Jetson UEFI 버전을 확인해서 버전 36.0 보다 높으면 계속 진행하고, 만약 낮다면 펌웨어 업데이트 진행 (제일 상단 링크 참고)

저는 36.0 보다 높은 관계로 바로 sd 카드로 진행

2. JetPack 6.x SD card 준비

https://developer.nvidia.com/downloads/embedded/l4t/r36_release_v4.3/jp62-orin-nano-sd-card-image.zip

먼저 해당 링크로 Jetpack 6.2 의 image 를 본인의 pc 에 받아줍니다.

그 다음엔 balena (https://etcher.balena.io/) 를 사용하여 위에서 받은 image 를 sd 카드에 flash 를 해줍니다. (부팅 디스크 생성과 유사)

3. SD card 를 사용하여 부팅

위 이미지처럼 해당 위치에 sd 카드를 삽입합니다.

이후 전원을 꽂고 부팅을 진행합니다.

기존 Dev kit 에서 Super Dev kit 이 된건, 소프트웨어적인 개선이 있었기 때문인데, 이것을 반영하기 위해선 Power mode 를 MAXN SUPER 로 설정해야합니다.

이렇게 개발 준비가 완료되었습니다!!

[Jetson Orin Nano] Dev Kit 구매 및 실물 후기

이성훈 Ethan — Sat, 19 Jul 2025 22:44:45 +0900

On device AI 사이드 프로젝트를 하기 위해 NVIDIA Jetson Orin Nano Developer Kit 을 구매했습니다.

https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/nano-super-developer-kit/

Jetson Orin Nano Super Developer Kit

The most affordable generative AI supercomputer.

www.nvidia.com

2024년 12월에 출시된 모델로 이전 버전 대비 Generative AI 를 위한 성능이 1.7배 증가되었다고 합니다.

실물 이미지

실물 크기는 손바닥정도입니다.

위 이미지를 보시면 알 수 있듯, 작은 데스크탑이라고 생각하면 편할 것 같습니다.

다양한 포트를 지원하고, GUI 환경에서 우분투 사용이 가능합니다.

직접 모델을 개발하여 올리는건 차차 진행하며 글을 작성해보도록 하겠습니다.

[IJCAI 2021] Learning with Selective Forgetting

이성훈 Ethan — Sun, 18 May 2025 20:46:34 +0900

- Introduction

AI 가 발전할수록 privacy 문제나 윤리와 관련된 문제가 대두되고 있는데, 이를 위해 기존의 정보를 지우는 machine unlearning 이라는 task 가 연구되어왔음

이러한 문제는 continual learning task 에도 적용되기 때문에, 해당 논문에서 CL 에서 MU 를 처음으로 진행하며 Learning with Selective Forgetting (LSF) 를 제안함

Continual learning setting 중 Task-Incremental Learning (TIL)에서 진행되었는데, 아무래도 처음 진행하다보니 최대한 쉽게 task 를 풀기위한 setting 이 아닐까 싶음

Task Setting

각 task 마다 데이터가 입력으로 들어오는건 일반적인 continual learning 과 같음
다만 입력된 데이터가 다음 task 학습 시 Preservation set 과 Deletion set 으로 나뉘는 다른 점이 있음
예시: $\mathcal{D}_{k-1}$ 의 image 에 {1,2,3,4,5,6} 이 있다고 가정
- $k-1$ th task 에선 {1,2,3,4,5,6} 이 모두 학습 데이터로 사용됨
- $\mathcal{D}_k$ 학습이 진행될 때 아래와 같은 세팅으로 진행
  - 주어지는 데이터: $\mathcal{D}_k$, Preservation set {1,2,3,4}
  - 주어지지 않는 데이터: Deletion set {5,6}

- Method

Mnemonic Code
- 새로운 task 가 들어오면 각 class 당 한장의 synthetic image 가 생성되어 모든 sample 에 embedding 됨
  - mixup 과 유사: $\tilde{\mathbf{x}}_k^i=\lambda \mathbf{x}_k^i+(1-\lambda) \xi_{k, c}$
- Mnemonic code 가 embedding 된 sample 들과 더불어 code 들만을 학습
- 이런 augmentated data 를 통해 학습하는 경우, 같은 mnemonic code 가 embedding 된 sample 들은 feature space 상에서 가까운 곳에 위치함
  - 따라서 code 의 사용 유무에 따라 특정 class 를 기억하거나 잊을 수 있음
- Mnemonic code 구현
  - Random color patterns
  - Data 에 대한 직접적인 정보를 가지고 있지 않음
Loss Function
- $\mathcal{L}=\overbrace{\mathcal{L}_C+\mathcal{L}_M}^{\text {new task }}+\overbrace{\mathcal{L}_{S F}+\mathcal{L}_R}^{\text {previous tasks }}$
  - $\mathcal{L}_C=\frac{1}{N_k} \sum_i l\left(\mathbf{x}_k^i, y_k^i\right)$
  - $\mathcal{L}_M=\frac{1}{N_k} \sum_i l\left(\tilde{\mathbf{x}}_k^i, y_k^i\right)$
  - $\mathcal{L}_{S F}=\gamma_{S F} \sum_{p=1}^{k-1} \frac{1}{N_p} \sum_i l\left(\xi_p^i, y_p^i\right)$
  - $\begin{aligned} \mathcal{L}_R & =\mathcal{L}_{\mathrm{LwF}^*}+\mathcal{L}_{\mathrm{EWC}^*} \\ \mathcal{L}_R & =\mathcal{L}_{\mathrm{LwF}^*}+\mathcal{L}_{\mathrm{MAS}}\end{aligned}$
Analysis
- Dataset
  - P-MNIST: 30 (10/10/10)
- Baseline
  - Vanilla
  - EWC
  - EWC*
- Conclusion
  - Mnemonics 를 이용하면 다른건 유지하면서 원하는 것만 delete 할 수 있음

- Experiment

Backbone
- ResNet-18
Dataset
- CIFAR-100
- CUB200
- Standford Cars
Metrics
- $A_k=\frac{1}{k} \sum_{p=1}^k a_{k, p}$: accuracy for the p-th task, after training for k-th task
  - Evaluated only for the preservation set
- $F_k=\frac{1}{k} \sum_{p=1}^k f_k^p$: $f_k^p=\max _{l \in 1 \cdots k} a_{l, p}-a_{k, p}$ represents the largest gap from the past to the current accuracy for the p-th task
  - Evaluated only for the deletion set
- $S_k=\frac{2 \cdot A_k \cdot F_k}{A_k+F_k}$

- Discussion

TIL 이라는 비교적 쉬운 setting 에서 진행했음에도 불구하고, 간단한 random noise 를 anchor 로 삼아서 기억하려고 하는 능력과 잊으려고 하는 능력을 조절하는 방식이 흥미로웠음

다만 기억하려고 학습하는 것에 비해, 잊으려고 학습하는 것은 다음 task 가 들어오면서 자연스럽게 된다는 것을 가정하는 것처럼 보이는데, 이 부분이 좀 아쉬움

- Reference

[1] Shibata, Takashi, et al. "Learning with Selective Forgetting." IJCAI 2021 [Paper link]

[ECCV 2018 Workshop] ChangeNet: A Deep Learning Architecture for Visual Change Detection

이성훈 Ethan — Mon, 21 Apr 2025 13:02:48 +0900

- Introduction

스마트 시티 환경에서 공공 공간 침해 또는 침범의 탐지가 중요해졌음

다만 이 작업을 사람이 직접 하기엔 많은 시간과 비용이 들어가는 문제가 있음

따라서 이를 visual change detection task 로 생각하고 해결

해결해야하는 문제들
- 조명 / 밝기 변화
- 대비 차이
- 화질, 해상도, 노이즈
- 스케일, 포즈, 가림

순서대로 reference image, test image, ground truth

- Related Works

변화 감지의 정의

이미지 간의 고차원 추론을 통한 외관상의 실질적 변화 감지
객체의 삽입이나 삭제 또는 구조적 변환 포함

주요 선행 연구

전통적인 방법
CDNet 데이터셋 기반 연구
Semantic Change Detection
Deep Learning 기반 접근법

- Method

모델 구성
- Siamese network 와 Fully convolutional network 기반으로 모델 구성
- Weight tied CNN1, CNN2
- Multi-level feature extraction and combination
- Deconvolution layer for upsampling
- Softmax classifier
Input
- Reference image: $w \times h \times d$
- Test image: $w \times h \times d$
Output
- Change map: $w \times h $
Network
- Weight tied 는 오직 convolution stage 에만 적용 (deconv 에는 미적용)
- ResNet50 pretrained model 사용

Feature extraction network
- 28x28, 14x14, 7x7 로 Downsampling
- 224x224 로 Upsampling
- 11 classes (10 cls + background)
- 3개의 224x224x11 addition

- Experiment

Dataset
- VL-CMU-CD
- TSUNAMI
- GSV (Google Street View)
Scenario
- Binary classification: Change / No Change
- Multi class classification

왼쪽부터 순서대로 reference, test, change 이미지인데, 빛이 다르게 반사되어도 따로 detect 하지 않음

- Discussion

Limitations
- 작은 객체에 대한 변화 감지 성능이 상대적으로 낮음
- 특히 barrier와 traffic cone의 경우 낮은 f-score
- GSV 데이터셋에서 차량 움직임을 change로 간주하는 것과 ChangeNet의 structural change 초점이 불일치
Discussion
- 과연 서로 다른 illumination 에 얼마나 robust 할지..?

- Reference

[1] ChangeNet: A Deep Learning Architecture for Visual Change Detection, ECCV 2018 Workshop [Paper link]

[2] https://github.com/leonardoaraujosantos/ChangeNet

Onnx 모델과 pth 모델 성능 비교

이성훈 Ethan — Wed, 19 Mar 2025 15:26:49 +0900

최근에 업무를 진행하여 npu 를 위한 모델 변환을 진행함

모델 변환 후 평가를 진행해보니, 기존 서버에서 측정한 모델 성능이 재현되지 않음

문제가 발생했을 가능성이 있는 부분은 2곳

변환된 모델에 입력으로 넣어준 데이터
변환하기 전 모델

일단 변환하기 전 onnx 모델을 살펴보기 위해 onnxruntime 으로 평가를 진행해보니 이 또한 서버 성능을 재현하지 못함.

import numpy as np
import onnxruntime as ort
import os
import glob

bin_directory = [데이터 디렉토리]

model_path = [모델 경로]

session = ort.InferenceSession(model_path)
input_name = session.get_inputs()[0].name

class_names = [클래스명 나열]

bin_files = glob.glob(os.path.join(bin_directory, "*.bin"))

results_list = []

for bin_file in bin_files:
    try:
        file_name = os.path.basename(bin_file)
        
        input_data = np.fromfile(bin_file, dtype=np.float32)
        
        input_data = input_data.reshape([입력 shape])
        
        results = session.run(None, {input_name: input_data})
        prediction = results[0]
        
        predicted_class_idx = np.argmax(prediction)
        predicted_class_prob = prediction[0][predicted_class_idx]
        predicted_class_name = class_names[predicted_class_idx] if predicted_class_idx < len(class_names) else f"미지정 클래스 {predicted_class_idx}"
        
        print(f"파일: {file_name}")
        print(f"예측 결과: {predicted_class_name} (인덱스: {predicted_class_idx}, 확률: {predicted_class_prob:.4f})")
        print(f"전체 확률 분포: {prediction[0]}")
        print("-" * 50)
        
        results_list.append({
            "file_name": file_name,
            "predicted_class": predicted_class_idx,
            "predicted_class_name": predicted_class_name,
            "probability": predicted_class_prob,
            "all_probabilities": prediction[0].tolist()
        })
        
    except Exception as e:
        print(f"오류 발생 - 파일: {bin_file}")
        print(f"오류 메시지: {str(e)}")
        print("-" * 50)

print(f"처리된 파일 수: {len(results_list)} / {len(bin_files)}")

따라서 다시 pth 를 onnx 로 변환하는 곳으로 돌아가서 문제가 있는지 확인

이 과정에서 랜덤한 텐서를 생성하여 pth 모델과 onnx 모델에 입력으로 주고 output 차이가 어떤지 확인

import torch
import torch.nn as nn
import numpy as np

def convert_to_onnx(
    model_path: str,
    config_path: str,
    save_path: str,
    input_shape: tuple = [입력 shape],
    seed: int = 42 
):
    torch.manual_seed(seed)
    np.random.seed(seed)
    torch.cuda.manual_seed_all(seed)
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False
    
    cfg = Config.fromfile(config_path)
    
    model = build_model(cfg.model)
    
    load_checkpoint(model, model_path, map_location='cpu')
    
    model.eval()
    
    class ModelWrapper(torch.nn.Module):
        def __init__(self, model):
            super(ModelWrapper, self).__init__()
            self.model = model
            self.softmax = nn.Softmax(dim=1) 
        def forward(self, x):
            with torch.no_grad():
                feat = self.model.extract_feat(x)  
                cls_score = self.model.cls_head(feat)
                return self.softmax(cls_score) 
    
    wrapped_model = ModelWrapper(model)
    
    dummy_input = torch.randn(input_shape)
    
    torch.onnx.export(
        wrapped_model,
        dummy_input,
        save_path,
        input_names=['input'],
        output_names=['output'],
        dynamic_axes=None,
        opset_version=11,
        do_constant_folding=True,
        verbose=True
    )
    
    print(f"Model has been converted to ONNX and saved at: {save_path}")
    
    import onnx
    onnx_model = onnx.load(save_path)
    onnx.checker.check_model(onnx_model, True)
    print("ONNX model checked successfully with full validation!")
    
    try:
        import onnxruntime as ort
        
        session = ort.InferenceSession(save_path)
        input_name = session.get_inputs()[0].name
        
        test_input = np.random.randn(*input_shape).astype(np.float32)
        
        onnx_outputs = session.run(None, {input_name: test_input})
        
        torch_input = torch.tensor(test_input)
        with torch.no_grad():
            feat = model.extract_feat(torch_input)
            torch_logits = model.cls_head(feat).numpy()
        
        with torch.no_grad():
            wrapped_output = wrapped_model(torch_input).numpy()
        
        print("\n===== 출력 비교 =====")
            
        print(f"\n2. PyTorch 모델 (probs):")
        for i, prob in enumerate(wrapped_output[0]):
            print(f"   클래스 {i}: {prob:.6f}")
            
        print(f"\n3. ONNX 모델 (probs):")
        for i, prob in enumerate(onnx_outputs[0][0]):
            print(f"   클래스 {i}: {prob:.6f}")
        
        print("\n===== 차이 분석 =====")
        max_diff_wrapped_onnx = np.max(np.abs(wrapped_output - onnx_outputs[0]))
        print(f"래핑된 PyTorch vs ONNX 최대 차이: {max_diff_wrapped_onnx:.6f}")
        
        # 합계 확인 (모두 약 1.0이어야 함)
        print("\n===== 확률 합계 확인 =====")
        print(f"래핑된 PyTorch 합계: {wrapped_output.sum():.6f}")
        print(f"ONNX 모델 합계: {onnx_outputs[0].sum():.6f}")
        
    except ImportError:
        print("onnxruntime is not installed. Skipping test inference.")

if __name__ == "__main__":
    model_path = [pth 모델 경로]
    config_path = [config path]
    save_path = [onnx 모델 저장 경로]
    
    # 모델 변환 실행 (시드 값 지정 가능)
    convert_to_onnx(
        model_path=model_path,
        config_path=config_path,
        save_path=save_path,
        seed=42  # 원하는 시드 값 지정
    )

결론: npu 용으로 모델 변환 전 onnx 로 변환이 잘 되었는지 확인하자

[Pytorch, CUDA] Pytorch 와 CUDA version mismatch

이성훈 Ethan — Sun, 2 Mar 2025 12:46:03 +0900

RuntimeError: The detected CUDA version (12.3) mismatches the version that was used to compile PyTorch (11.8). Please make sure to use the same CUDA versions.

오픈 소스 코드를 받아, 가상 환경 구성 중에 위와 같은 에러가 발생했음

사용 중인 gpu 는 RTX 3090 으로 nvidia-smi 를 찍어보면 cuda 12.2 로 나오고, pytorch 는 cu11.8 로 받아둔 상태

그럼 도대체 12.3 cuda version 은 어디서 오는가??

좀 알아보니 가상환경에 cuda toolkit 이 깔려있지 않아, 기본적으로 깔려있는 cuda version 으로 잡힌 것 같음

그래서 아래 링크에서 11.8 버전을 설치하니 해결

https://anaconda.org/nvidia/cuda-toolkit

Camera Coordinate System

이성훈 Ethan — Sat, 8 Feb 2025 14:23:36 +0900

Camera Coordinate System 은 아래와 같이 여러 종류가 존재하는데, Camera Parameter 설명 시에 필요하여 짚고 넘어가기로 함

3D Coordinate System
- World Coordinate System
  - 사용자가 임의로 정한 원점을 기준으로 하는 좌표계
- Camera Coordinate System (위 그림에서 노란색 좌표)
  - 카메라 렌즈의 위치가 origin 이 되는 좌표계
  - 카메라가 바라보고 있는 방향을 z축
  - 원점으로부터 focal length 만큼 떨어진 지점에 있는 곳을 image plane 이라고 부름

2D Coordinate System
- Image Coordinate System (위 그림에서 초록색 좌표)
  - Camera Coordinate System 에서 이어진 z축이 image plane 과 만나는 점, 즉 Principal Point 를 origin 으로 하는 좌표계
- Pixel Coordinate System (위 그림에서 보라색 좌표)
  - 이미지의 왼쪽 상단을 origin 으로 하는 좌표계