- Introduction
스마트 시티 환경에서 공공 공간 침해 또는 침범의 탐지가 중요해졌음
다만 이 작업을 사람이 직접 하기엔 많은 시간과 비용이 들어가는 문제가 있음
따라서 이를 visual change detection task 로 생각하고 해결
- 해결해야하는 문제들
- 조명 / 밝기 변화
- 대비 차이
- 화질, 해상도, 노이즈
- 스케일, 포즈, 가림
- Related Works
변화 감지의 정의
- 이미지 간의 고차원 추론을 통한 외관상의 실질적 변화 감지
- 객체의 삽입이나 삭제 또는 구조적 변환 포함
주요 선행 연구
- 전통적인 방법
- CDNet 데이터셋 기반 연구
- Semantic Change Detection
- Deep Learning 기반 접근법
- Method
- 모델 구성
- Siamese network 와 Fully convolutional network 기반으로 모델 구성
- Weight tied CNN1, CNN2
- Multi-level feature extraction and combination
- Deconvolution layer for upsampling
- Softmax classifier
- Input
- Reference image: $w \times h \times d$
- Test image: $w \times h \times d$
- Output
- Change map: $w \times h $
- Network
- Weight tied 는 오직 convolution stage 에만 적용 (deconv 에는 미적용)
- ResNet50 pretrained model 사용
- Feature extraction network
- 28x28, 14x14, 7x7 로 Downsampling
- 224x224 로 Upsampling
- 11 classes (10 cls + background)
- 3개의 224x224x11 addition
- Experiment
- Dataset
- VL-CMU-CD
- TSUNAMI
- GSV (Google Street View)
- Scenario
- Binary classification: Change / No Change
- Multi class classification
- Discussion
- Limitations
- 작은 객체에 대한 변화 감지 성능이 상대적으로 낮음
- 특히 barrier와 traffic cone의 경우 낮은 f-score
- GSV 데이터셋에서 차량 움직임을 change로 간주하는 것과 ChangeNet의 structural change 초점이 불일치
- Discussion
- 과연 서로 다른 illumination 에 얼마나 robust 할지..?
- Reference
[1] ChangeNet: A Deep Learning Architecture for Visual Change Detection, ECCV 2018 Workshop [Paper link]