[WSSS] OC-CSE논문 정리

※ Unlocking the Potential of Ordinary Classifier: Class-specific Adversarial Erasing Framework for Weakly Supervised Semantic Segmentation의 논문을 읽고 이해한대로 정리해본 글입니다. 아래에 첨부된 그림들 중 논문에 나와있지 않은 그림들은 제가 제작한 내용이니 사용 시 반드시 출처를 남겨주시기 바랍니다. OC-CSE 논문은 핵심 아이디어만 정리하였습니다. 풀잎스쿨 18기 WSSS 논문으로 입문하기를 통해 같이 공부한 분들께 감사를 드립니다.

 

개인적인 생각

AE(Adversarial Erasing)을 통해 WSSS를 하는 방법에 대해 가장 훌륭하다고 생각되는 아이디어들만을 고려하였고, 기존과는 달리 classifier로 사용하였던 모델을 다시 재사용한다는 아이디어로 현재까지 AE를 쓴 WSSS 방법 중에서는 가장 우수한 논문이라고 생각한다. (매우 개인적인 의견이다.) 

 

Abstract

특징

• 1. ordinary classifier를 선택하여 지울 영역을 알림
• 2. 이미지의 기존 클래스 중 지울 특정 클래스를 무작위로 샘플링함
  • 클래스별 마스크를 생성함
  • 정확한 CAM을 얻음

핵심

• OC-CSE => 대상 class의 CAM을 생성 + CAM이 다른 class 객체의 영역을 침범하지 않도록 제한

 

 

Potential of Ordinary Classifier

핵심아이디어

• ordinary classifier는 이미 객체의 전체 영역을 활성화할 수 있는 충분한 수용력을 가지고 있다.

CAM의 한계의 재해석

더 분별력이 적은 부분은 CAM에서 더 적게 활성화된다. 하지만 이는 classifier가 인식을 못해서가 아닌 더 분별력 있는 영역이 존재하기 때문인 것이다. CAM의 한계는 CAM 자체의 sparsity나 불완전성 때문이 아닌 activation의 불균형이다.

 

방식

• 단순히 이미지를 처리하고 ordinary classifier에서 활성화된 영역을 순차적으로 집계함

문제점

• 더 완전한 CAM을 생성하는데 도움이 될 수 있는 패턴을 인식하고 학습할 가능성이 없음
• Ground Truth Semantic Segmentation 레이블 없이 각 이미지에 대한 masking threshold값을 최적화하는 것은 극히 어려움

해결방법

• 이러한 문제를 처리하면서 ordinary classifier의 잠재력을 잠금해제하기 위해
• 적용/재귀(adaptive/recursive) 방식으로 앞서 언급한 체계를 활용하는 학습 기반 AE framework를 제안함

 

Proposed Method

CAMs Generation

CAM의 방식: GAP -> FClayer의 방식이 아닌 ACoL에서의 1x1 conv layer의 방식으로 통해 CAM을 얻음

 

by hibiscircus

ACoL에서 CAM을 얻는 과정으로 CAM을 얻었다. 위의 그림 부분은 ACoL에서 가져왔다.

 

Proposed Framework

by hibiscircus

제안된 Framework는 크게 두 가지 Network로 구성된다.

1. CGNet - CAM Generate Network

• input :: $I$ (image)
• output :: $A_i$ (CAM) & $p_i$ (class prediction)

2. Ordinary Classifier - Pretrained Classifier

• input :: $\hat{i}$ (masked image)
• output :: $\hat{p_i}$ (class prediction)

자세한 과정의 위의 그림에 설명되어 있다.

 

Class-specific Erasing Method(CSE)

by hibiscircus

기존의 CAE(Class Agnostic Erasing)에서의 loss와 OC-CSE에서의 CSE(Class Specific Erasing)에서의 loss의 차이이다.

CAM Refinement

보다 정확한 psedo pixel-level label을 위해 CGNet에서 생성된 CAM을 개선하기 위한 작업을 한다. AffinityNet을 훈련이 필요한 foreground와 background label들은 정제된 CAM에 crf를 적용함으로써 얻어진다. crf를 CAM에 적용하기 위한 식은 다음과 같다.

 

 

 

 

-히비스서커스-