[Paper] Hover-Net 정리

이 글은 S Graham 저술 "Hover-Net: Simultaneous segmentation and classification of nuclei in multi-tissue histology images" (2019)에 대하여 정리한 내용입니다. 내용이 부실하거나 잘못되었을 수 있음을 미리 말씀드립니다.

 

 

Abstract

 

Haematoxylin과 Eosin으로 염색된 조직학 이미지로 Nuclear segmentation, Classification하는 것은 디지털 병리학의 work-flow 중 가장 기본적인 전제조건이다. 자동화 방법의 nuclear segmentation, classification의 발달로 수 만장 이내의 whole-slide 병리 이미지(더 넓은 범주 핵의 형태 측정의 가능성을 열어주는)의 양적인 분석을 가능하게 만들었다.

하지만 암세포의 핵과 같은 다양한 가변성을 가지는 넓은 class 범주를 가지는 여러 다른 형태의 핵이 존재한다는 점에서 automated nuclear segmentation, classification은 어려움을 겪어 왔다. 

 

이를 해결하기 위해 핵의 픽셀들의 무게중심의 수직적 수평적 거리를 암호화한 instance-rech정보의 이점화하여 nuclear segmentation과 classification을 동시에 하는 CNN 구조를 제시하였다. 이들의 거리는 특히나 겹쳐져있는 instance들의 영역에서 군집화된 핵들을 정확하게 segmentation하여 구별화하는데 사용된다. 그 다음 각각의 segment된 인스턴스를 위하여 네트워크는 up-sampling된 branch를 통하여 핵의 유형을 예측한다. multiple independent multi-tissue 조직학 이미지 데이터셋을 사용하여 다른 방법들과 비교해 SOTA의 performance를 증명하였다. 이 연구의 일부로 연관된 핵이 annotated된 24,318개의 라벨이 된 Haematoxylin & Eosin으로 염색된 결장 직장 선암 이미지 타일들을 새로운 데이터셋으로 도입하려고 한다.

 

 

Dataset

데이터의 전반적인 사항은 다음과 같다.

 

- 출처: TCGA

- 장기: Breast, Kidney, Lung, Prostate

- 염색: H&E stained

- 배율: 40x objective magnification

 

각각의 핵의 수는 다음과 같다.

 

- 31411 annotated nuclei

• 14539 epithelial cells
• 15654 lymphocytes
• 587 macrophages
• 631 neutrophils

 

 

극복해야할 사항

아래와 같이 3가지의 사항을 극복해야 한다.

 

1) Separating clustered nuclei => 군집화된 핵들을 분할하는 것

2) Classification of different types of nuclei => 개별 핵이 어느 타입인지 분류하는 것

3) Unbalanced classes => 한 이미지 안에서 핵들간 수의 불균형이 발생하는 것

 

 

모델의 구조

이를 위해 3가지의 출력 branch를 가지게 하는데 구체적인 사항은 아래와 같다.

전체적인 형태

: 인코더 (Preact- ResNet50) + 디코더 (3개의 branch)

 

인코더

Preact-ResNet50: pre-activated residual network with 50 layers라는 의미로 기존에 stride 2를 사용하던 것을 1로 변경해주었으며 max-pooling을 제거해주었다. 또한, 블록은 Residual Unit 3, 4, 6, 3으로 기존 ResNet 50의 블록의 형태와 동일하다.

 

디코더

1. nuclear pixel brach: nuclear pixel과 background pixel로 나누어 주는 brach

2. HoVer barch: nuclear의 center에서 horizontal, vertical의 거리를 구하는 brach 

3. nuclear classification brach: nuclear pixel 정보를 기반으로 핵의 종류를 구분해주는 brach

와 같은 형태를 가진다.

 

 

평가지표

 

논문에서 행하려는 nuclear instance segmentation을 진행하기 위해서는 다음의 3가지의 sub task들이 수행되어야 한다.

- background에서부터 핵을 구별해내는 것

- 각각의 instance nuclear들을 detection하는 것

- 찾아낸 instace들을 segement하는 것

 

Nuclear Instance Segmentation 평가지표로는 DICE2(Ensemble Dice)와 AJI(Aggregated Jaccard Index) 등이 많이 쓰이는데 이 지표들은 전체적인 instance segmentation에 대한 총체적인 퀄리티 점수를 반영하기 때문에 한번에 sub-task들에 대한 insight를 주지 못한다. 

 

또한, 위의 그림에서와 같이 A로 예측하나 B로 예측하나 실질적으로 비슷한 score를 주는 것이 합리적일 것이다. 하지만, DICE2는 A에 비해 B에게 매우 높은 점수를 주었다. AJI는 B에 비해 A에게 낮은 점수를 부여하였다. 하지만 PQ는 A, B 모두에게 동일한 점수를 부여하였다.

 

이 논문에서는 Detection Qualitiy와 Segmentation Quality를 통합적으로 측정할 수 있는 평가지인 PQ를 도입하여 총 3가지의 평가지표를 사용하였다.

 

DICE2(Ensemble Dice) 

= $2 * \frac{(X \cup Y)}{|X| + |Y|}$

 

AJI(Aggregated Jaccard Index)

X와 Y사이의 집계된 교집합과 집계된 합집합의 비율

 

PQ(Panoptic quality)

= $\frac{\sum_{(p,g) \in TP} IOU(p,q) }{|TP|} * \frac{|TP|}{|TP| + \frac{1}{2} |FP| + \frac{1}{2}|FN|}$

 

결과적으로 기존의 다른 모델보다 다음과 같은 높은 성능을 나타내었다고 한다.

 

 

 

 

 

-히비스서커스-