[Paper]U-Net
2015년에 처음으로 제안된 해당 논문은 소량의 데이터로도 높은 성능을 달성할 수 있는 가능성을 제시하여 현재까지도 의료분야에서 segmentation 모델로 널리 사용되고 있는 “U-Net: Convolutional Networks for Biomedical Image Segmentation”을 소개하겠습니다.
Ⅰ. Introduction
Image segmentation은 이미지 내에 있는 객체를 의미 있는 단위로 나누는 “semantic”과 같은 의미의 객체지만 서로 다른 객체까지 더 확장하는 “instance”로 나눌 수 있습니다.
그 중 U-net은 semantic한 level로 특히 데이터가 많지 않은 의료분야에서도 좋은 성능을 보여 주로 사용되고있는 segmentation model 중 하나로 윈도우 합성곱 네트워크(FCN)보다 성능이 좋다고 합니다.
해당 아키텍처는 U자 형태의 구조로 인코더-디코더의 구조와 skip connection을 사용하였습니다.
Ⅱ. Network Architecture
Figure 1 : Overview of U-net architecture
해당 아키텍처는 인코더-디코더 구조로 오토인코더와 유사하지만, 인코더의 특징을 디코더에 concat하여 의미 정보와 위치 정보의 특징 맵을 결합하는 skip-connection을 추가적으로 활용합니다. 여기서 context를 포착하기 위해 수축(Contracting)경로와 Localization을 수행하는 대칭적인 확장(Expansive) 경로을 가져 U 모양의 형태를 지닙니다. 조금 더 쉽게 설명해서 수축 경로에서 컨볼루션 레이어를 통해 수집된 의미 정보를 확장 경로의 특징 맵이 가지는 위치 정보(localization)와 결합해 사용합니다.
ⅰ. Contracting path
Figure 1 에서 보이듯이 간단하게 해당 네트워크는 패딩 없이 두개의 3x3 컨볼루션 레이어를 통해 작은 작은 수용 영역을 통해 국소적인 특징을 추출하여 ReLU 함수를 통과하고, 2x2 맥스 풀링 연산을 통해 다운 샘플링 하는 형태의 Block으로 구성되어 있습니다. 다운 샘플링 과정에서는 의미 정보를 더 잘 포착하기 위해 특징 채널의 수를 두 배로 증가 시킵니다.
ⅱ. Expansive path
Expansive path의 각 단계는 특징 맵을 업샘플링하여 시작하고, 2x2 컨볼루션 레이어를 사용하여 대칭되도록 특징 채널의 수를 절반으로 줄입니다. 그 후, contracting path에서 나온 특징 맵과 연결(concat)한 후 두 개의 3x3 컨볼루션 레이어를 거칩니다. 해당 모델은 풀링 연산이 아닌 업샘플링 연산을 사용하여 출력의 해상도만 높이기 떄문에 높은 해상도의 특징과 결합하여 localization이 가능하게 됩니다. 즉, 다운샘플링을 통해 추출한 특징들은 해상도를 줄이지만 고차원적인 정보를 수집하기에 업샘플링을 통해 원래 해상도로 복원하여 위치 정보를 유지하고 세부적인 경계 정보가 더 뚜렷해져 보다 정밀한 견계 분할을 수행할 수 있습니다.
Figure 1에서 확인 가능하듯이 수축 경로의 특징 맵과 크기가 동일하지 않기 때문에 경계 픽셀이 손실되지 않도록 각 컨볼루션 레이어에서는 적절하게 crop이 수행됩니다. 그리고 마지막 레이어에서는 1x1 컨볼루션 레이어를 사용하여 각 64개의 특징 벡터를 원하는 클래스 수로 매핑합니다.
Ⅲ. Other technique
해당 논문에서는 데이터가 많이 없는 의료 분야처럼 (1) 학습 데이터가 부족한 경우에 data augmentation을 사용하고, (2) 이미지 크기에 대한 제약을 overlap-tile 전략을 사용하여 극복하였으며 (3) 경계를 잘 분할하기 위해 가중치 손실 함수을 설명하였습니다.
ⅰ. data augmentation
데이터 증간은 의료 분야에서 처럼 학습 샘플이 적은 경우 데이터의 invariance와 robustness 를 학습하는데 필수적인 방법입니다. 해당 논문에서 Shift, Rotation, Gray value, Elastic Deformation을 언급하였고 특히, Random Elastic Deformation은 주된 기법으로 pixel 이 가우시안 분포에 따라 랜덤하게 3x3 격자 내에서 부드러운 변형을 생성하는 기법입니다.
ⅱ. over-tile & mirroring strategy
Figure 2 : 큰 크기의 이지에서 부드러운 segmentation을 위한 Overlap-tile strategy, 노란색 영역에서 분할 예측이 진행되고, 파란색 부분을 입력으로 받고 데이터가 없는 입력 부분은 미러링을 통해 추정함.
기존의 FCN은 입력 이미지의 크기에 제약이 없는 것에 반해 U-net은 업샘플링 방식을 통해 입력 이미지 크기에 제약을 가지게 됩니다. 이러한 제약을 극복하기 위해 Over-tile strategy는 이미지의 작은 patch로 나누어 처리한 후, 각 패치에서 얻은 결과를 결합하여 전체 이미지를 재구성하는 방법입니다.
우선 앞서 설명한 Block을 통해 각 패치의 중요한 특징이 추출되고 정보가 압축됩니다. 그 이후 각 패치에서 추출된 특징들은 나중에 Expansive path에서 원래 해상도로 복원하고, 결합이 되는 과정에서 패치 간의 정보가 자연스럽게 통합되어 경계 부분에서 불연속성이 줄어들듭니다. 이렇게 해서 경계 정보가 잘 보존되어 경계가 자연스럽게 이어집니다.
또한, 기존의 슬라이딩 윈도우 탐색 방법은 겹치는 부분이 많아 계산의 불필요한 반복이 생깁니다. U-Net에서는 패딩 없이 컨볼루션 연산을 반복적으로 수행하기 때문에, 입력 이미지가 줄어들어 노란색 영역처럼 출력됩니다. 파란색 영역의 빈 공간은 미러링(mirroring extrapolation)을 활용하여 missing value 문제를 해결합니다.
ⅲ. Loss function
에너지 함수는 픽셀(x)별 소프트맥스를 계산하고, 실제 레이블에 대한 로그 확률인 크로스 엔트로피 계산을 합니다. 이후 경계 픽셀과 가까울 수록 세부 정보를 더 잘 학습할 수 있도록 높은 가중치(w(x))를 주어 손실 함수를 계산합니다.
\[E = \sum_{x \in \Omega}w(x)log(p_{\ell(x)}(x))\]가중치 맵은 가우시안 분포를 가정하여 경계에서 멀어질수록 가중치가 감소하는 형태로 만들어 집니다.
Ⅳ. Code
U-net architecture만 구현한 코드입니다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
### 수축 경로에 사용되는 Conv block
def ConvBlock(inputs, filters=64):
############
# 3x3 형태의 컨볼루션 레이어
# 배치정규화
# ReLU activation
# 3x3 형태의 컨볼루션 레이어
# 배치정규화
# ReLU activation
############
conv1 = layers.Conv2D(filters, kernel_size = (3,3), padding = "same")(inputs)
batch_norm1 = layers.BatchNormalization()(conv1)
act1 = layers.ReLU()(batch_norm1)
conv2 = layers.Conv2D(filters, kernel_size = (3,3), padding = "same")(act1)
batch_norm2 = layers.BatchNormalization()(conv2)
act2 = layers.ReLU()(batch_norm2)
return act2
### 인코더 블록
def encoder(inputs, filters=64):
# 위의 ConvBlock 이후 2x2의 맥스 풀링 적용
# 추가적으로 skip-connection을 위한 변수 return
enc1 = ConvBlock(inputs, filters)
MaxPool1 = layers.MaxPooling2D(strides = (2,2))(enc1)
return enc1, MaxPool1
### 디코더 블록
def decoder(inputs, skip, filters=64):
# 업샘플링 및 skip-connection을 통한 concat 진행 후 ConvBlock을 통한 컨볼루션 연산.
Upsample = layers.Conv2DTranspose(filters, (2, 2), strides=2, padding="same")(inputs)
Connect_Skip = layers.Concatenate()([Upsample, skip])
out = ConvBlock(Connect_Skip, filters)
return out
### U-Net architecture
def get_U_Net(image_size):
inputs = layers.Input(image_size)
# 인코더 부분
skip1, encoder_1 = encoder(inputs, 64)
skip2, encoder_2 = encoder(encoder_1, 64*2)
skip3, encoder_3 = encoder(encoder_2, 64*4)
skip4, encoder_4 = encoder(encoder_3, 64*8)
# bottle neck 부분
conv_block = ConvBlock(encoder_4, 64*16)
# 디코더 부분
decoder_1 = decoder(conv_block, skip4, 64*8)
decoder_2 = decoder(decoder_1, skip3, 64*4)
decoder_3 = decoder(decoder_2, skip2, 64*2)
decoder_4 = decoder(decoder_3, skip1, 64)
# segmentation을 위한 출력층
outputs = layers.Conv2D(3, 1, padding="same", activation="sigmoid")(decoder_4)
model = models.Model(inputs, outputs)
return model
Ⅴ. REFERENCES