Home

ASPP는 DeepLab V3에서 소개된 Pooling 방법이다. 기존의 Spatial pyramid pooling에서, 각 컨볼류션을 Atrous 컨볼류션으로 바꾼 형태이다.

Spatial pyramid는 그림 2에서 보는 것과 같이 여러 Grid scale에서 Pooling을 진행해서 특징맵을 모두 연결시키는 형태이다[3]. 그림 2에는 DeepLab의 ASPP의 구조를 상세히 표현하였다.

Fig. 2. 
ASPP (Atrous + Spatial pyramid pooling)

ASPP는 여러 개의 확장 비율(rate=6, 8, 16)을 사용해서 컨볼류션을 한 후 마지막에 연결시킨다. 확장 계수를 6부터 18까지 변화시키므로 다양한 Receptive field를 볼 수 있다. 이렇게 하면 연산 효율적 측면에서 큰 이득을 얻을 수 있다. Atrous 컨볼류션은 기존 컨볼류션 레이어에 대해 다양한 확장 계수에 따라 필터에 0을 삽입함으로써 필터의 수용적 영역을 유연하게 확장할 수 있다[7]. 나아가 ASPP 구조는 Atrous 컨볼류션 레이어를 병렬로 사용하며, 그 산출물을 결합하여 다양한 수용 분야와 추출한 정보를 연결하는 형태이다[4].

그림 3에서 x[n]은 분해될 원래 신호이고 h[n] 및 g[n]이 각각 저역 통과 및 고역 통과 필터를 통한 절차를 보여준다. 웨이블릿의 분해는 모든 레벨에서 필터링 및 서브 샘플링은 샘플 수의 절반(시간 분해능의 절반)과 통과된 주파수 대역의 절반(주파수 분해능의 두 배)을 초래한다[8].

Fig. 3. 
Wavelet decomposition process

좀 더 자세히 설명을 하면 첫 번째 단계를 진행하면 저주파성분 L과 고주파 성분 H로 나뉘고, 두 번째 단계에서는 이 L, H 성분을 재차 필터링하여 LL, LH, HL, HH 4개의 부 영상을 얻는다. LL 대역의 영상은 해상도가 반으로 줄어든 저주파 성분 이면서 에너지 집중도가 높고 중요한 정보를 유지하고 있다. 나머지 LH, HL, HH 대역의 영상은 수직, 수평, 대각 성분에 대한 Edge 특징을 가지고 있는 고주파 성분에 해당한다.

그림 4는 ASPP를 WASPP로 변경한 블록다이어그램이다. WASPP는 DWT의 변형된 형태로 DWT의 웨이블릿이 진행되면서 특징점 중에서 중요한 정보에 해당하는 저역 부분을 추출하는 것이다[9]. 현재의 ASPP는 컨볼류션 레이어에 대해 다양한 확장성을 확보한 반면 무작위적인 Rate 변화로 인해 주요 특징점이 약해지는 부분이 있다. 이를 개선하기 위해 특징점 중에서 중요한 요소를 모두 포함하고 있는 저역 부분만을 추출하여 다양한 확장성이 강화되도록 WASPP를 적용하였다. 구동 원리를 간단히 설명하면 PWPC의 구조 중 Block 4에서 입력받은 특징점을 1×1 컨볼류션을 처리한 후 LFP(Low Frequency Propagation)의 저주파 성분들(Line LL)에 대해 DWT를 연속 수행한다. 각각의 피라미드 레벨에서, 추출된 Line LL 성분은 1×1 컨볼류션 레이어로 변환되고, 그 후 피라미드 입력과 동일한 공간 분해능, 즉 Block 5로 이중 선형 업 샘플링 된다[9]. 그런 다음 이러한 업 샘플링 된 특징 맵을 연결하여 다른 규모로 캡처된 글로벌 컨텍스트를 연결하는 블록다이어그램이다.

Fig. 4. 
Structure of WASPP

그림 5는 WASPP의 기본 구조이다. Backbone은 FCN 기반 모델의 입력 이미지에서 특징을 추출하기 위한 기본 구조이다. DeepLab V3는 기본적으로 ResNet을 Backbone으로 사용한다. ResNet은 Residual Network를 사용하는 깊은 네트워크이다. ResNet과 같은 고전적인 분류 네트워크를 채택하는 이유는 두 가지가 있다. 첫째, 이러한 네트워크는 ImageNet 대규모 시각적 인식 경쟁에서 우수한 성능을 발휘한 것이다. 둘째, 사전 훈련된 모델로 네트워크의 미세 조정이 수월하기 때문이다[10].

Fig. 5. 
Architecture of fully convolutional network with the WASPP

ResNet 101에서는 입력 이미지(512×512)에 대해 그림 6과 같이 계층구조가 설계가 되어있다. 모두 5번의 컨볼류션을 수행하며 Conv 5에서 특징점 출력 값은 입력대비 1/16로 줄어든 32×32×2048가 된다. 그리고 WASPP의 각 계층구조는 그림 6에 자세히 기록되어있다. WASPP의 각 레이어, 1×1 컨볼류션 이후, 또는 Global average pooling을 한 후 최종적으로 32×32×1280으로 연결된다.

Fig. 6. 
Operation of WASPP

그림 6에는 WASPP의 동작에 대해 블록다이어그램으로 제시하였다. 입력은 컨볼류션 5(Block 4)에서 시작되며 Haar 웨이블릿을 활용하여 Line 3까지 Low frequency 필터를 적용하여 1/2 ~ 1/8만큼 다운 샘플링된 저역 특징점을 먼저 추출하는 방식이다. Pyramid 진행과 웨이블릿 특징점 추출은 Line 3까지 구분하여 진행하였다. 그리고 웨이블릿을 진행한 후 각각의 Line에서 1×1 컨볼류션을 진행한 후 연결하여 전체 출력에 대해 진행한다.

그림 8에는 기존 ASPP의 Pyramid 구조를 이용하면서 중요한 Pyramid pooling에 대해서만 중요한 정보를 담고 있는 웨이블릿의 저역 부분 특징점을 활용한 변형 WASPP의 블록다이어그램이다. 웨이블릿 기능을 이용하여 ASPP 특징점 중에서 Rate 특징점 만을 이용하여 진행하였다. 기존 ASPP는 특정 레이어 대해서 Atrous 컨볼류션을 여러 Rate로 진행한 후 결과들을 합치는 구조이다. 여기서 핵심은 Rate 6, 12, 18에서 추출된 특징점이 결국 세그멘테이션 결정하는데 중추적 역할을 한다는 것이다. 그래서 본 연구에서는 기존 ASPP의 Rate 6, 12, 18의 특징점에 대해서만 웨이블릿을 추가하여 각 Rate 특징점 결과 중에서 저역 부분의 특징점을 추가로 한번 더 추출하는 변형 WASPP를 구현하였다.

Fig. 8. 
Structure of modified WASPP

그림 9는 변형 WASPP 구동방식을 표현한 것이다. Haar 웨이블릿을 활용하여 ASPP의 각 Atrous pooling만 Line 1까지 Low frequency 필터를 적용하여 1/2 만큼 다운된 저역 특징점을 추출한다. Line 1의 경우 Rate 6에 대해서 웨이블릿 저역(중요한 정보) 특징점 추출이 진행되고 1×1 컨볼류션이 진행된다. 이후 2배로 Up-sampling한 특징점들은 연결로 전달된다. 나머지 Rate 12, 18에 대해서도 동일한 방식으로 알고리즘을 구현하였다.

Fig. 9. 
Implementation of modified WASPP

기존 Deeplab v3, WASPP 와 변형 WASPP를 비교 실험한 결과는 표 2에는 epoch = 100의 결과를 표시하였다.

표 2의 epoch=100에서 변형 WASPP는 DeepLab v3 대비 mIOU 1% 정도의 개선된 효과를 보인다. 특히 표 3의 image_6(모니터 prediction) 사진에서는 컴퓨터를 모니터로 오 인식하는 부분이 완전히 개선된 결과를 얻었다. 이것은 epoch=50의 결과로 기존 DeepLab v3는 epoch=200에서도 여전히 오인식이 나타나고 있다.

Image _6	RGB	Ground truth
epochs	DeepLab V3	Modified WASPP
50
100
200

표 3은 epoch = 50, 100, 200에 대한 실험 결과이며, 여기에는 DeepLab v3와 변형 WASPP를 비교한 결과이다.