Home

적대적 공격은 특정 노이즈 또는 섭동을 생성하여 신경망 분류기의 정확도를 줄이거나, 오 분류를 유도하는 방법이다. Goodfellow등이 2014년 처음 FGSM[15]을 제안한 이래로 다양한 방법론이 나왔다. 그 중 대표적인 방법은 CW[16], PGD[17], 등이 있다. FGSM(Fast Gradient Signed Method)은 기존 신경망의 학습 방법인 경사 하강법을 역전시키는 방법이라고 할 수 있으며, 경사의 반대 부호방향으로 손실함수를 증가시킨다. 적대적 예제 x^adv에 대한 식은 다음과 같다.

(1)의 ϵ가 증가하면 생성된 섭동의 강도가 강해지는 것으로 해석할 수 있으며 θ는 모델의 가중치, x는 Input image, y는 x에 대한 Label을 나타낸다. J(θ,x,y)는 Optimization loss이다. FGSM은 신경망 분류기를 효과적으로 방해하는 대표적인 one-step 공격 알고리즘이다.

CW(Carlini and Wagner) 공격 알고리즘은 Carlini와 Wagner가 제안한 공격 방법으로 FGSM만큼 자주 사용되는 공격방법이다. L₀, L₂, L_∞세가지 측면에서 공격하는 방법을 제안하여 섭동의 크기를 작게 만들어 공격하였다. 목적함수 CW는 적대적 공격에 대한 방어 수단으로 제안된 Defensive distillation의 한계를 지적하고 있으며, 높은 공격성능을 보여준다.

Madry등은 MinMax 함수를 활용하여 적대적 공격을 가하고, 적대적 훈련을 통해 공격에 대해 강건한 모델을 생성하는 방법인 PGD(Projected Gradient Descent) 공격을 제안하였다. ∥δ∥_∞ ≤ ϵ를 만족하는 노이즈 집합에서 반복적으로 FGSM 알고리즘을 이용하여 δ를 갱신하는 알고리즘이다.

슈퍼 픽셀 Segmentation은 컴퓨터 비전 전처리에서 다양하게 사용되어왔다. 이러한 영상 분할 기법은 이미지에서 물체에 해당하는 영역을 추출하는 과정으로 이미지 분석을 위한 필수적인 단계라고 할 수 있다. 슈퍼 픽셀을 이용하여 이미지에서 비슷한 특성을 가진 화소들을 묶을 수 있는데, 이렇게 묶여진 영역들을 기본단위로 하여 영상처리를 한다. 여기서 작게 나눠진 영역을 슈퍼픽셀이라고 한다. 슈퍼 픽셀은 밀집성(Compactness), 경계일치도(Boundary precision/recall), 과소분할(Undersegmentation)의 최소화, 균일성(Uniformity)등의 특징이 요구된다[18].

슈퍼픽셀을 구하는 방법에 따라 그래프 기반 방법과 기울기 기반 방법이 있다. 본 논문에서는 기울기 방법 중 가장 최근에 제안된 방법인 SLIC(Simple Linear Iterative Clustering)[19]를 사용하였다. (L, a*, b*, x, y)의 5차원 특징공간에서 슈퍼픽셀을 구하는 방법으로 O(N)의 복잡도를 가지는 속도가 빠른 알고리즘이다.

Gianluigi Ciocca등은[20] 인지학적 측면에서 이미지의 텍스처의 복잡성 인식에 대해 연구하였다. 이를 위해 13가지 복잡성 척도를 설문 조사를 통해 테스트하였고 그 중 높은 피어슨 상관계수를 보여주는 것은 Energy, Edge density[21], Compression ratio[22], Feature congestion이었다. 여기서 Energy 측도는 Grey Level Co-occurrence Matrix (GLCM)의 제곱 합이고 Edge density는 에지 검출기를 그레이스케일 이미지에 적용시켜 얻은 것이다.

Compression ratio는 JPEG로 압축된 이미지와 압축되지 않은 이미지의 비율이며 Feature congestion은 색상, 질감, Orientation congestion 세 가지 척도를 적절하게 결합하여 단일 측정값을 얻은 것이다. 본 논문에서는 그 중 가장 높은 상관계수를 가졌던 Edge density 방법을 사용하여 SLIC를 통해 도출된 이미지의 Segmentaion 영역에서의 텍스처 복잡도를 계산하였다. 그림 2는 원본 이미지에 대한 SLIC Segmentation후 해당 영역에 대한 Edge density를 시각적으로 나타낸 결과이다.

Fig. 2. 
Edge density of each segmentation area

제안하는 알고리즘의 순서는 다음과 같다. 우선 원본 이미지에다 슈퍼 픽셀 Segmentation을 통해 나온 영역에 대한 텍스처를 분석하여 이미지의 텍스처 맵을 만든다. 이 때 최대 Segmentation 갯수는 200개로 설정하였다.

이후, 공격 과정에서 생성한 섭동을 원본 이미지에 적용할 때 텍스처 맵을 사용하여 차등 적용시킨다.

제안하는 적대적 예제에 대한 식은 다음과 같다.

여기서 F는 계산한 텍스처 맵을 의미하며, k는 기존 공격과 동일한 LSE(least squares error)을 가지게 하기 위한 값이다. 이는 공격을 통해 달라지는 공격강도를 기존 공격과 동일한 수준으로 맞추어 주는 역할을 한다. 기존 실험에 사용되는 공격들은 L_∞ norm 형태의 제약조건으로 섭동의 공격의 강도를 결정하는데, 본 논문에서 제안하는 공격은 한 이미지에서 여러 강도의 세기를 가지는 특징을 가지고 있기 때문에, 같은 제약조건으로 비교하면 공격의 강도가 약해지는 결과가 나타난다. 이를 위해 본 실험에서는 L₂ norm 측면으로 비교하였다. 따라서 기존 공격강도와 비슷한 공격을 위해 해당 알고리즘을 사용한 공격의 강도는 기존 공격과 동일한 Least Squares Error(LSE)를 가지도록 한다.

그림 3은 그림 1의 첫 번째 이미지에 대한 FGSM 공격으로 인한 (a)섭동과 (c)결과 이미지, 그리고 생성한 텍스처 맵을 이용하여 생성한 섭동이미지(b)를 사용하여 공격한 결과 이미지 (d)를 보여준다. 그림 4는 그림 3(c)와 3(d)의 상 하단 부분을 확대한 결과이다. 기존 공격인 (a), (c)에 비해 (b), (d)는 섭동 특유의 섭동이 안 보이는 것을 확인 할 수 있다.

Fig. 3. 
Comparison of perturbation (b) using FGSM attack result (c) and using texture filter perturbation (b) result (d)

Fig. 4. 
Texture comparison of the cropped area (a) and (b) in Fig. 3(c) and the cropped area (c) and (d) in Fig. 3(d)

실험에 사용된 코드는 딥러닝 프레임워크인 Pytorch를 사용해서 작성되었다. 또한, 실험에 사용된 컴퓨터는 Intel Zeon@4.20GHz CPU, 128GB 메모리 그리고 NVIDIA RTX Titan GPU 3대로 구성하였다. 데이터 셋으로는 ImageNet[23] 데이터셋을 사용하였다. 전체 데이터셋을 사용하기엔 컴퓨터 자원의 한계가 있어 1,000 클래스에 대해 각 3장의 랜덤 이미지로 구성된 평가 데이터 셋을 사용하였다. 모든 사진은 299×299 사이즈로 리사이징 하였다.

베이스 라인 분류기 모델은 추가학습 없이 Pretrained된 Resnet50[24]이 사용되었다. 해당 분류기의 ImageNet 데이터 셋에 대한 기본 분류 정확도는 92.56%로 높은 정확도를 보여준다.

공격 모델은 FGSM[15]와 FGSM기반 알고리즘인 FFGSM[25], RFGSM[26]과 PGD[17]와 PGD기반 알고리즘인 APGD[27], TPGD[28]을 사용하여 검증였다. 6가지 공격 모델 모두 L_∞ Distance measure을 사용하는 white-box 공격모델이다.

표 1은 각 모델에서 사용한 파라미터를 제시한다. one-step공격이 아닌 경우 7 step으로 모두 설정하였고 적대적 공격에 대한 공격반경 값인 ϵ값과 반복 공격의 경우 step 사이즈 α값은 공격에 대한 강건성이 0%이상이 나오도록 설정 하였다.

표 2는 공격에 대한 결과를 제시한다. 여기서 Accuracy는 해당 공격모델을 통해 생성된 적대적 이미지들의 데이터 셋에 대한 사전 학습된 Resnet50의 정확도이며, 적대적 모델이 강력할수록 오 분류를 유발하기 때문에 Accuracy는 낮아진다. 실험에서 사용한 6가지 공격 모델의 공격성능은 각각 차이가 있으나 비슷한 성능을 가지도록 성능을 조정하였다. 기존 6가지 적대적 모델들에 본 논문에서 제안하는 알고리즘을 적용한 후에도 비슷한 Accuracy를 유지하는 것을 볼 수 있다. 제안하는 알고리즘은 섭동 특유의 시각적 노이즈 패턴을 최소화 하면서도 기존 공격 모델과 마찬가지로 기존 강력한 분류기에 대해 매우 높은 공격성능을 유지하고 있다. 하지만 제안하는 알고리즘은 CPU을 사용하는 특성상 기존 방식에 비해 처리 속도는 늦은 모습을 보여주고 있다. 이는 앞으로 많은 데이터를 대상으로 공격할 경우 GPU상에서 처리하는 등의 기법을 활용하여 속도를 개선해야 될 점이다.