이미지의 텍스처 분석을 통한 적대적 섭동 후처리 방법

Ⅰ. 서 론

컴퓨터 비전 분야에서 컨볼루션 신경망(CNN)[1]-[3]은 이미지 특징 추출에 널리 사용되며 대부분의 컴퓨터 비전 분야에서 높은 성능으로 인정받고 있다. 그러나 일반적으로 딥 러닝 알고리즘은 두 가지 단점이 지적 되고 있다. 첫 번째는 딥 러닝 알고리즘에 내재된 불확실성[4] 이고, 두 번째는 훈련된 딥 러닝 모델의 추론결과를 설명할 수 없다는 블랙 박스적 특징이다[5].

그 중 불확실성 문제로 인해 최신 신경망 모델을 포함한 여러 머신 러닝 모델이 적대적 공격에 매우 취약한 것으로 나타났다. Szegedy 등은 딥 러닝 모델은 다양한 컴퓨터 비전 분야에서 높은 성능을 보여주지만 이미지 분류 문제에서 흥미로운 약점을 제시한다[6].

논문에서 딥 러닝 모델의 높은 분류 정확도에도 불구하고 인간의 눈으로 거의 인식할 수 없는 약간의 섭동을 추가하면 이미지의 분류 결과가 바뀌었다는 것을 보여주었다. 이러한 적대적 공격을 통해 생성된 이미지, 즉 적대적 사례는 딥 러닝 모델 개발에서 중요한 문제로 간주된다. 이러한 문제를 해결하기 위해 최근 많은 연구가 이루어지고 있다[7]-[9].

그러한 적대적 공격에 의해 생성 된 섭동의 주요 목적 중 하나는 인간에게 보이지 않는 것이다. 대부분의 연구에서 섭동의 가시성의 정도는 L^p norm 형태로 측정하고 있다. 그러나 이러한 제약조건은 실제 섭동이 인간 지각하는 변화와 차이가 있다. 일반적인 디지털 거리는 인간 인식의 뉘앙스를 반영하지 않고 있다. 그림 1에서는 이러한 적대적 사례의 데이터 셋에서 같은 제약조건의 공격이더라도 섭동이 눈에 띄는 정도는 서로 다른 것을 확인 할 수 있다[10].

Fig. 1.

Adversarial examples attacked with the same constraints

본 논문에서는, 공격에 사용된 섭동 특유의 텍스처를 효과적으로 숨기기 위해 시각 인지적 측면으로 접근하였다[11][12]. 적대적 섭동들은 대개 색조가 강한, 복잡한 형태의 노이즈 텍스처로 이루어져 있다. 게슈탈트 이론에서는 인간의 주의가 다른 요소들과는 다르게 보이는 요소들에 대비에 집중되는 것을 설명한다[13][14].

따라서 이러한 논문들에 기반하여 이미지 분석을 통해 적대적 사례들에서 섭동이 인지되기 쉬운 부분들에 대하여 섭동을 차등 적용시키는 방법을 제안한다.

본 논문의 구성은 다음과 같다. 1장에서는 연구의 배경 및 목적에 대해 서술하였다. 2장에서는 이론적 배경 및 알고리즘에 대해 설명하고 3장에서는 제시하는 알고리즘에 대해 설명한다. 4장에서는 실험에 사용한 데이터 및 조건들을 정리하고 실험 내용 및 결과를 분석한다. 5장에서는 본 논문에서 제안한 시스템 구성에 대한 결론을 내리고 향후 연구 방향을 제시한다.

Ⅱ. 이론적 배경

Ⅲ. 텍스처 분석을 통한 후처리 방법

3.2 텍스처 분석

Gianluigi Ciocca등은[20] 인지학적 측면에서 이미지의 텍스처의 복잡성 인식에 대해 연구하였다. 이를 위해 13가지 복잡성 척도를 설문 조사를 통해 테스트하였고 그 중 높은 피어슨 상관계수를 보여주는 것은 Energy, Edge density[21], Compression ratio[22], Feature congestion이었다. 여기서 Energy 측도는 Grey Level Co-occurrence Matrix (GLCM)의 제곱 합이고 Edge density는 에지 검출기를 그레이스케일 이미지에 적용시켜 얻은 것이다.

Compression ratio는 JPEG로 압축된 이미지와 압축되지 않은 이미지의 비율이며 Feature congestion은 색상, 질감, Orientation congestion 세 가지 척도를 적절하게 결합하여 단일 측정값을 얻은 것이다. 본 논문에서는 그 중 가장 높은 상관계수를 가졌던 Edge density 방법을 사용하여 SLIC를 통해 도출된 이미지의 Segmentaion 영역에서의 텍스처 복잡도를 계산하였다. 그림 2는 원본 이미지에 대한 SLIC Segmentation후 해당 영역에 대한 Edge density를 시각적으로 나타낸 결과이다.

Fig. 2.

Edge density of each segmentation area

3.3 텍스처 분석을 통한 후처리 방법

제안하는 알고리즘의 순서는 다음과 같다. 우선 원본 이미지에다 슈퍼 픽셀 Segmentation을 통해 나온 영역에 대한 텍스처를 분석하여 이미지의 텍스처 맵을 만든다. 이 때 최대 Segmentation 갯수는 200개로 설정하였다.

이후, 공격 과정에서 생성한 섭동을 원본 이미지에 적용할 때 텍스처 맵을 사용하여 차등 적용시킨다.

제안하는 적대적 예제에 대한 식은 다음과 같다.

$\[ x^{adv}=x+ϵ\cdot k\cdot F\cdot sign\left({\text{∇}}_{x}J\left(\theta ,x,y\right)\right) \]$

(2)

여기서 F는 계산한 텍스처 맵을 의미하며, k는 기존 공격과 동일한 LSE(least squares error)을 가지게 하기 위한 값이다. 이는 공격을 통해 달라지는 공격강도를 기존 공격과 동일한 수준으로 맞추어 주는 역할을 한다. 기존 실험에 사용되는 공격들은 L_∞ norm 형태의 제약조건으로 섭동의 공격의 강도를 결정하는데, 본 논문에서 제안하는 공격은 한 이미지에서 여러 강도의 세기를 가지는 특징을 가지고 있기 때문에, 같은 제약조건으로 비교하면 공격의 강도가 약해지는 결과가 나타난다. 이를 위해 본 실험에서는 L₂ norm 측면으로 비교하였다. 따라서 기존 공격강도와 비슷한 공격을 위해 해당 알고리즘을 사용한 공격의 강도는 기존 공격과 동일한 Least Squares Error(LSE)를 가지도록 한다.

그림 3은 그림 1의 첫 번째 이미지에 대한 FGSM 공격으로 인한 (a)섭동과 (c)결과 이미지, 그리고 생성한 텍스처 맵을 이용하여 생성한 섭동이미지(b)를 사용하여 공격한 결과 이미지 (d)를 보여준다. 그림 4는 그림 3(c)와 3(d)의 상 하단 부분을 확대한 결과이다. 기존 공격인 (a), (c)에 비해 (b), (d)는 섭동 특유의 섭동이 안 보이는 것을 확인 할 수 있다.

Fig. 3.

Comparison of perturbation (b) using FGSM attack result (c) and using texture filter perturbation (b) result (d)

Fig. 4.

Texture comparison of the cropped area (a) and (b) in Fig. 3(c) and the cropped area (c) and (d) in Fig. 3(d)

Ⅳ. 실험 및 평가

4.2 공격 모델

베이스 라인 분류기 모델은 추가학습 없이 Pretrained된 Resnet50[24]이 사용되었다. 해당 분류기의 ImageNet 데이터 셋에 대한 기본 분류 정확도는 92.56%로 높은 정확도를 보여준다.

공격 모델은 FGSM[15]와 FGSM기반 알고리즘인 FFGSM[25], RFGSM[26]과 PGD[17]와 PGD기반 알고리즘인 APGD[27], TPGD[28]을 사용하여 검증였다. 6가지 공격 모델 모두 L_∞ Distance measure을 사용하는 white-box 공격모델이다.

표 1은 각 모델에서 사용한 파라미터를 제시한다. one-step공격이 아닌 경우 7 step으로 모두 설정하였고 적대적 공격에 대한 공격반경 값인 ϵ값과 반복 공격의 경우 step 사이즈 α값은 공격에 대한 강건성이 0%이상이 나오도록 설정 하였다.

Table 1.

Parameters of adversarial attack models

4.3 실험 결과

표 2는 공격에 대한 결과를 제시한다. 여기서 Accuracy는 해당 공격모델을 통해 생성된 적대적 이미지들의 데이터 셋에 대한 사전 학습된 Resnet50의 정확도이며, 적대적 모델이 강력할수록 오 분류를 유발하기 때문에 Accuracy는 낮아진다. 실험에서 사용한 6가지 공격 모델의 공격성능은 각각 차이가 있으나 비슷한 성능을 가지도록 성능을 조정하였다. 기존 6가지 적대적 모델들에 본 논문에서 제안하는 알고리즘을 적용한 후에도 비슷한 Accuracy를 유지하는 것을 볼 수 있다. 제안하는 알고리즘은 섭동 특유의 시각적 노이즈 패턴을 최소화 하면서도 기존 공격 모델과 마찬가지로 기존 강력한 분류기에 대해 매우 높은 공격성능을 유지하고 있다. 하지만 제안하는 알고리즘은 CPU을 사용하는 특성상 기존 방식에 비해 처리 속도는 늦은 모습을 보여주고 있다. 이는 앞으로 많은 데이터를 대상으로 공격할 경우 GPU상에서 처리하는 등의 기법을 활용하여 속도를 개선해야 될 점이다.

Table 2.

Experiment result

Ⅴ. 결론 및 향후 과제

본 논문에서는, 이미지의 텍스처를 분석하여 기존 적대적 공격의 특유의 노이즈 패턴이 눈에 띄지 않게 하는 필터를 제안하였다. 이를 위해 SLIC 알고리즘을 통해 이미지의 영역을 나눠 텍스처 패턴을 분석하였으며, 기존 공격과 동일한 L₂ Distance measure를 가지도록 하였다. 제안한 방법은 기존 L_∞ norm 공격 모델들에 적용하여 노이즈 식별에 대한 더 나은 성능을 보였다.

본 논문에서는 기존에 시도되지 않았던 적대적 공격의 본질에 대해 접근하여, 인지학적 측면에서 공격이 더 잘 보이지 않도록 하는 방법을 제안했다는 점에서 연구의 의의를 찾을 수 있다. 그러나 공격 단계에서 이미지 분석을 한 것이 아닌 필터를 사용하여 후처리를 통한 방법이라는 점과 CPU에서 처리함으로써 발생하는 병목현상으로 인한 비교적 느린 처리속도, 설문조사 등을 통한 방법이 아닌 시각에 눈에 띄는 정도를 정량적으로 계산할 수 있는 방법이 아직 없다는 점 등에서 본 연구의 한계를 찾을 수 있다. 따라서 이들 한계점을 극복하기 위한 연구를 본 논문의 향후 과제로 한다.

References

• Y. LeCun, Y. Bengio, and G. E. Hinton, "Deep learning", Nature 521. pp. 436-444, 2015. [https://doi.org/10.1038/nature14539]
• A. Krizhevsky, I. Sutskever, and G. E. Hinton. "Imagenet classification with deep convolutional neural networks", Communications of the ACM, Vol. 60, No. 6, May 2017. [https://doi.org/10.1145/3065386]
• K. He, X. Zhang, and J. Sun, "Deep residual learning for image recognition", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, Nevada, pp. 770-778, Jun. 2016.
• Y. Gal, "Uncertainty in deep learning", PhD thesis, 2016.
• A. Holzinger, "From Machine Learning to Explainable AI", 2018 World Symposium on Digital Intelligence for Systems and Machines (DISA), Kosice, Slovakia, pp. 55-66, Aug. 2018. [https://doi.org/10.1109/DISA.2018.8490530]
• C. Szegedy, W. Zaremba, and I. Sutskever, "Intriguing properties of neural networks", arXiv:1312.6199, , Dec. 2013.
• K. Eykholt, I. Evtimov, and E. Fernandes, "Robust physical-world attacks on deep learning visual classification", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, Utah, pp. 1625-1634, Jun. 2018. [https://doi.org/10.1109/CVPR.2018.00175]
• N, Papernot, P. McDaniel, and X. Wu, "Distillation as a defense to adversarial perturbations against deep neural networks", In 2016 IEEE Symposium on Security and Privacy (SP), San Jose, CA, USA, pp. 582-597, May 2016. [https://doi.org/10.1109/SP.2016.41]
• F Haque, D S Kang, “Deep Adversarial Residual Convolutional Neural Network for Image Generation and Classification”, Korean Institute of Information Technology, Vol. 10, No. 1, Jul. 2020. [https://doi.org/10.14801/JAITC.2020.10.1.111]
• J. Shen, "On the foundations of vision modeling. I. Weber’s law and Weberized TV restoration", Physica D: Nonlinear Phenomena, Vol. 175, No. 3-4, pp. 241–251, Feb. 2003. [https://doi.org/10.1016/S0167-2789(02)00734-0]
• J. Shen, "On the foundations of vision modeling. II. Mining of mirror symmetry of 2-D shapes", Journal of Visual Communication and Image Representation, Vol. 16, No. 3, pp. 250-270, Jun. 2005. [https://doi.org/10.1016/j.jvcir.2004.11.003]
• M. Wertheimer, "Laws of organization in perceptual forms", in A Sourcebook of Gestalt Psychology, pp. 71–88, 1938. [https://doi.org/10.1037/11496-005]
• I. Kovacs, "Gestalten of today: early processing of visual con- tours and surfaces", Behavioural Brain Research, Vol. 82, No. 1, pp. 1–11, Dec. 1996. [https://doi.org/10.1016/S0166-4328(97)81103-5]
• I. J. Goodfellow, J. Shlens, and C. Szegedy, "Explaining and harnessing adversarial examples", arXiv:1412.6572, , Dec. 2014.
• N. Carlini and D. Wagner, "Toward sevaluating the robustness of neural networks", IEEE symposium on security and privacy, San Jose, CA, USA, pp. 39-57, May 2017. [https://doi.org/10.1109/SP.2017.49]
• A. Madry, A. Makelov, and L. Schmidt, "Towards deep learning models resistant to adversarial attacks", arXiv:1706.06083, , Jun. 2017.
• J. H. Lee, "A Setting of Initial Cluster Centers and Color Image Segmentation Using Superpixels and Fuzzy C-means(FCM) Algorithm", Journal of Korea Multimedia Society, Vol. 15, No. 6, pp. 761-769, Jun. 2012. [https://doi.org/10.9717/kmms.2012.15.6.761]
• R. Achanta, A. Shaji, and K. Smith, "SLIC Superpixels", EPFL Technical Report, pp. 1-15, 2010.
• G. Ciocca, S. Corchs, and F. Gasparini, "Complexity Perception of Texture Images", ICIAP 2015 Workshops, Genoa, Italy, pp. 119-126, Sep. 2015. [https://doi.org/10.1007/978-3-319-23222-5_15]
• M. L. Mack, and Oliva A., "Computational estimation of visual complexity", The 12th annual Object, Perception, Attention, and Memory Conference, Minneapolis, Nov. 2004.
• D. Comaniciu and P. Meer, "Mean shift: A robust approach toward feature space analysis and the edge detection algorithm", IEEE Transactions on Pattern Analysis nd Machine Intelligence, Vol. 24, No. 5, pp. 603-619, May. 2002. [https://doi.org/10.1109/34.1000236]
• J. Deng, W. Dong, and R. Socher, "ImageNet: A large-scale hierarchical image database", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, USA, pp. 248-255, Jun. 2009. [https://doi.org/10.1109/CVPR.2009.5206848]
• K. He, X. Zhang, and S. Ren, "Deep Residual Learning for Image Recognition", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, Nevada, pp. 770-778, Jun. 2016.
• E. Wong, L. Rice, and J. Zico Kolter, "Fast is better than free: Revisiting adversarial training", arXiv:2001.03994, , Jan. 2020.
• F. Tramèr, A. Kurakin, and N. Papernot, "Ensemble Adversarial Training : Attacks and Defences", arXiv:1705.07204v5, , May 2017.
• S. Roland. Zimmermann, "Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network", arXiv:1907.00895, , Jul. 2019.
• C. Szegedy, V. Vanhoucke, and S. Ioffe, "Rethinking the Inception Architecture for Computer Vision", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, Nevada, pp. 2818-2826, Jun. 2016. [https://doi.org/10.1109/CVPR.2016.308]