헤시안 기반 Grad-CAM++와 웨이블릿 융합 멀티스케일 활성화 맵으로 고정밀 이미지 복원

2.1 Grad-CAM++의 특징 및 한계

Grad-CAM[1]은 1차 그래디언트를 사용해 클래스 활성화 맵을 생성하지만, 단일 스케일 접근으로 고주파 디테일 포착이 제한된다. Grad-CAM++[3]는 이를 개선하여 클래스별 가중치 $$ {\alpha }_k^c$$는 다음 식 (1)에 따라 계산한다.

이 가중치는 픽셀별 2차 기울기를 활용해 클래스에 대한 레이어 k의 중요도를 정량화한다. 클래스 활성화 맵은 식 (2)로 생성된다.

이 수식은 가중치 $$ {\alpha }_k^c$$와 활성화 맵 A^k를 결합해 클래스(c)에 대한 주목 영역을 시각화한다. 그러나 Grad-CAM++는 단일 스케일 접근으로 인해 고주파 디테일(예: 텍스처, 엣지)을 충분히 반영하지 못하며, 다중 객체 환경에서 클래스 간 경계 구분이 모호해질 수 있다[3][4].

본 논문은 이러한 한계를 극복하고자 HDM-WaveNet을 제안하며, 전역적 민감도 $$ w_k^{\left(2\right)}$$와 정규화된 특징 맵을 통해 멀티스케일에서 의미론적 정보를 통합, Grad-CAM++의 단일 스케일 한계와 레이어 의존성을 극복하여 복잡한 장면에서도 정밀한 시각화를 달성한다.

표 1은 제안 방법과 기존 Grad-CAM, Grad-CAM++[1][3]을 비교한 결과이다. 기존 방법들은 단일 스케일의 그래디언트 정보에 의존하여 시각화 결과가 가장 판별적인 지역에 국한되는 한계가 있다. 이로 인해 객체의 전체적인 윤곽을 파악하기 어렵다. 반면, 제안 방법은 다중 스케일 접근을 통해 이미지의 거시적 맥락과 미시적 특징을 모두 반영하며, 정규화된 특징 맵으로 객체 전체를 보다 안정적으로 표현함으로써 기존의 단점을 개선한다.

Table 1.

Comparison of convolutional layer activation-based visualization methods

2.2 웨이블릿 변환의 특징 및 한계

웨이블릿 변환은 시간-주파수 도메인에서 신호를 분석하는 기법으로, 푸리에 변환과 달리 국소적 특징을 다양한 스케일에서 효과적으로 포착한다[4]. 이는 식 (3)로 정의된다.

여기서 ψ는 웨이블릿 함수, a는 스케일, b는 이동 파라미터를 나타낸다. 웨이블릿 변환은 신호를 다중 해상도로 분해하여 이미지나 신호의 국소적 특징, 특히 엣지와 텍스처를 다양한 스케일에서 정밀히 추출하며, 노이즈가 많은 데이터에서 신호의 주요 성분을 보존하면서 노이즈를 효과적으로 제거한다. 이는 스케일별로 저주파(전체적 구조)와 고주파(세부 패턴) 성분을 분리하여, 예를 들어 Haar 웨이블릿은 간단한 엣지 탐지에, Daubechies 웨이블릿은 복잡한 텍스처 분석에 적합하다[5]. 또한, 웨이블릿의 적응적 스케일링은 신호의 비정상적 주파수 변화를 정밀히 포착하며, 이산 웨이블릿 변환(DWT)은 다중 해상도 처리를 통해 계산 효율성을 높여 대규모 데이터(예: 고해상도 이미지)에 유리하다. 특히, DWT는 계층적 분해를 통해 각 스케일에서 특징을 독립적으로 분석하며, 웨이블릿 패킷 분해는 특정 주파수 대역을 세분화하여 더 정밀한 분석을 가능하게 한다. 웨이블릿의 직교성은 신호를 에너지 보존 방식으로 분해하여 계수 간 상관성을 최소화하며, 멀티 레벨 분해 구조는 주파수 대역별로 독립적인 분석을 지원하여 신호의 세부 패턴을 정밀히 탐지한다. 예를 들어, Morlet 웨이블릿은 주파수 변화가 큰 신호에 적합하며, Coiflet 웨이블릿은 부드러운 신호 재구성에 유리하다. 이러한 특징은 이미지 압축이나 특징 추출과 같은 응용에 활용된다. 그러나 웨이블릿 변환은 CNN의 의사결정 과정과 같은 의미론적 시각적 설명을 제공하지 못하여 모델 해석 가능성에 직접 기여 하지 못한다.

2.3 통합적 접근의 필요성

기존 연구에서 헤시안과 웨이블릿은 멀티스케일 기법으로 각각 통합하지 않고 시도 되었으나 한계가 있었다. 예를 들어, 헤시안은 국소적 패턴을 효과적으로 검출하나 전역 구조 분석이 부족했다. 웨이블릿 변환은 멀티스케일로 엣지와 텍스처를 추출하고 노이즈를 제거하지만, CNN 시각화에는 제약이 있다[4][6]. Grad-CAM++는 클래스별 특징을 시각화하나, 단일 스케일로 지역 및 전역 패턴을 통합적으로 분석하기 어렵다. 단일 기법으로는 복잡한 이미지 분석의 요구를 충족하기 어렵다.

이에 따라, 특징 일관성을 유지하며 지역·전역 패턴을 통합적으로 분석하기 위해 Grad-CAM++와 웨이블릿을 융합한 HDM-WaveNet을 제안한다. 본 모델은 헤시안의 2차 편미분을 활용해 Grad-CAM++를 다중 스케일로 확장하고, 웨이블릿의 3·4차 서브밴드를 통해 주파수별 특징을 추출하여 지역 및 전역 구조를 정밀히 복원한다. 이 통합 접근법은 곡률 정량화와 주파수별 특징 결합을 통해 구현되며, 정밀한 이미지 복원과 복잡한 장면 분석을 가능하게 한다.

3.1 프레임워크 개요

본 연구는 멀티스케일 클래스 활성화 맵으로 생성된 고품질 이미지 복원 알고리즘인 High-Dimensional Multi-scale WaveNet(HDM-WaveNet)은 Grad-CAM++의 단일 스케일 한계와 웨이블릿 변환의 공간적 한계를 극복하여 멀티스케일 융합 이미지를 생성하는 프레임워크로, 복잡한 장면에서 정밀한 이미지 복원과 클래스별 시각화 정밀도를 달성한다. 이는 2.3절에서 논의된 통합 필요성을 구현하며, 그림 1과 같이 세 단계로 구성된다.

Fig. 1.

Framework structure of HDM-WaveNet

첫 번째 단계에서는 고차 편미분(2차, 3차, 4차)을 활용해 특징을 정밀히 탐지한다. Grad-CAM++에 절대값 2차 편미분으로 큰 곡률(예: 텍스처 패턴), 3차 편미분으로 중간 스케일 패턴(예: 엣지 변화, 코너), 4차 편미분으로 세부 패턴(예: 미세 곡률)을 포착하여 양수/음수 곡률 상쇄를 방지한다. 이는 다중 객체와 복잡한 배경에서도 의미론적 특징을 다중 스케일로 분석하여 클래스별 가중치를 정의한다.

두 번째 단계에서는 멀티스케일 가중치를 적용한다. 먼저, 헤시안 행렬의 절대값 2차 편미분으로 Grad-CAM++의 가중치를 정밀화하여 클래스별 중요도를 향상시킨다. 이어서, 웨이블릿 변환으로 이미지를 저주파와 고주파 성분으로 분해하고, 3·4차 편미분 가중치를 서브밴드에 적용하여 주파수별 특징을 추출한다. 이 가중치는 저주파의 구조적 안정성(예: 객체 형태)과 고주파의 지역 디테일(예: 엣지, 텍스처)을 강조하며, 웨이블릿의 다중 해상도 특성을 활용해 노이즈를 제거한다. 주파수 대역별 중요도를 적응적으로 조정하여 특징 손실을 최소화한다.

세 번째 단계에서는 멀티스케일 특징을 통합하여 융합 이미지를 생성한다. 헤시안 기반 가중치와 웨이블릿 서브밴드 특징을 결합하여 지역 패턴(엣지·텍스처)과 전역 구조(객체 형태)를 균형 있게 복원하고, 클래스별 활성화 맵을 생성한다. 예를 들어, 웨이블릿으로 분리된 주파수별 특징을 헤시안 기반 Grad-CAM++로 시각화하여 의미론적 구조와 세부 디테일을 정밀히 복원, 멀티스케일 융합 이미지를 생성한다. 이는 다중 객체 환경에서도 클래스별 기여도를 명확히 구분한다. HDM-WaveNet은 이 세 단계로 멀티스케일 융합 설계를 구현하여 Grad-CAM++ 대비 향상된 시각화 정밀도와 정밀한 이미지 복원을 달성한다.

그림 1은 본 논문에서 제안하는 HDM-WaveNet Framework(하이브리드 알고리즘) 전체 구조를 나타 낸다.

본 프레임워크는 Grad-CAM++의 레이어 의존성과 노이즈 민감성을 극복하는 세 단계로 구성된다. (1)특징 추출: 고차 편미분 절대값으로 특징 추출한다. (2)멀티스케일 가중치 적용: 2차 편미분은 헤시안 멀티스케일에 적용되고, 3차 및 4차 편미분은 웨이블릿 변환의 주파수 분해를 통해 가중치를 부여받는다. 이후 웨이블릿 멀티스케일에 3차 및 4차 편미분에서 추출된 가중치를 적응적으로 적용한다. (3)멀티스케일 통합: 헤시안과 웨이블릿 멀티스케일을 통합하여 최종 High Dimensional Multi-scale WaveNet(HDM-WaveNet)을 생성한다.

3.2 고차 편미분 기반 특징 탐지

Grad-CAM++는 클래스 출력 y^C의 1차 그래디언트로 특징 맵 가중치를 계산해 활성화 영역을 시각화한다. 그러나 1차 그래디언트는 양수/음수 곡률 상쇄로 복잡한 특징(예: 텍스처, 엣지)을 놓친다. 본 방법은 고차 편미분 절대값으로 가중치를 정의해 상쇄를 방지한다. 여기서 y^C는 클래스 C 출력, $$ A_{ij}^k$$는 k번째 특징 맵의 (i,j) 값이다. 특징 추출은 고차 편미분을 통해 수행됩니다: 절대값 2차 편미분맵은 클래스 출력에 대한 2차 미분의 절대값으로, 텍스처의 곡률 크기를 반영한다. 3차($$ w_k^{\left(3\right)}$$)는 엣지/코너의 변화율, 4차($$ w_k^{\left(4\right)}$$)는 미세 곡률을 포착하여 미세 곡률을 포착하여 더 복잡한 텍스처 패턴을 추출한다. 이 절대값 맵은 상쇄를 방지하며, 아키텍처에서 정의된 고차 미분($$ w_k^{\left(2\right)}$$,$$ w_k^{\left(3\right)}$$,$$ w_k^{\left(4\right)}$$)과 일관성을 유지한다.

이러한 과정은 그림 2 텍스처 복잡성 및 방향성 규칙성을 위한 제안된 HDM-CAM 아키텍처에서 특징 추출 단계를 시각적으로 나타내며, 이후 멀티스케일 가중치 적용으로 이어진다.

Fig. 2.

Proposed HDM-CAM architecture for texture complexity and directionality regularity

3.3 멀티스케일 가중치 적용

이 섹션은 가중치 계산에 초점을 맞춘다. 멀티스케일 가중치 적용은 클래스 점수 y^C(모델의 클래스 C에 대한 출력)와 특징 맵$$ A_{ij}^k$$(k번째 컨볼루션 레이어의 활성화, 공간 위치(ij))를 기반으로 고차 편미분 값을 다양한 스케일에서 분석하여 특징의 기여도를 정밀하게 조정한다[6]. 2차 편미분은 헤시안 행렬의 절대값과 고유값을 활용하여 가중치$$ w_k^{\left(2\right)}$$를 계산하고, 3차 및 4차 편미분은 y^C에 대한 절대값 기반 가중치$$ w_k^{\left(3\right)}$$,$$ w_k^{\left(4\right)}$$를 계산한 후, Haar 웨이블릿 변환을 통해 고주파 대역(LH, HL, HH)을 포함한 가중치γ_wavelet,k,δ_wavelet,k를 생성한다.

3.3.2 3차 및 4차 편미분에 대한 웨이블릿 변환

3차 및 4차 편미분은 y^C에 대한 $$ A_{ij}^k$$의 고차 민감도를 포착하여 엣지/코너 변화율과 미세 곡률을 식 (8)로 분석한다.

$\[ \begin{array}{c}{\omega }_k^{\left(3\right)}=\frac{1}{Z}\sum _{ij}\left|\frac{{\partial }^{\left(3\right)}{y}^C}{\partial {\left(A_{ij}^k\right)}^{\left(3\right)}}\right|,\hfill \\ {\omega }_k^{\left(4\right)}=\frac{1}{Z}\sum _{ij}\left|\frac{{\partial }^{\left(4\right)}{y}^C}{\partial {\left(A_{ij}^k\right)}^{\left(4\right)}}\right|\hfill \end{array} \]$

(8)

이 가중치는 Grad-CAM++의 고차 민감도를 직접 반영한다. 이후, Haar 웨이블릿 변환을 적용하여 이미지를 저주파(LL)와 고주파(LH, HL, HH) 대역으로 분해한다.

각 스케일 j와 대역 k에서 $$ w_k^{\left(3\right)}$$,$$ w_k^{\left(4\right)}$$를 웨이블릿 변환하여 가중치 γ_wavelet,kδ_wavelet,k를 식 (9)로 계산한다.

$\[ {\gamma }_{wavelet ,k}\begin{array}{l}={\lambda }_k^{\left(3\right)}\cdot Wavelet\left(w_k^{\left(3\right)},k\right),{\gamma }_{wavelet,k}\hfill \\ ={\lambda }_k^{\left(4\right)}\cdot Wavelet\left(w_k^{\left(4\right)},k\right)\hfill \end{array} \]$

(9)

여기서 $$ {\lambda }_k^{\left(3\right)},{\lambda }_k^{\left(4\right)}$$는 고주파 대역(LH, HL, HH)에서 텍스처와 세부 정보를 강조한다.

• • LH: 수평 방향의 고주파 변화(수평에지, 텍스처)
• • HL: 수직 방향의 고주파 변화(수직에지, 텍스처)
• • HH: 대각 방향의 고주파 변화(복잡한 텍스처 패턴)

가중치 정규화는 식 (10)로 계산한다.

$\[ \begin{array}{c}{W}_{wavelet,k}^{\left(3\right)}=\frac{{\gamma }_{wavelet,k}}{\sum _k{\gamma }_{wavelt,k}},\hfill \\ W_{wavelet,k}^{\left(4\right)}=\frac{{\delta }_{wavelt,k}}{\sum _k{\delta }_{wavelet,k}}\hfill \end{array} \]$

(10)

이 과정은 다양한 스케일에서 특징의 기여도를 조정하여 정밀한 가중치 맵을 생성한다. 이러한 멀티스케일 가중치 적용의 효과는 그림 3에서 시각화된다. 그림 3은 Haar 웨이블릿 변환을 통해 3차 및 4차 편미분에 적용된 서브밴드(LL, LH, HL, HH) 결과를 보여 주며, 색상 평활화를 통해 각 대역의 세부 텍스처 패턴과 방향성을 명확히 나타낸다. 이는 제안된 방법이 텍스처 복잡성과 방향성 규칙성을 효과적으로 포착함을 실험적으로 시각화 맵을 통해 입증하였다.

Fig. 3.

Texture complexity and directionality analysis using wavelet transform and Grad-CAM++

3.4 멀티스케일 통합

멀티스케일 통합은 3.3절에서 계산된 다양한 스 케일의 가중치를 결합하여 최종 가중치 맵을 생성 하는 과정이다[7]. 이는 ResNet-50의 피처 맵에 대해 웨이블릿 변환을 적용하여 서브밴드(LL, LH, HL, HH) 및 레이어 깊이별 기여도를 종합적으로 반영한다. 이를 통해 클래스별 활성화 패턴을 정밀하게 시각화하고, 모델의 예측에 대한 설명력을 강화한다. 통합은 다음과 같은 단계로 구성된다.

4.1 성능 평가

제안된 HDM-WaveNet 기법은 웨이블릿 변환과 헤시안 기반 정보를 결합하여 다중 레이어와 멀티스케일 특징을 포착하는 클래스 활성화 맵을 생성하며, 이는 단일 레이어 및 단일 스케일을 사용하는 기존 Grad-CAM 및 Grad-CAM++ 대비 우수한 성능을 달성했다. 특히, α_j = sigmoid(θ_j)를 통해 데이터 특성에 따라 스케일별 기여도를 적응적으로 조정하여 정밀도를 높였다. 아래 표 2은 ResNet -50을 백본으로 사용한 HDM-WaveNet, Grad–CAM, Grad-CAM++의 성능을 ImageNet과 Pascal VOC 데이터셋에서 비교한 결과의 요약이다.

Table 2.

Performance comparison of HDM-WaveNet, Grad-CAM, and Grad-CAM++ based on ResNet-50

표 2에 제시된 바와 같이, 제안된 HDM-Wave Net은 ImageNet과 Pascal VOC 두 데이터셋 모두에서 Grad-CAM 및 Grad-CAM++ 대비 일관되고 현저히 우수한 성능을 입증했다. 이러한 성능 향상은 분류 정확도(AUC), 객체 위치화 정밀도(IoU), 그리고 이미지 복원 품질(PSNR 및 SSIM)의 모든 측면에서 나타났다.

분류 정확도 AUC(Area Under the Recei ver Operating Characteristic Curve)는 모델이 양성 및 음성 클래스를 얼마나 잘 구별하는지를 모든 가능한 임계값에 걸쳐 측정하는 지표이다.

HDM-WaveNet은 ImageNet 및 Pascal VOC에서 기존 방법론을 크게 상회하는 AUC를 기록했다. 이는 웨이블릿 기반 다중 스케일 특징 통합, 헤시안 가중치, 적응적 메커니즘 α_j = sigmoid(θ_j)이 이미지 내 핵심 영역을 정밀하게 식별하여 Grad-CAM의 한계를 극복한 결과이다.

객체 위치화 정밀도 IoU(Intersection over Union)는 예측된 활성화 맵이 실제 객체 경계와 얼마나 잘 일치하는지를 정량화하는 지표이다. 높은 IoU는 모델의 예측이 실제 객체 경계와 밀접하게 일치함을 나타내며, 이는 정밀한 위치 파악이 요구되는 작업에서 모델의 설명력을 높이는 데 필수적이다. HDM-WaveNet은 ImageNet 및 Pascal VOC에서 기존 방법론보다 높은 IoU를 달성했다. Pascal VOC의 복잡한 조건에도 불구하고 높은 IoU를 유지한 것은 다중 스케일 접근 방식의 강건성을 입증한다. 웨이블릿 변환을 통해 미세한 경계와 전체 형태를 효과적으로 식별하여 Grad-CAM의 불완전한 객체 포착 문제를 개선했다.

HDM-WaveNet은 웨이블릿 변환으로 노이즈를 억제하고 세부 정보를 재구성하여, 기존 대비 약 10% 이상 향상된 PSNR 및 SSIM을 기록하며 이미지 복원 품질을 개선했다.

그림 4는 IoU 데이터셋 성능 비교 그래프이다.

Fig. 4.

Performance comparison graph of IoU across different datasets

4.2 고찰

본 연구의 결과는 HDM-WaveNet의 우수성을 보여주나, 몇 가지 논의할 점을 남긴다. 첫째, HDM-WaveNet은 Pascal VOC와 ImageNet에서 높은 IoU(0.75/0.70)를 기록하며 미세 구조(가장자리, 텍스처)를 효과적으로 포착했으나, 초고해상도 이미지에서는 성능이 제한될 수 있다. 이는 웨이블릿 변환의 스케일 매개변수와 고차 편미분 계산의 연산 복잡도가 해상도 증가에 따라 비례적으로 증가하기 때문이다. 또한, 엔트로피 분석을 통해 주파수 대역별 정보 복잡도를 평가한 결과, 초고해상도 이미지에서 PSNR과 SSIM이 낮아질 가능성이 있으며, 이는 HDM-WaveNet의 이미지 복원 품질이 해상도에 따라 변동성을 보일 수 있음을 시사한다. 둘째, 실험은 ImageNet과 Pascal VOC에 국한되었으며, 클래스 수가 많고 복잡한 장면을 포함하는 COCO 등과 같은 데이터셋에서 성능 검증이 미비하다. 이는 멀티스케일 접근법의 일반화 능력을 평가하는데 중요한 과제이다. 셋째, HDM-WaveNet은 클래스 활 성화 맵(CAM)을 강화하여 품질을 향상하였지만 다양한 도메인에서 사용할 수 있는 실용성 강화가 필요하다.