학습 영상 생성 강화를 이용한 악천후 영상의 시인성 개선

Ⅰ. 서 론

인공지능 기술의 발달로 컴퓨터 비전 기반의 자율주행차 개발이 활발해지고 있다. 자율주행 기술은 차량이 주변 환경을 스스로 인식하고 주행할 수 있는, 미래 교통 시스템을 혁신적으로 변화시킬 수 있는 기술이지만, 우천 시 전방 카메라 렌즈에 맺히는 물방울은 영상의 선명도를 크게 저하시키며, 보행자, 차량, 도로 표지판과 같은 객체를 명확히 인식하는 데 어려움을 초래한다. 이러한 가시성 문제는 객체 인식 성능에 부정적인 영향을 미쳐 주행 중 사고 위험을 증가시킬 수 있으며, 이를 개선하기 위한 기술 개발은 자율주행의 안전성과 신뢰성을 높이는 데 필수적이다[1].

딥러닝을 이용한 Image-to-Image Translation은 특정 영역의 영상을 목표 영역의 영상으로 변환하는 기술이다. 특히 GAN(Generative Adversarial Network)은 경쟁적 학습을 통해 양질의 이미지를 생성할 수 있어 Image-to-Image Translation에 적극적으로 사용된다[2][3]. GAN 기반의 대표적인 모델 Pix2pix는 학습을 위해 입력 이미지와 대응 이미지가 쌍을 이루는 데이터 셋이 필요하고 많은 양의 데이터를 필요로 하기 때문에 활용에 한계가 있다. 이를 극복하기 위해 CycleGAN(Cycle-Consistent Aversarial Network)이 도입되었다[4].

물방울 제거를 위한 영상 학습을 언페어(Unpair) 데이터 셋으로 학습을 진행하는 CycleGAN은 페어(Pair) 데이터 셋으로 학습을 진행하는 인공지능 모델에 비해 데이터 셋의 확보가 용이하다는 장점이 있다[4]. 그러나 그림 1(b)에서처럼 언페어 데이터 셋으로 학습을 진행한 CycleGAN은 변환 결과 영상에서 영상의 색이나 밝기에 왜곡이 생기고 충분한 물방울 제거 효과가 나타나지 않는 단점을 보인다. 이는 페어 영상 셋이 아닌 언페어 영상 셋을 학습 데이터 셋으로 사용하기 때문에 요구되는 특징을 지정하여 변환하기 어려워지고 상대적으로 물방울 제거에 있어 한계가 발생된다. 반면에 그림 1(c)에서처럼 페어 데이터 셋으로 학습한 CycleGAN은 변환 결과 영상에서 물방울 특징을 잘 검출하여 영상의 색이나 밝기에 언페어 학습과 비교하여 왜곡 없이 변환하는 것을 확인할 수 있다.

Fig. 1.

Water droplet input and results of water droplet removal using CycleGAN (a) Original water droplet image, (b) Result of water droplet removal using unpaired CycleGAN, (c) Result of water droplet removal using paired CycleGAN

페어 데이터 셋으로 CycleGAN 학습을 할 때, 데이터 셋이 충분하지 않은 경우 부족한 학습 데이터에 지나치게 최적화되어 테스트 데이터에 일반화하지 못하는 과적합 현상이 발생할 수 있기 때문에 충분한 페어 데이터 셋 확보가 필요하다[5]. 또한 데이터 셋을 보충하면 모델이 더 다양한 패턴을 학습할 수 있기 때문에, 물방울의 다양한 특성을 인식하고 효과적으로 제거하여 시인성을 개선할 수 있다. 따라서 본 연구에서는 우선 데이터 셋 보충을 위해 가상의 물방울 생성 모듈을 학습하였고, 분류 모델인 CNN(Convolutional Neural Network)을 사용하여 선별된 양질의 데이터 셋만이 기존 데이터 셋에 추가되어 학습을 위한 증식된 데이터 셋을 구성하게 된다.

물방울 제거 학습을 하기에 앞서, CycleGAN 모델의 예측 값과 실제 값의 차이를 계산하는 손실(Loss) 함수 중 L1 Loss 관련 함수들의 입력과 타겟 부분을 수정하여 물방울 영역에 초점을 맞춘 학습이 이루어지도록 하였다. L1 Loss가 수정된 CycleGAN 모델은 물방울을 중점으로 학습이 더욱 가속화되어 기존 학습보다 epoch가 증가함에 따라 Loss가 더 빠르게 감소하고, 물방울이 없는 배경에서의 왜곡이 개선된다[6].

본 논문에서는 CycleGAN 모델을 기반으로 하여 학습한 2가지 모듈을 적용함으로써 물방울이 제거된 영상을 복원하여 시인성을 개선하는 방법을 제안한다. 첫 번째 모듈은 앞서 언급한 증식된 데이터 셋을 L1 Loss가 수정된 CycleGAN 모델로 학습하여 효율적인 물방울 제거에 초점이 맞춰져있다.

두 번째 모듈은 동일하게 증식된 데이터 셋을 활용하지만 타겟 이미지에 톤 매핑을 적용하여, 추가적인 물방울 제거와 톤 매핑에 초점이 맞춰져있다. 두 가지 모듈을 순차적으로 적용한 결과 영상은 단순히 기존 페어 데이터 셋으로 학습한 모듈의 결과 영상과 비교했을 때 영상의 물방울 부분을 더 잘 제거함과 동시에, 디테일 손실과 명암비가 개선되는 것을 확인할 수 있다.

Ⅱ. 관련 연구

Ⅲ. 제안 방법

그림 2는 본 논문에서 제안하는 효과적인 물방울 제거를 위한 알고리즘을 학습 데이터 생성과 시인성 개선으로 나누어 구성한 흐름도를 나타낸다.

Fig. 2.

Flowchart of the proposed method

흐름도는 A부터 F까지 순서대로 총 6개의 단계로 구성되어 있다. A는 물방울 가상 생성 모듈 학습, B, C는 데이터 증식을 효율적으로 하기 위한 방법, D는 물방울 제거 모듈(Rem_module) 학습, E, F는 물방울 제거 및 톤 매핑 모듈(Rem&TM_module) 학습에 대한 단계이다.

3.1 학습 데이터 생성

3.1.1 CycleGAN 기반 물방울 가상 생성 모듈 학습

앞서 설명했듯이, 페어 데이터 셋으로 CycleGAN 학습을 하기 위해서는 충분한 페어 데이터 셋 확보가 중요하다. 본 학습에서의 페어 데이터 셋은 물방울이 없는 깨끗한 영상과, 동일 배경에서 물방울이 맺혀있는 물방울 영상으로 이루어져 있다. 그러나 동일한 배경에서 페어 데이터 셋을 확보하는 것은 현실적으로 어렵다. 따라서 본 연구에서는 학습을 위한 기존의 부족한 페어 데이터 셋을 가상의 데이터 셋으로 보충하기 위해서, 흐름도의 첫 번째 블록에서 가상의 물방울 생성 모듈을 학습하였다. 기존에 보유한 800개의 페어 데이터 셋과 400개의 언페어 데이터 셋을 각각 CycleGAN에 입력으로 제공하여 서로 다른 두 가지 물방울 생성 학습을 하였다. 이때 학습 epoch는 동일하게 300으로 설정하였다.

3.1.2 데이터 증식

두 번째 블록에서, 이전 단계에서 학습한 2가지 생성 모듈로 물방울이 없는 깨끗한 영상에 가상의 물방울을 생성하였다. 그림 3에서 그 결과를 나타내었다.

Fig. 3.

Results of generating fake water droplet (a) Result of module trained with 800 paired dataset, (b) Result of module trained with 400 unpaired dataset

그림 3(a)는 800개의 페어 데이터 셋으로 학습한 모듈의 가상 물방울 생성 결과로, 물방울이 작고 뚜렷하며 밀도가 높은 것을 확인할 수 있다. 반면에 그림 3(b)는 400개의 언페어 영상 셋으로 학습한 모듈의 가상 물방울 생성 결과로, 물방울이 크고 투명하며 밀도가 낮은 것을 확인할 수 있다.

그림 3에서 볼 수 있듯이, 페어 데이터 셋의 경우 입력과 GT(Ground Truth)가 1:1로 매칭된 지도 학습에 해당되어 비지도 학습인 언페어 데이터 셋의 경우보다 화질이 우세하다. 그럼에도 물방울의 여러가지 패턴들을 학습하면, 실제로 다양하게 맺히는 물방울을 더욱 효과적으로 제거하여 시인성을 개선할 수 있기 때문에 두 모듈을 모두 사용해서 데이터 증식을 하였다.

3.1.3 데이터 분류 모델 학습

세 번째 블록에서, 우리는 증식된 데이터 중 좋은 데이터를 분류하기 위해 CNN 분류 모델을 학습하여 사용했다. 그림 4는 두 가지 가상 물방울 생성 결과를 보여준다.

Fig. 4.

Results of generating fake water droplet (a) Well-formed image, (b) Bad-formed image

대부분의 가상 물방울은 그림 4(a)와 같이 잘 형성되지만, 일부는 그림 4(b)와 같이 제대로 형성되지 않는다. 이러한 데이터를 하나씩 수동으로 분류하는 작업은 매우 번거롭기 때문에 CNN 분류 모델을 학습하여 효율적으로 양질의 데이터를 선별하였다.

본 연구에서 사용된 CNN 모델은 3개의 합성곱층과 풀링층으로 구성되어 있으며, 각 합성곱층에는 3×3 크기의 필터를 사용하고 패딩을 1로 설정하여 입력 영상의 크기를 유지하였다. 활성화 함수로는 ReLU를 적용하였으며, 2×2 크기의 최대 풀링 연산을 수행하여 특징 맵의 크기를 절반으로 축소하였다. 이후에 특징 맵은 Flatten 과정을 거쳐서 1차원 벡터로 변환되며, 완전 연결층으로 전달되어 최종적인 분류를 하게된다. 학습은 600개의 페어 데이터에 대해서 총 100 epoch 동안 진행되었으며, 손실 함수로는 교차 엔트로피 손실 함수(Cross entropy loss), 기울기 손실 최적화 기법으로는 Adam 옵티마이저를 사용하였다[12].

그림 5는 데이터 증식을 적용하지 않고 CNN 모델을 학습한 결과를 보여준다.

Fig. 5.

Results of the CNN model training without data augmentation (a) Loss, (b) Accuracy

그림 5(a)에서 볼 수 있듯이, 학습 손실(Training loss)은 0에 가까워지는 반면, 검증 손실(Validation loss)은 약 8.5까지 증가한다. 마찬가지로, 그림 5(b)에서 확인할 수 있듯이, 학습 정확도(Training accuracy)는 100%에 근접하지만, 검증 정확도(Validation accuracy)는 55%에서 70% 사이에서 변동한다. 반면 그림 6은 데이터 증식 기법인 RandomFlip과 RandomCrop을 적용하여 CNN 모델을 학습한 결과를 보여준다.

Fig. 6.

Results of the CNN model training with data augmentation (a) Loss, (b) Accuracy

그림 6(a)에서 볼 수 있듯이, 훈련 손실은 0에 근접하며, 검증 손실도 훈련 손실을 따라 0에 가까워진다. 또한 그림 6(b)에서 볼 수 있듯이, 초기 CNN 모델에 비해 훈련 정확도는 다소 낮아 90%에 근접하지만, 검증 정확도도 훈련 정확도를 따라 90%에 가까워진다. 따라서 본 연구에서는 데이터 증식을 적용하여 CNN 모델을 학습하였다. 학습된 CNN 모델로 가상의 물방울 영상 4,000장에 대해서 잘 형성된 가상의 물방울 영상과 잘못 형성된 영상을 분류했다. 표 1은 분류 결과에 대해 분석한 것을 나타내었다.

Table 1.

Analysis of classification results

표 1에서 알 수 있듯이 잘 생성된 가상의 물방울 영상은 4,000장 중 1,200장이다. 이중 800 페어 데이터 셋으로 학습한 모듈의 결과가 685장으로, 400 페어 데이터 셋으로 학습한 모듈의 결과인 515장 보다 조금 더 비중이 큰 것을 알 수 있다. 1,200장의 잘 생성된 가상의 물방울 영상들만 깨끗한 원본과 쌍을 이루어 최종 물방울 제거 모듈의 학습에 사용되었다.

3.2 시인성 개선

3.2.1 CycleGAN 기반 물방울 제거 모듈 학습

네 번째 블록에서, Rem_module의 물방울 부분 집중 학습을 위해 L1 Loss의 입력과 타겟 부분을 수정했다. 물방울 영상과 깨끗한 영상의 차이를 구한 차영상을 추가로 로드하였고, 이를 정규화(Normalization)하여 L1 Loss의 입력과 타겟 부분에 곱해줬다. 결과적으로 L1 Loss를 적용하는 Cycle Consistency Loss, Identity Loss를 계산할 때 물방울 부분을 집중적으로 학습할 수 있게 되었다.

식 (5)와 식 (6)은 각각 수정된 Cycle Consistency Loss, Identity Loss 수식을 나타낸다.

$\[ \begin{array}{c}{L}_{cyc}\left(G,F\right)=\left(E_{x\sim p_{data}\left(x\right)}\right.\left[{‖M\mathrm{*}\left(F\left(G\left(x\right)\right)-x\right)‖}_1\right]\hfill \\ \left.+E_{y\sim p_{data}\left(y\right)}\left[{‖M\mathrm{*}\left(G\left(F\left(y\right)\right)-y\right)‖}_1\right]\right)\mathrm{*}100\hfill \end{array} \]$

(5)

$\[ \begin{array}{c}{L}_{identity}\left(G,F\right)=\left(E_{y\sim p_{data}\left(y\right)}\right.\left[{‖M\mathrm{*}\left(G\left(y\right)-y\right)‖}_1\right]\hfill \\ \left.+E_{x\sim p_{data}\left(x\right)}\left[{‖M\mathrm{*}\left(F\left(x\right)-x\right)‖}_1\right]\right)\mathrm{*}100\hfill \end{array} \]$

(6)

M은 정규화된 차영상으로, 0~1 값을 가지는 물방울 부분을 집중적으로 타겟팅하는 강조 마스크(Attention mask) 역할을 한다. 또한 강조 마스크를 곱했을 때, 손실이 너무 작아지는 것을 방지하기 위해 100을 곱해서 스케일을 조정했다.

그림 7은 L1 Loss 수정 여부에 따른 비교를 보여준다. 그림 7(a)는 L1 Loss를 수정하지 않은 모듈의 물방울 제거 결과, 그림 7(b)는 L1 Loss를 수정한 모듈의 물방울 제거 결과이다. 표시된 부분을 보면 L1 loss를 수정한 모듈이 Loss를 수정하지 않은 모듈에 비해서 물방울 제거시 원본 영상에서 배경을 왜곡하지 않고 잘 보존하는 모습을 확인할 수 있다. 또한 그림 7의 두 번째 사진에서 표시된 부분을 보면 Loss를 수정한 모듈이 Loss를 수정하지 않은 모듈에 비해서 물방울 제거 시 중앙 분리대의 경계 정보가 뚜렷하게 잘 보존하는 것을 확인할 수 있다.

Fig. 7.

Comparison based on L1 Loss modification (a) Original water droplet image, (b) Results of water droplet removal using module without modifying the L1 Loss, (c) Results of water droplet removal using module with modifying the L1 Loss

따라서 L1 Loss를 수정하고 앞서 기존 데이터 셋에 증식된 데이터 셋을 더한 2,000개의 페어 데이터 셋을 CycleGAN 입력으로 제공하여 Rem_module 학습을 하였다. 이때 학습 epoch는 300으로 설정하였다.

3.2.2 CycleGAN 기반톤 매핑 & 물방울 제거 모듈 학습

다섯 번째 블록에서는 Rem&TM_module 학습을 진행하였다. 이 모듈은 Rem_module 학습에 사용된 데이터 셋과 동일한 데이터 셋을 사용하였으나, 깨끗한 영상 셋에 톤 매핑을 적용하여 새로운 clean target 영상 셋으로 대체한 후 학습을 진행하였다. 톤 매핑은 Retinex 이론과 다중 스케일 CLAHE(Contrast Limited Adaptive Histogram Equalization)를 결합한 기법을 사용하였다[13]. 그림 8(a)는 톤 매핑을 적용하지 않은 기존의 깨끗한 영상, 그림 8(b)는 톤 매핑을 적용한 clean target 영상이다.

Fig. 8.

Results of tone mapping (a) Original clean image, (b) Clean target image with tone mapping

본 논문에서 다루는 우천 시 상황은 대개 저조도 환경이므로, 이러한 방식으로 학습된 모듈은 어두운 영역의 디테일을 보존하고 대비를 향상시켜 객체 검출 성능을 개선할 수 있다.

Rem&TM_module은 Rem_module과 동일하게 2,000개의 페어 데이터 셋을 CycleGAN에 입력으로 제공하였으며, 학습 epoch는 300으로 설정하였다.

3.2.3 두 가지 모듈을 사용한 최종 테스트

마지막 블록에서는 학습한 두 가지 모듈을 순차적으로 적용하였다. 먼저 Rem_module을 적용하여 물방울을 제거한 후, 결과 영상을 LAB 색공간으로 변환하고 색상 정보 채널인 A, B 채널을 따로 보존한다. 그 후 Rem&TM_module을 적용한 결과에서 밝기 채널인 L(Lightness) 채널만 추출하여, 보존된 A, B 채널과 합성하여 최종 결과 영상을 생성한다.

그림 9와 그림 10은 A, B 채널 보존 여부에 따른 비교를 나타낸다.

Fig. 9.

Comparison based on A and B channels preservation (a) Original water droplet image, (b) Result of applying Rem&TM_module without preserving A and B channels, (c) Result of applying Rem&TM_module with preserving A and B channels

Fig. 10.

Comparison based on A and B channels preservation (a) Original water droplet image, (b) Result of applying Rem&TM_module without preserving A and B channels, (c) Result of applying Rem&TM_module with preserving A and B channels

그림 9(a)와 그림 10(a)는 A, B 채널을 보존하지 않고 Rem&TM_module을 적용한 결과, 그림 9(b)와 그림 10(b)는 A, B 채널을 보존하고 Rem&TM_module을 적용한 결과이다. 그림 9의 표시된 부분에서 확인할 수 있듯이 A, B 채널을 보존하지 않고 Rem&TM_module을 적용했을 때, 기존에 흰색이었던 벽이 색이 차가운 색감을 띄며 푸른색 계열로 나타난다. 이는 색 공간 변환 과정에서 색 균형(Color Balance)이 맞지 않아 색이 부자연스럽거나 왜곡되는 현상인 화이트 밸런스 오차(White Balance Error)가 발생한 것이다. 반면 A, B 채널을 보존하고 Rem&TM_module을 적용하면 화이트 밸런스 오차가 개선된 것을 확인할 수 있다,

또한 그림 10에서 표시된 부분을 보면 A, B 채널을 보존하지 않고 Rem&TM_module을 적용했을 때, 경계 영역에서 색이 번지는 현상이 발생하는 것을 확인할 수 있다. 이는 색 공간 변환 과정에서 색상 정보 채널인 A, B 채널이 손실되면서 원본 색상의 명확한 구분이 어려워지고, 결과적으로 색이 부자연스럽게 퍼지는 현상(Color Bleeding)이 나타나는 것이다. 반면 A, B 채널을 보존하고 Rem&TM_module을 적용하면 색상 정보가 유지되어 보다 선명한 경계가 나타나며, 색 번짐 현상이 개선된 것을 확인할 수 있다.

Ⅳ. 실험 결과

제안 방법의 물방울 제거 성능 검증을 위해 기존의 rwm(region-weighted method)[14], Pix2pix, HAN et al.[15], CycleGAN의 방법들과 비교 평가 실험을 진행하였다.

그림 11은 입력 영상 그림 11(a)에 대한 제안 방법과 기존 방법을 적용한 비교 영상들이다. 그림 11(b), 그림 11(c), 그림 11(d), 그림 11(e)는 기존 방법들로, 각각 rwm, Pix2pix, HAN et al., CycleGAN의 결과 영상이다. 그림 11(f)는 제안된 방법의 결과 영상이다.

Fig. 11.

Comparisons of the results using the existing methods and the proposed method (a) Original water droplet images, (b) Rwm, (c) pix2pix, (d) HAN et al., (e) CycleGAN, (f) Proposed method, (g) Target images

제안 방법은 기존 방법에 비해 물방울을 더 효과적으로 제거했을 뿐만 아니라 명암비(Contrast Ratio, CR)을 개선하여 어두운 영역의 디테일이 향상되는 것을 확인할 수 있다. 특히 그림 11의 첫 번째와 두 번째 비교 영상에서는, 물방울 원본 영상과 기존 방법의 결과에서 그늘 위에 존재하는 차량과 차선이 뚜렷하게 인식되지 않는다. 반면 제안된 방법의 결과에서는 물방울을 효과적으로 제거함과 동시에 명암비를 개선하여, 그늘 위의 차량과 차선이 더욱 명확하게 인식된다.

또한 그림 11의 네 번째 비교 영상에서, 물방울 원본 영상 및 기존 방법의 결과에서는 역광과 저조도 환경의 영향으로 인해 영상의 4대 차량이 뚜렷하게 인식되지 않는다. 반면 제안된 방법은 물방울을 효과적으로 제거함과 동시에 명암비를 개선하여, 기존 방법들 보다 4대 차량이 더욱 명확하게 인식된다. 표 2는 기존 방법 및 제안 방법의 처리 시간을 나타내었다.

Table 2.

Process time of existing methods and proposed method.

표 2에서 알 수 있듯이 제안 방법은 2가지 모듈을 거치기 때문에 기존 CycleGAN에 비해서 처리 시간이 길다.

Ⅴ. 결 론

본 논문에서는 우천 시 자율주행 차량의 카메라 및 렌즈 상에 맺힌 물방울을 효과적으로 제거하는 새로운 접근 방식을 제안하였다. 기존의 데이터 셋이 부족한 문제를 해결하기 위해, 먼저 CycleGAN 딥러닝 모델을 기반으로 생성 모듈을 학습한 후 물방울 영상을 생성하였다. 생성된 영상들은 CNN 기반의 분류 모델을 통해 평가되었으며, 품질이 높은 영상들만 선별하여 기존 데이터 셋에 추가함으로써 데이터 증식을 수행하였다. 이후 증식된 데이터를 활용하여 물방울 제거 네트워크를 단계적으로 학습하였다. Rem_module은 기본적인 물방울 제거를 수행하며, Rem&TM_module은 톤 매핑이 적용된 깨끗한 영상을 타겟으로 하여 물방울 제거 및 톤 매핑을 수행하는 역할을 한다. 두 모듈을 순차적으로 적용하는 과정에서, Rem_module을 적용한 영상에서 A, B 채널을 보존하고, Rem&TM_module에서 얻은 결과로부터 L 채널을 추출하여 합성함으로써 최종적인 물방울 복원 영상을 생성하였다. 실험 결과, 본 연구에서 제안한 방식이 기존 방법들과 비교하여 더 자연스럽고 왜곡이 적은 복원 영상을 생성함을 확인하였다. 향후 연구에서는 더욱 다양한 환경에서의 물방울 제거 성능을 개선하기 위해 데이터셋을 확장하고, 실시간 처리를 고려한 경량화된 네트워크 설계를 진행할 예정이다.

Acknowledgments

이 논문은 2024학년도 경북대학교 연구년 교수 연구비에 의하여 연구되었음

References

• H.-J. Kwon and S.-H. Lee, "Raindrop-removal image translation using target-mask network with attention module", Mathematics, Vol. 11, No. 15, 3318, Jul. 2023. [https://doi.org/10.3390/math11153318]
• I. Goodfellow, et al., "Generative adversarial nets", NIPS'14: Proc. of the 28th International Conference on Neural Information Processing Systems, Montreal, Canada, Vol. 2, pp. 2672-2680, Dec. 2014.
• P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros, "Image-to-image translation with conditional adversarial networks", Proc. of the IEEE conference on computer vision and pattern recognition, Honolulu, HI, USA, pp. 1125-1134, Jul. 2017. [https://doi.org/10.1109/CVPR.2017.632]
• J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros, "Unpaired image-to-image translation using cycle-consistent adversarial networks", Proc. of the IEEE international conference on computer vision, Venice, Italy, pp. 2223-2232, Oct. 2017. [https://doi.org/10.1109/ICCV.2017.244]
• X. Ying, "An overview of overfitting and its solutions", Journal of physics: Conference series, Vol. 1168, No. 2, 022022, Mar. 2019. [https://doi.org/10.1088/1742-6596/1168/2/022022]
• K. Janocha and W. M. Czarnecki, "On loss functions for deep neural networks in classification", Vol. 25, pp. 49-59, 2016. [https://doi.org/10.4467/20838476SI.16.004.6185]
• K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition", Proc. of the IEEE conference on computer vision and pattern recognition, Las Vegas, NV, USA, pp. 770-778, Jun. 2016. [https://doi.org/10.1109/cvpr.2016.90]
• D. Kinga and J. B. Adam, "A method for stochastic optimization", International conference on learning representations (ICLR), San Diego, California, May 2015. [https://doi.org/10.48550/arXiv.1412.6980]
• Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, "Gradient-based learning applied to document recognition", Proc. of the IEEE, Vol. 86, No. 11, pp. 2278-2324, Nov. 1998. [https://doi.org/10.1109/5.726791]
• A. Krizhevsky, I. Sutskever, and G. E. Hinton, "Imagenet classification with deep convolutional neural networks", Adv Neural Inf Process Syst, Vol. 60, No. 6, pp. 84-90, May 2017. [https://doi.org/10.1145/3065386]
• C. Y. Jang and T. Y. Kim, "Hand feature enhancement and user decision making for CNN hand gesture recognition algorithm", Journal of the Institute of Electronics and Information Engineers, Vol. 57, No. 2, pp. 60-70, Feb. 2020. [https://doi.org/10.5573/ieie.2020.57.2.60]
• S. Ruder, "An overview of gradient descent optimization algorithms", arXiv preprint arXiv:1609.04747, , Sep. 2016. [https://doi.org/10.48550/arXiv.1609.04747]
• Y.-J. Kim, D.-M. Son, and S.-H. Lee, "Retinex Jointed Multiscale CLAHE Model for HDR Image Tone Compression", Mathematics, Vol. 12, No. 10, 1541, May 2024. [https://doi.org/10.3390/math12101541]
• S.-W. Jung, H.-J. Kwon, and S.-H. Lee, "Enhanced Tone Mapping Using Regional Fused GAN Training with a Gamma-Shift Dataset", Applied Sciences, Vol. 11, No. 16, 7754, Aug. 2021. [https://doi.org/10.3390/app11167754]
• Y.-K. Han, S.-W. Jung, H.-J. Kwon, and S.-H. Lee, "Rainwater-Removal Image Conversion Learning with Training Pair Augmentation", Entropy, Vol. 25, No. 1, 118, Jan. 2023. [https://doi.org/10.3390/e25010118]