Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 22, No. 7, pp.13-21
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Jul 2024
Received 16 Apr 2024 Revised 07 May 2024 Accepted 10 May 2024
DOI: https://doi.org/10.14801/jkiit.2024.22.7.13

원활한 범죄 현장 족적 증거 수사 과정 기여를 위한 Retinex와 Wavelet 혼합 모델 기반 조명 외란 제거 기술

권현섭* ; 김동주* ; 서영주* ; 황도경*
*포항공과대학교 인공지능연구원
*포항공과대학교 인공지능연구원(교신저자)
An Lighting Disturbances Removal Technique for Facilitating Smooth Criminal Scene Shoeprint Evidence Investigation Process based on Retinex and Wavelet Hybrid Model
Hyun-Seob Kwon* ; Dong-Ju Kim* ; Young-Joo Suh* ; Do-Kyung Hwang*

Correspondence to: Do-Kyung Hwnag Dept. of POSTECH Institute of Artificial Intelligence, Cheongam-ro 77, Nam-gu, Pohang, Korea Tel.: +82-54-279-5663, Email: dokyung@postech.ac.kr

초록

범죄 현장에서 피의자가 남긴 족적 이미지 증거 분석을 돕기 위한 혼합 딥러닝 모델 기반의 노이즈 감소 이미지 전처리 기술이 새롭게 제안하였다. 족적 이미지 분석은 범인을 검거하는 데 있어 중요한 정보들을 제공하는 증거이다. 족적 분석의 신뢰성을 확보하기 위해 여러 제도들을 도입하고 있으나, 족적 이미지는 수집 과정에서 주변 외란 등으로 인해, 저품질의 족적 이미지가 많아, 원활한 분석이 이뤄지지 않아 증거로써의 효력을 잃는 경우가 많다. 아울러, 현장 족적 이미지의 노이즈 감소를 위한 연구가 활발히 이뤄지지 않고 있다. 본 논문에서는 현장에서 수집된 족적 이미지의 노이즈로 작용하는 조명 외란을 Retinex 기반의 네트워크를 통해 분리하고, Wavelet Transform 기반 노이즈 감소 네트워크를 통해 현장 족적 이미지의 분석을 지원한다. 비참조 평가 척도를 활용한 실험을 통해 제안하는 기술을 평가하여 정량적 및 정성적으로 우수한 성능이 확인되었다.

Abstract

A novel noise reduction image preprocessing technology based on a hybrid deep learning model has been proposed to help analyze the evidence of shoeprint images left by the suspect at the crime scene. Shoeprint image analysis provides crucial evidence for apprehending criminals. Despite the introduction of various systems to ensure the reliability of shoeprint analysis, the quality of shoeprint images is often poor due to environmental disturbances during collection, leading to ineffective analyses and diminished evidential value. Moreover, research on noise reduction for on-site shoeprint images has been limited. This paper addresses the primary noise issue in collected shoeprint images, such as lighting disturbances, using a Retinex-based network and supports the analysis of on-site shoeprint images through a Wavelet Transform-based noise reduction network. The proposed technique was evaluated using a no-reference noise assessment scale, confirming its superior performance both quantitatively and qualitatively.

Keywords:

forensic shoeprint analysis, image enhancement, retinex&wavelet transform, image denoising, lighting disturbances removal

Ⅰ. 서 론

형사 사건에서 경찰의 과학적 수사는 범죄 현장에서 발견되는 생물학적, 화학적, 형태학적 증거 등을 통해 용의자를 추정하고 동선 분석을 통한 현장을 재구성하는 등 범죄 해결에 있어 중요한 역할을 한다[1]. 족적은 현장에서 발견되는 증거물 중 형태학적 증거로써 사람의 무게로 인해 바닥 혹은 지면에 남게 되는 흔적으로 범죄 현장에서 자주 발견되며, 분석을 통해 신발의 종류 및 크기, 범인의 걸음걸이 추정하는데 중용한 정보를 제공하며, 이는 범죄 검거에 있어 중요한 범죄증거로 활용된다[2]-[4]. 실제로, 경찰청은 매년 족적에 대해 시판 중인 신발의 문양들을 경찰청 내부 등록 이미지로 데이터베이스화하여, 대조 검색 처리 및 감정 횟수가 꾸준히 증가하고 있으며, 족적을 분석한 결과가 형사 사건에서 중요해지고 있다[5]. 현재의 족적 분석은 수사관이 범죄 현장에서 수집된 족적 현장 이미지를 등록 이미지 데이터베이스와 비교하여, 유사한 족적을 감정한다. 그러나 범죄 현장에서 발견되는 족적이 선명하게 남지 않는 경우가 많아, 족적 분석에 대해 어려움이 있다[6]-[8].

이러한 족적은 크게 실내와 같은 평평한 표면에 남는 족적을 광학적, 물리적, 화학적 방법으로 채취하게 되는데 이 과정에서 범죄 현장을 보존한 상태에서 족적을 채취하기 때문에 현장에서 존재하는 먼지, 흙, 이물질 등이 빛의 반사로 인해 수집한 족적 이미지에 대해 문양 및 패턴들이 모호해지게 된다[9]. 이렇게 모호해진 족적 이미지는 수사관의 경험에 따라 귀납적 결정을 추론하기 때문에, 증거로 채택되지 않거나, 분석 결과에 대한 신뢰성이 결여되는 한계점이 있다[10][11]. 이러한 문제점을 해결하기 위해 여러 족적 이미지 품질 개선 기술들이 연구되고 있으나, 대부분의 연구는 현재 경찰청에서 운용중인, 족적 자동 검색 시스템 입력으로 들어갈 이진화 이미지에 대해 초점이 맞춰져 있으며, 수사관이 객관적으로 분석할 수 있도록 현장 수집 족적 이미지에 대한 이미지를 개선하는 연구는 미비한 실정이다[12].

따라서, 본 논문에서는 범죄 현장에서 수집된 현장 족적 이미지에 대해 노이즈를 감소할 수 있는 혼합 딥러닝 모델을 제안한다. 제안된 모델은 현장 족적 이미지를 수집할 때 발생하는 빛 번짐을 감소하기 위해 Retinex 기반 조명 외란에 해당하는 픽셀을 분리하고, Wavelet transform 기반의 네트워크를 이용하여 현장 족적 이미지 내의 분리된 빛과 노이즈를 최종적으로 감소한다. 이에 따라 개선된 현장 족적 이미지를 확보할 수 있다.

제안한 기술의 설명을 위해, 2장에서는 족적 이미지 외란 제거 최신 기술 동향과 한계점을 언급하고, 그 한계점을 극복하기 위해 제안 기술을 소개하며, 3장에서는 제안된 네트워크에 대한 이론적 설명을 한다. 그리고 제안한 방법의 성능 평가를 위해, 비참조 방식의 평가지표를 통해 실험한 결과를 4장에서 확인하고, 5장에서는 본 논문의 결론과 향후 연구 방향에 관해 서술한다.


Ⅱ. 관련 연구

2.1 족적 이미지 전처리

현장 수집 족적 이미지의 채취과정에서 발생하는 노이즈를 제거하기 위해 물리적, 비물리적, 딥러닝 기반의 기술로 나뉘어 연구되고 있다.

물리적 방법의 경우, 분석 프로세스 전, 후로 현장 감식관 혹은 분석 감식관에 의해 일차적으로 제거되는 경우를 일컫는다.

비물리적 기반의 이미지 전처리 기술은 이미지의 픽셀값 자체에 접근하여 특정 픽셀값들을 조절하는 Computer Vision 알고리즘을 활용하여 이미지의 특성을 변경하지 않고 이미지를 개선하며, 대표적인 방법으로 이진화, 필터링, 모폴로지 등이 포함된다[13][14]. X. Li et al.는 수집한 족적 이미지에 대해 족적 부분만 잘라내어, 적응 임계 이진화를 적용하고, 모폴로지를 통해 작은 점과 같은 노이즈를 제거한다[15]. 이러한 방식의 이미지 전처리는 사람의 눈으로 보기에 더 자연스러운 이미지 처리결과를 얻을 수 있으며, 간단한 작업으로 빠른 처리 속도와 일관된 결과를 얻을 수 있다. 그러나 현장 족적 이미지의 경우 다양한 환경에서 수집되어 빛, 먼지 등과 같은 여러 외란 요소로 인해 노이즈가 포함되기 때문에 특정 이미지에서만 효과를 확인할 수 있는 제한점이 존재한다[16].

딥러닝 기반의 이미지 전처리는 주로 합성곱 신경망(CNN, Convolutional Neural Network), 적대적 생성 신경망(GAN, Generative Adversarial Network)과 같은 인공신경망을 사용하여 이미지 데이터의 특성을 학습하고, 이를 바탕으로 이미지를 개선하는 기술로, 네트워크의 구성에 따라 상대적으로 비물리적 기반 노이즈 제거에 비해, 높은 수준의 이미지 전처리 성능을 보인다[17]. Z. Ma et al. 는 U-net을 기반으로 인코더에서 족적 패턴 특징을 추출하여 배경을 제거하고 디코더에서 이를 활용하여 족적 패턴의 노이즈가 제거된 이진화된 족적 이미지를 출력한다[18].

이러한 이미지 전처리 기술들은 족적 검색 시스템의 성능 향상을 위한 연구들로 족적 이미지를 이진화하는 연구가 주를 이루고 있는 도메인적 한계가 존재한다[19].

2.2 최신 이미지 전처리 기술 동향

검색 시스템을 위한 노이즈 제거 기술이 아닌 범용적 이미지 노이즈 제거 기술 중, Amirhosein et al. 는 이미지의 세부적인 특징이나 패턴에 집중하기보다는 GCE(Global Context Extractor) 모듈을 활용하여 이미지의 전체적인 구조, 배경, 주요 특징들을 나타내는 전역 정보들을 학습하여 노이즈를 포함한 다양한 이미지 훼손 요인들을 해결하는 CGNet(Cascasded Gaze Network)를 개발하였으며 우수한 일반화 성능을 나타냈다[20]. G. Alexandru et al. 는 조명 이미지를 개선하기 위해 Transformer 기반의 네트워크를 구성하였으며, 특히 CWD(Channel-wise Denoiser Block)을 활용하여 이미지의 세부적인 특성을 보존하면서, 노이즈를 제거하였으며, 입력 이미지에 대해 YUV 색 공간의 휘도(Y)와 색상 채널(UV)로 분리하여 모델의 복잡성을 줄여, 기존의 조명 이미지 개선 모델들보다 뛰어난 성능을 달성하였다[21].

이러한 기술들은 범용적인 노이즈 제거 목적으로 하며, 검색을 위한 이진화 이미지 노이즈 제거의 경우, 검색 전 노이즈가 포함된 상황에서 이진화 프로세스 진행 후, 품질을 개선하는 방식이기 때문에, 기술적 제한점이 존재할 수밖에 없다[22]. 이에 따라, 본 논문에서 제안하는 방법은 딥러닝 기반의 현장 수집 족적 이미지 자체에 접근한 노이즈 제거 방식을 제안한다.


Ⅲ. 제안된 족적 이미지 전처리 방법

제안된 방법은 현장에서 수집되는 가장 큰 외란요인 중 하나인 빛, 조명 외란으로 인한 영향을 감소하기 위한 목적으로 정의하며, 그림 1과 같이 기능에 따라 크게 이분화하였다. 먼저, Retinex Decomposition Network로부터 조명(Illumination) 성분과 반사(Reflectance) 성분으로 분리하고, 조명 성분을 Denoising Network를 통해 빛과 노이즈를 제거하고, 최종적으로 Retinex Decomposition Network에서 분리되었던 반사 성분의 이미지와 결합하여, 족적 특징 맵은 보전하고 빛으로 인한 외란을 효과적으로 제거하는 방식이다.

Fig. 1.

Proposed image pre-processing model architecture

3.1 Retinex decomposition network

현장 수집 족적 이미지는 카메라 촬영을 통해 수집되는데, 이때 카메라 플래시 등으로 인한 강한 빛 혹은 조명 번짐 등과 같은 요인이 외란으로 작용한다[23]. 먼저, 빛과 조명 외란을 제거하기 위해 조명 성분을 입력 이미지에서 추출할 수 있는 Retinex 모델을 기반으로, 강한 빛 반사 성분과 그 주변에 포함되는 주변광에 해당하는 조명 성분으로 구분하여 분리하는 네트워크를 구성한다[24]. 네트워크는 반사와 조명 특성을 처리할 수 있는 두 개의 분기로 나누어 각각 5×5 컨볼루션 레이어를 5층으로 구성하여 반사와 조명 성분이 각각 출력되게 된다. 그리고, 반사와 조명 성분은 각각의 특성에 맞게 계산될 수 있는 손실(Loss)함수를 가지며, 이때 빛으로 인한 외란과 족적 특징을 명확히 구분하기 위해 대비 손실(Contrast loss)함수를 추가하였으며 식은 다음과 같다[25].

Contrast Loss =-logImax-IminImax+Imin(1) 

식 (1)에서 Imax와 Imin은 각각 조명(Illumination) 성분 I의 최댓값과 최솟값을 의미하며, 조명의 경우, 저조도 환경에서 값이 존재하지 않아 발산할 수 있다. 때문에 로그값을 취하여 값의 조명 성분 값의 발산을 제한한다. 그리고 대비 손실과 반사 성분의 손실 값을 결합하여, 전체적인 Loss가 ‘0’에 수렴하도록 모델이 학습된다. 그리고 학습된 모델은 입력된 이미지에서 반사 성분과 조명 성분을 효과적으로 탐지하고 추출한다. 그리고 각각 추출된 반사 성분과 조명 성분은 최종적으로 빛으로 인한 외란을 제거하기 위한 Denoising Network와 최종 결과 이미지를 도출하기 전, 비교 연산 함수의 입력으로 각각 사용된다.

3.2 Denosing network

제안된 Denoising Network의 경우, Retinex에서 분리된 조명 성분에 해당하는 부분만 입력으로 받는다. 조명 성분의 경우, 반사 성분과는 다르게 족적 특징과 명확한 구분 점이 존재하지 않는다. 때문에 Wavelet blocks를 활용한 다운샘플링을 통해 전역과 지역 특징을 각각 분리하고, Transpose blocks를 활용하여 업샘플링 한다[26]. 현장 수집 족적 이미지의 경우 빛과 노이즈를 제거하는 동시에 족적의 패턴 특징을 유지해야 하는 특성이 존재한다.

Wavelet blocks과 Transpose blocks은 각각 4개의 층으로 구성되며, 각 블록은 그림 2와 같이 구성된다.

Fig. 2.

Wavelet block and transpose block architecture

Retinex에서 분리된 조명 성분이 입력으로 Wavelet blocks에 들어가게 되면 Wavelet Transform에 의해 저주파 필터와 고주파 필터를 사용하여 전역적인 부분과 지역적인 부분으로 분리되며 각각 2배 다운샘플링 하여 총 24만큼 다운샘플링 된다. 여기서 사용되는 주파수는 이미지 내 픽셀의 패턴의 변화량을 뜻하고, 먼저 저주파 필터는 입력 이미지에 대해 빛과 노이즈를 포함한 전역적인 범위를 추출한다. 그리고 Soft Thresholding을 통해, 조명 성분은 ‘0’으로 치환하여 제거한다. 고주파 필터는 이미지의 족적 패턴과 같은 지역적인 부분을 추출하게 된다. 이 과정에서 전역적인 부분에서는 주로 빛의 변화와 노이즈를, 지역적인 부분에서는 족적 패턴과 같은 세부적인 특징을 각각 추출하게 된다. 이후 전역적인 부분은 각 층에 대응되는 Transpose block에 전달하게 되며, 지역적인 부분은 다음 Wavelet block으로 전달되어 위 과정을 반복하여 족적 패턴과 노이즈를 세부적으로 분리하여 제거하며, 결국 이러한 연산 방식에서, Transpose block 연산에서 지역적 족적 패턴을 보존하면서 업샘플링 된다.

이후 Retinex에서 분리된 반사 성분 이미지에서 픽셀 특징이 명확한 반사 성분에 해당하는 픽셀을 제거한 이미지와 Denoising Network의 결과를 결합하여, 족적 특징 패턴은 보존하여 노이즈가 제거된 현장 수집 족적 이미지를 재구성한다.

이러한 방법은 기존의 그레이 스케일, 이진화와 같은 단 채널의 전처리 기술과 달리, 이미지 원본을 전처리함으로써 외란 요소로 인한 족적 패턴의 훼손을 최소화하고, 시각적으로 더 자연스러운 이미지를 얻을 수 있다.

제안된 방법은 입력 이미지에 대해서, 픽셀 접근 연산이기 때문에, 색상 채널에 제한되지 않는다. 즉, 이론적으로 족적이 존재하는 그레이 스케일, 이진화 이미지 다양한 채널에서 적용할 수 있으며, 기존 운용 중인 족적 검색 시스템의 이진화 이미지 채널에서 또한 제안된 방법을 적용할 수 있다.


Ⅳ. 실 험

제안된 족적 빛, 조명 노이즈 제거 모델의 학습과 성능 평가를 위해, 경찰청 등록 이미지, 현장 수집 샘플 족적 이미지 데이터 약 3만 장과 족적 실험을 위한 공인 데이터 세트인 FID-300 이미지 데이터 1,475장을 활용한다[27]. 경찰청 제공 데이터와 FID-300 공인 데이터 세트 모두, 현장 이미지(Query)와 대조되는 등록 이미지(Reference)가 존재하나, 제안된 모델은 현장 이미지 즉, Query 자체에 대한 접근으로 노이즈 제거를 목적으로 한다. 따라서 참조 이미지(Grount Truth)가 없는 평가 상황인 점을 고려하여, PSNR, SSIM 등의 참조 평가 방식이 아닌[28], 무참조(No-Reference) 평가 방식인 NIQE(Natural Image Quality Evaluator)를 기준으로 평가하였다[29]. NIQE는 이미지의 노이즈 수준, 경계 선명도, 대비 등을 고려하여 평가하는 지표로 0에 가까울수록 우수한 성능임을 나타내는 평가 방식이다. 그리고 아래 그림 3은 제안된 모델을 활용한 노이즈 제거 결과를 나타내며, NIQE 수치를 평가한 결과는 표 1에서 확인할 수 있다.

Fig. 3.

Pre-processing results for the test dataset

Average NIQE score for the test dataset.

평가 데이터 세트에 대해 제안된 방법을 적용하여 NIQE 수치를 7.83에서 5.56으로 정량적으로 개선된 결과를 확인할 수 있으며, 정성적인 측면으로 현장 족적 이미지에서 빛 노이즈 제거로 인한 족적 패턴의 선명도가 증가한 것을 확인할 수 있다.

아울러 제안하는 방법의 범용성을 확인하기 위해, 기존 운용 중인 족적 검색 시스템에서의 노이즈 제거 목적인 이진화 이미지 노이즈 제거 기술인 Ma et al. 과 제안된 모델을 비교하여 정성적 평가를 진행하였다[17]. Ma et al.은 이진화 족적 이미지 노이즈 제거를 목적으로, 입력 이미지를 목적에 따라 구분하는 구조인 MP-CNN(Multi-Part Weighted Convolutional Neural Network) 구조를 제안하였으며, 목적에 따라 네트워크를 구분한 부분이 제안된 모델과 유사하여 비교 실험에 사용되었다. 그리고 정성적 비교 실험 결과는 그림 4에서 확인할 수 있으며, 평가 데이터 세트의 약 73%가 그림 4와 같이 노이즈가 제거된 것을 확인하였다.

Fig. 4.

Binarization results comparison (a) Input image (b) Ma et al. (c) Proposed method

기존 구분 네트워크 구조의 이진화 노이즈 제거 기술과 제안된 모델의 정성적 비교 결과에서, 확대된 부분을 살펴보면, 기존 모델의 경우에도 조명으로 인한 외란 부분은 잘 제거가 되었으나, 점 잡음 노이즈(Salt and pepper noise)가 여전히 포함되어 있음을 확인할 수 있다. 반면 제안된 모델의 경우, 조명 외란도 잘 제거되었을 뿐 아니라, 점 잡음 노이즈 또한 상대적으로 더 개선되었음을 확인할 수 있다.


Ⅴ. 결 론

본 논문에서는 범죄 수사 목적의 현장에서 수집된 족적 이미지에 대해 빛과 조명으로 인한 외란을 효과적으로 제거할 수 있는 이미지 전처리 모델을 새롭게 제안하였다. 제안된 방법은 입력 이미지에서 빛과 조명 외란을 분리하고 지역적 및 전역적 정보를 모두 학습하여 현장 족적의 특징 맵은 그대로 보존하고, 빛과 노이즈만을 효과적으로 제거하였다. 그리고 대한민국 경찰청 데이터와 공인데이터를 모두 활용하여, 학습과 평가를 수행하였고, 실험을 통해 정량적, 정성적인 개선 결과를 모두 확인하였다. 아울러, 기존 족적 검색 시스템의 성능 개선 목적인 이진화 노이즈 목적의 유사한 구조의 모델과 정성적인 비교를 추가로 진행함으로써 기술의 범용성 또한 추가로 검증하였다. 확인된 제안 모델의 개선점과 범용성을 기반으로, 범죄 현장에서 피의자가 남긴 족적 증거를 활용한 수사 과정에 기여하여, 더 원활한 피의자 검거를 기대할 수 있다.

향후 연구에서는 본 논문에서 언급한 조명, 노이즈 외에도, 흙바닥, 혈흔 등 다양한 환경 조건에서 발생할 수 있는 요인들을 고려한 족적 이미지 전처리 연구가 필요하다. 이는 족적 분석의 신뢰성을 높이고 피의자에 대한 보다 상세한 정보를 제공하는데 기여할 것이다.

Acknowledgments

본 논문은 2024년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업이며(No. 2022R1A6A1A0305295413), 과학기술정보통신부·경찰청이 공동 지원한 ‘폴리스랩 2.0 사업'의(RS-2023-00281072) 지원을 받아 수행된 연구임

References

  • D. H. Kim, et al., "A Study of Morphological Trace Evidence for the Improvement of Physical Evidence Interpretation of Criminal Cases", National Forensic Service, Nov. 2015. https://doi.org/10.23000/TRKO201600003665.
  • S. A. A. Sarifudin, K. H. Chang, B. E. Khoo, and A. F. L. Abdullah, "Shoeprint image enhancement using adobe photoshop as an aid during forensic comparison", Malaysian Journal of Forensic Sciences, Vol. 9, No. 1, pp. 33-37, 2019.
  • M. Phillips, "A shoeprint image coding and retrieval system", European Convention on Security and Detection, Brighton, UK, pp. 267-271, May 1995. https://doi.org/10.1049/cp:19950510. [https://doi.org/10.1049/cp:19950510]
  • D. Li, Y. Li, and Y. Liu, "Shoeprint Image Retrieval Based on Dual Knowledge Distillation for Public Security Internet of Things", IEEE Internet of Things Journal, Vol. 9, No. 19, pp. 18829-18838, Oct. 2022. https://doi.org/10.1109/JIOT.2022.3162326. [https://doi.org/10.1109/JIOT.2022.3162326]
  • S. H. Choi and K. H. Choi, "An Automatic Shoeprint Retrieval System using 4 Directional Vector", Korea Multimedia Society, Vol. 12, No. 2, pp. 21-23, Nov. 2009.
  • X. Kong, C. Yang, and F. Zheng, "A Novel Method for Shoeprint Recognition in Crime Scenes", Springer International Publishing, Vol. 8833, pp. 498-505, 2014. https://doi.org/10.1007/978-3-319-12484-1_57. [https://doi.org/10.1007/978-3-319-12484-1_57]
  • Y. Wu, X. Wang, and T. Zhang, "Crime Scene Shoeprint Retrieval Using Hybrid Features and Neighboring Images", information, Vol. 10, No. 2, pp 45-59. Jan. 2019. https://doi.org/10.3390/info10020045. [https://doi.org/10.3390/info10020045]
  • V. Ramakrishnan and S. Srihari, "Extraction of shoe-print patterns from impression evidence using Conditional Random Fields", 19th International Conference on Pattern Recognition, Florida, USA, pp. 1-4, Dec. 2008. https://doi.org/10.1109/ICPR.2008.4761881. [https://doi.org/10.1109/ICPR.2008.4761881]
  • Y. W. Lee, W. S. Park, M. J. Choi, Y. M. Jung, and S. W. Park , "A Study on Visualization of Footprint Impressions on Various Substances", Korean Journal of Scientific Criminal Investigation, Vol. 3, No. 1, pp. 23-27, 2009.
  • H. J. Yang, M. S. Jang, and S. Y. Park, "Forensic shoeprint matching with image feature descriptors", Journal of the Korean Data & information Science Society, Vol. 33, No. 2, pp. 223-236, Jan. 2022. https://doi.org/10.7465/jkdi.2022.33.2.223. [https://doi.org/10.7465/jkdi.2022.33.2.223]
  • E. J. Lee, et al., "An Advancement Plan of Footprint Investigation System Based on Deep Learning", Journal of Science Criminal Investigation, Vol. 17, No. 3. pp. 177-185, Sep. 2023.
  • G. Y. Kim, et al., "A Study on the Denoising of Shoeprint Image based on Computer Vision", Korean Institute of communications and Information Sciences, pp. 135-136, Nov. 2023.
  • K. Sreedhar and B. Panlal, "Enhancement of images using morphological transformations", International Journal of Computer Science and Information Technology, Vol. 4, No. 1, pp. 33-50, Mar. 2012. https://doi.org/10.5121/ijcsit.2012.4103. [https://doi.org/10.5121/ijcsit.2012.4103]
  • Y. B. Jung and D. S. Kang, "Image Noise Reduction Using Block-based Gaussian Filter", Proceedings of KIIT Conference, Suwon, Korea, pp. 467-469, May 2010.
  • X. Li, M. Wu, and Z. Shi, "The Retrieval of Shoeprint Images Based on the Integral Histogram of the Gabor Transform Domain", 8th International Conference on Intelligent Information Processing, Hangzhou, China, Vol. 432, pp. 249-258, Oct. 2014. https://doi.org/10.1007/978-3-662-44980-6_28. [https://doi.org/10.1007/978-3-662-44980-6_28]
  • X. Ji, S. Guo, H. Zhang, and W. Xu, "Non-Uniform-Illumination Image Enhancement Algorithm Based on Retinex Theory", Applied Sciences, Vol. 13, No. 17, pp. 9535-9551, Aug. 2022. https://doi.org/10.3390/app13179535. [https://doi.org/10.3390/app13179535]
  • T. Hao, et al., "Low-Illumination Image Enhancement Based on Deep Learning Techniques: A Brief Review", Photonics, Vol. 10, No. 2, pp. 198-222, Feb. 2023. https://doi.org/10.3390/photonics10020198. [https://doi.org/10.3390/photonics10020198]
  • Z. Ma, et al., "Shoe-Print Image Retrieval With Multi-Part Weighted CNN", IEEE Access, Vol. 7, pp. 59728-59736, May 2019. https://doi.org/10.1109/ACCESS.2019.2914455. [https://doi.org/10.1109/ACCESS.2019.2914455]
  • H. Su, D. Crookes, and A. Bouridane, "Thresholding of noisy shoeprint images based on pixel context", Pattern Recognition Letters, Vol. 28, No. 2, pp. 301-307, Jan. 2007. https://doi.org/10.1016/j.patrec.2006.08.008. [https://doi.org/10.1016/j.patrec.2006.08.008]
  • G. Amirhosein, et al., "CascadedGaze: Efficiency in Global Context Extraction for Image Restoration", ArXiv preprint ArXiv:2401.15235, , Jan. 2024. https://doi.org/10.48550/arXiv.2401.15235.
  • A. Brateanu, R. Balmez, A. Avram, and C. Orhei, "LYT-Net: Lightweight YUV Transformer-based Network for Low-Light Image Enhancement", ArXiv preprint ArXiv:2401.15204, , Apr. 2024. https://doi.org/10.48550/arXiv.2401.15204.
  • S. Alizadeh, H. B. Jond, V. V. Nabiyev, and C. Kose, "Automatic Retrieval of Shoeprints Using Modified Multi-Block Local Binary Pattern", Symmetry, Vol. 13, No. 2, pp. 296-315, Feb. 2021. https://doi.org/10.3390/sym13020296. [https://doi.org/10.3390/sym13020296]
  • Y. Wu, X. Dong, G. Shi, X. Zhang, and C. Chen, "Crime Scene Shoeprint Image Retrieval: A Review", Electronics, Vol. 11, No. 16, pp. 2487-2501, Aug. 2022. https://doi.org/10.3390/electronics11162487. [https://doi.org/10.3390/electronics11162487]
  • E. H. Land and J. J. McCann, "Lightness and Retinex Theory", Journal of the Optical Society of America, Vol. 61, No. 1, pp. 1-11, 1971. https://doi.org/10.1364/JOSA.61.000001. [https://doi.org/10.1364/JOSA.61.000001]
  • A. Erickson, G. Bruder, and G. F. Welch, "Adapting Michelson Contrast for use with Optical See-Through Displays", IEEE International Symposium on Mixed and Augmented Reality Adjunct, Singapore, pp. 409-410, Oct. 2022. https://doi.org/10.1109/ISMAR-Adjunct57072.2022.00088. [https://doi.org/10.1109/ISMAR-Adjunct57072.2022.00088]
  • S. Ruikar and D. D. Doye, "Image denoising using wavelet transform", International Conference on Mechanical and Electrical Technology, Singapore, pp. 509-515, Sep. 2010. https://doi.org/10.1109/ICMET.2010.5598411. [https://doi.org/10.1109/ICMET.2010.5598411]
  • A. Kortylewski, T. Albrecht, and T. Vetter, "Unsupervised footwear impression analysis and retrieval from crime scene data", Asian Conference on Computer Vision, Singapore, Vol. 9008, pp. 644-658, Nov. 2014. https://doi.org/10.1007/978-3-319-16628-5_46. [https://doi.org/10.1007/978-3-319-16628-5_46]
  • A. Hore and D. Ziou, "Image Quality Metrics: PSNR vs. SSIM", 20th International Conference on Pattern Recognition, Istanbul, Turkey, pp. 2366-2369, Aug. 2010. https://doi.org/10.1109/ICPR.2010.579. [https://doi.org/10.1109/ICPR.2010.579]
  • A. Mittal, R. Soundararajan, and A. C. Bovik, "Making a Completely Blind Image Quality Analyzer", IEEE Signal Processing Letters, Vol. 20, No. 3, pp. 209-212, Mar. 2013. https://doi.org/10.1109/LSP.2012.2227726. [https://doi.org/10.1109/LSP.2012.2227726]
저자소개
권 현 섭 (Hyun-Seob Kwon)

2019년 : 강원대학교 메카트로닉공학과(공학사)

2022년 ~ 현재 : 포항공과대학교 인공지능연구원 연구부 연구원

관심분야 : Computer Vision, Image processing, Deep learning

김 동 주 (Dong-Ju Kim)

2010년 : 성균관대학교 전기전자컴퓨터공학과(공학박사)

2011년 ~ 2015년 : 대구 경북 과학 기술원 IT 융합 연구부 선임연구원

2015년 ~ 2015년 : 동서대학교 컴퓨터공학부 조교수

2016년 ~ 현재 : 포항공과대학교 인공지능연구원 연구부 연구부장

관심분야 : Computer Vision, Face recognition, Deep learning

서 영 주 (Young-Joo Suh)

1996년 : Georgia Institute of Technology 컴퓨터공학(공학박사)

1988년 ~ 현재 : 포항공과대학교 컴퓨터공학과 교수

2016년 ~ 2020년 : 포항공과대학교 정보통신연구소 소장

2020년 ~ 현재 : 포항공과대학교 인공지능연구원 연구원장

관심분야 : AI, IoT, Action recognition, Indoor positioning

황 도 경 (Do-Kyung Hwang)

2020년 ~ 2020년 : 포항공과대학교 PMC 연구실 연구원

2020년 : 부산대학교 전자공학과(공학석사)

2020년 ~ 현재 : 포항공과대학교 인공지능연구원 연구부 연구원

관심분야 : Data restoration, DL/ML, Image processing, Signal processing

Fig. 1.

Fig. 1.
Proposed image pre-processing model architecture

Fig. 2.

Fig. 2.
Wavelet block and transpose block architecture

Fig. 3.

Fig. 3.
Pre-processing results for the test dataset

Fig. 4.

Fig. 4.
Binarization results comparison (a) Input image (b) Ma et al. (c) Proposed method

Table 1.

Average NIQE score for the test dataset.

Score type Input image score Output image score
NIQE 7.83 5.56