Current Issue

이미지 분할(Image segmentation)은 디지털 이미지를 여러 개의 세그먼트로 나누는 프로세스를 의미한다. 각 세그먼트는 이미지 내의 논리적이고 의미론적인 영역을 나타내며, 비슷한 특성을 가진 픽셀들로 구성된다[6]. 해당 프로세스는 크게 세 가지 유형으로 나눌 수 있다. 첫째는 픽셀 기반 이미지 분할로 픽셀의 색상, 밝기, 질감 등의 특성을 기반으로 이미지를 분할한다. 둘째는 엣지 기반 이미지 분할로 이미지 내의 경계선을 검출하여 이미지를 분할한다. 셋째는 영역 기반 이미지 분할로 연속적이고 비슷한 특성을 가진 픽셀의 집합을 영역으로 정의하여 이미지를 분할한다.

시맨틱 분할(Semantic segmentation)은 영역 기반 이미지 분할로 이미지의 각 픽셀을 특정 클래스에 할당하는 과정을 포함한다. 이는 이미지 내에서 같은 종류의 객체를 분류하고 각 객체가 어디에 있는지 동시에 파악하는 방법이다[7]. 시맨틱 분할의 알고리즘에는 여러 가지가 있지만 딥러닝을 이용한 방법이 가장 효과적이며 널리 사용되고 있다.

이중 UNet, SegNet, PSPNet, DeepLab 등이 대표적인 알고리즘이다.

이러한 딥러닝 기반의 이미지 분할 알고리즘 중 하나인 UNet은 적은 양의 훈련 데이터로도 높은 성능을 낼 수 있는 대표적인 방법론으로 적응형 크기의 Convolution과 함께 다운샘플링과 업샘플링 단계를 이용한다[8]. 이는 이미지의 픽셀 단위 정보를 기반으로 고차원 특징을 추출하고 이미지 내의 각 픽셀이 어떤 클래스에 속하는지를 분류한다. 이 과정을 통해 이미지 내의 객체를 픽셀 단위로 정확하게 분리하고 인식할 수 있다.

객체 이미지 합성(Object image synthesis)은 여러 이미지를 결합하여 새로운 이미지를 만들거나 완전히 새로운 이미지를 생성하는 프로세스를 의미한다. 이는 객체를 입력 이미지에서 검출하고 새로운 배경에 합성하는 단계로 구성된다[9]. 이러한 합성 방법은 컴퓨터 그래픽스, 인공지능, 머신러닝 등의 분야에서 널리 활용되고 있다. 객체 이미지 합성에는 크게 기하학적 기반 합성과 학습 기반 합성으로 나눌 수 있다. 학습 기반 합성은 딥러닝 기법을 활용하여 대량의 데이터에서 학습을 통해 다양한 스타일과 형태의 합성 이미지를 생성한다. 반면 기하학적 기반 합성은 3D 모델, 텍스처 맵, 렌더링 파라미터 등의 구조적 정보를 활용하여 이미지를 생성하는 방법이다.

알파 블렌딩(Alpha blending)은 객체 이미지 합성에 사용되는 기법 중 기하학적 기반 합성 방법이다. 이는 두 이미지를 자연스럽게 합치는 데 사용되는 기법으로 두 이미지를 합성할 때, 투명도(Alpha) 값을 사용하여 두 이미지의 중첩되는 부분의 색을 결정하는 기술이다[10]. 이미지의 투명도를 조절함으로써 한 이미지를 다른 이미지 위에 자연스럽게 합성하는 데 사용된다. 투명도는 0(완전 투명)에서 1(완전 불투명) 사이의 값을 가지며, 이 값을 사용하여 두 이미지의 픽셀 값 사이에서 가중치를 결정한다. 이후, 결정된 알파 값에 따라 두 이미지의 색상 값을 혼합한다. 알파 값이 높을수록 전경 이미지의 색상이 강조되고 알파 값이 낮을수록 배경 이미지의 색상이 강조된다. 혼합된 색상 값은 최종 이미지의 해당 픽셀에 적용된다. 이 과정을 통해 객체를 배경 이미지에 자연스럽게 합성할 수 있으며 실제와 유사한 다양한 합성 이미지를 생성할 수 있다.

콘크리트 구조 이상 탐지를 위한 시맨틱 분할 기반의 데이터 증강 기법에서 합성을 하기 위해 결함 이미지와 배경으로 정상적인 콘크리트 정상 표면 이미지를 사용한다. 이를 위해, AI-Hub의 건물 균열 탐지 이미지 데이터를 이용하여 수집을 진행한다[11]. 해당 데이터는 드론과 고화질 카메라를 이용하여 다각도에서 촬영한 콘크리트 균열 데이터이다. 이미지는 직접 촬영 및 기확보된 데이터가 활용되었으며, 이미지에 존재하는 균열의 편차가 심하고 날씨에 의한 이미지 화질이 각기 다르다. 따라서 데이터셋에서 야간에 촬영된 사진과 미세한 균열을 제외하여 선별한 이미지 5,649장을 수집한다. 수집된 이미지는 입력 이미지의 크기를 조절함으로써 작은 이미지 크기는 계산 자원 요구량을 줄이고 더 빠른 학습과 추론을 가능케 하며, 큰 객체와 작은 디테일을 다루기 적합하다. 이러한 이유로 UNet에 사용하기 위한 입력 이미지의 크기를 448×448로 조절한다.

합성에 사용하기 위한 결함 부분을 분할하기 위해 UNet 심층 학습 모델을 사용하여 입력된 이미지 데이터를 픽셀 단위로 분류한다. UNet은 일반적으로 이미지 분할에 주로 사용되며, 구조적으로 인코딩 경로와 디코딩 경로를 포함하고 있다. 인코딩 경로에서는 이미지의 픽셀 정보와 형상 정보를 캡처하며, 디코딩 경로에서는 인코딩에서 얻은 정보를 바탕으로 이미지의 세부적인 픽셀 레이블을 생성한다.

훈련 단계에서 레이블링된 콘크리트 결함 이미지 데이터를 입력받아, 각 픽셀이 결함인지 아닌지를 예측한다. 이를 통해 모델은 이미지 내의 콘크리트 결함 부분과 그렇지 않은 부분을 분류하게 된다. 시맨틱 분할을 통해 얻어진 이미지에서 각 픽셀에 할당된 레이블을 바탕으로 결함 부분을 추출한다. 즉, UNet 알고리즘을 통해 분류된 각 픽셀이 결함인지 아닌지에 따라 이미지를 분리하는 과정을 진행한다. 그림 1은 원본 이미지와 시맨틱 분할 결과, 추출된 결함 이미지를 나타낸다.

Fig. 1. 
Original image and semantic segmentation results, extracted defect images

그림 1은 원본 이미지로부터 결함을 추출하는 과정을 시각적으로 보여준다. 이 과정에서 우선적으로, 원본 이미지를 입력으로 받아서 시맨틱 분할을 수행하여 이미지 내의 각각의 픽셀이 어떠한 클래스에 속하는지를 결정한다. 본 논문에서 시맨틱 분할된 이미지는 결함 부분과 결함이 아닌 부분이 명확히 구분된 상태로 출력된다.

다음 단계에서는, 시맨틱 분할 이미지에서 결함이 아닌 픽셀들을 제외하여 결함 부분만을 포함하는 새로운 이미지 세트를 생성한다.

이렇게 생성된 이미지 세트는 원본 이미지의 결함 부분만을 집중적으로 보여주며, 결함을 명확하게 인식이 가능하도록 한다.

최종적으로, 추출된 결함 이미지 세트만을 포함하게 되며, 이는 후속 과정에서 배경 이미지에 합성되어 사용된다.

결함이 없는 정상 콘크리트 이미지를 합성의 기본 틀로 설정한다. 이 배경 이미지는 콘크리트 표면의 이상적인 상태를 반영하며, 후속 과정에서 결함을 합성하기 위한 환경을 제공한다. 이후, 배경 이미지 위에 결함 부분을 적절하게 위치시키기 위해 이미지 좌표를 활용한다. 결함 이미지가 배경 이미지의 크기를 초과하여 위치하지 않도록 무작위로 조절하며, 이를 통해 결함 부분이 배경 이미지 내에 위치하도록 한다. 마지막으로, 결함 이미지가 배치될 위치를 무작위로 결정한다. 배경 이미지의 전체 크기와 결함의 크기를 고려하여 가능한 범위 내에서 랜덤하게 위치를 선정한다. 이런 무작위적 배치 방식은 배경과 결함의 여러 조합을 생성하게 해주며 다양한 배치를 통해 학습 데이터의 다양성을 증가시키는 데 중요한 역할을 한다. 식 (1)은 이미지 좌표를 이용한 무작위 합성 위치를 선정하는 식이다.

식 (1)에서 W_b와 H_b는 배경 이미지의 너비와 높이를 나타내며, W_d와 H_d는 결함 이미지의 너비와 높이를 나타낸다. Cx, Cy는 결함 이미지의 중심 좌표를 나타내며, 이는 결함 이미지가 배경 이미지 위에 합성될 위치를 결정하는 데 사용된다. 생성된 Cx, Cy 좌표를 이용하여 결함 이미지를 배경 이미지 위에 놓을 위치를 결정한다. 이를 통해 결함 이미지가 배경 이미지의 경계를 넘어가지 않도록 보장하면서 동시에 결함 이미지를 배경 이미지 내의 무작위 위치에 합성하는 것이 가능하다.

합성 과정은 생성된 무작위 이미지 좌표를 이용하여 알파 합성을 통해 결함 이미지를 배경 이미지 위에 배치하는 과정으로 이어진다. 알파 합성은 두 이미지를 합칠 때 투명도를 고려하는 기법으로, 이미지가 자연스럽게 겹쳐 록 한다. 결함 이미지의 특정 부분이 배경 이미지와 자연스럽게 합쳐져야 하는 경우, 해당 부분의 알파 채널 값을 조절하여 투명도를 제어할 수 있다. 이를 통해 결함 이미지의 알파 채널을 활용하여 결함 부분이 자연스럽게 배경 이미지 위에 놓일 수 있으며, 결함이 있는 콘크리트 구조물의 이미지가 생성된다. 그림 2는 객체와 배경을 합성한 이미지 결과를 나타낸다.

Fig. 2. 
Result of synthesized Image of object and background

이후, 합성된 이미지를 저장하고 필요한 이미지 데이터 수만큼 과정을 반복한다. 이렇게 생성된 이미지 데이터셋은 다양한 배경과 결함 조합을 포함하며, 모델이 다양한 상황에 대해 학습을 가능하게 한다.