Home

VGG Net 기반의 모델을 사용하여 입력 이미지를 SxS개의 그리드로 분할하고 특정 객체의 중앙이 그리드 셀의 중앙에 위치하면 그리드 셀은 객체 검출 작업을 실행한다. 그리드 셀은 각각의 그리드에 다하여 바운딩 박스, 신뢰점수와 클래스 확률의 예측을 수행한다.

이 예측 결과는 텐서에서 SxS x*(B*+C)로 계산된다. B는 바운딩 박스의 수, C는 셀의 조건부 클래스 수를 표시한다. 신뢰점수는 경계 박스 안에 객체의 포함 여부를 예측하는 경우 모델의 신뢰 수준과 정확도를 표시하는 것으로 식 (1)과 같다.

항목에 IOU는 Intersection Over Union을 나타내며, 셀 안에 객체가 존재하지 않는 경우는 신뢰 점수는 0, 객체가 존재하는 경우는 인공지능 모델 출력값을 훈련 및 테스트하는데 사용되는 실제 환경의 데이터인 검증용 실측 정보와 예측 박스 간의 IOU 값을 나타낸다.

YOLO v1의 네트워크 구조는 이미지 분류를 목적으로 설계된 GoogleNet 모델을 기반으로 24개의 convolution계층과 2개의 완전히 연결된 계층으로 구성되며, pooling계층은 적용하지 않는다. YOLO v1는 당시 VGG16과 같이 하나의 네트워크에 이미지를 넣으면 바로 객체의 종류와 위치정보를 파악할 수 있는 1단계 검출기 방식을 적용하여 당시 성능이 가장 좋았던 Faster R-CNN보다는 성능이 조금 저조하였으나 실행속도가 45 FPS로 실시간 객체 감지의 가능성을 보여주었다[11]. 그림 4는 YOLO v1의 네트워크 구조이다.

Fig. 4. 
Network Architecture and Detcection Model of YOLO v1[11]

YOLO v2는 YOLO v1을 개선한 버전으로 YOLO v1의 VGG Net 기반의 모델을 적용하지 않고 자체적으로 만든 CNN 모델인 Darknet 19를 사용하였다. Darknet은 19개의 layer로 구성되 있으며 처음에는 224x224에 대한 imageNet dataset를 학습시킨 후 448x448 이미지를 재학습 시켜주어야 한다. YOLO v2는 파라미터의 숫자가 많아졌으며, Fully Connected Layer 대신 Anchor box를 사용하여 Faster R-CNN과 같은 방식을 적용하였다[12].

YOLO v3는 YOLO v2의 구조를 그대로 사용하나 백본 아키텍쳐를 Datknet-19에서 Darknet-53으로 변경하였으며, Feature Pyramid Networkrhk 같이 물체 객체의 정확한 위치를 예측하기 위해서 Anchor box를 사용하면 각 Anchor box와 객체와 차이값을 예측하면 네트워크가 해결해야 할 문제의 난이도가 낮아지고 성능은 향상되었다. 이와 같이 Anchor box를 기준으로 위치를 구하기 때문에 감지 할 수 있는 객체의 수도 YOLO v1이 49개보다 많은 1,000개 이상의 객체 감지가 가능하다. 감지 분야에서 큰 문제점인 작은 물체를 감지하기 어려운 문제를 이미지나 필터 슬라이딩의 결과물인 피쳐맵의 크기를 다양한 형태로 재설계하는 접근 방식을 사용하였다.

그림 5는 파라미드 네트워크 기능이며, (a)는 입력 이미지 자체를 여러 크기로 조절한 뒤 각각의 이미지에서 물체를 감지하는 방법으로 입력 이미지를 그대로 다양한 크기로 복사하여 계산량이 많이 발생하는 문제점이 있다. (b)는 CNN 신경망을 거쳐서 만들어진 마지막 단계의 피쳐맵으로 물체 감지를 수행하는 기법으로 YOLO가 사용하는 기법이다. (c) CNN 신경망을 통과하는 중간과정에서 생성되는 피쳐맵 각각이 물체 감지를 수행하는 기법이다. (d) Feature Pyramid Network으로 신경망을 통과하면서 단계별로 피쳐맵을 생성한다. 그리고 가장 상위 계층에서 역방향으로 피쳐맵들을 합쳐준 뒤 물체 감지를 실시한다.

Fig. 5. 
Feature pyramid network[13]

이와 같은 순서로 상위 계층의 관계 있는 부분의 정보와 하위 계층의 작은 물체들에 대한 정보를 동시에 물체 감지를 할 수 있다[13].

YOLO v4는 C언어로 작성된 Darknet 프레임워크로 구성에는 .cfg 파일을 사용한다. 최근의 딥러닝 모델은 학습 시 많은 수의 GPU가 필요하고, 전체 학습 데이터를 배치 사이즈로 분할하고 각 배치 셋을 순차적으로 실행하는 mini-batch 크기가 매우 크다는 문제가 있다.

YOLO v4에서는 실시간으로 동작하면서 기존에 사용하던 GPU만으로 매우 빠른 학습이 가능하고 딥러닝의 정확도를 개선하는 다양한 방법을 적용하여 YOLO의 성능을 극대화하였다[14]. 그림 6은 물체 감지기의 구조이다.

Fig. 6. 
Anatomy of an object detector[14]

YOLO v5는 PyTorch 프레임워크 기반이며, 구성은 .yaml 파일을 사용한다. 모델에는 YOLOv5s, YOLOv5m, YOLOv5l, YOLOv5x의 4가지 모델로 구성되어 있다. small, medium. large. xlarge 모델로 backbone이나 head는 모두 같으나 depth_multiple과 width_multiple이 다르다. Large가 1.0을 기준으로 되는 크기로 다른 모델과 비교하여 판단한다[15]. 모델별 성능 비교는 그림 7과 같다.

Fig. 7. 
Performance comparision by YOLO v5[15]

Deep SORT(Simple Online Real-time Tracker)는 가장 보편적으로 사용되고 있는 객체 추적 프레임워크로 SORT를 기술적으로 확장한 기술이다. 이동하는 개체의 바운딩 박스를 추적하는 기술로 칼만 필터가 적용된다. 칼만 필터는 이전 프레임에 나타나는 개체를 사용하여 다음 프레임의 개체의 좌표를 예측하고 측정하는데 사용하였다[16].

그림 14는 칼만 필터의 모델로 Predicted state estimate는 예측 모델이고, Measurement는 측정 모델로 이 두 모델을 사용하여 추측을 더 잘하기 위해 상태의 업데이트를 진행한다.

Fig. 14. 
Model of kalman filter[16]

칼만 필터는 바운딩 박스 요소로 데이터를 처리한다. 바운딩 박스는 이미지 내의 개체의 위치를 나타내며, [x, y, a, h, vx, vy, va, vh]를 가진다. (x, y)는 바운딩 박스의 중심 위치를 a는 가로-세로 비율, h는 높이, vx, vy, va, vh는 각 요소들의 속도를 나타낸다. 이 데이터를 사용하여 위치를 추적하고 실제 측정된 값들과 비교하여 상태를 업데이트한다.

Sobel은 입력된 이미지에 3x3 크기의 행렬을 사용하여 연산하였을 때를 중심으로 각 방향의 앞뒤 값을 비교하여 변화량을 검출하는 알고리즘으로 바코드의 바와 바 사이의 가장자리를 인식되게 처리하였다[17].

Blur는 이미지 처리나 컴퓨터 비전에 적용되는 기본적인 이미지 형태를 바꾸는 처리 방법이다. 이것은 이미지에 필터의 합성(2차원 컨볼루션)을 사용하여 만들어진다. 작은 필터를 사용하여 전체 이미지에 이동하면서 원본 이미지의 모든 픽셀값을 변경시킨다. 노이즈를 제거하기 위한 방법으로 블러링을 많이 사용하고 있으며, 이미지의 거친 부분을 다듬는 효과가 있다.

이미지의 픽셀의 값은 공간적으로 천천히 변경된다. 따라서 픽셀 간의 상관관계가 매우 크다. 이를 저속 공간적 변형이라 하며, 노이즈는 이미지에서 어떤 패턴도 나타내지 않으므로 노이즈를 제거하는 유용한 방법은 평균을 내는 것이다. 노이즈는 서로 상관관계가 아주 작으므로 평균을 사용하면 0으로 근접하게 된다.

이것을 통해 이미지의 시그널을 상대적으로 크게 나타낼 수 있다. 대부분의 이미지 블러링 알고리즘은 픽셀값의 평균을 이용한다. 평균을 이용하는 방식이 단순한 산술 평균 또는 가중치를 고려한 평균이냐에 따라 다양한 방법으로 분류된다. 감지된 바운딩 박스 내부를 흐리게 처리하기 위하여 사용하였다.

이진화(Binarization)는 영상처리에서 두 클래스 분류 문제로 0 아니면 1 또는 검정색 아니면 흰색으로 일괄적으로 분류하는 연산 중 하나이다. 어떤 주어진 임계값 보다 밝은 픽셀들은 모두 흰색으로 나머지 픽셀들은 모두 검은색으로 바꾸는 연산이다[18]. 이진화 어떤 값이 두 클래스 중 어떤 것으로 분류할 때, 그 경계가 모호하면 큰 값의 차이에도 불구하고 다른 클래스에 소속되는 경우와 같은 오류가 발생하는 이진화 오류 문제가 있다.

이진화 오류문제를 작게 나타내기 위해 현재 픽셀값뿐만 아니라 주변의 값을 참조하여 오류를 줄일 수 있다. 히스테리시스 임계값은 주변의 분류 결과에 따라서 자신의 분류 결과가 다르게 나타나는 임계치 기법으로서 캐니 엣지 디텍터에 이진화 기법이 대표적이다. 히스테리시스는 어떤 시스템의 상태가 자신의 현재 픽셀값뿐만 아니라 과거 또는 주변의 값에 따라서 변경되는 현상을 의미한다.

형태학(Morphology)는 영상처리 분야에서 잡음 제거, 구멍 메우기, 선 이어 붙이기 등에 사용되는 형태학적 연산이다. 모폴로지 연산은 검은색과 흰색으로만 구성 되어 있는 이진화 이미지에 사용된다.

모폴로지 연산에는 침식, 팽창, 열림, 닫힘이 있으며, 침식(Erosion)연산은 이미지를 깎아 내는 연산이며, 팽창(Dilatation)은 침식과 반대로 물체의 주변을 늘려주는 연산이다. 침식 연산 후 팽창 연산을 수행하는 것을 열림(Opening)연산으로 밝은 노이즈를 제거하며, 닫힘 연산은 주변보다 어두운 잡음을 제거하고 분리되어 보이는 개체를 연결하거나 구멍을 메우는데 효과적인 연산이다[19].

일정한 각도 만큼 시계방향 또는 반 시계 방향으로 회전시켜서 프레임 내 물체의 위치를 변경한다. 먼저 Roation을 적용 시킬 이미지를 불러오고, 그 이미지의 바운딩 박스 정보를 읽어 저장한다. 기존 바운딩 박스는 [x, y, w, h]가 지정되어 있기 때문에 x1, y1, x2, y2를 계산하여 저장할 새로운 리스트를 만든다.

이미지에서 흐릿한 요소를 제거하는 프로세스를 디블러링이라 한다. 흐릿한 이미지 B 에서 선명한 이미지 S를 복구한다. 여기서 S는 K(흐림 커널)와 컨벌루션되어 B를 생성한다. 식 (3)과 같이 나타낼 수 있다.

블러 K는 점확산 함수로 모델링 되고 가상의 선명한 이미지 S와 컨벌루션 되어 B를 얻는다. 대부분의 경우 흐릿한 이미지에는 원본 이미지를 고유하게 판별하기 위한 정보가 충분하지 않아 문제가 발생한다. 또한 흐릿한 이미지에는 원본 이미지를 결정하는 작업을 복잡하게 만드는 추가 노이즈가 포함되어 있다. 이것은 일반적으로 정규화를 사용하여 해결된다. 포인트 확산 함수 K와 흐릿한 이미지 B의 적절한 디콘볼루션에 의해 흐릿한 이미지 B는 디블러링되고 선명한 이미지 S는 복구될 수 있다.

생성적 적대 신경망(Generative adversarial network)은 일반적으로 한 가지에 만들어진 신경망 모델들과 다르게 생성자, 판별자의 2가지의 신경망을 소유하고 있으며, 이것을 사용하여 진짜와 동일한 가짜를 제작하는 것을 목표로 하는 딥러닝(Deep learning) 알고리즘이다[20]. 그림 17은 블러링된 이미지를 디블러하여 만든 선명한 이미지이다.

Fig. 17. 
Deblur the blurred image to create a clear image