Journal Archive

본 연구에서는 그림 1과 같이 선박 영상에서 객체 검출을 위한 모델 학습을 위해 해상 이미지를 640 × 640 해상도로 편집하고 학습에 불필요한 영역을 삭제할 수 있는 소프트웨어를 구현하였다.

Fig. 1. 
Software GUI capture for training data

그림 2는 바지선, 그림 3은 예인선 그리고 그림 4 및 5는 실 환경에서 수집한 882개의 학습데이터 및 85개의 테스트용 데이터를 나타낸다.

Fig. 2. 
Barge

Fig. 3. 
Tug

Fig. 4. 
Data set for training

Fig. 5. 
Data set for test

본 연구는 해상의 바지선 및 예인선을 검출하기 위해 연산속도가 높으며 탐지 속도가 빠른 YOLOv5 알고리즘을 적용하였다[7]. 전처리된 학습데이터 세트와 학습데이터 세트의 약 10%의 이미지를 테스트 데이터 세트로 구성하여 학습을 진행하였으며 학습을 위한 YOLOv5 모델의 파라미터로써 훈련 횟수(Epoch) 및 배치(Batch) 값을 100 및 30으로 설정 후 학습을 진행하였다. 학습이 반복될수록 훈련 정확도가 1.0에 근접하여 수렴하였으며 오답률 또한 0%에 가깝게 수렴하였다. 본 연구에서는 해상에서 실시간으로 선박 정보를 수집하는 기간 및 CCTV 영상 확보의 어려움으로 제한적인 학습데이터로 진행되었다. 그림 6은 바지선(Barge), 예인선(Tug) 및 기타 선박(Etc)에 대한 검출 정밀도 및 재현율을 나타낸 것이다. 선박 검출 정밀도와 재현율은 1.0을 기준으로 평균 약 0.96을 나타내었다.

Fig. 6. 
Vessel detection precision-recall curve and detection accuracy

그림 7은 바지선, 예인선 및 기타 선박에 대한 검출 결과를 나타낸다. 학습된 모델에 대한 선박 검출 시험은 15장의 이미지를 대상으로 진행하였으며, 객체 검출 평가 방법인 IoU(Intersection over Union) 값을 활용하여 성능을 측정하였다. 성능 평가를 위한 15장의 이미지에서 선박 검출 성능을 분석한 결과 IoU가 0.6 이상의 값은 객체가 참 양성(True positive)으로 출력되고, 0.5 이하의 값은 거짓 양성(False positive)으로 출력되었다.

Fig. 7. 
Results of vessel detection using YOLOv5

IoU를 기반으로 처리된 2차원 좌표를 위·경도 좌표로 변환하기 위해서 직선과 평면의 접점을 검출 후 좌표 변환에 대한 기능 평가를 진행하였다. 영상의 해상도는 1920 × 1080에서 진행하였으며 IoU를 바탕으로 2차원 지점의 좌표를 3차원 좌표로 변환하고 카메라 기준점의 위·경도 좌표를 기준으로 거리 계산을 통해 그림 10과 같이 IoU의 2차원 좌표를 위·경도 좌표로 변환하였다.

2차원 화면 좌표계인 IoU의 좌표를 위도 경도 좌표계로 인식하기 위해서는 그림 8과 같이 3차원 공간에서 시작 지점으로부터 가상의 직선을 그려 법선과 바닥 면이 닿는 지점을 검출하였다. 그림 9에서와 같이 A는 직선의 시작 지점, B는 직선의 도착 지점, C는 직선과 평면이 만나는 접점, d는 선분 AC의 길이일 때 접점 C는 식(1)을 통해 산출할 수 있다.

Fig. 8. 
Detection of contact points on a plane from a straight line in 3D space

Fig. 9. 
Ray-Plane intersection function

교차점 산출식을 통해 도출된 좌표는 벡터 좌표로 길이 단위는 미터로 산정한다. 3차원 공간에서 구해진 접점은 기준 벡터와의 거리와 방향을 기반으로 식 (2) 및 (3)을 사용하여 위·경도 좌표계로 변환하였다. 수식에서 la1은 기준점 위도, lo1는 기준점 경도, d는 두 점 간의 거리, R이 지구 반지름일 때 Ad는 d/R, θ는 두 점 간의 방위, la2는 도착점 위도, lo2는 도착점의 경도를 나타낸다.

변환된 결과의 위·경도 좌표의 오차를 확인하기 위해 그림 10과 같이 구글어스(Google earth)의 거리 측정 기능을 활용하였다.

Fig. 10. 
Results of converting IoU coordinates to 3D coordinates

그림 11은 2D 화면 좌표를 3차원 공간에서의 위·경도 좌표로 변환하는 함수에 대해 단일 데이터를 사용한 실험 결과이며, 예인선의 길이는 37m, 폭은 10m, 바지선의 경우 길이는 30m, 폭은 15~20m를 기준으로 해상 작업 시 정박 또는 저속 이동 중인 경우 실험 결과를 나타낸다. 측정 결과 좌표 변환 결과 및 실제 좌표의 경우 최소 5.56m의 오차가 발생하였으며, 실제 정박 중인 선박 또는 저속 이동 선박에 대한 CCTV 영상을 이용하여 위치 추정의 오차가 최소 5.56m일 경우 AIS 정보를 활용하지 않고도 선종이나 선박의 위치를 판별할 수 있었다. 이러한 좌표 변환 방법을 통해 그림 12와 같이 AIS 정보를 인천 지역의 CCTV 영상 위에 가시화하여 선박의 위·경도 위치를 영상의 2차원 좌표로 추정하였다.

Fig. 11. 
Coordinate transformation result error

Fig. 12. 
Results of converting AIS coordinates to 2D coordinate system

선박 간의 충돌 예측 알고리즘은 레이더 장치에서 사용되는 DCPA(Distance of Closest Point of Approach) 및 TCPA(Time of CPA) 계산 방법을 적용하여 선박 간의 충돌 예상 위험도를 산출한다. 그림 13과 같이 선박 간의 충돌 예측은 지정한 선박에 대한 비교 선박의 방위(RC, Relative Course) 및 속도(RS, Realtive Speed)에 대한 상대 벡터를 계산한 후 비교 선박과의 충돌을 고려한다. 이때 북위를 기준으로 비교 선박의 상대적 방위각(BRG, Bearing), 거리(DIST, Distance) 및 상대적 이동속도(RS, Relative Speed)는 측정되어야 한다.

Fig. 13. 
Evaluation of ship collision risk using DCPA and TCPA

두 선박의 충돌에 대한 여부를 판단하기 위해 물표의 방위각과 물표의 상대적 이동 방향의 차를 계산하여 이동 방향의 차(CG, Course Gap)가 90도보다 큰 경우, 비교 선박은 지정 선박으로부터 점점 멀어지며 90도보다 작은 경우 충돌의 위험이 커진다. 식 (4) 및 (5)는 DCPA 및 TCPA를 나타낸다.

AIS는 선박에 설치된 VHF(Very High Frequency) 트랜스폰더에서 선박의 위치, IMO(International Maritime Organization) 식별번호 등의 정보를 수집 전송하고, AIS 수신기를 통해 주변의 선박 정보를 수신, 가시화하는 장치로 메시지 정보는 정적, 동적, 항행 관련 정보로 나누어지며 정적 정보는 IMO 식별번호, 호출부호(Call sign), 선박의 명칭, 선박의 길이, 선박의 종류 등이 포함된다. 동적 정보는 GPS로부터 위치 정보를 자동으로 입력 항행 중에는 속력에 따라 2~10초 간격으로 자동으로 전송한다.

바지선은 AIS 시스템이 별도 장착되지 않으나 주변 항해 충돌 위험을 가진 선박 및 바지선을 운송하는 예인선은 AIS 시스템을 운용한다. YOLOv5를 통해 식별된 바지선에 대한 IoU 좌표를 활용한 위경도 좌표와 AIS로 수집된 상대 선박 간의 좌표를 기반으로 충돌 위험성을 산출하는 위치 데이터로 활용한다.

선박의 충돌 시험환경은 소프트웨어상에 가상의 선박을 배치하여 충돌 위험성을 구분하기 위한 예측치를 산출하였다. 실제 수집되고 있는 선박의 진로를 기준으로 가상의 충돌 선박을 이동 방향의 차가 90도 이내로 들어올 수 있도록 그림 14와 같이 배치하였다. 충돌에 대한 예측은 DCPA 및 TCPA를 적용하여 충돌 예상 시간과 근접 거리를 산출하였다. 충돌 환경의 검증 및 TCPA 및 DCPA의 산출에 대한 성능 검증을 같이 진행해야 하므로 충돌 선박에 대한 배치를 다양한 방위에 배치하여 시험을 진행하였다.

Fig. 14. 
DCPA and TCPA performance test results

그림 14 및 표 1은 DCPA 및 TPCA 성능 시험 결과를 나타낸다.

자선 M1의 경우 타선 V2와의 충돌 가능성이 참(True)으로 출력되었으며, 타선 V1, V3와 같이 진로가 다른 선박의 경우 충돌 여부는 거짓으로 출력되었다. 타선 V4의 경우 TCPA 값이 마이너스로 출력되며, 이는 반대 방향으로 지나간 선박을 의미하고 충돌 가능성도 거짓으로 출력되었다.