딥러닝 기반 선박 검출 및 AIS를 활용한 선박 충돌 경보 기법

Ⅰ. 서 론

바지선은 연안 근처의 해상 건축물 자재 운반에 사용되는 무동력 선박으로써 해상의 날씨 변화나 운행 부주의로 충돌 사고가 빈번하게 발생할 수 있다. 현재 이러한 문제를 해결하기 위해 육상의 고층 건물에 설치된 해상 감시용 CCTV 및 AIS(Automatic Identification System)[1]를 활용하여 연안의 선박을 감시하는 시스템이 사용된다. 하지만 이를 활용하기 위해 모니터링을 담당하는 상주 인력이 필요하며 바지선의 경우 선박 위치 추적 장치가 없으므로 실제 해상에서의 정확한 위치를 예측할 수 없다. 따라서 이러한 문제를 해결하기 위해서는 해상의 바지선을 자동으로 검출 후 경로를 추적 및 예측하여 이동하는 통항 선박 간의 충돌을 사전에 알리는 시스템 개발이 필요하다.

CCTV 영상으로부터 선박 충돌을 감지하기 위해서는 해상에서의 선박 검출이 필수적이다. 선박을 검출하기 위한 기존의 연구로는 전자 광학 이미지를 사용한 선박 감지 방법[2], 경량 딥러닝 모델을 사용한 해상 부유물 및 선박 검출 시스템[3] 그리고 선박의 선실과 선미를 식별할 수 있는 딥러닝 기반 알고리즘[4], 퍼지추론을 사용한 선박 검출 방법[5] 및 YOLOv5를 사용한 방법[6][7]이 있으며, 선박 충돌 회피를 위한 연구로는 AIS 및 GPS 데이터를 사용한 알고리즘이 있다[8][9].

본 논문에서는 딥러닝을 통해 영상에서 바지선을 분류하고, 분류한 바지선의 2차원 픽셀 위치를 위·경도 좌표로 변환 후 변환된 위·경도 좌표 및 선박 AIS 데이터를 활용하여 주변 통항 선박 간의 충돌을 예측하는 방법을 제안한다. 무동력선인 바지선과 이를 이동시키는 예인선에 대해 객체 검출 모델인 YOLOv5를 적용하여 선박을 분류하고 검출된 객체의 IoU의 위치를 위·경도 좌표계로 변환하여 바지선의 위치를 추정한다. 추정한 바지선과 AIS로 수집된 항행 중 선박의 위치 정보를 비교 분석하여 선박 충돌 예상 위험도를 산출하여 선박 간의 충돌을 예측한다.

본 논문의 구성은 다음과 같다. 2장은 딥러닝 기반 선박 검출을 위한 학습데이터 구성 및 학습 결과를 분석하고, 이를 토대로 검출된 선박의 위치 추정 기법을 기술한다. 3장에서는 본 논문에서 제안하는 선박간 충돌 예측 알고리즘에 대한 성능 평가 및 결과를 고찰하고 이후 5장에서는 결론 및 향후 연구에 대하여 기술한다.

Ⅱ. 딥러닝 기반 선박 검출 및 위치 추정

2.1 딥러닝을 위한 학습데이터 구성

본 연구에서는 그림 1과 같이 선박 영상에서 객체 검출을 위한 모델 학습을 위해 해상 이미지를 640 × 640 해상도로 편집하고 학습에 불필요한 영역을 삭제할 수 있는 소프트웨어를 구현하였다.

Fig. 1.

Software GUI capture for training data

그림 2는 바지선, 그림 3은 예인선 그리고 그림 4 및 5는 실 환경에서 수집한 882개의 학습데이터 및 85개의 테스트용 데이터를 나타낸다.

Fig. 2.

Barge

Fig. 3.

Tug

Fig. 4.

Data set for training

Fig. 5.

Data set for test

2.2 학습 결과 분석

본 연구는 해상의 바지선 및 예인선을 검출하기 위해 연산속도가 높으며 탐지 속도가 빠른 YOLOv5 알고리즘을 적용하였다[7]. 전처리된 학습데이터 세트와 학습데이터 세트의 약 10%의 이미지를 테스트 데이터 세트로 구성하여 학습을 진행하였으며 학습을 위한 YOLOv5 모델의 파라미터로써 훈련 횟수(Epoch) 및 배치(Batch) 값을 100 및 30으로 설정 후 학습을 진행하였다. 학습이 반복될수록 훈련 정확도가 1.0에 근접하여 수렴하였으며 오답률 또한 0%에 가깝게 수렴하였다. 본 연구에서는 해상에서 실시간으로 선박 정보를 수집하는 기간 및 CCTV 영상 확보의 어려움으로 제한적인 학습데이터로 진행되었다. 그림 6은 바지선(Barge), 예인선(Tug) 및 기타 선박(Etc)에 대한 검출 정밀도 및 재현율을 나타낸 것이다. 선박 검출 정밀도와 재현율은 1.0을 기준으로 평균 약 0.96을 나타내었다.

Fig. 6.

Vessel detection precision-recall curve and detection accuracy

그림 7은 바지선, 예인선 및 기타 선박에 대한 검출 결과를 나타낸다. 학습된 모델에 대한 선박 검출 시험은 15장의 이미지를 대상으로 진행하였으며, 객체 검출 평가 방법인 IoU(Intersection over Union) 값을 활용하여 성능을 측정하였다. 성능 평가를 위한 15장의 이미지에서 선박 검출 성능을 분석한 결과 IoU가 0.6 이상의 값은 객체가 참 양성(True positive)으로 출력되고, 0.5 이하의 값은 거짓 양성(False positive)으로 출력되었다.

Fig. 7.

Results of vessel detection using YOLOv5

2.3 검출 선박의 위치 추정 기법

IoU를 기반으로 처리된 2차원 좌표를 위·경도 좌표로 변환하기 위해서 직선과 평면의 접점을 검출 후 좌표 변환에 대한 기능 평가를 진행하였다. 영상의 해상도는 1920 × 1080에서 진행하였으며 IoU를 바탕으로 2차원 지점의 좌표를 3차원 좌표로 변환하고 카메라 기준점의 위·경도 좌표를 기준으로 거리 계산을 통해 그림 10과 같이 IoU의 2차원 좌표를 위·경도 좌표로 변환하였다.

2차원 화면 좌표계인 IoU의 좌표를 위도 경도 좌표계로 인식하기 위해서는 그림 8과 같이 3차원 공간에서 시작 지점으로부터 가상의 직선을 그려 법선과 바닥 면이 닿는 지점을 검출하였다. 그림 9에서와 같이 A는 직선의 시작 지점, B는 직선의 도착 지점, C는 직선과 평면이 만나는 접점, d는 선분 AC의 길이일 때 접점 C는 식(1)을 통해 산출할 수 있다.

$\[ C=A+\overrightarrow{AB}\cdot \frac{\overrightarrow{N}\cdot \overrightarrow{P-A}}{\overrightarrow{N}\cdot \overrightarrow{AB}} \]$

(1)

Fig. 8.

Detection of contact points on a plane from a straight line in 3D space

Fig. 9.

Ray-Plane intersection function

교차점 산출식을 통해 도출된 좌표는 벡터 좌표로 길이 단위는 미터로 산정한다. 3차원 공간에서 구해진 접점은 기준 벡터와의 거리와 방향을 기반으로 식 (2) 및 (3)을 사용하여 위·경도 좌표계로 변환하였다. 수식에서 la1은 기준점 위도, lo1는 기준점 경도, d는 두 점 간의 거리, R이 지구 반지름일 때 Ad는 d/R, θ는 두 점 간의 방위, la2는 도착점 위도, lo2는 도착점의 경도를 나타낸다.

$\[ \begin{array}{c}la2=\hfill \\ asin\left(\mathrm{s}\mathrm{i}\mathrm{n}la1\mathrm{*}\mathrm{c}\mathrm{o}\mathrm{s}Ad+\mathrm{c}\mathrm{o}\mathrm{s}la{1}^{\mathrm{*}}\mathrm{s}\mathrm{i}\mathrm{n}Ad\mathrm{*}\mathrm{c}\mathrm{o}\mathrm{s}\theta \right)\hfill \end{array} \]$

(2)

$\[ \begin{array}{c}lo2=lo1+atan2\left(\mathrm{s}\mathrm{i}\mathrm{n}\theta \mathrm{*}\mathrm{s}\mathrm{i}\mathrm{n}Ad\mathrm{*}\mathrm{c}\mathrm{o}\mathrm{s}la1,\right.\hfill \\ \left.\mathrm{c}\mathrm{o}\mathrm{s}Ad-\mathrm{s}\mathrm{i}\mathrm{n}la1\mathrm{*}\mathrm{s}\mathrm{i}\mathrm{n}la2\right)\hfill \end{array} \]$

(3)

변환된 결과의 위·경도 좌표의 오차를 확인하기 위해 그림 10과 같이 구글어스(Google earth)의 거리 측정 기능을 활용하였다.

Fig. 10.

Results of converting IoU coordinates to 3D coordinates

그림 11은 2D 화면 좌표를 3차원 공간에서의 위·경도 좌표로 변환하는 함수에 대해 단일 데이터를 사용한 실험 결과이며, 예인선의 길이는 37m, 폭은 10m, 바지선의 경우 길이는 30m, 폭은 15~20m를 기준으로 해상 작업 시 정박 또는 저속 이동 중인 경우 실험 결과를 나타낸다. 측정 결과 좌표 변환 결과 및 실제 좌표의 경우 최소 5.56m의 오차가 발생하였으며, 실제 정박 중인 선박 또는 저속 이동 선박에 대한 CCTV 영상을 이용하여 위치 추정의 오차가 최소 5.56m일 경우 AIS 정보를 활용하지 않고도 선종이나 선박의 위치를 판별할 수 있었다. 이러한 좌표 변환 방법을 통해 그림 12와 같이 AIS 정보를 인천 지역의 CCTV 영상 위에 가시화하여 선박의 위·경도 위치를 영상의 2차원 좌표로 추정하였다.

Fig. 11.

Coordinate transformation result error

Fig. 12.

Results of converting AIS coordinates to 2D coordinate system

Ⅲ. 선박 간 충돌 예측 알고리즘 성능 평가

3.1 DCPA 및 TCPA 정의

선박 간의 충돌 예측 알고리즘은 레이더 장치에서 사용되는 DCPA(Distance of Closest Point of Approach) 및 TCPA(Time of CPA) 계산 방법을 적용하여 선박 간의 충돌 예상 위험도를 산출한다. 그림 13과 같이 선박 간의 충돌 예측은 지정한 선박에 대한 비교 선박의 방위(RC, Relative Course) 및 속도(RS, Realtive Speed)에 대한 상대 벡터를 계산한 후 비교 선박과의 충돌을 고려한다. 이때 북위를 기준으로 비교 선박의 상대적 방위각(BRG, Bearing), 거리(DIST, Distance) 및 상대적 이동속도(RS, Relative Speed)는 측정되어야 한다.

Fig. 13.

Evaluation of ship collision risk using DCPA and TCPA

두 선박의 충돌에 대한 여부를 판단하기 위해 물표의 방위각과 물표의 상대적 이동 방향의 차를 계산하여 이동 방향의 차(CG, Course Gap)가 90도보다 큰 경우, 비교 선박은 지정 선박으로부터 점점 멀어지며 90도보다 작은 경우 충돌의 위험이 커진다. 식 (4) 및 (5)는 DCPA 및 TCPA를 나타낸다.

$\[ DCPA=\mathrm{c}\mathrm{o}\mathrm{s}\left(90-CG\right)\times DIST \]$

(4)

$\[ TCPA=\mathrm{s}\mathrm{i}\mathrm{n}\left(90-CG\right)\times DIST/RS \]$

(5)

AIS는 선박에 설치된 VHF(Very High Frequency) 트랜스폰더에서 선박의 위치, IMO(International Maritime Organization) 식별번호 등의 정보를 수집 전송하고, AIS 수신기를 통해 주변의 선박 정보를 수신, 가시화하는 장치로 메시지 정보는 정적, 동적, 항행 관련 정보로 나누어지며 정적 정보는 IMO 식별번호, 호출부호(Call sign), 선박의 명칭, 선박의 길이, 선박의 종류 등이 포함된다. 동적 정보는 GPS로부터 위치 정보를 자동으로 입력 항행 중에는 속력에 따라 2~10초 간격으로 자동으로 전송한다.

바지선은 AIS 시스템이 별도 장착되지 않으나 주변 항해 충돌 위험을 가진 선박 및 바지선을 운송하는 예인선은 AIS 시스템을 운용한다. YOLOv5를 통해 식별된 바지선에 대한 IoU 좌표를 활용한 위경도 좌표와 AIS로 수집된 상대 선박 간의 좌표를 기반으로 충돌 위험성을 산출하는 위치 데이터로 활용한다.

3.2 DCPA 및 TCPA 기반 위험성 성능 평가

선박의 충돌 시험환경은 소프트웨어상에 가상의 선박을 배치하여 충돌 위험성을 구분하기 위한 예측치를 산출하였다. 실제 수집되고 있는 선박의 진로를 기준으로 가상의 충돌 선박을 이동 방향의 차가 90도 이내로 들어올 수 있도록 그림 14와 같이 배치하였다. 충돌에 대한 예측은 DCPA 및 TCPA를 적용하여 충돌 예상 시간과 근접 거리를 산출하였다. 충돌 환경의 검증 및 TCPA 및 DCPA의 산출에 대한 성능 검증을 같이 진행해야 하므로 충돌 선박에 대한 배치를 다양한 방위에 배치하여 시험을 진행하였다.

Fig. 14.

DCPA and TCPA performance test results

그림 14 및 표 1은 DCPA 및 TPCA 성능 시험 결과를 나타낸다.

Table 1.

DCPA and TCPA performance test result data

자선 M1의 경우 타선 V2와의 충돌 가능성이 참(True)으로 출력되었으며, 타선 V1, V3와 같이 진로가 다른 선박의 경우 충돌 여부는 거짓으로 출력되었다. 타선 V4의 경우 TCPA 값이 마이너스로 출력되며, 이는 반대 방향으로 지나간 선박을 의미하고 충돌 가능성도 거짓으로 출력되었다.

Ⅳ. 결론 및 향후 과제

본 논문은 해상의 바지선과 항해 중인 타 선박과의 충돌을 방지하기 위해 YOLOv5 모델을 사용하여 선박들을 검출하고, 검출된 바지선의 IoU 값을 위·경도 좌표로 변환 후 AIS로 수집된 주변 항해 선박들의 위치 정보를 비교함으로써 선박 충돌 시간 및 거리를 예측하였다. 향후 본 연구 결과를 활용하여 검출된 바지선, 예인선 및 기타 선박에 대한 IoU 값들의 실시간 데이터 연계를 통해 선박 간의 충돌을 예측하고 알람을 제공하는 시스템을 개발할 예정이다.

Acknowledgments

“본 연구는 과학기술정보통신부 및 정보통신기획평가원의 지역지능화혁신인재양성(Grand ICT연구센터) 사업의 연구결과로 수행되었음” (IITP-2023-2020-0-01791)

References

• IEC. 61993-2 Ed.1, Maritime navigation and radiocommunication requirements, Automatic identification systems (AIS), 2001.
• L. Wang, et al., "A Review of Methods for Ship Detection with Electro-Optical Images in Marine Environments", Journal of Marine Science and Engineering, Vol. 9, No. 12, pp. 1408-1426, Dec. 2021. [https://doi.org/10.3390/jmse9121408]
• S.-J. Lee, H.-C. Lee, H.-H. Song, H.-S. Jeon, and T. Im, "Comparative Analysis of CNN Deep Learning Model Performance Based on Quantification Application for High-Speed Marine Object Classification", Journal of Internet Computing and Services, Vol. 22, No. 2, pp. 59-68, Apr. 2021. [https://doi.org/10.7472/jksii.2021.22.2.59]
• H. Zhao, W. Zhang, H. Sun, and B. Xue, "Embedded Deep Learning for Ship Detection and Recognition", Future Internet, Vol. 11, No. 2, pp. 53-64, Feb. 2019. [https://doi.org/10.3390/fi11020053]
• H. Jung, S.-G. Kim, and Y.-G. Kim, "Use of Fuzzy technique for Calculating Degree of Collision Risk in Obstacle Avoidance of Unmanned Underwater Vehicles", Journal of Korean Institute of Intelligent Systems, Vol. 21, No. 1, pp. 112-119, Feb. 2011. [https://doi.org/10.5391/JKIIS.2011.21.1.112]
• L. Ting, Z. Baijun, Z. Yongsheng, and Y. Shun, "Ship Detection Algorithm based on Improved YOLO V5", IEEE 6th International Conference on Automation, Control and Robotics Engineering, Dalian, China, pp. 483-487, Jul. 2021. [https://doi.org/10.1109/CACRE52464.2021.9501331]
• J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You Only Look Once: Unified, Real-time Object Detection", arXiv:1506.02640, , pp. 779-788, Jun. 2015. [https://doi.org/10.48550/arXiv.1506.02640]
• S.-W. Kim, "A Study on Ship Collision Avoidance and Order of Priority Designation Model", Journal of the Korea Academia-Industrial cooperation Society, Vol. 14, No. 11, pp. 5442-5447, Nov. 2013. [https://doi.org/10.5762/KAIS.2013.14.11.5442]
• G.-K Kim, "Development of Ship Safety Navigation Alarm System using AIS", The Journal of Korean Institute of Information Technology, Vol. 11, No. 4, pp. 69-75, Apr. 2013. [https://doi.org/10.14801/kiitr.2013.11.4.69]