개방형 객체 탐지를 활용한 딥러닝 기반 중국어선 분류 모델

Ⅰ. 서 론

최근 수년간 한국의 배타적 경제수역(EEZ) 내에서 불법 조업을 일삼는 중국어선으로 인해 심각한 해양 수산 피해와 자원 고갈 문제가 발생한다[1][2]. 이는 한국 어업 종사자들의 생계를 직접적으로 위협할 뿐만 아니라, 해양 생태계 전반에 부정적인 영향을 미친다. 해양경찰청의 단속 강화에도 불구하고, 불법 조업을 시도하는 중국어선들은 여전히 끊임없이 출몰하고 있으며, 그 규모는 매년 수만 척에 달하는 것으로 추정된다[3]. 특히, 야간이나 악천후 등 단속이 어려운 상황에서 불법 조업이 빈번하게 발생하여 효과적인 감시와 단속에 어려움을 겪고 있다[4]. 기존의 중국어선 단속은 주로 해양 경찰의 육안 관찰이나 레이더, 적외선 감시장비 등에 의존한다[5]. 그러나 이러한 방식은 넓은 해상에서 실시간으로 대규모의 어선들을 효율적으로 감시하는 데 한계가 있다[6].

선박 탐지 및 식별에 관한 기존의 연구들은 주로 위성이나 CCTV 이미지로부터 선박의 길이, 폭, 선체 형태와 같은 일반적이고 거시적인 외형 특징을 추출하여 화물선, 유조선, 어선 등 광범위한 유형으로 분류하는 데 중점을 두고 있다[7]. 그러나 이러한 접근 방식은 특정 국적의 어선만을 정밀하게 식별해야 하는 본 연구의 목적에는 한계가 있다. 일반적인 어선 분류 모델은 한국어선과 중국어선 간의 미묘한 외형적 차이를 구분하기 어렵기 때문이다.

이러한 문제를 해결하기 위해 본 논문에서는 개방형 객체 탐지 모델인 grounding DINO와 이미지 분류 및 특징 추출에 효율적인 성능을 보이는 EfficientNet과 SVM(Support Vector Machine)을 결합한 Two-Step 중국어선 분류 모델을 제안한다. 중국어선의 데이터를 충분히 확보하는 데에는 근본적인 제약이 있기 때문에 별도의 학습이 필요하지 않은 개방형 객체 탐지 모델을 사용한다. 여기에 EfficientNet과 SVM의 특징 추출 능력을 결합하여 해상 환경에서 중국어선을 정확하게 식별할 수 있도록 모델의 성능을 개선하고자 한다.

Ⅱ. 관련 연구

Ⅲ. 연구 방법

본 논문에서 제안하는 우리의 시스템은 중국어선을 분류하기 위해서 그림 1과 같이 계층적 모델을 구성한다. 전체 과정은 ship feature detection과 nationality classification의 두 단계로 구분되어 있다.

Fig. 1.

Model process

3.1 Ship feature detection

Ship feature detection 단계에서는, 그림 2와 그림 3에서 보듯이 원본 어선 이미지가 들어오면 입력된 어선 이미지를 대상으로 어선과 깃발의 위치를 grounding DINO를 통해서 object detection을 진행한다. 원본 이미지와 해당 이미지에서 추출할 대상인 선박과 깃발을 text prompt에 ‘a ship’, ‘a flag’로 지정하여 입력으로 사용하면, 모델은 입력 이미지 내에서 어선과 깃발 후보 영역을 탐지하여 해당 좌표와 그에 대한 레이블 정보를 제공한다. 이때 다음 단계인 nationality classification을 위해 그림 2와 같이 원본 이미지와 grounding DINO가 탐지한 annotation 정보를 같이 제공한다.

Fig. 2.

Ship feature detection architecture

Fig. 3.

Ship feature detection pseudo code

3.2 Nationality classification

Ship feature detection 단계에서 얻은 원본 어선 이미지와 Annotation 정보를 기반으로 그림 4 및 그림 5와 같이 nationality classification 단계를 수행한다. 먼저 annotation 정보를 통해 깃발 검출 여부를 확인한다. 깃발은 국적 식별에 직접적인 단서를 제공하기 때문에 별도의 특징 추출 과정 없이 깃발의 ROI(Region of Interest)를 EfficientNet에 입력으로 사용하여 분류를 진행한다. 반면, 깃발이 미검출 된 경우에는 선박 영역의 ROI를 사용한다.

Fig. 4.

Nationality classification architecture

Fig. 5.

Nationality classification pseudo code

이때 데이터 수집의 한계로 인해 한국어선의 특징만을 반영한 one class SVM 모델을 사용하여 분류를 진행한다. 최종적으로 EfficientNet과 SVM에서 분류된 결과를 병합하여 중국어선 분류 결과를 도출한다.

Ⅳ. 실험 결과

본 연구에서는 Ubuntu 20.04 Local, AMD EPYC 7413 24-Core Processor, 64GB RAM, NVIDIA RTX A6000, PyTorch 2.6.0 환경에서 진행하였다.

4.1 Dataset construction

표 1, 표 2 및 그림 6에서 보듯이 여러 기상 상황에서 발생할 수 있는 데이터를 자체적으로 수집하여 깃발의 유무, 해상에 환경을 고려한 데이터셋 구축을 진행하였다. 학습 및 평가에 사용한 데이터는 자체적으로 대천항에서 고정형 CCTV를 이용하여 수집한 한국어선 이미지 3,000개와 구글 크롤링을 활용하여 수집한 중국어선 이미지 100개를 사용하였다. 표 3에서 보듯이 데이터셋 분할은 8:1:1의 비율로 나누어서 진행하였다.

Table 1.

Number of images collected with or without flag

Table 2.

Number of images collected depending on the environment

Fig. 6.

Example fishing ship data by enviroment

Table 3.

Number of images according to dataset split ratio

평가를 진행하기 위한 별도의 레이블링 작업은 그림 7에서 보듯이 label-studio를 사용하여 작업, 선박 영역과 깃발 영역을 bounding box를 사용하여 표시하였다. Ship feature detection 단계에서 object detection의 결과를 확인하기 위해서 COCO dataset의 JSON 형식으로 저장하여 총 4,000개의 데이터를 구축하여 진행하였다.

Fig. 7.

Bounding box labeling with label-studio

4.2 Ship feature detection

Ship feature detection 단계에서는 HuggingFace 라이브러리를 사용하여 grounding DINO를 구축하여 진행하였다. 자체적으로 구축한 데이터셋의 Valid 데이터셋을 바탕으로 해당 이미지에 나와 있는 선박과 깃발의 검출 여부를 통해서 mAP@.50 지표를 기준으로 측정을 진행하였다. 모델의 threshold는 grid search를 통해서 가장 최적의 값을 탐지하였으며, 표 4에서 보이는 것처럼 0.1~0.2에서의 모델의 성능이 가장 우수하게 나왔다. 하지만 threshold가 너무 낮으면 노이즈 부분에 대해서도 바운딩 박스 결과를 도출하기 때문에 ship feature detection 모델에서는 0.2의 값을 사용하여 진행한다. 이외의 threshold에서는 grounding DINO에서 낮게 나온 결과들이 검사 대상에 포함이 되지 않아서 최종 mAP@.50에 영향을 준 것을 확인하였다.

Table 4.

Grounding DINO accuracy with threshold

4.3 Nationality classification

Nationality classification 단계에서는 HuggingFace에서 제공하는 EfficientNet-B0 모델을 사용하여 학습에 사용하였으며, one class SVM은 scikit-learn에서 제공하는 모델과 torchvision에서 제공하는 ResNet50 모델을 사용하여 진행하였다. 학습 정확도는 valid 데이터셋과 F1-Score를 사용하여 평가하였다. EfficientNet 모델은 성능과 효율성을 고려해서 파라미터의 수가 적은 Efficient-B0 모델을 사용하여 진행하였으며, one class SVM의 특징은 ResNet을 사용하여 특징을 추출하여 진행하였으며, grid search를 통해 최적의 파라미터를 탐색하였다. 표 5에서 보이는 것처럼 ‘poly’ Kernel, ‘0.05’ Nu, ‘0.009’ Gamma의 파라미터를 사용했을 때 가장 좋은 성능을 보여주었다. 특히 동일 파라미터 조건에서 ‘poly’ Kernel이 ‘linear’ Kernel 보다 약 0.4%의 좋은 성능을 보여주고 있다.

Table 5.

One class SVM accuracy with parameters

4.4 실험 결과

Ship feature detection에서 찾은 파라미터 값과 nationality classification에서 찾은 파라미터 값을 적용해서 모델의 성능을 평가하였으며, 단일 ResNet, 단일 EfficientNet, 단일 one class SVM 모델과 비교한 결과를 표 6과 같이 얻어 낼 수 있었다.

Table 6.

Compare result with classification models

기존 one class SVM을 사용했을 때보다 18.2%의 F1-Score 상승을 보여주었으며, 단일 ResNet50 대비 9.1%, 단일 EfficientNet-B0 대비 3.3%의 F1-Score 상승률을 확인 할 수 있었다.

일부 데이터에서 오분류가 발생한 경우는 그림 8과 같이 한국어선에서 식별용으로 사용하는 깃발이 중국어선의 오성홍기와 유사한 색상으로 적용이 되어 있어서 오인하는 경우가 있었다.

Fig. 8.

Korean ship image with misclassification

Ⅴ. 결론 및 향후 과제

본 연구에서는 개방형 객체 탐지를 적용하여 중국어선 분류 모델을 개발하고, 기존 분류 모델 대비 성능의 우수성을 입증하였다. 특히, 대용량의 데이터만을 이용하지 않더라도 중국어선과 한국어선을 분류할 가능성을 보여주었다.

단계별로 grid search를 통해 최적의 파라미터를 설정하고 기존의 단일 모델과의 결과 비교를 통해 단일 EfficientNet-B0의 정확도 보다 3.3%의 정확도가 향상되었다.

향후 연구에서는 grounding DINO에서 모델 경량화 기법인 양자화 기법을 적용하여 실제 해상 환경에서 사용하는 CCTV의 해상도 및 주사율 기준인 30FPS@2160p에서 운영할 수 있는 수준(약 50ms의 반응속도)으로 모델을 고도화할 것이다. 또한 데이터 불균형을 추가로 고려해서 다양한 데이터 증강 기법을 고려하여 모델의 신뢰성을 향상할 것이다.

Acknowledgments

본 논문은 국방부 재원으로 정보통신기획평가원의 지원을 받아 수행된(고유번호 2290000035) 이동형 모바일 환경 인공지능을 활용한 경계감시 시스템 기술개발(A) 연구입니다

References

• B. K. Jung, "A Study on the Improvement of Control Effectiveness against Illegal Chinese Fishing Boat of Maritime Enforcement Organization", The Journal of Fisheries and Marine Sciences Education, Vol. 26, No. 6, pp. 1695-1706, Dec. 2017. [https://doi.org/10.13000/JFMSE.2017.29.6.1695]
• M. S. Ko, "A Study on the Legal Issues of Illegal Chinese Fishing Vessels", Korean Association of Maritime Police Science, Vol. 14, No. 4, pp. 195-215, Dec. 2024. [https://doi.org/10.30887/jkmps.2024.14.4.195]
• H. R. Roh, "Illegal Fishing of Chinese Fishing Boat and Countermeasure of Korean Maritime Police", Korean Police Studies, Vol. 9, No. 2, pp. 29-58, Jan. 2010.
• Ministry of Oceans and Fisheries and Korea Coast Guard Join Forces to Combat Illegal Fishing by Chinese Vessels, https://www.mof.go.kr/doc/ko/selectDoc.do?docSeq=34877&menuSeq=971&bbsSeq=10, . [accessed: Sep. 15, 2025]
• The Issue of Illegal Chinese Fishing Vessels Before and After COVID-19: What Has Changed and What is the Outlook?, https://kims.or.kr/issubrief/kims-periscope/peri357/, . [accessed: Sep. 15, 2025]
• C. H. Lim, "A Study on the Law Enforcement of Korea Coast Guard against the Illegal Chinese Fishing Vessels", Journal of The Korean Society of Marine Environment & Safety, Vol. 20, No. 1, 49-58. Jan. 2014. [https://doi.org/10.7837/kosomes.2014.20.1.049]
• R. D. Kwon, G. R. Nam, J. Tak, J. Shin, H. Cha, and S. W. Lee, "Enhancing Ship Classification in Optical Satellite Imagery: Integrating Convolutional Block Attention Module with ResNet for Improved Performance", IEEE Access, Aug. 2024. [https://doi.org/10.48550/arXiv.2404.02135]
• S. Liu, Z. Zeng, T. Ren, F. Li, H. Zhang, J. Yang, and L. Zhang, "Grounding dino: Marrying dino with grounded pre-training for open-set object detection", European Conference on Computer Vision., Milan, Italy, pp. 38-55, Sep. 2024. [https://doi.org/10.48550/arXiv.2303.05499]
• M. Tan and Q. Le, "Efficientnet: Rethinking model scaling for convolutional neural networks", International Conference on Machine Learning., Los Angelas, United States of America, pp. 6105-6114, May 2019. [https://doi.org/10.48550/arXiv.1905.11946]
• C. Cortes and V. Vapnik, "Support-vector networks", Machine Learning, Vol. 20, No. 3, pp. 273-297, Sep. 1995. [https://doi.org/10.1023/A:1022627411411]