VLM 기반 장면 맥락 인지와 포즈 정렬 ROI를 결합한 정책 중심 PPE 준수 판별 프레임워크

Ⅰ. 서 론

산업 현장에서는 추락, 낙하물 충돌, 절단, 화학물질 노출 등 다양한 위험 요인이 상존하며, 이러한 환경에서 작업자의 개인보호구(PPE, Personal Protective Equipment) 미착용 또는 부적절한 착용은 사고 발생 가능성을 높일 뿐 아니라 사고 발생 시 피해 범위를 급격히 확대시킬 수 있다[1]-[3]. 이에 따라 많은 국가에서 산업안전 관련 법·규정은 작업 유형과 위험 요인에 따라 필요한 PPE 착용을 의무로 명시하고 있으며 현장 안전관리 체계에서 PPE 준수는 가장 기본적이면서 핵심적인 예방 수단으로 다뤄진다[4]. 미국(OSHA), 유럽(EU), 일본 등 주요 국가의 산업안전 규정은 작업 환경 및 위험 요인에 대응하는 PPE 제공·착용 의무를 제도적으로 규정하고 있어 다양한 산업 현장에서 PPE 준수 여부를 체계적으로 관리할 필요를 지속적으로 강조하고 있다[5]-[7]. 그러나 대규모 작업장이나 다수 작업자가 동시에 활동하는 환경에서 PPE 착용을 상시 점검하는 것은 쉽지 않으며 규정 준수 여부를 지속적으로 모니터링할 수 있는 자동화된 감시·판별 기술의 필요성이 점차 커지고 있다.

전통적인 PPE 점검 방식은 안전 관리자가 현장을 순회하며 육안으로 확인하거나 담당자가 CCTV를 통해 수동으로 모니터링하는 형태가 일반적이다. 이러한 방식은 인력과 시간이 많이 소요되며 감시 범위가 넓어질수록 누락 가능성이 증가하고 담당자의 피로도 및 주의력 저하로 인한 실수에 취약하다는 한계를 가진다. 특히 PPE 준수 여부는 단순히 보호구가 보이는지를 확인하는 문제에 그치지 않고 장면의 작업 환경과 위험 요인에 따라 어떤 보호구가 요구되는지를 함께 판단해야 하므로 수작업 점검만으로는 일관된 기준을 적용하기 어렵다. 본 논문에서 PPE 준수 판별(PPE compliance assessment)은 특정 보호구의 단순 존재 여부나 착용 여부를 탐지하는 문제를 넘어, 입력 장면의 작업 환경과 위험 요인에 기반하여 요구 PPE를 추론하고 각 작업자가 해당 요구 PPE를 적절한 신체 부위에 착용하였는지를 검증함으로써 최종 준수 여부를 판단하는 문제로 정의한다. 따라서 본 논문에서 말하는 올바른 착용은 이미지 내 PPE가 검출되었는지 여부가 아니라, 현장 상황에 따라 요구되는 PPE 종류가 작업자의 해당 신체 부위에 요구 수준에 맞게 착용되었는지를 의미한다. 이러한 상황 기반 요구 조건은 장면마다 달라질 수 있으므로, 다양한 환경에서 확장 가능하면서도 일관된 기준으로 PPE 준수 여부를 판별할 수 있는 시스템이 요구된다.

컴퓨터 비전 기반 PPE 준수 탐지 연구는 주로 객체 탐지(Object detection)를 이용하여 작업자와 PPE를 검출한 뒤 두 객체 간의 거리·포함 관계·IoU 등 공간적 관계를 기반으로 착용 여부를 판단하는 방식으로 발전해왔다. 그러나 실제 산업 현장 이미지는 배경이 복잡하기 때문에 이미지 전체에서 PPE를 직접 탐지할 경우 오탐지 또는 미탐지가 증가할 수 있다[8]-[11]. 특히 다중 작업자가 등장하는 환경에서는 검출된 PPE를 특정 작업자에게 정확히 귀속시키는 매칭이 불안해져 다른 사람의 PPE를 잘못 연결해 착용 여부를 판단하는 문제가 발생할 수 있다.

더 나아가 기존 접근법의 상당수는 PPE가 보이는가 또는 착용으로 추정되는가에 초점을 두는 경우가 많아 현장 환경의 위험 요인에 따라 어떤 PPE가 요구되는지를 결정한 뒤 요구 목록에 대해 착용 준수를 검증하는 체계적 프레임으로 확장되기 어렵다는 한계를 가진다. 따라서 현장 PPE 준수 판단은 상황에 따른 요구 PPE 결정과 착용 증거 기반 준수 판별을 결합한 형태로 정식화할 필요가 있다.

이러한 한계를 해결하기 위해 본 논문에서는 포즈 추정 모델(Pose Estimation Model)[12]을 기반으로 작업자의 신체 부위를 안정적으로 추출하고 추출된 신체 ROI에서 PPE 착용 증거를 포착하여 착용 여부를 판별하며, 비전-언어 모델(VLM, Vision-Language Model)[13]을 활용하여 장면의 작업 맥락과 위험 요인을 해석함으로써 상황 기반 요구 PPE 목록을 생성하고 이를 착용 판별 결과와 결합해 최종 준수 여부를 판단하는 모듈형 프레임워크를 제안한다. 포즈 추정은 관절 키포인트를 통해 인체 구조 단서를 제공하므로 다중 인원 및 부분 가림 환경에서도 머리·상체·발과 같은 신체 부위 단위 ROI를 구성하는 데 유리하다. 또한 VLM 기반 장면 이해를 결합함으로써 고정된 체크리스트가 아닌 현장 상황 적응형 요구 PPE를 생성할 수 있어 단순 착용 탐지를 넘어 안전 정책 중심의 준수 판별 체계를 구축할 수 있다.

위 연구의 기여는 다음과 같이 요약할 수 있다. 첫째, 포즈 기반 신체 부위 ROI 생성과 ROI 중심 증거 결합을 통해 다중 인원 및 복잡한 배경에서 PPE 착용 판별 안정성을 높이는 착용 판별 모듈을 제시한다. 둘째, VLM을 활용한 장면 맥락 기반 위험 요인 추론을 통해 현장 상황 적응형 요구 PPE 생성 방식을 제안한다. 셋째, 요구 PPE 목록과 착용 판별 결과를 결합하는 모듈형 파이프라인을 설계하고 데이터셋 기반 정량 평가를 통해 각 모듈의 기여와 오류 전파 특성을 분석한다.

본 논문의 구성은 다음과 같다. 2장에서는 PPE 검출 및 준수 판단, 포즈 기반 ROI/앵커링, 장면 이해 기반 정책·요구 PPE 추론 등 관련 연구를 정리한다. 3장에서는 제안하는 모듈형 프레임워크의 전체 구조와 각 모듈의 역할 및 세부 사항을 기술한다. 4장에서는 데이터셋과 라벨링 방법, 평가 지표를 소개하고 모듈별 성능 및 end-to-end 성능 결과를 보고한다. 마지막 5장에서는 결과에 대한 논의와 한계 및 향후 연구 방향을 제시한다.

Ⅱ. 관련 연구

Ⅲ. 제안하는 방법

본 장에서는 산업 현장 이미지 I가 주어졌을 때 작업자별 PPE 준수 여부를 산출하는 모듈형 프레임워크를 제안한다. 제안 프레임워크는 먼저 장면의 작업 맥락과 위험 단서를 바탕으로 현장 상황에서 요구되는 PPE 목록을 추론한다. 이후 작업자의 신체 부위 단위에서 요구 PPE의 착용 증거를 검증하고 두 결과를 결합하여 최종 준수 여부를 판단하는 구조를 가진다. 본 논문에서는 작업자의 신체 부위를 머리, 상체, 발의 3개 파트로 정의하고 각 파트에 대응되는 PPE 후보를 각각 헬멧, 안전조끼, 안전화로 설정한다. 제안하는 프레임워크는 장면 맥락 기반 요구 PPE를 결정하는 단계와 신체 부위 ROI 기반으로 PPE 착용 여부를 판별하는 단계를 분리하여 설계한다. 이를 통해 산업 현장별 요구 조건의 변화와 착용 증거의 불확실성을 체계적으로 다룰 수 있다. 결과적으로 본 프레임워크는 요구-착용-준수의 연결 구조를 명시적으로 포함하며 현장 상황 적응형 PPE 준수 판별을 목표로 한다.

3.1 전체 프레임워크 구조

그림 1은 제안하는 모듈형 프레임워크의 전체 구조를 나타낸다. 제안 방법은 입력 이미지 I로부터 작업자별 요구 PPE와 착용 증거를 추출한 뒤 최종 준수 여부를 산출한다. 첫 번째로, 포즈 추정 기반 관절 키포인트 추출 모듈은 YOLO 계열의 포즈 추정 모델을 사용하여 이미지 내 다중 작업자를 탐지하고 각 작업자에 대한 2D 관절 키포인트를 추정한다. 두 번째로, 관절 키포인트 기반 신체 부위 ROI 추출 모듈은 추정된 관절 키포인트를 이용하여 작업자별 머리, 상체, 발 영역을 안정적으로 구성한다. 세 번째로, VLM 기반 장면 맥락 인지 및 요구 PPE 생성 모듈은 장면의 작업 맥락과 위험 단서를 해석하여 헬멧, 안전조끼, 안전화 각각에 대해 요구 여부를 출력한다. 마지막으로, 신체 부위 ROI 기반 PPE 착용 판별 및 준수 판정 모듈은 각 신체 부위 ROI에서 PPE 착용 증거를 통합하여 작업자별 착용 여부를 판별하고, VLM 기반 장면 맥락 인지 및 요구 PPE 생성 모듈의 요구 PPE와 결합하여 최종 준수 여부를 산출한다. 요약하면 본 논문은 포즈 기반 신체 부위 ROI와 같이 구조 단서를 통해 착용 증거 추출을 안정화하고, VLM 기반 이미지 속 장면 이해를 통해 상황 적응형 요구 조건을 생성한 뒤 두 결과를 결합하여 산업 장면에서도 일관된 기준으로 PPE 준수 여부를 판단하도록 설계한다.

Fig. 1.

Overview of the proposed policy-centric PPE compliance determination framework

3.5 신체 부위 ROI 기반 PPE 착용 판별 및 준수 판정

프레임워크의 마지막 단계는 신체 부위 ROI 기반 PPE 착용 판별 및 준수 판정 모듈이다. 이 모듈은 관절 키포인트 기반 신체 부위 ROI 추출 모듈에서 생성한 신체 부위 ROI와 실제 PPE 객체 정보를 결합한다. 이를 통해 각 작업자의 부위별 PPE 착용 여부를 확인한다. 이후 착용 판별 결과를 VLM 기반 장면 맥락 인지 요구 및 PPE 생성 모듈에서 도출된 현장 상황 기반 요구 PPE 벡터와 대조하여 작업자별 최종 준수 여부를 산출한다. 본 모듈은 신체 부위 ROI 내 착용 여부 판별, CLIP 기반의 종류 일치 검증, 최종 준수 판정의 3단계 논리 구조로 동작한다.

3.5.1 신체 부위 내 PPE 착용 판별

부위별 착용 여부는 관절 키포인트 기반 신체 부위 ROI 추출 모듈의 신체 폴리곤 P_part와 PPE 바운딩 박스 $$ B_{ppe}=\left[x_{\text{min}},{ y}_{\text{min}},{ x}_{\text{max}},{ y}_{\text{max}}\right]$$ 간의 공간적 포함 관계를 통해 판정한다. 먼저 PPE 박스의 중심점 c를 아래의 식 (9)과 같이 정의한다.

$\[ c=\left(\frac{x_{\text{min}}+x_{\text{max}}}{2}, \frac{y_{\text{min}}+y_{\text{max}}}{2}\right) \]$

(9)

이후 점-다각형 검사를 수행하여 c ∈ P_part 여부를 확인한다. 중심점이 신체 부위 폴리곤 내부에 포함될 경우 해당 부위에 PPE가 착용된 것으로 간주한다. 이때 단순 공간 포함 관계에 의한 오탐지를 방지하기 위해 본 모듈은 CLIP(Contrastive Language-Image Pre-training)을 활용한 시각-언어 정합성 검증을 수행한다. 착용된 것으로 판정된 신체 부위 ROI 패치 I_part에 대해 CLIP 이미지 인코더로 시각 임베딩 z_img를 추출하고, 헬멧, 안전조끼, 안전화를 대표하는 사전 정의 텍스트 프롬프트로부터 텍스트 임베딩 z_txt를 생성한다. 두 임베딩 간의 코사인 유사도 s는 아래의 식 (10)과 같이 계산된다.

$\[ s=\text{cos}\left(z_{img}, z_{txt}\right)=\frac{z_{img}\cdot z_{txt }}{‖z_{img}‖ ‖z_{txt}‖} \]$

(10)

유사도 s가 임계값 이상인 경우 관찰된 착용 증거가 목표 PPE의 의미적 정의와 일치한다고 판단한다.

3.5.2 최종 준수 판정 로직

최종 준수 여부는 식 (11)과 같이 정의된다. 이때 해당 PPE가 요구되지 않는 상황에서는 착용 여부와 무관하게 준수로 판정하며, 요구되는 상황에서는 착용 및 종류 일치가 모두 성립할 때에만 준수로 판정한다.

$\[ compliant=\left\{\begin{array}{ccc}1,\hfill & \hfill & required=0\hfill \\ uorn\wedge match,\hfill & \hfill & required=1\hfill \end{array}\right. \]$

(11)

이러한 단계적 검증 구조는 장면 맥락 기반의 안전 정책과 신체 부위 기반의 시각적 증거가 논리적으로 일치하는 경우에만 준수를 승인함으로써 복합적인 산업 현장에서도 신뢰성 있는 모니터링 결과를 제공한다.

이상의 절차를 종합한 정책 중심 PPE 준수 판별 과정은 알고리즘 1에 요약하였다. 알고리즘 1은 입력 이미지로부터 포즈 추정, 신체 부위 ROI 생성, 장면 기반 요구 PPE 추론, 부위별 착용 증거 검증, 그리고 최종 준수 판정에 이르는 전체 처리 절차를 단계적으로 나타낸다. 이를 통해 제안 프레임워크의 각 모듈이 어떤 순서로 연동되며 최종 준수 여부가 어떻게 산출되는지를 보다 명확하게 확인할 수 있다.

Algorithm 1.

Algorithmic flow of policy-centric PPE compliance determination

Ⅳ. 실 험

본 장에서는 제안한 모듈형 프레임워크의 성능을 검증하기 위한 데이터셋 구성 및 평가 지표를 기술하고 각 모듈과 전체 시스템의 성능 분석 결과를 보고한다.

4.3 모듈 및 전체 프레임워크 성능 결과

4.3.1 포즈 추정 기반 관절 키포인트 추출

포즈 추정 기반 관절 키포인트 추출 모듈은 아래의 표 1과 같이 COCO OKS 기반 평가에서 AP_0.50:0.95 = 0.784, AR_0.50:0.95 = 0.839를 기록하며 전반적으로 우수한 키포인트 추출 성능을 보였다. 세부적으로 AP₅₀/ AP₇₅는 0.904 / 0.821, AR₅₀/ AR₇₅는 0.938 / 0.865로 나타나 비교적 엄격한 기준에서도 안정적인 포즈 추정이 가능함을 확인하였다. 처리 속도는 평가 스크립트 기준 5.85img/s(170.82ms/img)로 측정되었다. 다만 인물 크기 조건에 따라 AP / AR 저하가 관찰되어 거리, 가림, 블러 등 장면 조건에 따른 포즈 품질 변동이 이후 ROI 추출 단계의 안정성에 영향을 줄 수 있음을 시사한다.

Table 1.

Worker pose estimation performance

4.3.2 신체 부위 ROI 커버리지

관절 키포인트 기반 신체 부위 ROI 추출 모듈은 생성된 부위 ROI가 실제 PPE 영역을 포함하는지를 GT Coverage Recall과 Pseudo Precision으로 평가하였다. 전체 커버리지는 0.311로 나타나 ROI가 PPE 중심점을 포함하는 비율이 제한적임을 확인하였다. 부위별로는 머리-헬멧 0.6722, 상체-안전조끼 0.1195, 발-안전화 0.2606으로 집계되었으며, 특히 상체 ROI의 안전조끼 커버리지 부족이 주요 성능 저하 요인으로 확인되었다. 이 결과는 데이터셋의 클래스 분포와도 관련된다. 안전조끼 객체는 헬멧 및 안전화에 비해 표본 수가 적고 작업자 자세나 가림에 따라 상체 영역이 부분적으로만 관찰되는 사례가 포함될 수 있으므로 ROI가 조금만 축소되어도 GT 중심점을 포함하지 못할 가능성이 커진다.

또한 Pseudo Precision은 머리 0.0534, 상체 0.0049로 매우 낮았는데, 이는 실제 PPE 위치와 무관한 ROI가 다수 생성되어 불필요한 연산 부하가 발생했음을 의미한다. 따라서 ROI 커버리지 결과는 단순히 ROI 생성 알고리즘의 기하학적 정확도뿐 아니라, PPE 객체 크기, 신체 부위별 가림 정도, 클래스별 표본 수 차이에 의해 함께 영향을 받는 것으로 해석할 수 있다. 처리 속도는 2.28img/s(438.07ms/img)로 측정되어, 본 모듈이 전체 파이프라인에서 중요한 병목 구간임을 확인하였다.

Table 2.

Analysis of body part ROI extraction performance

4.3.3 장면 기반 요구 PPE 추론

VLM 기반 장면 맥락 인지 및 요구 PPE 생성 모듈은 각 PPE의 요구 여부 예측을 다중 라벨 분류로 평가하였다. 실험 결과, 모든 클래스에서 Recall이 상대적으로 높게 나타났으나 Precision이 낮아 과다 예측 경향이 두드러졌다. 구체적으로 헬멧의 F1은 0.5936, 안전조끼는 0.2393, 안전화는 0.1841로 세 항목 모두 Precision이 낮아 전반적으로 낮은 F1을 기록하였다. 세 항목의 요구 여부를 동시에 정확히 맞춘 Exact Match Accuracy(EM-Acc)의 경우 0.7984로 측정되었다. 이러한 결과는 VLM 기반 요구 PPE 추론 모듈이 위험 상황을 놓치지 않기 위해 보수적으로 요구 PPE를 예측하는 경향을 보였음을 의미한다. 즉, Recall이 높다는 점은 실제 요구되는 PPE를 폭넓게 포착한다는 장점으로 해석할 수 있으나 Precision이 낮다는 점은 요구되지 않는 장면에서도 PPE가 필요하다고 판단하는 사례가 많음을 의미한다. 특히 안전조끼와 안전화는 장면 내 교통, 물류 이동, 거친 지면, 자재 적재 등 위험 단서가 부분적으로만 관찰되어도 요구 PPE로 예측될 가능성이 있어 과다 예측이 발생할 수 있다. 따라서 본 모듈의 성능은 Exact Match Accuracy(EM-Acc)만으로 해석하기보다 클래스별 Precision과 Recall을 함께 고려하여 안전성 중심의 보수적 예측과 오탐 증가 사이의 균형으로 해석해야 한다. 추론 속도는 1.38img/s(722.18ms/img)로 측정되었다.

Table 3.

Scene-Based Required PPE Inference Performance

4.3.4 착용 판별 및 준수 판정

신체 부위 ROI 기반 PPE 착용 판별 및 준수 판정 모듈은 Worn Coverage Recall(WCR)에서 머리 0.8146, 상체 0.2415, 발 0.4721로 측정되었다. 이는 머리 부위의 헬멧 착용 증거는 비교적 안정적으로 포착되지만 상체와 발 부위에서는 착용 증거 수집 능력이 제한적임을 보여준다. 특히 상체의 낮은 WCR은 앞선 ROI 커버리지 실험에서 확인된 안전조끼 ROI 포함 부족과 직접적으로 연결된다.

전체 Compliance Accuracy는 헬멧 0.9492, 안전조끼 0.9013, 발 0.8427로 나타났으며, 모든 부위에서 비교적 높은 값을 보였다. 그러나 본 연구의 준수 로직에서는 특정 PPE가 요구되지 않는 경우 착용 여부와 무관하게 준수로 처리되므로, 요구되지 않는 음성 사례가 다수 포함될 경우 Compliance Accuracy는 실제 요구 상황에서의 판정 성능보다 높게 나타날 수 있다. 이에 따라 요구되는 상황에 한정한 Required-only Recall을 함께 분석하였다. Required-only Recall은 헬멧 0.5684, 안전조끼 0.1167, 발 0.2616으로 나타났으며, 특히 안전조끼와 발 부위에서 큰 성능 저하가 관찰되었다. 이는 전체 정확도는 높더라도 실제 보호구가 필요한 장면에서 착용 증거를 충분히 포착하지 못하면 준수 판정이 실패할 수 있음을 보여준다. 따라서 본 연구에서는 Compliance Accuracy를 전체적인 시스템 일치율로 해석하되, 실무적 안전 관점에서는 Required-only Recall을 핵심 보완 지표로 함께 고려해야 한다.

Table 4.

Performance of PPE wearing detection and compliance determination

4.3.5 End-to-End 성능 및 병목 분석

전체 파이프라인 평가는 총 7,617장을 대상으로 수행되었으며, 포즈 추정 단계에서 사람을 탐지하지 못한 79장은 ROI 생성 불가로 평가에서 누락되었다. 통합 성능 측면에서 세 부위 준수의 완전 일치 성능은 0.8127로 측정되었다. 처리량은 2.18img/s (총 3,498.60s기준)이며, 주요 병목은 관절 키포인트 기반 신체 부위 ROI 추출 모듈의 로케이팅 및 패치 추출 과정에서 발생하였다. 반면 착용 판별 및 준수 판정 모듈의 순수 추론은 404.61img/s로 매우 경량화되어, 전체 지연은 주로 ROI 추출과 데이터 흐름에 의해 결정됨을 확인할 수 있었다.

E2E(End-to-End Exact Match) 0.8127은 세 부위의 준수 여부가 모두 일치해야 정답으로 인정되는 엄격한 지표라는 점에서 의미가 있다. 그러나 앞선 모듈별 결과를 함께 고려하면, 해당 성능은 요구되지 않는 음성 사례의 영향으로 일부 높게 나타날 수 있으며, 실제 요구 PPE가 존재하는 상황에서는 ROI 커버리지와 착용 증거 수집 성능이 더 중요한 병목으로 작용한다. 특히 안전조끼와 발 부위의 낮은 Required-only Recall은 최종 End-to-End 성능을 제한하는 주요 원인으로 해석된다. 종합하면 전체 프레임워크 성능은 첫째, 상체 및 발 ROI 커버리지 부족으로 인한 착용 증거 누락, 둘째, VLM 기반 요구 PPE 추론의 과다 예측 경향, 셋째, 데이터셋 내 요구/비요구 사례 및 클래스 분포 불균형에 의해 영향을 받는다. 따라서 본 논문은 End-to-End Exact Match와 함께 모듈별 지표 및 Required-only Recall을 병행하여 결과를 해석한다.

4.4 성능 개선 실험: 신체 부위 ROI 최적화

앞선 모듈별 성능 분석에서 확인한 바와 같이, 전체 프레임워크 성능을 제한하는 주요 병목은 관절 키포인트 기반 ROI 추출 모듈의 신체 부위 ROI 커버리지 부족이다. 특히 상체 ROI의 GT Coverage Recall이 낮게 나타나 안전조끼 착용 증거를 충분히 포함하지 못하며, 이는 후속 착용 판별 및 준수 판정 단계의 Required-only Recall 저하로 직접 연결된다. 이를 완화하기 위해 본 절에서는 ROI 추출 로직과 주요 파라미터를 조정하였다. 구체적으로 상체 ROI는 엉덩이 관절이 가려지거나 결측인 상황에서도 상체 영역이 과도하게 축소되지 않도록 어깨 너비 기반 확장 계수 s_b를 재조정하고, 상체 패치가 조끼 영역을 충분히 포함하도록 기하학적 마진을 확보하였다. 또한 발 ROI는 원거리 인물 또는 이미지 하단 가림으로 인한 신발 누락을 완화하기 위해 down-shift 비율 δ를 0.06으로 조정하고 높이 상한을 재설정하여 과대⋅과소 추출을 동시에 억제하였다.

ROI 최적화 후 성능 평가는 표 5의 개선 전·후 비교로 요약된다. 상체 ROI의 GT Coverage Recall은 0.1195에서 0.7083으로 크게 향상되어 상체 구조를 보수적으로 보정하는 ROI 생성 로직이 안전조끼 착용 증거 확보에 직접적으로 기여함을 확인하였다. 발 부위 역시 0.2606에서 0.3821로 개선되었고 전체 커버리지는 0.3110에서 0.4837로 증가하였다. 또한 Pseudo Precision은 모든 부위에서 유의미하게 증가하여 실제 PPE 위치를 포함하는 유효 ROI의 비중이 확대되었으며, 특히 상체 부위는 0.0049에서 0.0725로 개선되어 ROI 과생성 및 비관련 패치 생성 문제가 완화되었음을 시사한다.

Table 5.

Performance comparison before and after ROI optimization

이 개선 결과는 데이터 불균형 환경에서 특히 중요하다. 안전조끼처럼 표본 수가 적고 초기 ROI 커버리지가 낮은 클래스에서는 소수의 ROI 누락이 클래스별 성능과 Required-only Recall에 큰 영향을 줄 수 있다. 따라서 상체 ROI 커버리지 향상은 단순한 위치 추출 성능 개선을 넘어 희귀 클래스에 대한 착용 증거 수집 안정성을 높이고 요구 상황에서의 준수 판정 신뢰도를 개선하는 기반으로 해석할 수 있다. 다만 ROI 커버리지 향상이 곧바로 최종 준수 판정의 모든 오류를 제거하는 것은 아니며 VLM 요구 PPE 추론의 과다 예측, 포즈 추정 실패, PPE 종류 매칭 오류가 여전히 후속 오류로 남을 수 있다. 이에 따라 향후 연구에서는 ROI 최적화와 함께 요구 PPE 추론의 정밀도 개선 및 클래스 불균형을 고려한 학습·평가 전략을 함께 고도화할 필요가 있다.

Ⅴ. 결론 및 향후 과제

본 논문에서는 산업 현장의 복잡한 장면 맥락을 해석하여 요구 PPE 목록을 생성하고 작업자의 신체 구조 단서에 정렬된 ROI를 통해 착용 증거를 검증하는 모듈형 프레임워크를 제안하였다. 제안된 시스템은 단순 객체 탐지를 넘어 장면 기반 요구 조건 도출과 부위 단위 착용 증거 검증을 결합함으로써 정책 중심의 준수 판정 체계를 구성한다.

본 연구의 핵심 기여는 다음과 같이 정리할 수 있다. 첫째, PPE 준수 판별 문제를 단순 착용 여부 탐지가 아니라 장면 기반 요구 PPE 추론과 신체 부위 기반 착용 증거 검증의 결합 문제로 정의하였다. 이를 통해 기존 PPE 탐지 중심 접근이 다루기 어려웠던 현장 상황별 요구 조건을 준수 판정 과정에 명시적으로 반영하였다. 둘째, 포즈 추정 기반 신체 부위 ROI 생성 방식을 도입하여 다중 작업자 및 복잡한 배경 환경에서 사람과 PPE 간 귀속 관계를 신체 구조 단서에 기반해 안정화하였다. 특히 머리, 상체, 발 부위에 대응되는 ROI를 구성함으로써 헬멧, 안전조끼, 안전화의 착용 증거를 부위 단위로 검증할 수 있도록 하였다. 셋째, VLM 기반 장면 맥락 이해를 활용하여 이미지 내 위험 단서를 해석하고 상황별 요구 PPE를 생성하는 모듈을 설계하였다. 이를 통해 고정된 체크리스트 방식이 아니라 입력 장면의 작업 환경과 위험 요인에 따라 요구 PPE를 동적으로 추론할 수 있는 가능성을 제시하였다. 넷째, 요구 PPE 추론 결과와 착용 증거 검증 결과를 결합하는 모듈형 준수 판정 파이프라인을 구성하고, 모듈별 성능과 End-to-End 성능을 분리하여 분석함으로써 오류 전파와 병목 요인을 정량적으로 확인하였다.

실험 분석 결과, 전체 프레임워크 성능을 제한하는 핵심 병목은 신체 부위 ROI 추출 모듈의 커버리지 한계로 확인되었다. 특히 초기 설정에서 상체 ROI의 GT Coverage Recall이 0.1195로 낮아 안전조끼 착용 증거 확보가 어렵다는 점이 관찰되었다. 이에 따라 어깨 너비 기반 확장 계수 조정 및 기하학적 마진 확보를 포함한 ROI 최적화를 수행한 결과, 상체 ROI 커버리지는 0.7083으로 크게 개선되었다. 이는 ROI 생성 로직의 정교화가 후속 준수 판정 성능 개선에 직접적인 기반이 됨을 보여준다. 또한 장면 기반 요구 PPE 생성 단계에서는 높은 재현율로 위험 상황을 폭넓게 포착하는 경향이 확인된 반면, 정밀도 저하에 따른 과다 예측 경향이 함께 관찰되어 실제 현장 적용 시 오검출을 줄이기 위한 정밀도 중심의 개선이 필요함을 시사한다. 최종적으로 통합 프레임워크는 End-to-End Exact Match 성능 0.8127을 기록하여 정책 기반 PPE 준수 판정의 자동화 가능성을 정량적으로 확인하였다.

본 연구의 한계와 향후 확장 가능성은 다음과 같다. 첫째, 본 연구는 SH17 기반 재구성 데이터셋을 중심으로 평가되었으며 헬멧, 안전조끼, 안전화의 세 가지 PPE를 주요 대상으로 설정하였다. 따라서 다양한 산업군과 작업 조건에서의 일반화 성능 검증은 추가로 필요하다. 건설 현장, 제조 현장, 물류 환경, 도로 작업 환경 등은 요구되는 PPE 종류와 위험 단서가 서로 다를 수 있으므로 향후에는 산업 도메인별 정책 기준을 반영한 데이터셋 확장과 교차 도메인 평가를 수행할 필요가 있다. 또한 장갑, 보안경, 마스크, 안전벨트 등 추가 PPE 항목으로 적용 범위를 확장함으로써 보다 다양한 현장 안전관리 시나리오에 대응할 수 있도록 개선할 필요가 있다. 둘째, 포즈 추정 기반 ROI 구성은 복잡한 배경 및 다중 인원 장면에서 신체 부위 중심의 착용 증거 수집을 가능하게 하지만, 원거리 작업자, 부분 가림, 심한 자세 변화가 존재하는 경우 키포인트 품질 저하가 ROI 품질로 전파될 수 있다. 따라서 소형 및 원거리 인물 대응이 강화된 포즈 모델, 키포인트 누락을 보완하는 다중 ROI 후보 생성, 시간적 추적 기반 보정 전략 등을 도입할 필요가 있다. 셋째, VLM 기반 요구 PPE 추론은 위험 상황을 높은 재현율로 포착하는 장점이 있으나, 일부 장면에서는 부분적인 위험 단서만으로도 PPE 요구를 과다 예측하는 경향이 관찰되었다. 향후에는 evidence 기반 필터링 규칙 강화, 불확실성 점수 활용, 산업 환경별 정책 프롬프트 분리, 소규모 도메인 적응 학습 등을 통해 정밀도를 개선할 필요가 있다. 또한 생성된 evidence 태그를 활용해 준수 및 미준수 판정 근거를 제시하는 설명 가능한 AI로 확장하는 연구도 병행되어야 한다. 넷째, 현재 프레임워크는 이미지 단위 분석을 중심으로 평가되었기 때문에 실제 CCTV 기반 실시간 모니터링 환경으로 확장하기 위해서는 영상 프레임 간 작업자 추적, 시간적 일관성 검증, 중복 경고 억제, 파이프라인 병렬화 및 데이터 흐름 최적화가 필요하다. 특히 실시간 적용에서는 딥러닝 추론 속도뿐 아니라 ROI 로케이팅, 패치 추출, 모듈 간 입출력 변환 과정의 지연을 함께 줄이는 시스템 수준의 최적화가 요구된다. 또한 기존 객체 탐지 기반 PPE 판별 방식 및 단순 ROI 기반 방식과의 추가 정량 비교를 통해 제안 프레임워크의 구조적 차별성과 실용적 효과를 보다 폭넓게 검증할 필요가 있다.

종합하면, 본 연구는 단순 착용 탐지를 넘어 안전 정책과 시각적 증거를 논리적으로 결합한 통합 판별 체계를 제시하였으며 장면 맥락 기반 요구 PPE 추론과 포즈 정렬 ROI 기반 착용 증거 검증의 결합 가능성을 실험적으로 확인하였다. 향후 다양한 산업 도메인, 추가 PPE 항목, 영상 기반 실시간 모니터링 환경으로 확장한다면 산업 안전 관리의 자동화 및 지능화를 위한 실용적 기술 기반으로 발전할 수 있을 것으로 기대된다.

Acknowledgments

본 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구결과(RS-2026-25476256) 및 산업통상자원부 및 한국산업기술기획평가원(KEIT)의 연구비 지원(RS-2025-02633048)에 의한 연구결과임

References

• M. Kim, "Ministry of Employment and Labor field inspections find about 10,000 cases of not wearing protective equipment", CBS NoCut News, Dec. 2021. https://www.nocutnews.co.kr/news/5669352, . [accessed: Feb. 23, 2026]
• R. Sehsah, A.-H. El-Gilany, and A. M. Ibrahim, "Personal protective equipment (PPE) use and its relation to accidents among construction workers", La Medicina del Lavoro, Vol. 111, No. 4, pp. 285-295, Aug. 2020. [https://doi.org/10.23749/mdl.v111i4.9398]
• A. J. Al-Bayati, A. T. Rener, M. P. Listello, and M. Mohamed, "PPE non-compliance among construction workers: An assessment of contributing factors utilizing fuzzy theory", Journal of Safety Research, Vol. 85, pp. 242-253, Jun. 2023. [https://doi.org/10.1016/j.jsr.2023.02.008]
• Ministry of Labor, "Deployment of ‘Construction Safety Watchers’ at Small and Medium Construction Sites", Korea Policy Briefing, Mar. 2010. https://www.korea.kr/news/policyNewsView.do?newsId=148691133, . [accessed: Feb. 23, 2026]
• Occupational Safety and Health Administration (OSHA), "1926.28 - Personal protective equipment", OSHA, https://www.osha.gov/laws-regs/regulations/standardnumber/1926/1926.28, . [accessed: Feb. 23, 2026].
• European Union, "Personal protective equipment", EUR-Lex, Sep. 2016. https://eur-lex.europa.eu/EN/legal-content/summary/personal-protective-equipment.html, . [accessed: Feb. 23, 2026].
• International Labour Organization (ILO), "Personal protective equipment", International Labour Organization, https://www.ilo.org/topics-and-sectors/occupational-safety-and-health-guide-labour-inspectors-and-other/personal-protective-equipment, . [accessed: Feb. 23, 2026]
• V. Isailovic, A. Peulic, M. Djapan, M. Savkovic, and A. M. Vukicevic, "The compliance of head-mounted industrial PPE by using deep learning object detectors", Scientific Reports, Vol. 12, No. 1, Art. no. 16347, Sep. 2022. [https://doi.org/10.1038/s41598-022-20282-9]
• M. I. B. Ahmed, et al., "Personal Protective Equipment Detection: A Deep-Learning-Based Sustainable Approach", Sustainability, Vol. 15, Art. no. 13990, Sep. 2023. [https://doi.org/10.3390/su151813990]
• S. Malaikrisanachalee, N. Wongwai, and E. Kowcharoen, "ESPCN-YOLO: A High-Accuracy Framework for Personal Protective Equipment Detection Under Low-Light and Small Object Conditions", Buildings, Vol. 15, No. 10, Art. no. 1609, May 2025. [https://doi.org/10.3390/buildings15101609]
• D. Liu, K. Wang, Q. Dai, J. Liu, and Y. Liu, "Working-at-high operation safety protection recognition based on target detection and spatial relationship", Scientific Reports, Vol. 15, No. 1, Art. no. 35191, Nov. 2025. [https://doi.org/10.1038/s41598-025-19048-w]
• C. Zheng, W. Wu, C. Chen, T. Yang, S. Zhu, J. Shen, N. Kehtarnavaz, and M. Shah, "Deep Learning-based Human Pose Estimation: A Survey", ACM Computing Surveys, Vol. 56, No. 1, pp. 1-37, Aug. 2023. [https://doi.org/10.1145/3603618]
• J. Zhang, J. Huang, S. Jin, and S. Lu, "Vision-Language Models for Vision Tasks: A Survey", arXiv preprint arXiv:2304.00685v2, , pp. 1-24, Feb. 2024. [https://doi.org/10.48550/arXiv.2304.00685]
• Q. Fang, H. Li, X. Luo, L. Ding, H. Luo, T. M. Rose, and W. An, "Detecting non-hardhat-use by a deep learning method from far-field surveillance videos", Automation in Construction, Vol. 85, pp. 1-9, Jan. 2018. [https://doi.org/10.1016/j.autcon.2017.09.018]
• F. Zhafran, E. S. Ningrum, M. N. Tamara, and E. Kusumawati, "Computer Vision System Based for Personal Protective Equipment Detection, by Using Convolutional Neural Network", Proc. 2019 International Electronics Symposium (IES), Surabaya, Indonesia, pp. 516-521, Sep. 2019. [https://doi.org/10.1109/ELECSYM.2019.8901664]
• J. Wu, N. Cai, W. Chen, H. Wang, and G. Wang, "Automatic detection of hardhats worn by construction personnel: A deep learning approach and benchmark dataset", Automation in Construction, Vol. 106, Art. no. 102894, 2019. [https://doi.org/10.1016/j.autcon.2019.102894]
• L. López, J. Suárez-Ramírez, M. Alemán-Flores, and N. Monzón, "Automated PPE compliance monitoring in industrial environments using deep learning-based detection and pose estimation", Automation in Construction, Vol. 176, Art. no. 106231, Aug. 2025. [https://doi.org/10.1016/j.autcon.2025.106231]
• X. Li, M. Hu, B. Li, and R. Tong, "OAM-YOLO: A real-time small object detection framework for PPE compliance monitoring in industrial environments", Process Safety and Environmental Protection, Vol. 204, Art. no. 108058, Dec. 2025. [https://doi.org/10.1016/j.psep.2025.108058]
• A. M. Vukicevic, M. Djapan, V. Isailovic, D. Milasinovic, M. Savkovic, and P. Milosevic, "Generic compliance of industrial PPE by using deep learning techniques", Safety Science, Vol. 148, Art. no. 105646, Apr. 2022. [https://doi.org/10.1016/j.ssci.2021.105646]
• R. Xiong and P. Tang, "Pose guided anchoring for detecting proper use of personal protective equipment", Automation in Construction, Vol. 130, Art. no. 103828, Oct. 2021. [https://doi.org/10.1016/j.autcon.2021.103828]
• D. Maji, S. Nagori, M. Mathew, and D. Poddar, "YOLO-Pose: Enhancing YOLO for Multi Person Pose Estimation Using Object Keypoint Similarity Loss", arXiv preprint arXiv:2204.06806, , pp. 1-10, Apr. 2022. [https://doi.org/10.48550/arXiv.2204.06806]
• S. Bai et al., "Qwen2.5-VL Technical Report", arXiv preprint arXiv:2502.13923, , pp. 1-23, Feb. 2025. [https://doi.org/10.48550/arXiv.2502.13923]
• H. M. Ahmad and A. Rahimi, "SH17: A dataset for human safety and personal protective equipment detection in manufacturing industry", Journal of Safety Science and Resilience, Vol. 6, No. 2, pp. 175-185, Jun. 2025. [https://doi.org/10.1016/j.jnlssr.2024.09.002]