로봇 작업 셀 내 전역 물리 환경 인지를 통한 VLA 전략 선택 프레임워크

2.1 규칙 기반 로봇 제어

로봇 제어 분야에서 규칙 기반 접근은 산업 자동화 및 안전 제어 환경에서 널리 활용되어온 전통적인 의사결정 방식이다. 대표적으로 FSM(Finite State Machine)과 BT(Behavior Tree) 기반 구조가 사용된다. FSM은 로봇 동작을 상태(State)와 상태 전이(Transition)로 구성하여 조건 충족 시 사전에 정의된 행동을 수행하며, Behavior Tree는 작업을 계층적 모듈로 분해하여 실행 흐름을 관리한다. 이러한 방식은 명확한 논리 구조와 높은 해석 가능성을 제공하여 산업 로봇 및 협업 로봇 환경에서 안정적인 동작을 보장한다[4].

특히 사람-로봇 협업 환경에서는 동적으로 전환되는 안전 구역을 기반으로 로봇의 속도를 조절하는 SSM(Speed and Separation Monitoring)과 같은 규칙 기반 안전 제어 방식이 활용되고 있다[5]. 이러한 접근은 안전 요구사항을 명시적으로 이행할 수 있으나, 사전에 정의된 조건과 상태에 의존하기 때문에 환경 변수와 객체 수가 증가할수록 설계 복잡도가 증가하고 확장성이 제한되는 한계가 있다.

2.2 Vision-Language-Action 기반 로봇 제어

최근에는 시각 정보와 자연어 지시를 통합하여 로봇의 행동을 생성하는 VLA 기반 연구가 활발히 진행되고 있다. M. Shridhar et al.[6]은 3D 공간 표현 기반 조작 행동 예측 구조를 제안하였으며, B. Zitkovich et al.[2]의 RT-2는 대규모 Vision-Language 모델을 로봇 제어에 적용하여 다양한 미학습 작업에 대한 일반화 성능을 보였다.

이들 연구는 주로 환경 인식 결과로부터 저수준(Low-level) 조작 행동을 직접 생성하는 End-to-End 제어 구조에 초점을 맞춘다. 그러나 S. Haddadin et al.[7]에 따르면 실제 산업 환경에서는 행동 생성 이전에 주변 환경의 위험 수준을 판단하고 적합한 안전 제어 전략을 선택하는 상위 수준의 의사결정이 중요하다.

본 연구는 VLA 모델을 저수준 행동 생성이 아닌 전략 선택 문제에 적용하여 전역 환경 인지 기반의 고수준 의사결정 능력을 분석한다. 표 1은 제안 프레임워크와 기존 VLA 접근법 간의 주요 차별성을 나타낸다.

Table 1.

Differences between conventional framework and proposed framework

2.3 시뮬레이터 데이터 기반 학습

로봇 학습에서 대규모 데이터 확보는 비용, 시간, 안전 측면에서 큰 제약이 있다. 이러한 문제를 해결하기 위해 시뮬레이터 기반 데이터 생성 및 학습 전략이 널리 활용되고 있다.

J. Tobin et al.[8]은 Domain Randomization 기법을 통해 시뮬레이터 환경의 조명, 텍스처, 물리 파라미터 등을 무작위로 변화시켜 실제 환경으로의 전이(Sim-to-real transfer)를 가능하게 하였다. 또한 O. M. Andrychowicz et al.[9]은 물리 기반 시뮬레이터에서 대규모 강화학습을 수행하여 실제 로봇 조작에서의 안정적인 성능을 보였다. 최근에는 GPU 기반 가속 물리 시뮬레이션을 활용한 대규모 학습 환경도 제안되었다. V. Makoviychuk et al.[10]이 제안한 Isaac Gym은 수천 개의 병렬 시뮬레이션을 동시에 실행하여 대량의 합성 데이터를 고속으로 생성할 수 있도록 설계된 플랫폼이다.

본 연구에서는 이러한 시뮬레이션 기반 환경을 활용하여 전략 선택 문제를 분석하기 위한 시나리오 기반 데이터를 구성하였다.

3.1 문제 정의

본 연구는 로봇 시점의 이미지를 기반으로 최적의 제어 전략을 선택하는 문제를 다룬다. 모델은 입력 이미지가 주어졌을 때 기본(Normal), 주의(Cautious), 보수(Defensive) 중 하나를 결정하며, 이는 장면의 맥락을 종합적으로 고려하는 고수준 의사결정 과정이다. 특히 전략 선택 문제는 오분류 비용이 비대칭적인 특성을 가진다. 위험 상황에서 Defensive 전략을 선택하지 못하는 경우는 안전 측면에서 치명적인 결과를 초래할 수 있으며, 반대로 과도한 방어 전략은 작업 효율을 저하시킬 수 있다. 따라서 본 연구는 단순 정확도뿐만 아니라 안전과 효율 측면에서 물리 환경 인지 기반 VLA의 전략 선택 능력을 평가한다.

현재 산업 자동화 환경에서는 객체 인식과 같은 인지 단계에 딥러닝 기반 모델이 활용되고 있으나, 안전성이 요구되는 제어 단계에서는 규칙 기반 방식이 주로 사용되고 있다. 본 연구는 이러한 규칙 기반 중심의 제어 단계에서 장면의 물리적 맥락을 해석하여 전략을 선택할 수 있는 VLA 기반 접근의 적용 가능성을 검증한다.

3.2 전체 프레임워크

본 연구의 전체 프레임워크는 시뮬레이터 기반 데이터 생성, 입력 구성 및 전처리, 전략 학습, 성능 평가의 4단계로 구성된다. 그림 1은 프레임워크의 전반적인 구조를 그림으로 나타내며, Algorithm 1은 프레임워크 전체 절차를 의사코드로 나타낸 것이다.

Fig. 1.

Overall framework of the proposed VLA system

3.2.2 입력 구성 및 전처리

생성된 시뮬레이션 데이터는 VLA 모델 학습을 위한 입력 형태로 변환된다. VLA 학습을 위해 지시문, 전략, 근거를 포함한 입력 데이터를 구성한다(3~4행). 여기서 전략은 장면 내 객체의 색상과 위치에 따라 정의된다. 본 연구에서는 빨간색 객체를 위험 요소로 정의하고, 위험 요소가 작업 경로 중앙에 위치한 경우 Defensive, 작업 대상 인근에 위치한 경우 Cautious, 위험 요소가 없는 경우 Normal로 분류하였다.

입력 이미지는 vision encoding을 통해 시각 특징으로 변환되며, multimodal alignment를 통해 이미지와 텍스트 정보가 통합된다. 또한, prompt engineering을 통해 대화형 템플릿 형태로 입력을 통일한다(5행). 마지막으로 전체 데이터는 학습 데이터와 평가 데이터로 분할되어 VLA 모델 학습에 사용된다(6행). 표 2는 학습에 사용된 데이터의 예시를 나타낸다. 학습 데이터는 전략의 판단 근거를 함께 학습하도록 구성함으로써, 모델이 특정 시각적 패턴에 의존하는 것을 방지하고 객체의 속성, 거리,위험 요소 간의 인과관계를 학습하도록 유도하였다.

Table 2.

Example of VLA Input and output structure

4.1 연구 질문

본 연구는 단일 객체 환경과 다중 객체 환경에서 VLA 기반 전략 선택 모델의 위험 인지 능력과 맥락 기반 의사결정 능력을 단계적으로 분석하기 위해 다음과 같은 연구 질문을 설정하였다.

RQ1: 단일 객체 환경에서 VLA 기반 전략 선택 모델은 위험 상황을 안정적으로 인지할 수 있는가?

RQ2: 다중 객체 환경에서 VLA 모델은 규칙 기반 시스템 대비 맥락 정보를 활용한 전략 결정을 수행할 수 있는가?

4.2 데이터

본 연구에서 사용된 데이터의 전체 구성은 표 3과 같다. 단일 객체 시나리오와 다중 객체 시나리오는 각각 3,000개와 15,000개의 이미지로 구성된다. 모든 데이터는 시나리오 단위로 8:2 비율로 분할되어 학습 및 검증에 사용되었다.

Table 3.

Dataset overview

각 시나리오의 전략 클래스 분포는 표 4에 정리하였다. 단일 객체 시나리오는 위험 여부를 구분하는 이진 전략 구조로 구성되며 Cautious 클래스는 포함되지 않는다. 반면, 다중 객체 시나리오는 Normal, Cautious, Defensive 세 가지 전략이 비교적 균형 있게 분포되도록 설계되었다.

Table 4.

Class distribution per scenario

4.3 성능 평가 지표

본 연구는 VLA 기반 전략 선택 문제를 세 가지 전략으로 구성된 다중 클래스 분류 문제로 정의한다. 성능 평가는 혼동 행렬 기반 지표를 사용한다.

먼저 실제 Defensive 상황 중 모델이 Defensive 전략을 올바르게 선택한 비율인 Defensive Recall을 주요 지표로 사용하며, 이는 식 (1)로 정의된다. 또한 실제 Defensive 상황이 아닌 경우 중 Defensive 전략을 선택한 비율인 Defensive FPR(False Positive Rate)를 식 (2)로 계산하여 모델의 과잉 방어 경향을 분석한다. 모델의 전반적인 전략 분류 성능 평가는 Macro-F1 Score로 측정하며, 이는 각 클래스의 F1-Score를 식 (3)으로 계산한 후 평균한 값이다.

다중 객체 시나리오에서는 중간 수준의 위험 상황을 인식하는 능력을 평가하기 위해 실제 Cautious 상황 중 모델이 Cautious 전략을 올바르게 선택한 비율인 Cautious Recall을 추가로 측정한다.

4.4 Baseline

본 연구는 Qwen3-VL-8B[12] 모델을 기반으로 VLA 전략 선택 프레임워크를 시연하며, 제안하는 방법을 검증하기 위해 두 가지 규칙 기반 시스템과 비교한다. 두 baseline은 입력된 정보에 의존하여 사전에 정의된 조건-행동 규칙을 수행하는 단순한 의사결정 구조를 가지며, Russell & Norvig[13]이 분류한 단순 반사 에이전트(Simple reflex agent)의 개념과 유사한 전통적 규칙 기반 접근을 대표한다.

5.1 RQ1: 단일 객체 환경에서 VLA 기반 전략 선택 모델은 위험 상황을 안정적으로 인지할 수 있는가?

단일 객체 환경에서는 객체의 색상에 의해 위험이 명확하게 결정된다. 이러한 조건에서 VLA 모델과 규칙 기반 시스템(R1)을 비교하였다.

실험 결과(표 5), 제안하는 VLA 모델과 R1 모두 Defensive Recall 1.0000, Defensive FPR 0.0000을 기록하였다. 이는 위험 상황을 누락 없이 탐지하면서 불필요한 방어 전략도 발생하지 않았음을 의미한다. 해당 결과는 단일 객체 환경에서는 위험 판단이 색상 정보로 결정되기 때문에 단순 규칙 기반 접근만으로도 충분한 성능을 달성할 수 있음을 보여준다.

Table 5.

Performance in single object scenario

5.2 RQ2: 다중 객체 환경에서 VLA 모델은 규칙 기반 시스템 대비 맥락 정보를 활용한 전략 결정을 수행할 수 있는가?

다중 객체 환경에서는 단일 색상 정보만으로 전략을 결정하기 어렵고, 객체 개수와 위험 수준 간의 관계를 통합적으로 판단해야 한다. 이러한 환경에서 VLA 모델과 두 가지 규칙 기반 시스템(R1, R2)의 성능을 비교하였다.

실험 결과(표 6)에 따르면, 제안한 VLA 모델은 모든 평가 지표에서 최적의 성능을 보였다. Macro-F1, Defensive Recall, Cautious Recall은 모두 1.0000으로 나타났으며, Defensive FPR은 0.0000으로 측정되었다.

Table 6.

Performance in multiple objects scenario

이러한 성능은 VLA 모델이 객체 색상뿐만 아니라 상대적 위치와 공간적 배치 등 장면의 맥락적 관계를 통합적으로 해석할 수 있기 때문으로 분석된다. 특히 사전에 정의된 조건 조합에 의존하지 않고 장면 전체를 맥락 단위로 이해함으로써, 복합적인 위험 상황에서도 전략 수준 판단을 안정적으로 수행하였다.

반면, 규칙 기반 시스템은 맥락적 정보 해석에 구조적 한계를 보였다. R1은 red 객체의 존재 여부만을 기준으로 전략을 결정하기 때문에 Cautious 상황을 모두 Defensive로 분류하였다. 그 결과 Defensive Recall은 1.0000으로 유지되었으나, Defensive FPR이 0.6231로 크게 증가하였다. 이는 Cautious 클래스가 모두 Defensive로 분류되면서 위험을 과도하게 판단하는 보수적 편향을 보였음을 의미한다. 이러한 경향은 그림 2의 혼동행렬에서 명확히 확인된다.

Fig. 2.

Confusion matrix of R1

R2는 객체 개수를 고려한 규칙을 적용하였으나, Cautious와 Defensive 상황을 명확히 구분하지 못하였다. Defensive Recall은 0.2178로 크게 감소하였으며, Cautious Recall 역시 0.6742로 나타났다. 그림 3의 혼동행렬을 보면, 다수의 Defensive 샘플이 Cautious로 오분류되었음을 확인할 수 있다. 이는 객체 수 기반의 단순 임계 규칙이 위험 수준의 미묘한 차이를 정교하게 반영하지 못함을 의미한다.

Fig. 3.

Confusion matrix of R2

이러한 결과는 다중 객체 환경과 같이 전역 물리 맥락을 통합적으로 해석해야 하는 상황에서 규칙 기반 접근이 구조적 한계를 가질 수 있음을 보여준다. 반면, VLA 기반 전략 선택은 시각적 맥락과 객체 간 관계를 종합적으로 반영하여 위험 수준을 안정적으로 판단할 수 있음을 보여준다.

6.1 내적 타당성(Internal validity)

본 연구에서는 그룹별 층화 추출을 통해 각 시나리오가 학습 및 검증 세트에 동일한 비율로 분포하도록 통제하였으나, 시뮬레이터 기반 데이터가 사전에 정의된 규칙에 따라 생성되었기 때문에 데이터가 특정 구조적 패턴을 포함할 가능성이 있다. 이는 모델이 일반적인 위험 개념을 이해하기보다는 데이터 생성 규칙에 기반한 패턴을 학습했을 가능성이 존재한다.

6.2 외적 타당성(External validity)

본 연구는 단일 객체 환경과 다중 객체 환경이라는 두 가지 시나리오를 기반으로 모델의 전략 선택 능력을 평가하였다. 그러나 실제 산업 환경에서는 동적 장애물, 센서 노이즈, 복합 위험 요인 등 다양한 변수들이 존재하므로 본 연구에서 구성한 시나리오로 모든 환경을 일반화하기에는 한계가 있다.

또한 본 실험은 시뮬레이터 기반 데이터로 수행되었기 때문에 실제 환경과의 차이가 존재할 수 있다.

마지막으로, 본 연구는 Qwen3-VL-8B 단일 모델을 사용하여 실험을 수행하였다. 해당 모델은 최근 Vision-Language 계열 연구에서 우수한 성능을 보이는 모델이지만, 다른 아키텍처 또는 규모의 모델에 대해 동일한 결과가 재현될 것이라고 일반화하기에는 한계가 있다.