Home

컨테이너 재취급은 비용을 소모하는 작업이다. 따라서 재취급 최소화의 중요성과 필요성은 꾸준히 증가하고 있다.

컨테이너의 재취급을 최소화하기 위하여 D. Hong은 컨테이너 야드의 여러 베이를 클러스터로 구성하여 동일한 특성이 있는 컨테이너를 적재하도록 컨테이너 야드의 베이 스택을 수치화하여 최적해를 찾는 방식의 최적화 방법을 제안하였다[1]. 제시된 방법은 컨테이너 야드의 베이 스택을 수치화하여 적하 계획을 수립한 뒤 수치화된 베이 스택을 최적이 되도록 적재순서를 결정하고 있다. Hong이 제안한 방법은 적재할 모든 컨테이너의 정보를 알고 있으므로 적재 시에 전체적인 계획 수립을 통한 적재 최적화를 달성하고 있다. 따라서 임의의 컨테이너가 불규칙적으로 입고되는 컨테이너 야드에서는 사용할 수 없다.

컨테이너 야드 운영자의 경험으로 수립되고 있는 컨테이너 장치장 운용 계획을 대체 하고자 K. T. Kim et al이 제안한 정수 계획모형 또한 컨테이너 재취급을 최소화하고자 제안된 모델이다[2]. Kim은 컨테이너가 장치되면 이후 반출 시점까지 위치가 변동되지 않는다는 가정하에 동작하는 최적화 모형을 제시하고 있으므로 컨테이너의 입고 상황에 따라 효율적으로 장치하기 위한 재취급 학업을 허용하지 않는 제약사항이 있으므로 실제 컨테이너 야드에서 사용할 수 없다.

T. Kim et al이 제안한 자동화 컨테이너 터미널 크레인 작업 할당 전략은 터미널 크레인의 컨테이너 작업 시 최대한의 작업 효율을 위하여 제안되었다[3]. 제안된 전략에서는 의도적인 컨테이너 재취급을 통하여 컨테이너 야드의 화물 처리 속도를 향상하고 있다. 컨테이너의 재취급을 통하여 화물의 위치를 최적화하고 화물 처리 속도의 최대화를 목적으로 하므로 재취급 작업을 최소화하는 데에 목적을 두고 있지는 않다. 하지만 화물 처리 속도의 향상을 위하여 재취급 작업의 방지를 위하여 컨테이너 재배치를 실행하고 있다.

Proximal policy optimization[4] 알고리즘은 policy gradient 방법을 사용하는 알고리즘으로 trust region policy optimization[5] 알고리즘의 surrogate suggestion function을 컴퓨터 친화적으로 단순화 시킨 알고리즘이다.

Proximal policy optimization 알고리즘은 초기 파라미터 θ₀, 초기 value function 파라미터를 ϕ₀로 두고 스텝을 0에서 증가시키며 정책 π_k = π(θ_k)를 활용하여 trajectory D_k = {T_t}를 누적한다.

T_t를 누적하는 과정에서 이전 상태에 관한 정보를 획득한다. 또한 동작 이후 획득한 보상인 rewards-to-go Rt^를 계산한다. 이후 현재 상태의 가치를 계산하는 value function V_ϕk를 활용하여 advantage At^를 계산한다. 계산한 At^에 따라 PPO-clip[6]을 최대화하여 정책을 업데이트한다.

따라서 모델은 현재 강화학습 환경에서 자신의 상태를 고려한다. 현재 상태를 기반으로 미래의 누적 보상이 최대가 되는 동작을 선택하고 동작은 환경에 영향을 미치며 동작에 따른 보상을 획득한다. 학습이 진행되면서 모델은 미래에 획득할 보상이 최대가 되도록 매 스텝 동작을 선택하도록 업데이트된다.

컨테이너 야드는 5행 5열의 컨테이너 야드 형태로 설정 후 최대 5단까지만 적재하도록 제한하였다 따라서 장치율 100%일 때 컨테이너 최대량은 125개이다. 가상 컨테이너 야드는 그림 1과 같이 구성되었다.

Fig. 1. 
5x5x5 virtual container yard

컨테이너 야드에서 평균적으로 공(Empty) 컨테이너, 적(Full) 컨테이너 장치율 75%[7]를 유지하며 컨테이너를 보관하지만 제안하는 모델은 적 컨테이너의 적재만 고려하므로 가상 컨테이너 야드의 장치율 60% 수준까지 컨테이너를 입고하도록 하였다. 따라서 입고될 컨테이너는 125의 60%인 75개이다.

부산신항의 경우 수출 컨테이너의 항만 컨테이너 야드 반입 허용 기한은 모선 입항 3일 전이다. 항만 배후단지의 컨테이너 야드에 같은 조건을 적용하여 항만 컨테이너 야드의 반입 허용 기한과 동일한 3일과 모선의 사정상 입항이 지연될 것을 고려하여 1일의 여유를 포함한 출고 일자 최대 4일 이후까지인 컨테이너가 보관되도록 하였다. 또한 컨테이너 야드에서 반출되는 시점을 해당 날짜의 오전, 오후 두 가지 시간대로 분류하여 모델링한 가상 컨테이너 야드에 입고되는 컨테이너는 총 8종의 예정 출고일을 가질 수 있도록 하였다.

위의 두 조건에 따라 75개 컨테이너를 8종의 예정 출고일을 가지도록 무작위로 생성하여 차례대로 적재하도록 환경을 구성하였다.

컨테이너 장치율 100%일 때 125개의 컨테이너를 적재할 수 있으며 모든 장치장에 1단 적재만 하였을 경우 25개 컨테이너를 적재할 수 있다. 적재할 75개 컨테이너 중 1단 이상의 컨테이너는 자유롭게 적재하게 하도록 50 스텝의 재취급 기회를 포함한 125 스텝을 최대 스텝으로 정의하였다.

최적 적재 모델의 행위자는 컨테이너 야드 전체 상황을 확인 후 동작을 결정하여야 한다. 따라서 행위자는 가상 컨테이너 야드인 5*5*5, 3차원 배열을 감시하도록 설정하였다. 배열은 행, 열, 높이에 따른 해당 위치에 적재된 컨테이너의 출고일 기준 정보를 가지고 있다.

컨테이너 장치장에서 컨테이너에 대한 동작은 컨테이너를 장치장에 적재하는 동작과 적재된 컨테이너를 반출하는 동작 2가지로 나누어 볼 수 있다.

컨테이너의 동작에 따른 가상 컨테이너 야드의 반영은 그림 2와 같이 이루어지도록 하였다.

Fig. 2. 
Stacking container

컨테이너 입고의 경우 컨테이너를 적재하는 동작 한가지로 볼 수 있으며, 컨테이너의 재취급 작업의 경우 적재된 컨테이너를 반출한 뒤 다른 장치장에 다시 적재하는 2개 동작의 연속으로 볼 수 있다.

컨테이너의 재취급 과정은 컨테이너의 반출 후 해당 컨테이너를 다시 적재하는 2가지의 연속된 동작으로 정의하였다. 실제 리치 스테커의 업무 순서에 따라 재취급을 위하여 컨테이너를 취급했을 경우 다음 동작은 컨테이너를 적재하는 동작이어야 한다. 만일 적재 동작이 아닌 취급 동작을 다시 시행한다면 이를 금지 동작으로 정의하여 해당 에피소드를 중지 후 환경을 초기화하도록 정의하였다. 이를 통하여 강화학습 모델이 컨테이너 취급 이후 적재 동작을 연속으로 선택하여 동작하도록 하였다. 또한 컨테이너를 적재할 때 상단에서 하단이 내림차순으로 적재 되지 않으면 출고되어야 하는 컨테이너의 상단에 이후 출고될 컨테이너가 적재된 상태가 되어 재취급 행동이 소요되므로 이를 금지 동작으로 정의하였다. 이를 통하여 강화학습 모델이 재취급의 소요를 발생시키지 않도록 하였다.

컨테이너 야드에서는 가장 적은 횟수의 컨테이너 취급으로 최대한 많은 컨테이너를 적재하고 반출하도록 해야 하므로 적재 시 반출일 순서로 컨테이너를 적재하여 재취급 작업이 최소화 되도록 해야 한다. 따라서 강화학습의 환경에서 반출일 순서로 컨테이너를 적재할 때 보상을 1씩 부여하도록 설정하였다. 컨테이너의 재취급을 최소화하기 위하여 컨테이너를 반출 하는 동작의 경우 보상을 부여하지 않았다. 따라서 보상은 식 (1), (2)와 같이 나타낼 수 있다.

금지 동작을 하지 않고 정상적으로 모든 컨테이너를 적재하는 경우 에피소드 종료 시점의 스텝과 설정한 최대 스텝 125와의 차이를 보상으로 부여하였다. 지정된 60% 장치율에 도달하는 경우 추가 보상은 식 (3)과 같이 나타낼 수 있다.

이를 통하여 강화학습 모델이 최대한 많은 보상을 획득하기 위하여 최대한 많은 컨테이너를 적재하는 방향으로 동작을 선택하도록 하였다. 모델은 매 스텝에서 동작을 취하며 컨테이너를 쌓을 때 보상을 획득한다. 하지만 보상을 얻지 못하는 컨테이너 반출 동작이 포함된 재취급 작업을 할 때는 보상을 얻지 못하므로 모델의 학습 중 75개의 컨테이너를 재취급 작업 없이 모두 적재할 때 획득 가능한 보상 75와 에피소드 종료 시 부여되는 해당 스텝과 최대 스텝의 차이 50으로 총 125가 환경에서 획득 가능한 최대 보상으로 식 (4)와 같다. 이는 강화학습 모델에서 임의로 정의한 최대 스텝인 125와 같고 에피소드에서 획득하는 보상은 식 (5)와 같이 나타낼 수 있다.