Current Issue

서론에서 서술한 것처럼 게임 장르, 또는 NPC의 역할에 따라 다른 인공지능이 쓰인다. 이 논문에서 다루는 인공지능은 목표 추적 인공지능이므로 우선 해당 인공지능을 사용할 수 있는 게임 환경이 필요하다. 이 논문에서는 NPC가 동전을 목표삼아 추적하여 수집하는 규칙을 가진 CoinCollect라는 간단한 게임을 구현하여 사용하였다. 게임 제작 플랫폼은 Unity를 사용하였다.

그림 2는 이 논문에서 구현한 목표 추적 게임(CoinCollect)의 기본 화면이자 게임을 구성하는 세 가지 오브젝트를 보여준다.

Fig. 2. 
Three objects in CoinCollect game

첫 번째로 게임 내에서 바닥 역할을 수행하는 플랫폼 오브젝트, 두 번째로 추적할 목표 역할을 하는 동전 오브젝트, 마지막으로 인공지능이 적용되어 게임의 주체 역할을 할 NPC 오브젝트이다.

우선 게임이 시작되면 동전은 바닥위의 랜덤한 위치에 생성된다. NPC는 동전의 위치를 파악하고 그 위치로 이동하여 동전을 수집한다. 동전을 수집하면 NPC는 1점을 얻고 다시 랜덤한 위치에 새로운 동전이 생성 된다. 만약 바닥 밖으로 떨어질 경우 NPC는 3점을 잃고 초기 게임 시작 위치로 이동된다. NPC는 제한시간 내에 바닥에서 떨어지지 않고 동전을 수집하여 최대한 높은 점수를 얻어야 한다[11]. 실험에서는 NPC 오브젝트에 목표 추적 인공지능을 적용하여 원래라면 사람이 해야 할 조작을 컴퓨터가 스스로 하게하였다. 우리는 목표 추적 인공지능이 적용된 NPC가 진행한 게임에서 획득한 점수가 높을수록 해당 인공지능의 성능이 좋다고 정의한다.

Unity에선 인공지능을 구현하는 방법으로 FSM, NavMeshAgent, ML-Agents를 모두 지원한다. 이 논문에서는 강화학습으로 인공지능을 구현하는 방법인 ML-Agents와 네비게이션 메쉬 알고리즘으로 인공지능을 구현하는 방법인 NavMeshAgent를 사용하여 인공지능을 구현하였다. ML-Agents는 Unity에서 강화학습을 사용하여 인공지능을 구현할 수 있도록 제공해주는 오픈소스 툴이다. 또한 강화학습을 보다 효율적으로 진행할 수 있도록 학습 가속화 및 안정성 향상, 학습에 사용되는 컴퓨터 자원 감소 등의 기능을 지원해준다[12][13].

ML-Agents를 사용하여 인공지능을 구현하려면 우선 강화학습을 진행 할 수 있는 학습 환경이 필요하다. 이 논문에서는 CoinCollect 게임을 이용하여 목표 추적 인공지능을 구현하기 위한 싱글 에이전트 학습 환경을 구축하였다. 그림 3은 CoinCollect 게임의 학습 아키텍처 이다. 에이전트는 NPC 오브젝트이며 ML-Agents를 사용하여 에이전트를 학습시켰다. 에이전트가 취할 수 있는 행동은 ‘방향 설정(Direction)’과 ‘이동(Move)’이다.

Fig. 3. 
Learning architecture of CoinCollect game

학습이 시작하고 행동 패턴을 파악하기 전인 초기의 에이전트는 랜덤한 방향으로 이동한다. 아무런 사건(Event)이 일어나지 않으면 보상을 얻지 못해 0으로 유지된다. 우연히 동전을 획득하면 보상을 1점 얻고, 플랫폼 밖으로 떨어지면 보상을 3점 잃는다. 학습이 계속됨에 따라 에이전트는 보상을 잃거나 얻어가면서 점차 게임 환경에 맞는 최적의 행동 패턴을 찾아가며 학습하게 된다.

이 논문의 환경에서 사용된 파라미터는 표 1과 같으며 학습에 드는 비용은 학습에 걸리는 시간이다. 즉, 시간이 적게 걸릴수록 비용 측면에서 유리하다. 위에 서술한 학습 프로세스를 통해 싱글 에이전트 환경에서 에이전트의 학습에 소요된 시간은 약 15분 30초다. 그림 4는 싱글 에이전트 환경의 평균 보상 그래프다. 한 스텝 당 최저 보상은 플랫폼 밖으로 떨어진 경우인 –3이며, 최대 보상은 동전을 수집한 경우인 1이다. 우리는 평균 보상 그래프가 최대 평균 보상인 1에 도달하면 학습이 정상적으로 이루어졌고 인공지능으로써 작동할 수 있다고 정의한다.

Fig. 4. 
Average reward graph of single agent learning

싱글 에이전트 학습의 평균 보상 그래프는 학습이 시작되고 점점 1에 가까워지다가 약 400,000번째 학습 스텝에서 1에 도달한다. 400,000번째 이후의 학습 스텝에서도 1을 유지하였고 이로써 학습이 정상적으로 이루어졌음을 알 수 있다.

싱글 에이전트 환경과 멀티 에이전트 환경 사이의 학습 효율을 비교하기 위해 멀티 에이전트 환경에서도 인공지능을 구현했다. 그림 5는 15개의 독립된 학습 환경을 가진 멀티 에이전트 환경의 모습이다. 싱글 에이전트 환경을 프리팹(Prefab)으로 만들어 복사하는 방식으로 구현하였다. 멀티 에이전트 환경에서도 싱글 에이전트 환경과 동일하게 표 1의 파라미터 값을 사용하였다. 학습에 소요된 시간은 싱글 에이전트 환경에서 보다 3배가량 적어진 약 4분 20초이다.

Fig. 5. 
Multi agent environment

그림 6은 멀티 에이전트 환경의 평균 보상 그래프다. 학습이 시작되고 1에 가까워졌고 싱글 에이전트 환경보다 빠른 약 300,000번째 학습 스텝에서 1에 도달하였다. 300,000번째 학습 스텝 이후에도 1을 유지했고 멀티 에이전트 환경에서의 학습도 정상적으로 이루어졌음을 알 수 있다.

Fig. 6. 
Average reward graph of multi agent learning

ML-Agents와의 차이를 살펴보기 위해 Unity에서 제공하는 목표 추적 인공지능을 구현하는 다른 방법인 NavMeshAgent로 인공지능을 구현하였다.

NavMeshAgent는 목표와의 최적 경로를 연산해주는 알고리즘인 네비게이션 메쉬 알고리즘[8][9]를 사용하여 경로 탐색 또는 목표 추적 인공지능을 제작할 수 있게 해주는 Unity의 기본 컴포넌트이다. Unity 엔진에 기본 탑재되어있어 추가 설치가 필요 없다.

NavMeshAgent는 ML-Agents와는 달리 머신러닝 기법이 아니며 단순히 목표 오브젝트와 장애물 오브젝트 그리고 움직일 수 있는 범위를 설정해주면 최적 경로를 찾아 이동한다. NavMeshAgent는 오브젝트가 움직일 수 있는 범위를 지정하기 때문에 지정된 범위 밖으로 이동할 수 없다. 즉, 바닥 밖으로 떨어지지 않는다. 이 실험의 게임 환경에서는 장애물 오브젝트가 없기 때문에 움직일 수 있는 범위와 목표만 설정했다. 움직일 수 있는 범위는 플랫폼 오브젝트, 목표는 동전 오브젝트다. ML-Agents로 만들어진 인공지능과 성능을 비교하기 위해 ML-Agents와 이동 속도를 동일하게 설정했다. 이제 해당 인공지능이 적용된 NPC 오브젝트는 플랫폼 내에서 동전과의 최적 경로를 찾아 스스로 이동한다.

동일한 환경에서 플레이어 오브젝트에 적용되는 인공지능만 달리하여 실험을 진행하였다. 한 게임당 2분씩 진행하였으며 한 번의 게임 플레이로는 보편적인 결과를 얻기 힘들기 때문에 각 10회씩 게임 플레이를 진행하였다. 표 3은 세 가지의 인공지능이 적용된 플레이어가 게임 플레이 동안 수집한 동전의 수다.

세 가지의 인공지능 중 가장 높은 성능을 보이는 것은 ML-Agents의 멀티 에이전트 환경에서 학습을 통해 구현된 인공지능이다.

싱글 에이전트 환경에서 구현된 인공지능보다 학습에 걸린 시간도 약 10분 이상 적게 소요되었고, 약 12% 높은 성능을 보였다. NavMeshAgent로 만들어진 인공지능보다는 무려 약 336% 높은 효율을 보였다.

두 번째로 높은 성능을 보이는 것은 ML-Agents의 싱글 에이전트 환경에서 학습을 통해 구현된 인공지능이다. NavMeshAgent로 구현된 인공지능보다 약 300% 높은 성능을 보였다.

NavMeshAgent 인공지능은 학습 시간이 불필요하다는 이점이 있지만 ML-Agents 인공지능에 비해 성능은 3배 이상 낮았다.

이 실험으로 목표 추적 인공지능의 성능이 ML-Agents 멀티 에이전트, ML-Agents 싱글 에이전트, NavMeshAgent 순으로 높은 것을 확인했다.

NavMeshAgent는 개발자가 신경 써야 할 파라미터의 수가 적고, 학습하는 시간이 불필요하다는 점에서 ML-Agents 보다 빠르고 간단하게 인공지능을 구현할 수 있지만 성능은 ML-Agents보다 떨어진다. 따라서 Unity 엔진에서 목표 추적 인공지능을 구현할 땐 ML-Agents의 멀티 에이전트 환경에서 구현하는 것이 권장되고, NavMeshAgent는 높은 수준의 인공지능이 요구되지 않고 빠르게 인공지능을 구현해야 하는 상황에서 사용하는 것을 권장한다.

이 논문의 4.1에서 진행한 실험의 결과로 ML-Agents의 멀티 에이전트 환경에서 만들어진 목표 추적 인공지능이 가장 높은 효율을 보이는 것을 확인할 수 있었다. 두 번째 실험에서는 ML-Agents환경에서 학습에 사용되는 에이전트의 수를 늘려가면서 학습에 걸리는 시간과 구현된 인공지능의 성능 차이를 비교한다.

실험 환경과 파라미터 값은 각각 표 1, 표 2와 같으며 3.2에서 프리팹으로 만들어진 싱글 에이전트 환경을 복제하여 독립된 학습 환경을 가진 에이전트의 수만 늘려가며 진행하였다. 에이전트의 개수는 1개부터 시작하여 2배씩 늘려가며 512개까지 진행하였다. 4.1의 실험과 마찬가지로 보편적인 결과를 얻기 위해 2분간의 게임 플레이를 각 10회씩 진행하여 에이전트 개수별 수집한 동전의 수의 평균과 학습에 소요된 시간을 결과로 얻었다. 그림 7은 에이전트 개수별 학습에 걸린 시간과 수집한 동전의 수를 나타낸 그래프이다.

Fig. 7. 
Learning time and number of collected coins by number of agents

실험 환경과 세부 파라미터 값에 따라 조금씩 다르겠지만, 이 실험에서는 32개의 에이전트 성능이 가장 좋게 나왔다. 학습에 소요된 시간의 감소율은 1개의 에이전트에서 2개의 에이전트 사이가 약 40%로 가장 크고, 이후 에이전트 개수가 2배씩 늘면서 꾸준히 2~30%의 감소율을 보인다. 에이전트의 개수가 늘어날수록 학습에 걸리는 시간은 줄어든다는 것을 확인했다. 학습에 걸리는 시간을 줄이고 싶다면 학습하는 에이전트의 수를 늘리면 된다.

에이전트 개수별 평균 동전 수집량, 즉 목표 추적 인공지능의 성능은 다른 경향을 보였다. 2~64개의 에이전트 환경에서는 싱글 에이전트 환경보다 3~12% 좋은 성능을 보였다. 하지만 64개의 에이전트부터는 에이전트의 수가 늘어날수록 오히려 싱글 에이전트보다 성능이 떨어져 512개의 에이전트를 가진 환경에서는 싱글 에이전트 보다 약 470% 감소된 성능을 보였다.

이 실험을 통해 싱글 에이전트 보다 멀티 에이전트 환경에서 만들어진 인공지능이 비교적 성능이 좋지만, 무분별하게 에이전트 수를 늘리는 것은 지양해야 하며 적절한 개수설정이 필요한 것을 알 수 있다.