Home

최근 클라우드 서버(Cloud server)를 활용한 공유 기술과 딥러닝은 특정분야에서만 사용되는 기술 아닌 여러 가지 방면에서 중요한 기술로 활용되고 있다. 이러한 발전은 여러 가지 분야가 독립적으로 각자의 역할을 수행하기 위하여 동작하는 것이 아니라 클라우드 서버라는 가상 서버를 이용하는 것을 뜻한다. 클라우드 환경은 각각의 장치마다 서로 데이터를 공유하고 협업하여, 하나의 새로운 서비스 및 기능들을 구현하는데 중요한 역할을 하고 있다. 이에 맞물려 현재는 차량 내부에 장착되는 다양한 제품들도 점점 출시되고 있다. 본 연구에서는 이러한 차량 내부 장치들 중에서도 블랙박스를 이용하였으며, 블랙박스 중에서도 360도 촬영이 가능한 블랙박스를 이용하여 연구를 진행하였다. 또한 현재 자율주행과 모션인식 기술의 핵심인 Lidar 센서를 블랙박스와 접목하여, 차량 내부 보안 및 인식 성능 향상에 필요한 기술들을 연구하였다.

본 연구에서 사용한 서버는 AWS(Amazon Web Services) 클라우드 서버 EC2(Elastic Compute cloud)이다. AWS 서버 EC2는 자체적으로 인스턴스를 구성하고, 구성한 인스턴스 내부에서 개발된 프로그램 및 소스 코드들이 동작하는 구조로 되어있다[1]. 이렇게 구성된 서버로 카메라에서 수집된 이미지나 영상을 전송한다. 이때 수집된 영상 및 Lidar 데이터들은 TCP 소켓(Socket)을 사용하여 전송한다. 서버는 360도 카메라를 통해 수집된 영상 및 이미지를 Yolo(You only look once) v3 라이브러리를 사용하여 분석한다[2]. 이와 같이 본 연구에서는 기존에 활용성이 높은 Lidar 및 블랙박스와 AWS 클라우드 서버 EC2 간의 협업을 통한 새로운 시스템 구성을 제안한다.

본 논문의 구성은 다음과 같다. 2장은 Yolo v3 알고리즘 및 라이브러리와 세팅에 관하여 기술한다. 3장은 Lidar 센서의 구성과 활용방법에 대하여 설명하고 4장에서는 전체적인 시스템을 구성하는 구성도와 그에 대한 필요성 및 중요성에 대하여 설명한다. 5장에서는 Yolo v3 라이브러리 및 Lidar 센서를 활용하여 구현된 결과들을 설명하고, 마지막으로 6장에서는 향후 연구 계획 및 개선 방향에 대하여 기술한다.

본 논문에서 Lidar 센서는 YDLidar F4Pro를 사용하였으며[5], 시리얼통신 이용하여 움직임을 인식하는 코드를 구현하였다. Lidar의 시작 및 종료 명령어는 16진수로 이 명령어를 코드 작성 시 시작부분과 종료부분에 각각 넣어 Lidar로 전송하여야만 Lidar가 동작한다. 본 논문에서는 Matlab을 이용하여 구현 하였으며, fwrite를 이용하여 명령어를 전송할 수 있다. 하지만 Matlab에서는 16진수는 10진수로 변환하여 명령어를 전송하여야 한다.

그림 2는 Lidar 센서가 데이터를 받아서 전송해주는 패킷의 형태를 나타낸 것이다. 이러한 패킷 구조를 인지하고 있어야만 패킷의 데이터들을 가공 및 변환 할 수 있다. 그림 2의 패킷은 YDLidar F4 Pro의 전송 패킷이다. 먼저 PH는 패킷의 헤더를 나타낸다. CT는 패킷의 타입이며 이 부분은 Lidar 센서 데이터를 사이클 단위로 수집하는데 중요한 역할을 한다.

Fig. 2. 
Packet configuration of Lidar sensors

그 이유는 실제 데이터가 측정되면, Lidar가 측정을 시작한 위치에 대한 기준이 필요하다. CT는 Lidar가 한 바퀴의 측정이 끝나게 되면 Zero 패킷으로 나타난다. 이를 활용하면 Zero 패킷이 수신되었을 경우 Lidar가 한 바퀴의 측정이 완료되었다는 신호라 볼 수 있다. LSN은 샘플의 양 즉 데이터의 양을 나타내는 부분이며, FSA와 LSA는 스캔시작 각도와 END 각도를 나타낸다. 실제 이 값들은 16진수 값으로 되어 있다. 이 두 개의 범위가 Lidar의 렌즈가 한번 측정할 때 측정되는 각의 범위를 측정한 값이며 수식을 이용하여 각도의 형태로 변환한다.

그림 3은 Lidar 센서를 제어하는 코드 및 데이터 수신 및 가공과 움직임 인식까지 구현한 코드의 구성을 나타내었다. Main에서는 Lidar를 직접적으로 동작시키는 명령어들을 fwrite를 통해 입력한다. 또한 데이터를 가공 및 변환하는 함수와 오류를 정정하는 함수를 호출하여 실행한다.

Fig. 3. 
Lidar source code configuration

Data processing and transformation은 데이터를 가공하고 변환하는 함수를 포함하고, 그림 3과 같은 패킷을 각각 분류한다. 분류된 데이터들을 거리 및 각도로 변환하는 수식을 적용하여 수집된 데이터들을 나타낸다. 또한 0~1초대의 사물들의 위치 및 거리가 저장된 테이블을 만들고 4~5초 테이블과 비교하여 움직임이 있으면 움직임이 있다고 판단한다. Error correction은 실제 측정하면서 값이 일정하게 측정되지 않거나 움직임이 없음에도 값이 다르게 수신되는 오류들을 수정하기 위해 구현한 함수이다. 이 함수는 내부에 테이블 간 비교를 통하여 움직임을 판단하는 역할이 포함되어있다.

이러한 코드가 동작한 이후 Lidar 센서가 움직임을 감지하였을 경우 블랙박스에서는 서버로 영상데이터를 전송 하게 된다. 이후 영상데이터는 서버에서 Yolo v3를 이용하여 영상인식을 수행한다. 블랙박스에서 서버로 영상 데이터를 보낼 때는 소켓통신을 이용하여 데이터를 전송한다. 소켓통신 규격은 포트 7000번을 통하여 전송된다. 이때 EC2 클라우드 서버 내부 설정에서 인바운드 규칙에 포트 7000번을 추가하여야만 소켓통신이 정상적으로 동작한다.

서버에서 펌웨어를 실행하면 Lidar와 전 방향 카메라가 동시에 동작되도록 구현하였다. 본 연구에서는 물체의 거리 및 범위만을 인식하여 데이터를 전송하는 이차원 Lidar를 이용하여 연구를 진행하였다. Lidar를 사용하면, 카메라로 사물을 인식하기 힘든 야간 상황에서도 효과적으로 사용되어 질 수 있게 된다. Lidar에서 우선적으로 움직임이 감지되면, 블랙박스에서 영상데이터를 서버로 보낸다. 이는 블랙박스에서 지속적으로 영상을 서버에 업로드 할 필요가 없고, Lidar에서 우선적으로 움직임이 인식된다면 서버로 영상데이터를 전송하게 되는 장점이 있다. 이러한 시스템 구성으로 대용량 영상 데이터를 서버에 지속적으로 전송하는 현상을 방지할 수 있게 되고, 데이터 전송 시간 단축 및 수집 데이터의 신뢰도가 향상되는 효과를 기대할 수 있다. 또한 클라우드 서버의 저장 장치를 효과적으로 관리할 수 있게 된다.

그림 4는 본 연구에서 제안하는 새로운 시스템 구성도이다. Lidar에서 움직임이 감지되면, 360도 카메라의 영상데이터와 Lidar 센서의 데이터를 서버로 연동규격에 따라 7000번 TCP 포트로 전송한다. 이러한 연동 규격은 개발 구성에 따라 달라질 수 있다. 이렇게 전송된 데이터들은 EC2 서버 내부에 작성된 Yolo v3 라이브러리 코드와 360도 이미지 데이터를 평면 이미지 데이터로 변환하는 알고리즘을 이용하여 10초의 360의 영상을 13개의 평면 프레임으로 변환하여 물체를 인식하게 된다. 인식된 물체가 사람인 경우 영상 속 인식되는 사람의 수를 저장하도록 하였다.

Fig. 4. 
Diagram of image recognition system using AWS cloud server

차량의 소유자이자 제안하는 시스템을 이용하는 사용자에게 차량 주위에 사람이 접근하였다는 경고 알림을 주어 차량 도난, 차량 안 귀중품 도난, 차량 파손 등에 대비할 수 있도록 경고 알림을 보내는 부분도 추가할 것이다.

클라우드 환경에서 블랙박스와 Lidar를 이용하여 시스템을 구성한다. 이를 통하여 블랙박스 및 Lidar에서 움직임이 발생한 영상 즉 필요한 360도 영상만을 송신하여 서버 내에서 영상인식이 올바르게 동작하는지를 알아본다. 그림 5는 Lidar를 통하여 움직임이 인식 되었을 경우 서버에서 수신된 데이터를 Yolo v3[6][7]를 이용하여 영상인식을 수행한 결과이다. 사람만 인식되도록 Yolo v3를 학습시켜 진행하였다[8]. 사람 2명의 영상에 들어오자 사람이 Bounding Box를 통해 2명 모두 인식된 것을 볼 수 있다. Yolo v3를 통해 인식된 영상 데이터는 10초 단위로 13개의 프레임에서 인식된 물체에 Bounding Box가 표시된 이미지 데이터로 출력된다. 그림 5은 영상인식이 적용된 10초 단위 13개 이미지 데이터 중의 하나이다.

Fig. 5. 
Image recognition result using Yolo v3 (recognition success)

그러나 이러한 360도 영상은 실제 영상 인식을 진행할 때 많은 문제점이 발생한다. 그림 6을 살펴보게 되면 인식된 한명 뒤에 또 다른 사람이 나타났음에도 인식이 되지 않고 왼쪽에 촬영된 사람만 인식되어 Bounding Box가 씌워진 결과를 볼 수 있다. 이는 렌즈 특성상 왜곡이 심하게 일어나 인식 오류가 발생하는 것을 알 수 있다. 따라서 360도 영상 및 이미지는 평면에서 촬영된 영상에 비해 인식률이 저하되는 현상이 나타난다. 또한 영상의 광도도 인식의 정확도를 결정하는데 상당히 중요하기 때문에 빛의 세기를 조절해야 한다. 하지만 사용한 360도 카메라에서는 광도 조절이 어려웠다.

Fig. 6. 
Image recognition result using Yolo v3 (recognition failure)

360도 카메라의 왜곡 현상을 해결하기 위하여 360도 영상을 평면 영상으로 펴는 작업 후 영상인식을 수행하여 인식률을 향상시켰다. 그림 7과 8은 360도 이미지 데이터를 평면 이미지 데이터로 변환하는 Omnidirectional Camera Calibration[9][10]을 적용하여 360도 영상을 평면으로 변환 후에 Yolo v3를 이용하여 영상인식을 수행한 결과이다. 이 수행 결과로 360도 영상에서의 물체에 대한 왜곡 발생이 감소하여 기존에 40%이하로 떨어지는 인식률을 100번 (1회당 10초 단위)의 인식률 테스트를 진행한 결과 밝기에 따라 50~70%로 인식률이 개선되는 것을 확인하였다. 그러나 360도 이미지 데이터를 평면 이미지 데이터로 변환하는 과정이 추가되어 실행시간이 360도 이미지 데이터를 이용하였을 때보다 증가하게 되었다. 또한 360도 이미지 데이터를 평면 이미지 데이터로 변환하여도 완벽하게 왜곡을 해결할 수 없었다. 따라서 360도 영상의 왜곡을 줄이는 방법에 대한 추가적인 연구가 필요하다고 생각된다.

Fig. 7. 
Image recognition results using omnidirectional camera calibration algorithm 1

Fig. 8. 
Image recognition results using omnidirectional camera calibration algorithm 2

폭발적인 데이터양의 증가로 새로운 예측데이터 및 인식데이터를 추출하는 작업은 일반적인 개인용 하드웨어에서 처리하기 힘들게 되었다. 이러한 빅데이터를 처리 및 공유하기 위하여 현재는 클라우드 및 관련 자원을 빌려와 사용하는 방식이 일반화되고 있다.

본 논문에서는 센서 데이터 및 블랙박스에서 촬영되는 많은 양의 데이터를 서버를 통해 분석하는 새로운 시스템의 구성을 제안하였다. 서버에서는 이러한 분석의 결과를 통해 특정 물체를 인식하고 이를 사용자에게 알려주는 시스템을 구현하였으며, Yolo v3 알고리즘을 이용하여 서버 내에서 영상인식이 가능한 스마트 블랙박스 시스템을 구현하였다. 또한 본 시스템을 구성하여 필요할 때만 데이터를 전송하였기 때문에 클라우드 서버가 전송받는 데이터는 블랙박스의 모든 영상데이터를 수신받을 필요 없이 움직임이 발생한 부분만 받을 수 있다. 이를 통하여 서버의 과부화 및 부담을 덜어 줄 수 있다. 이렇게 수신된 영상들은 Yolo v3로 분석을 진행하였고, 360도 왜곡된 영상을 Omnidirectional Camera Calibration을 적용하여 인식률을 향상시켰다.

이는 실제 차량 뿐 만 아니라 공공기관 및 개인 주택 등과 같은 보안 시스템 구성에도 기여할 수 있을 것으로 예상한다.

향후에는 영상의 밝기 등 영상의 질을 향상시켜 더 나은 인식률을 얻을 수 있도록 연구를 진행할 예정이다. 그리고 360도 카메라의 왜곡 현상을 해결할 방법에 대한 연구도 진행할 예정이다. 또한 Lidar 센서와 블랙박스를 포함한 다른 여러 영상 촬영 장치 및 센서들을 이용한 시스템을 구성하여 차량을 위한 보안 시스템이 아닌 여러 상황에서 사용가능한 보안 시스템으로 발전시켜 나갈 예정이다.