Home

임베디드 시스템에서 Mixed Precision 기반의 인공지능 네트워크 추론 연산을 구현하고 분석하기 위해서 구체적으로 yolov3-tiny모델에 대해서 Mixed Precision을 위한 CNN network 및 연산 방법을 설계 및 구현 적용하였다. 본 논문에서는 yolov3-tiny 네트워크에 Mixed Precision을 적용하는 설정 및 구현 과정을 설명하도록 한다.

Mixed Precision을 네트워크의 각 레이어에 유연하게 적용하는 데 필요한 사항은 각 레이어에서 파라미터에 대한 양자화와 반양자화 연산에 대한 선택과 변환이 이루어지는 동작이 필요하다는 것이다.

그림 1은 Mixed Precision 기반 이미지 추론 동작을 위해서 네트워크 포워딩 시 각 레이어에서 동적으로 양자화 및 반양자화를 수행하는 동작 구조를 도식화한 것이다. 각 레이어는 현재 레이어로 입력값이 들어오면 Mixed Precision을 위한 해당 레이어 설정에 따라서 양자화 및 반양자화를 동반한 네트워크 연산을 수행한다.

Fig. 1. 
Network forwarding structure of quantized or dequantizated parameter for each laler for Mixed Precision

Mixed Precision을 수행하기 위해서 각 레이어별 몇 가지 설정은 그림 2에 나타나 있다. 그림 2와 같이 각 레이어의 파라미터 설정에 따른 네트워크 연산을 수행하기 위해서 각 레이어의 연산에 대한 설정 항목에 추가적으로 해당 레이어의 정밀도와 양자화/반양자화 여부에 대한 설정값이 지정된다.

Fig. 2. 
Configuration of convolution layer for Mixed Precision in yolov3-tiny model

지정된 설정에 따라 적절하게 입력값의 정밀도를 변환한 후 네트워크 연산을 수행한다. 정밀도 값은 fp32, fp16 혹은 int8이며, 양자화/반양자화 여부는 quantize의 값이 1 또는 0 값에 의해서 정해진다. 그림은 yolov3-tiny의 conv-layer 설정의 예를 보여주고 있으며, 각 레이어의 설정에서 앞서 설명한 fp32, int8등의 옵션 값을 수정하면 그에 맞도록 yolov3-tiny의 네트워크가 구성되어 포워드 연산이 동작한다.

일반적으로, 신경망 모델은 특정 데이터에 대해서 네트워크를 학습시킨 후, 학습된 파라미터를 특정 파일에 별도로 저장한다. 대부분의 신경망 모델에서 제공하는 파라미터는 fp32로 되어 있으며, 최근 파라미터를 양자화하여 int8의 형태로 제공하는 모델도 증가하고 있다.

본 논문에서는 fp32 형태로 제공되는 파라미터를 이용하여 대해서 CNN 네트워크 연산을 수행할 때 Mixed Precision 연산을 수행하도록 구현하는 것이 목적이다. 즉, 원하는 레이어에 대해서 fp32, fp16 혹은 int8 중에서 원하는 형식의 파라미터값을 이용한 네트워크 연산을 수행하게 하려면, 양자화/반양자화 모듈을 기존 네트워크에 구현하여 주었다. 양자화/반양자화는 기존 Yolo에 적용된 양자화 구현 모델[13][14]을 참고하여 Affine Quantization 모델을 기반으로 구현하였으며, 추가로 오버플로에 대한 데이터 손실을 막기 위해서 Scale Factor를 적용하였으며, int16/int32 크기의 데이터 타입 기반의 임시 버퍼를 활용하였다.

Affine Quantization은 양자화되는 대상 값 중에서 최소값과 최대값의 범위를 찾아내고, 앙자화로 표현되는 값의 범위를 이용해서 서로 간의 비율을 구한다(식 1()). 또한 양자화 대상의 값 및 양자화 후의 값의 최대와 최소를 이용하여 양자화된 값의 중앙값을 계산한다(식 (2)). 이 값을 이용해서 식 (3)과 (4)와 같이 양자화를 수행한다. 그림 3은 양자화 Affine Quantization에 의해서 양자화를 수행하는 코드의 일례를 나타낸 것이다.

Fig. 3. 
Part of the quantization source code

반양자화는 양자화의 반대로 양자화 값으로부터 기존의 값을 역산하는 방식이다. 이 경우도 마찬가지로 기존의 s와 z를 이용해서 식 (5)와 같이 각 값에 대해서 반양자화 값을 계산한다. 그림 4는 반양자화를 수행하는 코드의 일례를 나타낸 것이다.

Fig. 4. 
Part of the dequantization source code

앞서 설명한 대로, Mixed Precision을 사용하여 딥러닝 모델의 추론 연산을 수행하기 위해서 딥러닝 모델은 네트워크의 레이어별로 서로 다른 정밀도 및 데이터 타입으로 설정되어 있다. 딥러닝 네트워크의 각 레이어는 Forward Network 연산을 수행하면서 해당 레이어의 Precision 타입을 검사하여 해당 타입에 필요한 양자화-연산-반양자화-연산을 수행한다. 실제적으로는 네트워크 모델이 기본적으로 fp32 타입의 파라미터와 연산 방식으로 구현되어 있어서, 현재 설정된 네트워크 레이어의 Precision 타입이 fp32가 맞는지 아닌지를 점검하여, fp32가 아니면 양자화/반양자화를 적용한 네트워크 연산을 수행한다. 또한, CNN 모델의 딥러닝 연산 중에서 가장 복잡도가 높은 연산은 컨벌루션 연산이므로, 양자화 및 반양자화를 컨벌루션 연산에 적용한다.

Forward Network에서 양자화-반양자화 연산을 수행하면서 정보 손실을 줄이기 위해서 고려해주어야 하는 부분이 두 가지가 있다. 첫째, 양자화 연산의 결과 변환된 데이터에 대한 저장 범위의 한계로 인해서 발생하는 오버플로를 최소화해야 한다. 둘째, 양자화 데이터에 대한 컨벌루션 연산의 결과에 대한 저장 범위의 한계로 인해서 발생하는 오버플로를 최소화해야 한다. 이를 위해서 구현에서 적용하는 방식은 다음과 같다. 첫째, 양자화 값의 오버플로로 인한 손실을 줄이기 위해서 Scale Factor를 활용한다. 즉, 양자화 과정에서 양자화 대상의 값의 분포도를 계산하여 양자화되는 값의 범위에 대해서 각 값에 곱해져야 하는 Scale값을 계산하여 파라미터의 각 값에 곱해준다. 이를 통해서 양자화의 상대범위를 지정해줄 수 있음으로써 오버플로를 줄일 수 있다. 둘째, 컨벌루션 연산 시 중간 계산값이 파라미터의 합성곱에 의해서 커짐으로 인해서 발생하는 오버플로를 줄이기 위해서 중간 계산을 저장하는 임시 버퍼의 타입을 크게 지정하여 준다. 예를 들어 int8로 양자화된 값에 대한 합성곱으로 발생할 수 있는 임시 연산 결과의 오버플로를 방지하기 위해서 int32 타입의 임시 버퍼를 사용한다. 그 후, 최종 결과에서는 int8의 타입으로 다시 조정하는 절차를 수행하여 준다.

실제로 yolov3-tiny을 기반으로 Mixed Precision을 적용한 모델은 Jetson Nano나 라즈베리파이와 같은 임베디드 디바이스에서 실행이 가능하나, 특정 시스템에 환경에 따라서는 몇 가지 컴파일러 및 환경 설정 작업이 필요할 수 있다. 일반적으로 대부분의 범용 임베디드 시스템의 구조는 ARM Core 기반 프로세서와 수 GB의 메모리, 임베디드에 최적화된 GPU 등을 포함하고 있다. ARM의 경우 fp32나 int8과 같은 많이 사용되는 데이터 타입에 대한 컴파일 기능을 일반적으로 제공하지만, 특정 시스템에서는 fp16과 같은 데이터 타입의 사용을 위해서는 추가 컴파일러 및 실행환경 설정 작업을 수행해 주어야 한다. 적절한 컴파일러 환경 설정을 통해서, 우리가 구현한 yolov3-tiny 기반 Mixed Precision 모델을 Jetson Nano와 라즈베리파이에서 실행하였을 때 적절히 수행되는 것을 확인할 수 있었다.

먼저, fp32값을 int8로 양자화를 하였을 때 발생하는 정보 손실을 분석하기 양자화된 int8 데이터를 이용한 추론 연산 중에 발생하는 값의 오버플로에 대해서 분석하였다. int8로 양자화된 weight와 입력값에 대해서 픽셀 단위 곱셈 연산을 수행했을 때 연산 결과가 int8의 범위 안에 들어가지 않고 오버플로가 나는 비율에 대해서 측정해 보았다. 표 1은 yolov3-tiny 모델에 대해서 layer 1~10에 대해서 단일 픽셀당 weight와 입력을 곱한 결과 중 int8 타입에 대해서 오버플로가 발생한 비율을 나타낸 것이다. ImageNet 데이터셋에 대해서 각각 적용했을 때 각 레이어마다 측정된 오버플로에 대해서 Max와 Min을 측정하였으며, 전체 데이터셋에 대한 평균값은 Avg.로 나타내었다.

결과에서 보는 바와 같이 int8 양자화된 데이터에 대해서 각 픽셀에 대한 weight와 입력값에 대한 곱셈 연산을 수행했을 경우 레이어에 따라서 7~20% 정도의 오버플로가 발생하는 것을 확인할 수 있다. 즉, int8 연산의 결과를 그대로 int8 데이터 타입을 이용하여 저장할 때 해당 비율 정도의 데이터 손실이 발생할 수 있다는 의미이다. 오버플로가 발생할 때 데이터 손실을 발생하므로 딥러닝 연산의 손실이 발생해 심한 경우 객체 검출이 되지 않는 경우도 발생한다. 오버플로를 줄이기 위해서는 연산의 결과를 저장하는 데이터 타입의 크기를 늘려주는 것이 필요하다. 앞서 구현에서 설명한 바와 같이 연산 결과를 임시 int16 데이터 타입에 저장하도록 한 경우, 연산 결과를 분석해보면 오버플로가 전혀 발생하지 않는 것을 확인할 수 있었다.

단일 픽셀의 연산과 유사한 방법으로, 각 레이어에서 수행하는 연산 중 가장 복잡도가 높은 합성곱 연산에 대해서 오버플로를 분석하였다. 표 2는 각 레이어별로 int8로 양자화된 weight와 입력값에 대해서 필터 크기에 해당하는 합성곱을 수행하였을 때 발생하는 오버플로의 결과를 나타낸 것이다. 결과에서 보듯이 합성곱 결과를 int16에 저장했을 경우 많은 레이어에서 오버플로 발생이 5% 미만으로 적음을 알 수 있다.

그러나 특정 레이어에 대해서는 수십%의 오버플로가 평균적으로 발생하는 것을 알 수 있다. 합성곱의 결과에 대해서는 int16보다 큰 int32에 데이터를 임시 저장하도록 구현하는 것이 필요하다는 것을 확인할 수 있다.

Mixed Precision 추론 연산의 성능을 추론 시간과 정확도 등 두 가지 관점에서 분석하여 보았다. 우리는 먼저 추론 시간은 기존 단일 파라미터 타입을 이용한 추론 연산시간에 비해서 Mixed Precision을 적용하였을 때 추론 시간이 얼마나 변화하는지에 관해서 실험을 진행하였다. 실험은 yolov3-tiny 모델에 대해서 이미지의 객체 추출을 위한 추론 연산을 수행하면서 각 레이어별로 실행한 실행시간 및 이미지 객체 검출 시간을 측정하였다. 실험에서 우리는 먼저 fp32 파라미터만을 이용한 추론을 수행하면서 각 레이어별로 수행시간을 측정한 후, 가장 시간이 오래 걸리는 3개의 레이어인 2, 7, 12에 대해서 Mixed Precision 조합을 만들어서 추론을 수행하였다. 실험에 적용한 파라미터 조합은 fp32_all, fp32_int8(2,7,12), int8_all, int8_fp32(2,7,12)이다. fp32_all은 모든 레이어의 파라미터가 fp32 타입을 나타내며, int8_all은 모든 레이어의 파라미터가 int8 타입을 의미한다. fp32_int8(2,7,12)는 레이어 2,7,12에는 int8 타입의 파라미터이며 이외의 레이어는 fp32를 사용한 것이고, int8_fp32(2,7,12)는 레이어 2,7,12에 대해서 fp32타입이며 나머지는 int8 타입을 사용한 것이다.

그림 5는 네 가지 조합에 대해서 추론 연산을 수행할 때 각 레이어별 수행시간을 측정한 결과를 도식화한 것이다. 그림 5(a)는 절대적인 각 레이어별 절대적인 수행시간을 나타낸 것이며, 5(b)는 상대적인 비율을 나타낸 것이다. 그림 6은 이미지 객체 추출에 걸린 시간을 측정한 것이다. 그림 5에서 볼 수 있는 바와 같이, 각 레이어별로 fp32 타입의 파라미터로 연산을 수행하는 것이 int8 타입으로 연산을 수행하는 것보다 연산시간이 긴 것을 확인할 수 있다. 특히, Mixed Precision을 적용한 경우인 fp32_int8(2,7,12)을 살펴보면, 양자화를 적용한 2, 7, 12 레이어에서 fp32를 적용한 것보다 연산시간이 줄어드는 것을 확인할 수 있다.

Fig. 5. 
Result of measuring the execution time for each layer when performing inference operation by applying the Mixed Precision method to the yolov3-tiny model

Fig. 6. 
Execution time of object detection using Mixed Precision method for yolov3-tiny model

이러한 수행시간 단축은 전체적인 객체 추출 추론 시간에도 영향을 미치는 것을 그림 6에서 확인할 수 있는데, fp32의 경우가 전체 추론 시간이 가장 길었으며, int8의 경우가 가장 짧은 시간이 걸렸다. 특이한 점은 fp32_int8(2,7,12)가 int8_fp32(2,7,12)보다 추론 시간이 적다는 것인데, 실험환경에 따라서 달라질 수는 있겠지만, 많은 레이어에 대해서 양자화를 수행하는 것보다 연산이 복잡하여 시간이 많이 소모되는 몇몇 레이어에 대해서만 양자화를 적용한 경우가 시간이 더 많이 줄어들 수 있음을 시사한다.

그림 7은 yolov3-tiny 모델에 대해서 Mixed Precision 방식을 적용한 객체 추출 연산의 정확도(Accuracy)에 대해서 실험하여 그 결과를 상대적으로 비교하여 나타낸 것이다.

Fig. 7. 
Experimental results on the accuracy of object detection using the Mixed Precision method for the yolov3-tiny model

즉, fp32의 객체 추출정확도를 100으로 하여, 나머지에 대해서 상대적인 정확도를 나타낸 것이다. 결과에서 보는 바와 같이 fp32의 경우가 int8에 비해서 정확도가 훨씬 높으므로 int8 타입으로 양자화하여 딥러닝 연산을 수행하는 것은 정확도 측면에서 손실이 높다. 그런데, 특정 레이어(2,7,12)에 대해서 양자화를 수행하는 Mixed Precision의 경우 fp32와 정확도 측면에서 손실이 많이 없음을 확인할 수 있다. 그림에서와 같이 fp32_int8(2,7,12)의 경우 fp32와 정확도 성능이 큰 차이가 없음을 확인할 수 있다. 즉, 수행시간이 많이 소모되는 몇몇 레이어에 대해서 양자화 연산을 적용한 Mixed Precision은 정확도의 손실을 줄이면서 추론 연산시간을 단축할 수 있다는 것을 확인할 수 있다.