모델 경량화를 통한 RESTful API 기반 동적 연합학습 플랫폼 개발

2.1 연합학습 플랫폼

BFLSID (Blockchain-based Federated Learning System for Infrutsion Detection)는 IoT 네트워크에서침입탐지를 개선하기 위해 설계된 기계학습을 사용한 블록체인 기반의 연합학습 플랫폼이다[11]. IPFS (InterPlanetary File System)와 Hyperledger Fabric을 통해 글로벌 모델의 매개변수와 탐지 결과의 무결성과 보안을 강화한다. 또한 소수 클래스를 과도 샘플링하여 데이터 불균형 문제를 해결하였다. CNN (Convolutional Neural Network), LSTM (Long Short-Term Memory) 모델을 통해 평가하였고 중앙집중식 모델과 유사한 성능을 보장한다.

Lee et al.은 연합학습에서 네트워크 및 통신 상황을 기반으로 학습에 참여할 기기를 선택하는 기법을 제안하였다[12]. 본 연구는 네트워크 상황이 다른 기기들 간의 성능 차이로 인해 연합학습이 지연되는 문제를 해결하기 위해 각 기기의 네트워크 및 통신 지표를 측정하고 이를 바탕으로 적합한 학습 참여 기기를 선정하는 방법을 고안하였다.

Shin et al.은 하이브리드 클라우드 환경에서의 연합학습 시스템 아키텍처를 제안하였다[13]. 제안된 아키텍처는 로컬 디바이스의 제한된 리소스에서도 안정적인 성능의 모델을 생성할 수 있도록 AWS (Amazon Web Services) 기반의 클라우드 환경에서 연합학습을 구현하였다. TCP/IP 통신을 적용하여 중앙 서버와 다수의 클라이언트 간의 통신을 통해 글로벌 및 로컬 모델의 성능을 평가하였다.

FedMon은 연합학습 시스템에서 모니터링을 효율적으로 수행하기 위해 제안된 도구이다[14]. FedMon은 연합학습 과정에서 발생하는 다양한 시스템 및 모델 지표를 자동으로 추출하고 분석하며, 학습 성능의 저하를 감지하고 이전 학습과 비교할 수 있는 기능을 제공한다.

2.2 연합학습 기법

FedProx는 시스템 및 통계적 이질성을 해결하기 위해 제안된 연합학습 최적화 프레임워크이다[15]. 이 프레임워크는 기기별로 수행할 수 있는 작업량을 조절할 수 있도록 하여 연합학습 내에서 더 안정적이고 효율적인 수렴 성능을 제공한다. FedProx는 기존 FedAvg 알고리즘을 일반화하고 재구성한 형태로, 시스템 제약이 있는 환경에서도 비 동일하게 분포된 데이터에 대해 안정적인 성능을 보장할 수 있도록 돕는다.

FedPer는 연합학습에서의 통계적 이질성 문제를 해결하기 위해 제안된 방법이다[16]. FedPer는 모델을 기본 계층과 개인화 계층으로 나누어 학습하는 접근법이다. 기본 계층은 모든 클라이언트가 공유하며 연합학습을 통해 학습되지만, 개인화 계층은 각 클라이언트에서 개별적으로 학습된다. 이를 통해 각 클라이언트의 고유한 데이터 특성을 반영하면서도 중앙 서버에서 전송되는 기본 계층을 활용하여 협력 학습이 가능하다.

Kim et al.은 연합학습에서 성능 저하 문제를 해결하기 위해 정확도 기반 참여 제한 연합학습을 제안하였다[17]. 이 방법은 로컬 모델의 평가 정확도를 기반으로 성능이 낮은 클라이언트의 파라미터를 집계에서 제외하여 글로벌 모델의 품질을 향상시킨다. 이 연구는 MNIST 데이터셋을 사용하여 IID (Independent and Identically Distributed)와 Non-IID (Non-Independent and Identically Distributed) 환경에서 실험을 수행하였으며, 결과적으로 기존 연합학습 방식에 비해 IID 환경에서는 평균 2 라운드, Non-IID 환경에서는 평균 7.77 라운드 더 빠르게 목표 성능에 도달함을 확인하였다.

Kim et al.은 연합학습의 성능을 개선하기 위해 Learning Agent를 활용하고 다중 경로 기반의 모델 분할 전송 기법을 제안하였다[18]. 이 연구는 기존의 연합학습이 개별 클라이언트의 성능과 통신 상황에 의해 학습 성능이 제한되는 문제를 해결하고자, 클라이언트 주변의 신뢰할 수 있는 유휴 장치를 통해 성능을 높이고, 일반적인 TCP 기반의 다중 경로 전송을 통해 통신 지연을 줄이는 방법을 제시하였다.

Lee et al.는 Non-IID 데이터 문제를 해결하기 위해 다중 서버 환경에서 계층적 클러스터링 기반 연합학습을 제안하였다[19]. 이 기법은 중앙 서버에 과도하게 의존하지 않도록 프록시 서버를 도입하여 중앙 서버의 부하를 줄이고, 클라이언트의 가중치를 클러스터링하여 병렬적으로 학습을 수행하는 방식을 사용한다.

3.1 제안 플랫폼 구조

그림 1은 제안 플랫폼 구조를 보인다. 크게 FL Client, FL Support System, FL Server로 나누어진다.

Fig. 1.

Proposed platform architecture

FL Client는 연합학습에 참여하는 클라이언트들의 모듈 구성이다. FL Client는 Client agent, Model manager, Network manager로 구성되어 있다.

Client agent는 클라이언트의 모듈들을 제어하고 클라이언트의 상태를 서버로 전송한다. 또한 클라이언트 등록을 요청하고 초기 파라미터를 수신한다. Model manager는 글로벌 모델 파라미터를 로컬 모델과 통합하고 로컬 모델을 학습시키는 역할을 수행한다. Network manager는 학습된 로컬 파라미터를 서버로 송신하고 업데이트된 글로벌 파라미터를 서버로부터 수신한다.

FL Support System은 연합학습 시스템의 라운드 진행 관리를 담당하는 연합학습 지원 시스템이다. FL Support System은 FL Round manager와 Dashboard로 구성되어 있다.

FL Round manager에서는 클라이언트 관리와 연합학습 라운드 관리를 수행한다. 클라이언트가 등록을 요청하면 클라이언트 등록과 동시에 초기 파라미터를 전송해준다. 또한 연합학습 진행 과정에서 클라이언트의 실시간 상태, 라운드 진행 여부, 자동학습의 여부 등의 데이터를 저장하여 Dashboard에 제공한다. Dashboard는 클라이언트의 상태를 실시간으로 모니터링하고 라운드별 학습 정확도와 진행 상황을 시각적으로 확인할 수 있게 한다. 또한 사용자가 Dashboard를 통해 임의로 연합학습의 진행과 자동학습을 제어할 수 있다.

FL Server는 글로벌 모델의 업데이트와 각 클라이언트로부터 수신한 로컬 파라미터들을 통합하는 역할을 수행한다. FL Server는 Global model manager와 Model transmitter로 구성되어 있다.

Global model manager는 글로벌 모델을 업데이트하고 클라이언트에서 수집된 로컬 모델 파라미터를 통합한다. 본 논문에서는 FedAvg[3]를 사용하여 클라이언트들의 파라미터를 통합한다. FedAvg는 각 클라이언트의 파라미터를 평균 내어 글로벌 파라미터를 생성하는 방식이다.

식 (1)은 FedAvg를 표현한 식이다. w_t+1은 글로벌 모델의 업데이트된 파라미터를 의미한다. 즉 FedAvg의 결과다. K는 참여 클라이언트의 수를 의미한다. n_k는 클라이언트 k의 데이터 샘플 수를 나타내고 n은 전체 클라이언트의 데이터 샘플 총합이다. $$ w_{t+1}^{\left(k\right)}$$는 클라이언트 k에서 업데이트된 로컬 모델 파라미터를 의미한다. 파라미터 통합이 완료되면 글로벌 모델을 업데이트하고 해당 라운드의 정확도를 저장한다. 그 다음 글로벌 모델 파라미터를 추출하여 직렬화하고 압축하여 Model transmitter에게 전달한다.

Model transmitter는 클라이언트로부터 로컬 모델 파라미터를 수집하고 업데이트된 글로벌 모델 파라미터를 다시 클라이언트로 전송한다. 그 후 로컬 모델 파라미터를 클라이언트 파라미터 리스트에 저장한다.

3.2 RESTful API의 URI 설계

RESTful API를 활용한 연합학습 시스템을 구성하기 위해서는 연합학습을 진행할 때 필요한 리소스에 대해 URI를 통해 정의해야 한다. 표 2는 연합학습 시스템 구축을 위한 URI 설계를 보인다. 각 URI는 클라이언트와 서버 간의 데이터를 주고받기 위해 필요한 리소스를 정의하며, HTTP 메소드를 통해 특정 동작을 수행한다.

Table 2.

Designing URI structure for RESTful API configuration

/client는 연합학습 시스템에 클라이언트를 등록하는 역할을 한다. 또한 클라이언트는 GET 메소드를 통해 서버로부터 초기 파라미터를 요청하며 서버는 압축된 초기 파라미터를 응답으로 제공한다. 또한 DELETE 메소드를 통해 연결 해제를 원하는 클라이언트 ID를 서버로 전송하고 서버는 해당 클라이언트의 연결을 해제한다.

/client/autorun는 클라이언트가 특정 라운드 수만큼 자동으로 학습을 진행할 수 있도록 설정하거나 학습 도중 자동 진행을 중단할 때 사용한다. POST 메소드를 통해 특정 라운드 수를 지정하여 자동 학습을 시작할 수 있으며 DELETE 메소드를 통해 자동 학습을 중단할 수 있다.

/client/signal는 클라이언트의 학습 상태나 연결 상태에 대해 서버에 보고하며 이를 통해 연합학습에 참여 중인 클라이언트들의 상태를 실시간으로 확인하고 필요시 사용자가 적절한 조치를 취할 수 있다.

/transmitter는 클라이언트로부터 로컬 파라미터를 전송받거나 업데이트된 글로벌 모델을 전송하는 연합학습의 핵심 기능을 담당한다. 클라이언트는 POST 메소드를 통해 클라이언트 ID와 학습된 로컬 파라미터를 서버로 전송하며 GET 메소드를 통해 업데이트된 글로벌 모델의 파라미터를 전송받아 로컬 모델에 적용시킨다.

3.3 연합학습 프로세스

그림 2는 제안 플랫폼을 통한 연합학습 프로세스를 보인다. 클라이언트는 처음 연합학습에 참여하면 클라이언트 정보를 등록하고 초기 파라미터를 학습한다. 그 후 학습한 로컬 모델 파라미터를 서버로 전송하고 서버에서는 각 클라이언트들이 보낸 파라미터들을 통합하여 업데이트한다.

Fig. 2.

Federated learning process of the proposed platform

그 후 현재 라운드가 마지막 라운드인지 확인한 후 마지막 라운드일 경우 연합학습을 종료하고 현재 라운드가 사용자가 설정한 마지막 라운드가 아니라면 각 클라이언트에게 업데이트된 글로벌 모델 파라미터를 전송한다.

한편, REST 기반의 데이터 통신에서는 일반적으로 JSON 형식으로 데이터를 전송한다. JSON 데이터 형식은 {키:값} 쌍으로 이루어져 모델 파라미터를 변환하기에 데이터 형식상의 문제는 없지만 모델 파라미터와 같은 Python 객체는 바로 JSON 형태로 바로 변환할 수 없고 Numpy 형태로 변환한 다음 JSON으로 변환할 수 있다.

이 과정에서 데이터 용량이 크게 증가해 전송 효율이 악화된다. 따라서 본 논문에서는 파라미터의 송수신 과정에서 추가적인 처리를 통해 데이터 용량을 감소시켜 전송하는 방식을 제안한다.

그림 3은 파라미터 용량 감소를 위한 추가적인 처리 프로세스를 보인다. 파라미터 처리는 파라미터 데이터를 추출한 후 송신하기 전과 수신한 후 모델에 적용하기 전에 진행한다. 이 과정은 서버와 클라이언트 각각 모두 해당된다. 파라미터를 송신하기 전 float32 형태의 모델 파라미터 자료형을 bfloat16[20] 형태로 변환한다.

Fig. 3.

Parameter data processing process

bfloat16은 float32와 동일한 표현 범위를 가지지만 정밀도는 다르다. 따라서 bfloat16을 사용하면 메모리 사용량을 크게 절감할 수 있지만 정밀도의 차이로 인해 모델의 정확도가 감소할 수 있다. 연합학습 환경에서는 여러 클라이언트가 각자의 로컬 데이터로 모델을 학습하고 글로벌 서버에 모델 파라미터를 전송한다. 클라이언트가 다수인 연합학습 환경에서는 데이터 전송 비용이 학습 속도와 효율성에 큰 영향을 미치기 때문에 float32 대신 bfloat16을 사용하면 파라미터 통신에 필요한 데이터 전송 비용을 줄이는 데 매우 효과적이다.

그 다음 변환한 데이터를 직렬화하고 압축하여 송신한다. 압축된 데이터를 수신한 후 모델에 적용시키기 위해 데이터를 압축해제하고 역 직렬화한 다음 다시 float32 데이터로 변환해 원본 데이터를 모델에 로드한다.

3.4 연합학습 지원 시스템

제안 플랫폼을 활용한 연합학습 실험의 편의를 위해 제작한 대시보드를 통해 사용자는 클라이언트의 상태를 실시간으로 확인하고 연합학습의 진행을 제어할 수 있다. 그림 4는 제안 플랫폼을 통한 연합학습 진행 과정에서의 대시보드를 보인다. FL Support System에서 수집한 클라이언트 상태정보와 글로벌 모델의 메타데이터, 라운드 진행 상황에 대한 정보를 웹 시각화를 통해 사용자에게 제공한다. 클라이언트의 상태는 join, ready, training, update, finish로 구성된다.

Fig. 4.

Proposed platform dashboard

또한 Global Model Status를 통해 글로벌 모델의 메타데이터 및 라운드 진행 상황에 대한 정보를 제공한다. Global Model Status는 round autorun, current round, number of clients, global model accuracy, last updated로 구성된다.

또한 Round Autorun, Manual Control을 통해 사용자가 직접 연합학습 라운드를 자동/수동 진행할 수 있도록 제어하거나 클라이언트의 라운드 진행 도중 자유로운 이탈과 재참여를 위한 인터페이스를 제공한다. 사용자는 목표 라운드를 입력하여 자동학습을 진행시키거나 종료시킬 수 있다. 또한 로컬 모델 학습에 대한 명령과 글로벌 모델 업데이트에 대한 명령을 하여 수동으로 연합학습을 진행 시킬 수 있다.

그림 5는 연합학습 진행 중 클라이언트의 이탈 상황을 보인다. client_3이 라운드 중간에 이탈하게 되면서 나머지 클라이언트들만으로 연합학습이 수행된다. Global Model Status에서도 참여 중인 클라이언트 수가 실시간으로 업데이트되어 5에서 4로 변경된다.

Fig. 5.

Client dropout during federated learning

그림 6은 연합학습 중 클라이언트가 중도 참여한 상황을 보인다. 중도 참여한 클라이언트는 현재 라운드가 진행 중인 상황에서는 대기하다가 다음 라운드가 진행될 때 기존의 클라이언트들과 마찬가지로 서버로부터 업데이트된 글로벌 모델 파라미터를 수신하여 연합학습에 참여하게 된다. Global Model Status에서도 이탈 상황과 마찬가지로 실시간 업데이트되어 4에서 5로 변경된다.

Fig. 6.

Client late participation during federated learning

4.1 실험 방법

제안 플랫폼으로 연합학습 환경을 구성하여 진행해보고 제안 방안이 실제로 동작함을 보인다. 실험을 위한 서버, 클라이언트 환경은 각각 표 3, 표 4와 같다.

Table 3.

Federated learning server environment

Table 4.

Federated learning client environment

CIFAR-10 데이터는 10개의 클래스를 가진 이미지 데이터이며 학습데이터 총 50,000개에 클래스당 5,000개로 구성되어 있고 테스트 데이터는 총 10,000개에 클래스당 1,000개로 구성되어 있다. 연합학습을 위해 해당 데이터셋을 클라이언트의 수에 맞추어 분할하여 저장한 후 실험하였다.

표 5, 6은 각각 IID, Non-IID 환경에서 클라이언트 수 별 데이터 분포를 보인다. 연합학습 참여 클라이언트 수가 각각 2, 3, 5개일 때와 중앙집중형 학습방식을 비교하였고 또한 데이터가 Non-IID 한 상황에서의 연합학습 환경도 구성하여 중앙집중식 학습방식과 비교하였다. Non-IID는 각 클라이언트끼리 클래스별 데이터의 분포나 데이터 수가 균일하지 않은 환경을 의미한다. 모델 학습을 위해 분할한 데이터는 클라이언트 내에서 train : validation : test의 비율을 8:1:1로 구성하여 학습을 진행하였다.

Table 5.

Data distribution by number of clients in an IID environment

Table 6.

Data distribution by number of clients in an Non-IID environment

중앙집중식 학습에서는 전체 데이터셋을 활용하여 학습 데이터와 검증 데이터, 테스트 데이터의 비율 분배만 진행한 후 학습하여 비교하였다. 실험은 중앙집중식 학습방식으로 100번 학습하여 얻은 최고 정확도를 기준으로 각각의 연합학습을 통해 구성한 학습 환경에서 충분히 도달할 수 있는지 확인한다.

4.2 실험 결과

그림 7, 8은 각각 IID 환경과 Non-IID 환경에서의 클라이언트 수에 따른 라운드별 글로벌 모델 정확도를 보인다. 제안 플랫폼을 통해 연합학습을 수행하여 중앙집중식 학습방식에서 100회 학습하여 얻은 최고 정확도에 근접하는 정확도를 얻었다.

Fig. 7.

Model accuracy per round according to the number of clients in an IID environment

Fig. 8.

Model accuracy per round according to the number of clients in an Non-IID environment

중앙집중식으로 100회 학습하여 0.882의 최고 정확도를 얻었고 IID 환경에서 각각 2, 3, 5개의 클라이언트가 참여한 연합학습을 수행하여 0.89, 0.882, 0.855의 정확도를 얻었다. Non-IID 환경에서 각각 2, 3, 5개의 클라이언트가 참여한 연합학습을 수행하여 0.889, 0.891, 0.842의 정확도를 얻었다. IID 환경과 Non-IID 환경 모두 10라운드가 진행되기 전에 중앙집중식 학습 결과 정확도에 근접하게 수렴하는 모습을 보인다.

한편, 클라이언트의 수가 5개일 경우 글로벌 모델의 정확도가 비교적 낮다. 데이터의 수가 제한적인 상황에서 클라이언트의 수가 많아질수록 각 클라이언트의 로컬 모델이 로컬 데이터에 과적합되어 글로벌 모델의 정확도가 높지 않은 것으로 보인다.

본 논문에서는 모델 파라미터의 자료형 변환 후 직렬화 및 압축을 통한 파라미터 전송방식을 제안했다. Python 객체인 파라미터 Raw data를 직렬화하기 위해서는 Python 객체의 직렬화를 지원하는 Pickle 모듈을 사용해야 한다. 또한 직렬화된 파라미터를 압축하기 위해 다양한 압축 알고리즘을 적용하여 비교했다.

표 7은 각각 ResNet-18과 ResNet-50 모델파라미터에 압축 알고리즘들을 적용하여 압축 소요시간, 압축률, 압축 결과 데이터 크기를 보여준다.

Table 7.

Compression algorithm size comparison

model은 사용한 모델, algorithm은 사용한 압축 알고리즘, time은 압축 소요 시간, comp rate는 압축률, size는 압축결과 데이터 크기이다.

각각 파라미터 Raw data 42.83MB, 90.46MB를 기준으로 압축한 결과 brotli 알고리즘이 압축률은 가장 높았으나 압축 소요시간이 가장 길다. 압축 소요 시간과 압축률을 고려했을 때 zstd 알고리즘이 가장 효율적인 압축 알고리즘임을 알 수 있다. 따라서 본 논문에서는 zstd 압축 알고리즘을 채택하여 직렬화된 파라미터에 zstd 알고리즘을 이용한 압축을 수행했다.

표 8은 ResNet-18, ResNet-50 모델을 사용하여 제안한 파라미터 전송 효율을 위한 처리 방안과 JSON, Binary, Raw data 형태에서의 파라미터 데이터 크기를 비교한다. JSON 데이터는 Raw data를 추출하여 Numpy 변환 후 JSON으로 변환하였고 Binary 데이터는 추출한 모델 파라미터를 pickle 모듈을 통해 직렬화한 데이터이다.

Table 8.

Parameter transmission method data size comparison

Raw data는 모델에서 state_dict() 메소드를 통해 추출한 파라미터 데이터를 의미한다. 제안 방안은 일반적인 REST 통신방식의 데이터 전송방식인 JSON 방식보다 약 93%의 데이터 용량이 감소하였고 유사 연합학습 플랫폼에서 일반적으로 채택한 직렬화 방식과 Raw data보다 60%의 데이터 용량이 감소하였다.