Home

연합학습이란 병원, 연구소, 대학, 은행 등 기관(Institute) 또는 핸드폰과 같은 기기(Device)들이 각자 보유한 데이터를 직접 공유하지 않고, 머신러닝 모델의 파라미터만 공유하여 전체적으로 성능이 개선된 글로벌 모델을 만든 후 이를 각 디바이스나 기관에서 활용하는 방식으로 일종의 분산형 기계학습 기법이다. 연합학습을 사용하면 머신러닝 모델 파라미터(가중치)만 공유하여도 마치 원본 데이터를 모두 한곳에 모아 일괄 학습시킨 것과 같은 효과를 낼 수 있으며, 최근 네이처 등의 논문에 연합학습의 성능을 입증하는 논문이 다수 발표되었다[13]-[19].

연합학습은 글로벌 모델 학습을 위해 모델을 취합하는 절차를 수행해야 한다. 글로벌 모델을 한번 학습하는 과정을 round라고 하며, 첫 round에는 아래 1번부터 6번까지의 과정을 수행하고, 2번째 round부터는 3번~6번 과정을 반복한다.

① 초기화: 서버는 공동으로 학습하려는 모델을 정의하고, 모델의 파라미터 초기화

② 클라이언트 선택: 연합학습 참여자(클라이언트)를 선택하고 통신하기 위해 연결

③ 글로벌 모델 배포: 서버는 공동으로 학습하려는 모델의 초기 버전(G_M1)을 클라이언트에게 배포

④ 클라이언트(로컬) 학습: 각 클라이언트는 전송받은 초기 글로벌 모델(G_M1)을 로컬 모델 (GM1=LM11,...,N, N: 클라이언트수)로 사용하고 보유한 로컬 데이터로 로컬 모델을 학습시킴

⑤ 로컬 모델 파라미터 공유: 각 클라이언트는 업데이트된 로컬 모델 파라미터를 서버로 전송

⑥ 파라미터 취합: 서버는 각 클라이언트에서 받은 모델 파라미터를 집계 (G_M2 = AVG(ΔW₁,ΔW₂,ΔW₃)) 하여 글로벌 모델을 갱신

①~⑥과 같은 연합학습 과정을 3개의 기관이 참여하여 동작하는 경우의 절차는 위의 그림 1과 같다.

Fig. 1. 
Example of federated learning process involving 3 institutions

그래프란 어떠한 관계망을 나타내는 자료구조를 의미한다. 관계형 데이터베이스에서는 하나의 데이터베이스 또는 테이블은 node로 표현되며, 데이터간의 연관성이 있거나 쿼리를 처리하기 위해 참조해야하는 데이터베이스 또는 테이블은 edge로 연결하여 표현한다. 예를 들어, 소셜 네트워크에서 사용자는 node로 표현되며, 친구 관계에 있는 사용자는 edge로 연결된다. 또 다른 예시로 분자 구조를 표현하기 위해서는 각 원자를 node로, 결합된 원자들 사이의 결합은 edge로 표현할 수 있다.

그래프를 표현하기 위한 두 가지 행렬 표현방법이 있으며 각 Adjacency Matrix와 Node Feature Matrix다. Adjacency Matrix는 각 행과 열이 순서대로 노드를 의미하며, 각 노드들이 연결되어 있는지, 두 node 사이에 edge가 있는지 여부를 정수로 나타낸 행렬로써 표기한다. Graph의 종류에 따라 단순 0 또는 1로 element들이 채워지지 않고, 실수가 되기도 한다. Node Feature Matrix는 각 노드들의 feature를 나타낸 행렬이다. 예를 들어 Social 관계망이라고 가정하면, 각 노드는 사람이 될 것이고, 각 사람이 갖고 있는 feature들은 성별, 연령 등의 정보가 되겠다. 이와 같은 성질로 행은 노드의 수가 되겠지만, feature 수만큼의 열을 가지고 있다.

Fig. 2. 
Graph example

CNN(Convolution Neural Network)에서는 filter가 image를 순회하며 연산하기 때문에 parameter를 공유한다. 이런 특성을 weight sharing이라고 부르며 이로 인해 학습할 paramter 수가 적어지며, overfitting의 문제점도 해결할 수 있다. 또한, conv filter를 사용하다보니 로컬한 feature를 잘 뽑아낼 수 있다는 장점과 down-sampling에 대한 효과를 얻을 수 있다는 장점이 있다. graph convolution을 이용하여 그래프에 포함된 node나 그래프 자체를 벡터 형태의 데이터로 변환한다. 기본적인 GCN에서는 node의 feature만을 고려한다.

GCN(Graph Convolutional Networks)은 Node Feature Matrix를 기반으로 Adjacency Matrix의 연산을 활용하여 합성곱을 진행한다. node feature matrix에 각 weight를 곱하고 bias를 더하여 activation function을 씌워주어 업데이트 한다. 모든 node의 weight가 다 동일하기 때문에 weight sharing을 가능하게 했다. 또한, 각 node의 n번째 인접한(Hop) node의 연결 여부를 알기 위해서 간단하게 Adjacency Matrix를 n번 곱하여 간단한 행렬 연산으로 합성곱을 적용할 수 있다.

STGCN(Spatio-Temporal Graph Convolutional Networks) 모델은 행동인식을 위해 RGB, depth 등의 데이터 대신 관절 데이터를 활용하여 동작을 인식하는, 그림 3과 같은 그래프 기반 시계열 CNN 모델이다[20]. 이 모델에서 사용하는 관절 데이터는 동영상에 나타난 사람의 관절 정보를 시간 축에 따라 저장된 데이터를 활용한다. 관절의 위치값을 저장한 feature vector를 사용하지 않고, 연구자가 직접 지정해야하는 규칙 없이 학습할 수 있도록 하였으며, 다른 데이터셋에 적용해 일반화 할 수 있는 모델이다.

Fig. 3. 
Image-based graph creation, discrimination process

해당 모델은 시계열 정보를 학습하기 위하여 각 관절 위치에 해당하는 Joint들을 노드로 만들고, 시간에 따라 움직이는 각 노드를 엣지로 연결하여 공간, 시간 정보를 그래프화 한다. 동일 시간대(Frame)의 Joint 노드들과, 동일 노드의 변화를 엣지로 연결하는 그래프를 활용하는 모델이다. Convolution을 위한 Subset을 계산해야 하며, 각 Subset은 이웃 노드를 활용한다. 이웃 노드는 바로 인접한 노드 그룹, 해당 그룹에 Path에 따른 Weight 포함 그룹, 그리고 글로벌 중심노드를 기준으로 하는 거리 순의 Weight 포함 그룹 등으로 정의하는 방법들이 있으며, 해당 알고리즘은 중심노드를 기준으로 한 인접노드 선택 및 거리 기반 Weight를 활용하는 Subset이 가장 좋은 성능을 보인다고 발표했다.

입력에 영상데이터를 직접적으로 활용하지 않은 이유는 학습에 사용하는 데이터의 1차적인 개인정보 비식별화, 기타 공간 배경정보를 학습하지 않기 위해서 관절 데이터만을 활용하여 전체 프레임워크를 구축하고자 하였고, 이에 따른 장점 또한 존재한다.

데이터를 수집하는 장치는 고화질이 아닌 관절 인식이 가능한 일정 수준 정도의 성능을 지닌 영상 촬영 수행 카메라만 포함하여도 되며, 새로운 학습이 진행될 때까지 영상데이터를 축적 가능한 고용량의 저장장치 대신, 그래프화 된 관절 데이터들만 보관하면 된다.

또한, 영상에서 직접적으로 특징을 추출하는 것이 아닌 관절 그래프에서 특징을 추출하는 만큼, 사람으로 인식되는 데이터만을 학습하며, 딥러닝 연산에 필요한 자원을 절약할 수 있다.

다만, 향후 데이터 수집을 담당하는 장비(Edge)는 영상데이터에서 관절 데이터를 추출하는 모델을 수행 가능해야 하며, 이를 위해 관절 데이터 전송을 위한 내부망(로컬) 통신이 가능한 연산장치에 촬영장치를 장착한 리눅스 기반의 GPU가 부착된 NVIDIA Jetson Nano, Xavier 등의 장치의 활용을 가정하며, 각 장비 별 데이터의 흐름은 그림 4와 같다.

Fig. 4. 
Example of Joint data association learning process

연합학습 프레임워크 동작에는 ETRI-Activity3D의 관절 데이터를 활용하였다[12].

해당 데이터는 큰 카테고리 8개로 구성되어있으며, 표 1과 같이 각 음식 9개, 용모 12개, 가사 8개, 여가 9개, 건강 5개, 사람 간 상호작용 5개, 사람-Unkown 상호작용 3개, 기타 4개로 총 55가지의 세부 클래스로 구성되어있다. 또한, 해당 데이터는 일상적인 주거환경에서 성인, 노인 각 50명씩 총 100명에 센서를 부착하여 수집한 공개데이터이며, 전체 데이터의 개수는 112,620개로 구성되어있다.

그래프 데이터를 학습에 활용하고, 시계열적 요소를 반영하여 특징 추출이 가능한 STGCN 모델을 연합학습에 적용하였다. Pytorch 기반 연합학습 프레임워크에 적용할 수 있도록 세부적인 의존성 및 파라미터 조정을 하였으며, 메모리에 과부하를 줄 수 있는 불필요한 Gradient 연산을 최대한 배제하도록수정하였다.

STGCN 모델을 각 클라이언트에 적용하기 위해 기존 존재하던 모델의 의존성을 대폭 수정하였으며, 각 클라이언트에 모델을 따로 추출하여 직접 상속하는 방법으로 진행하였다. 이에 따라, DataLoader를 재정의하고, Train 동작부와 Evalutaion 동작부를 재설계하여 각 클라이언트에 직접 정의하여 연합학습이 복잡한 모듈 호출로 동작하지 않도록 구현하였다.

또한, 모델이 동작하면서 Gradient 연산을 감당하지 못하고 과도하게 적재되는 GPU 메모리 해소를 위해, 불필요한 Gradient 연산 및 전달 코드를 제거하였으며, 주기적인 round마다 메모리 클리어 작업을 진행하였다.

또한, 기존 STGCN이 가지고 있던 관절 순서 정보를 ETRI 데이터에 맞게 수정하였으며, 클라이언트 로컬데이터 구성을 위해 데이터를 일정 비율로 분할하였다.

서버는 GPU 연산을 수행하지 않으므로 GPU 없는 기기를 사용하였고, 클라이언트는 총 2대로 각 RTX 8000 두 개를 장착한 기기를 사용하였다.

Adap사에서 공개한 Django 기반 연합학습 프레임워크인 Flower를 활용하여 구현하였으며, Pytorch 모델을 기반으로 FedAVG 연산을 하도록 설계하였다[21]. Flower는 gRPC를 기반으로 클라이언트와 서버가 통신하며 모델의 파라미터를 전송한다.

각 로컬 클라이언트는 STGCN 기반 동작인식 모델 학습 수행하며 각 파라미터를 서버로 전송하며, 서버는 전송받은 파라미터를, 로컬 클라이언트에서 전송받은 데이터의 수(비율)을 적용하여 이를 평균 계산한다. 최종적으로 평균 계산된 파라미터를 다시 클라이언트로 전송하며, 이를 한 round로 설정하고 데이터 중앙집중형 모델 학습에서의 Epoch와 같이 각 round를 반복하며 학습을 진행했다.

그림 4의 Skeleton Joint Data 부와 같이, 관절 데이터를 ndarray형태로 변환한 뒤 압축하여 npz로 데이터를 전달받아 클라이언트의 로컬 모델에서 학습을 시작하며, 학습된 로컬 모델의 파라미터를 서버에 전달하여 글로벌 모델을 집계한다.

연합학습을 적용한 Joint 데이터 학습 STGCN 행동예측 모델을 평가하기 위해 사용한 평가지표는 Accuracy와 Loss를 사용하였다.

동일한 모델을 데이터 중앙집중형 학습 방식과 연합학습 방식으로 실험하여, 두 방법의 성능 차이를 검증하고자 하였다. 실험에 활용할 데이터 셋을 나누어 학습하였으며, 각기 d1, d2로 칭한다. d1, d2를 중앙집중형 방식으로 학습하며 Epoch에 따른 성능과 d1, d2를 각 로컬 Client에 학습하는 연합학습 방식의 round에 따른 성능을 측정하여 검증하였다.

정상 동작 여부 판별을 위해 25번째 round까지의 성능을 측정하였으며 아래 그림 5와 표 3에 5epoch 및 round 별 성능(Accuracy)을 기록하였다.

Fig. 5. 
Definition model performance by training data

총 25 epoch 및 round를 수행하며 동작을 검증한 결과, 연합학습을 활용하여 수행한 모델이 단 5라운드 만에 각 d1과 d2만을 학습한 모델 과 동일한 성능을 보였으며, 10번째 라운드부터는 보다 높은 성능을 보였다.

파라미터를 공유하지 않는 중앙집중형 학습의 경우 소유한 로컬데이터만 학습에 사용하는 반면, 연합학습은 각 클라이언트가 소유한 모든 데이터를 학습에 직-간접적 사용하기에 더욱 많은 데이터를 학습한 효과를 보이며, 이는 실험에서 중앙집중식 학습보다 높은 정확도를 달성할 수 있는 이유이다.

또한, 연합학습의 경우 라운드 별 각 클라이언트의 학습에 사용되는 모델이 동일하기에 클라이언트간 데이터 편향이 심하지 않은 경우 비슷한 양상의 정확도 향상을 보인다. 이는 행동예측 STGCN에 적용된 연합학습 방법이 직접적인 데이터 공유 없이도 데이터 정보를 공유 받으며, 보유한 로컬 데이터 이상의 퍼포먼스를 보일 수 있음을 증명하였다.

실제 성능을 평가하기 위해 전체 데이터를 모두 학습한 데이터 중앙집중형 모델과 연합학습으로 학습한 모델들의 성능을 비교하였다.

데이터 중앙집중형 모델(기존 학습방법)의 경우 100 epoch를 학습하였을 때, 약 0.88의 Accuracy를 보였으며 약 0.39의 Loss를 보였다.

연합학습 방법을 적용한 클라이언트들의 로컬 모델을 평균적으로 55~60 라운드 정도 안에 기존 학습방법과 유사한 성능을 보이는 것으로 확인하였다. 또한, 실험 도중 학습이 잘 된 클라이언트의 경우 Loss는 약 0.41로 기존 학습방법과 거의 흡사한 성능을 보였으며, Accuracy의 경우 약 0.89로 보다 높은 성능을 보였다.

최종적으로 본 실험은 총 90 round까지 연합학습을 수행하였으며, 최종 90 round에서 성능은 client d1의 경우 Loss 약 0.47, Accuracy 약 0.87이었고, client d2의 경우 Loss 약 0.48, Accuracy 약 0.87의 성능을 보였으며 아래 표 4, 5에 나타내었다.

연합학습이 기존 학습방법인 데이터 중앙집중형 학습 대비 98% 이상의 성능을 꾸준히 달성함을 확인할 수 있다.

본 연구에서는 그래프 기반의 시계열 합성곱 모델인 STGCN을 활용하여 사람의 관절 데이터를 연합학습하는 실험을 수행하였으며, 기존 보편적 학습방법인 데이터 중앙집중형 학습 방법과 비교하여 검증 및 성능 평가를 진행하였다.

로컬 소유의 데이터만을 학습한 모델의 성능을 단 5 라운드 만에 뛰어넘었으며, 데이터를 모두 모아 중앙집중형 방식으로 학습한 모델의 98% 이상의 성능을 달성하였다. 데이터를 직접적으로 모두 학습하지 않았음에도, 기존 학습 방법과 비교하여 유사하거나 뛰어난 성능을 보일 수 있음을 확인하였다. 이는 연합학습 방법이 실제 활용 가능한 성능을 보임을 증명하였으며, 기존 공유가 사실상 불가능 했던 민감한 데이터에서 실제 적용 가능함을 보인다.

본 연구에서 구현한 시스템은 영상데이터와 관절 데이터를 활용하여 학습을 하였지만, 보다 직접적 의료데이터인 CT, MRI 등의 이미지나 시계열 정보인 EHR 등의 정보를 활용하여 학습이 가능할 것이다. 데이터 유출 및 직접 공유하지 않는 민감 데이터의 연합학습을 실증하였으며, 향후 의료, 금융 등 기타 민감 데이터에서의 연합학습이 유효할 것으로 기대된다.

향후 보다 높은 성능을 보이는 동작인식 모델을 적용을 통해 전체 성능을 높이는 고도화 실험을 진행하고자 하며, 오픈소스 활용이 아닌 프레임워크의 실제 구현을 통해 이를 완성하고자 한다.

또한, 동영상 및 관절 데이터 뿐만 아닌 CT, MRI 등 직접적 영상 의료데이터와 MIMIC(Medical Information Mart for Intensive Care III) 데이터 같은 분야에서도 연합학습을 실제 실험할 예정이다[22].