Home

Lyapunov 최적화 이론은 동적 시스템의 동작을 분석하고 최적화하는 데 사용되는 수학적 프레임워크이다. Lyapunov 최적화 이론은 동적 시스템의 안정성, 수렴 및 성능 특성을 연구하고 시스템 동작을 최적화하기 위한 제어 전략을 설계하기 위한 강력한 도구 세트를 제공한다.

Lyapunov 최적화 이론은 동적 시스템의 안정성을 연구하기 위해서 일련의 미분 방정식 또는 차분 방정식을 사용하여 동적 시스템의 각 상태에 스칼라 값을 할당하는 Lyapunov 함수를 정의한다. Lyapunov 함수는 시스템의 궤적을 따라 감소하도록 선택되어 안정적인 평형 또는 원하는 동작을 수렴하도록 시스템의 안정성 특성을 특성화하는 데 사용된다.

예를 들어, 상태 벡터 x로 설명되는 동적 시스템과 방정식 dx/dt = f(x)(여기서 f는 벡터 값 함수임)로 주어진 시간에 따른 진화를 고려할 경우, Lyapunov 함수 V(x)는 다음과 같이 정의된다.

• V(x)는 양의 정부호이다. 모든 x ≠ 0에 대해 V(x) > 0이고 관심 평형점에서만 V(x) = 0이다.
• V(x)는 반경 방향으로 무한하다: V(x) → ∞ as ‖x‖ → ∞
• dV(x)/dt로 표시되는 Lyapunov 함수의 시간 도함수는 시스템의 안정성을 분석하는 데 사용된다.
• dV(x)/dt의 부호는 시스템 동작에 대한 통찰력을 제공한다.
• 모든 x ≠ 0에 대해 dV(x)/dt < 0이면 시스템은 전역적으로 점근적으로 안정하다. 즉, 모든 초기 조건에서 평형점으로 수렴한다.
• 모든 x ≠ 0에 대해 dV(x)/dt ≤ 0이면 시스템은 전체적으로 안정적이지만 반드시 수렴할 필요는 없다. 제한 주기 또는 진동 동작이 있을 수 있다.
• 모든 x ≠ 0에 대해 dV(x)/dt > 0이면 시스템이 불안정하다.

Lyapunov 최적화 이론은 안정성 분석을 넘어 최적화까지 확장할 수 있다. Lyapunov 기능을 신중하게 선택하고 제어 입력을 도입함으로써 에너지 소비 최소화, 성능 최대화 또는 원하는 목표 달성과 같은 시스템 동작을 최적화하는 제어 전략을 설계할 수 있다.

F. Foroghifar et al.은 AIoT 자율 기능을 확장하기 위한 알고리즘의 복잡성과 신뢰성을 고려한 자기 인식 개념에 기반한 효율적인 접근 방식을 제안했다[5]. 이 접근 방식은 자기 인식 개념을 기계 학습 계산에 적용하여 복잡하고 소모적인 기계 학습 계산을 에지, 안개 및 클라우드 간에 분산시킨다.

Y. Kang et al.은 엔드 투 엔드 지연 시간과 모바일 에너지 소비를 줄이기 위해 모바일 장치와 데이터 센터 간에 DNN 계산을 분할하는 Neuroon 경량 스케줄러를 제안했다[6]. Z. Zhao et al.은 산업 IoT 네트워크에서 대기 시간과 에너지 소비를 줄이기 위해 대역폭 할당, 오프로드 및 릴레이 선택을 포함하는 모바일 에지 컴퓨팅(MEC)을 위한 새로운 3계층 최적화 프레임워크를 제안했다[7]. B. Yang et al.은 자원 제약이 있는 무인 항공기(UAV)를 위한 효율적인 계층적 DL(Deep Learning) 작업 오프로드 프레임워크를 제안했다[8]. 이 프레임워크에서 UAV는 일부 사전 훈련된 CNN 모델의 하위 계층에 내장됐지만 클라우드 서버는 CNN 모델의 상위 계층을 처리한다.

H. Gu et al.은 컨볼루션 샴(Convolutional Siamese) 네트워크에 기반한 객체 추적을 위한 새로운 아키텍처를 제안했다[9]. Liu et al.은 증분 학습과 낮은 데이터 전송으로 CNN 업데이트의 오버헤드를 줄이는 FitCNN이라는 클라우드 지원 DNN 프레임워크를 제안했다[10]. C. Gamanayake et al.은 필터와 기본 하드웨어 아키텍처의 중요성을 고려하여 클러스터 가지치기라는 새로운 접근법을 제안했다[11]. T. D. Nguyen et al.은 손상된 IoT 장치를 탐지하기 위해 장치 유형별 통신 프로필에 구축된 DioT라는 자율 연합 자체 학습 분산 시스템을 제안했다[12]. S. Wang et al.은 IoT 장치의 리소스 예산 손실을 최소화하기 위해 로컬 업데이트와 글로벌 매개변수 집계 간의 최적 균형을 계산하는 알고리즘을 제안했다[13]. J. Mills et al.은 분산 데이터 세트와 통신 비용을 고려하여 수렴 속도를 높이는 기술을 제안했다[14]. 이 기술은 런타임 감소를 위해 분산형 형태의 Adam 최적화를 사용했다. 그러나 보다 정확한 FL 추론을 위해 일부 기존 작업만 클라우드와 협업한다.

AIoT는 기업의 다양한 생산 환경에서 널리 사용되기 때문에 생산 환경에서 생산되는 대량의 IoT 리소스를 지속적으로 탐지해야 한다. 특히 기업의 생산 환경에서 에지 인텔리전스 모델(예: DNN 등)을 생성하도록 빅 데이터를 교육하면 AIoT 리소스 요구사항이 증가한다. 에지 컴퓨팅 노드의 용량을 크게 초과하므로 에지와 클라우드를 조정하여 에지 인텔리전스 모델을 교육하는 것이 적절하다.

제안된 기법은 에지와 클라우드가 별도의 타임슬롯 모델을 고려하여 가상화 리소스를 할당하기 때문에 AIoT 리소스에 대한 시간 지연 데이터의 도착/처리 시간 및 리소스 비용을 특성화해야 한다.

에지 컴퓨팅 환경에 도착하는 IoT 데이터는 일반적으로 엔드 장치의 이동성으로 인해 다양한 방식으로 예측되지 않는다. 제안 방법은 그림 1과 같이 에지 DNN 모델을 사용하여 IoT 자원의 지속적인 학습을 보장하기 위해 모델 가중치를 지속해서 업데이트하고, 새로운 데이터 샘플에 DNN 모델을 주기적으로 유지함으로써 모델의 정확도를 점진적으로 향상시킨다.

Fig. 1. 
Continuous learning model for multiple AIoT resources

또한, 제안 방법은 그림 2와 같이 클라우드 에지 서버의 시너지 효과를 지속적으로 반영할 경우 각 슬롯에서 학습된 새로운 리소스 샘플이 두 부분(에지, 클라우드)으로 분할되도록 전송된다. 이 두 부분은 DNN 모델에 대한 재교육을 병렬로 수행한다. 자원 샘플의 각 부분은 DNN 모델을 독립적으로 훈련시키고 시간이 지남에 따라 모델 가중치를 얻은 다음 모델 가중치를 클라우드에 전달한다. 모델 가중치 Wc(t) 및 We(t)는 AIoT 리소스 모델의 평균 연산(즉, 모델 집계)을 수행한다.

Fig. 2. 
Continuous learning phase course for AIoT resources

클라우드에서 획득한 에지는 현재 시간 슬롯 t에서 새 데이터 샘플에 해당하는 모델 가중치 W(t)를 계산한다. 현재 시간 슬롯의 모델 가중치 W(t)와 과거 시간 슬롯의 과거 모델 가중치 W(t-1)에 대해 추가 시간 모델 평균화 작업을 수행하여 에지는 최신 데이터 샘플의 지식을 통합하는 업데이트된 가중치 W(t)를 생성한다. 생성된 W(t)는 클라우드에 다시 입력되어 재교육 된다.

제안 방법은 IoT 기기에서 송·수신되는 IoT 자원을 에지 환경에서 안정적으로 처리하기 위해 그림 3과 같은 시퀀스 다이어그램을 통해 IoT 자원을 처리한다. IoT 자원을 처리하는 중에 에지 서버 및 클라우드로 전송되는 AIoT 리소스는 AI 알고리즘(머신러닝, 패턴 인식, 예측 분석 등)을 사용하여 처리 및 분석된다. 특히, IoT 에지 기기는 IoT 자원을 인식하고 IoT 자원봉사자(Volunteer)에서 처리할 수 있는 추가 AIoT 리소스 정보만을 추출하기 때문에 AIoT 리소스 손실을 최소화할 수 있다.

Fig. 3. 
Diagram process of AIoT resources

그림 3의 시퀀스 다이어그램은 클라우드 컴퓨팅과 결합되어 AIoT 기능의 요구사항을 충족하기 때문에 애플리케이션에서 생성된 AIoT 리소스를 클라우드 서버로 전달할 때는 네트워크 지연 시간이 개선될 수 있다. 그림 3에서 AIoT 기기는 IoT 리소스를 순차적으로 처리하기 때문에 시간이 지남에 따라 IoT 리소스가 일치되고 검증된다. 제안 방법은 AIoT가 IoT 리소스를 중앙에서 운영하기 때문에 IoT 수와 관계없이 IoT 리소스 간 연결을 자동화한다. 제안 방법은 IoT 리소스의 안정성을 보장하기 위해 클라우드 서비스 요구사항에 따른 정책에 의해 지원된다.

제안 기법은 AIoT 리소스들을 생성한 후 에지 큐와 클라우드 큐의 리소스를 갱신하기 위해서 표 1과 같은 알고리즘을 AIoT 리소스 관리자가 사용한다. 표 1에서 AIoT 리소스들은 임의의 크기로 그룹화한 후 AIoT 리소스 정책과 함께 저장된다. AIoT 리소스는 이전 패턴의 AIoT 리소스와 해시값으로 저장한 후 연결되기 때문에 AIoT 리소스를 효과적으로 검증할 수 있다. AIoT 대기열에 따라 공동 승인 제어, 전송 스케줄링 및 자원 프로비저닝을 위한 최적값을 반영하여 각 시간 슬롯을 업데이트한다.

제안 방법에서는 AIoT 리소스의 시퀀스 번호와 홀수/짝수 복제 횟수에 따라 해시값이 구성된다. 해시값을 통해 인접 AIoT 리소스를 손실 없이 지속적으로 처리할 수 있어 AIoT 리소스 생성을 최적화하고 검증 오버헤드를 줄일 수 있다.

제안 방법은 AIoT 리소스가 연결될 때 각 AIoT 리소스에 대한 특정 확률에 가중치를 부여한다. 가중치가 부여된 AIoT 리소스는 그림 4와 같이 AIoT 리소스 속성에 따라 그룹화 프로세스를 주기적으로 수행한다. 그림 4는 AIoT 리소스 중 서로 연결된 AIoT 리소스 간의 해시 체인 연결 과정을 보여준다. AIoT 리소스가 실시간으로 처리되어야 하므로 해시 체인은 지연된 처리 시간을 최소화하면서 AIoT 리소스의 무결성을 보장할 수 있도록 그룹화가 진행된다. 또한, 그림 4에서는 AIoT 리소스 블록에 장애가 발생할 경우 AIoT 리소스 블록 중 임의의 블록을 추정하여 AIoT 리소스의 무결성을 확인한다. 그림 4에서 AIoT 자원을 연결하는 동안 오류가 발생하면 AIoT 서버는 AIoT 리소스에 대한 오류 판단을 수행하고 AIoT 리소스를 다시 연결한다.

Fig. 4. 
Connection of AIoT resources

그림 5는 AIoT 리소스를 송·수신하는 데 사용되는 IoT 장치이다. 각 AIoT 서버는 다중 메시 네트워크로 구성된 것으로 가정한다. AIoT 서버는 각 에지 서버를 통해 AIoT 리소스를 실시간으로 정기적으로 수집하고 분석한다.

Fig. 5. 
IoT device for simulation

표 2는 성능평가에 사용되는 매개변수가 설정된 값을 보여준다. 시뮬레이션에서 IoT 장치를 포함한 네트워크 범위는 25m로 설정되며, 송·수신 대역폭은 5MHz/2.5MHz로 설정한다. IoT 장치의 정보 생성 시간은 5분마다 수행하였으며, 변동 보상 계수의 제한 시간은 0.01s/KB로 설정하였다. 기타 구성 값은 표 2와 같다.

표 3은 AIoT 리소스를 모니터링하거나 분석하기 위해 IoT 리소스를 제공하여 피드백 정보를 반영할 수 있는 머신러닝 알고리즘(LR,Logistic Regression), MLP(Multi-layer Perceptron), SVM(Support Vector Machine), KNN(K-nearest Neighbor)의 시뮬레이션 매개변수의 설정값이다.

AIoT 리소스의 효율성, 정확성, 처리 시간은 AIoT 내장 지능형 팜을 사용하여 표 4처럼 평가하였으며, DNN 서비스 모델은 Google Colab 지원 개발 언어 및 라이브러리를 사용하여 표 5처럼 분석하였다.