IEEE 802.11ay의 비대칭 링크 빔포밍 트레이닝을 위한 Q-learning 기반의 STS 조절 기법

Ⅰ. 서 론

무선 지원 디바이스가 증가하고 데이터 트래픽이 기하급수적으로 증가하면서, 넓은 대역폭을 활용하여 대량의 데이터 전송이 가능한 밀리미터 웨이브(Millimeter-wave, mmWave)가 많은 주목을 받고 있다[1]-[4]. 2012년 12월에 승인된 IEEE 802.11ad는 60GHz 주파수에서 최대 6.7Gbps의 데이터 전송률을 제공하는 최초의 밀리미터 웨이브 와이파이(Wi-Fi) 표준이다[5]. IEEE 802.11ad 와이파이 표준은 현재 애플리케이션에 필요한 데이터 속도 및 통신 범위를 제공해줄 수 없기 때문에, IEEE 802.11ad를 개선하고 100Gbps 처리율을 목표로 IEEE 802.11ay가 표준화 진행중에 있다[6].

밀리미터 웨이브 무선 신호는 높은 주파수 대역 사용으로 인해 6GHz 이하의 주파수 대역을 사용하는 기존 와이파이 무선 신호보다 훨씬 높은 신호 감쇠가 발생한다. 특히 60GHz 주파수 대역은 산소에 의한 흡수와 강우감쇠 특성으로 인해 전송손실이 심하다[7]. 전파 경로 손실 완화 및 전파 전달 거리 증가를 위해 밀리미터 웨이브에서는 Beamforming(BF) 기술이 사용된다.

BF는 송신단(Transmission, TX)과 수신단(Reception, RX)으로 구분된다. 송신 BF는 배열 안테나(Array antenna)를 이용하여 각 안테나에서 송신되는 신호를 특정한 방향으로 집중시켜 지향성(Directivity)을 증대시킨다. 지향성 증대를 통해 전파 도달 거리를 증가시킬 수 있다. 수신 BF는 배열 안테나를 이용하여 전파의 수신을 특정 방향으로 집중시켜 특정 방향으로 들어오는 수신 신호의 감도를 증가시킬 수 있다. 이때 송수신단 통신을 위해 사용할 적합한 빔(Beam)을 찾는 것이 중요하며, 이 과정을 BF Training(BFT)라고 한다. BFT 수행 시, 섹터(sector) 개념을 사용하며 이는 안테나 영역을 방향성 조절을 통해 여러 개로 세분화한 영역을 뜻한다.

IEEE 802.11ad/ay에서 BFT를 시작하는 송신 노드는 서로 다른 TX 섹터로 프레임을 전송하고 BFT에 참여하는 수신 노드는 어느 방향으로 프레임이 올지 모르기 때문에 가장 넓은 빔 폭으로 프레임을 수신하는 무지향성(Omnidirectional) 수신 모드를 사용한다. 수신 노드는 프레임의 품질 측정을 통해 가장 좋은 품질을 보여주는 송신 노드의 TX 섹터를 찾는다. 이 같은 BFT은 수신 노드가 무지향성 수신 모드로 프레임을 수신할 수 있을 만큼 송신 노드가 충분한 링크 버짓(Link budget)을 가지고 있다는 가정 하에 수행된다. 그러나 일반적으로 Station(STA)은 Access Point(AP)보다 적은 수의 안테나를 가지기 때문에 전송 파워가 AP보다 약할 수 있다. 따라서 AP가 높은 전송 파워로 프레임을 전송하면 STA는 무지향성 수신 모드로 수신할 수 있지만, AP는 낮은 수신 강도로 인해 STA이 보낸 프레임을 무지향성 수신 모드로 수신 못할 수도 있다. 이 같은 비대칭 링크(Asymmetric link) 문제를 해결하기 위해 IEEE 802.11ay는 비대칭 링크를 위한 BFT를 제안하였다[6][8][9].

비대칭 링크를 위한 BFT은 AP의 무지향성 수신 모드 사용을 피하기 위해 BFT Allocation(BFTA)이라는 새로운 종류의 allocation을 사용한다. AP는 BFTA 동안 무지향성 수신 모드 대신 지향성(Directional) 수신 모드를 사용한다. 각 BFTA는 Space-Time Slot(STS)으로 나누어져 있으며 BFT을 수행할 STA는 임의의 STS를 선택해 프레임을 전송한다. 만약 두 개 이상의 STA이 같은 STS를 선택할 경우 충돌이 발생하고 BFT에 실패한 STA는 다음 BI에서 재시도 한다. STA가 많은 밀집 환경에서는 이 같은 충돌 확률이 증가하여 STA의 BFT 시간 지연뿐만 아니라 전체적인 성능 저하로 이어질 수 있다. 이는 BFT 실패한 STA를 위해 BFTA를 추가적으로 데이터 전송을 위한 구간에 할당하기 때문이다. 이처럼 BFTA 내에서의 충돌 확률은 STS 수에 의해 결정됨에도 불구하고 STS의 조절 방법에 대해서는 아직 IEEE 802.11ay 드래프트 문서에 제시 되지 않았다[6]. 따라서 본 논문에서는 BFT 시간을 줄이고 불필요한 BFTA 할당을 막기 위해 Q-learning [10] 기반의 STS 조절 기법(Q-STS)을 제안한다.

Ⅱ. 관련연구

IEEE 802.11ad/ay의 Beacon Interval(BI) 구조는 Beacon Header Interval(BHI)와 Data Transmission Interval(DTI)를 포함한다. BHI는 BFT에 주로 사용되며, DTI는 데이터 전송 시 주로 사용된다. BHI는 AP와 STA의 일반적인 BFT을 위해 사용되는 Beacon Transmission Interval(BTI) 및 Association Beamforming Training(A-BFT) 구간과 BFT을 완료한 AP와 STA간 관리 프레임 전송에 사용되는 Announcement Transmission Interval(ATI) 구간을 포함한다[5][6].

BTI에서 AP는 비콘 프레임을 전송함으로써 BFT를 수행하고, STA는 무지향성 수신 모드로 프레임을 수신한다. A-BFT에서 STA는 Sector Sweep(SSW) 프레임을 전송함으로써 BFT을 수행한다. AP는 무지향성 수신 모드로 SSW 프레임을 수신하고, BFT를 완료하기 위해 SSW Feedback 프레임을 STA에게 전송한다. STA가 무지향성 수신 모드로 SSW Feedback 프레임을 수신하게 되면, AP와 STA간의 빔 트레이닝이 된 통신 링크가 생성된다. 이처럼 일반적인 BFT에서 AP와 STA는 무지향성 수신 모드로 프레임을 수신한다. 앞서 1장에서 설명한 바와 같이 AP와 STA의 링크 버짓이 다를 수 있다. 따라서 STA의 약한 전송 파워로 인해 AP가 무지향성 수신 모드로 SSW 프레임을 수신 못할 수도 있다.

IEEE 802.11ay는 이 같은 비대칭 링크 문제를 해결하고 근본적 문제점인 AP의 무지향성 수신 모드 사용을 막기 위해 비대칭 링크를 위한 BFT를 제안했다[6][8][9]. 그림 1은 AP의 섹터 수가 8개이고 STA의 섹터 수가 4개일 때, IEEE 802.11ay의 비대칭 링크를 위한 BFT 예제를 보여주며 일반적인 BFT에 두 가지를 새로 추가 했다. 첫 번째로 BTI에서 STA이 자신의 RX 섹터를 트레이닝 할 수 있게 비콘 프레임 뒤에 Training(TRN) RX(TRN-R) 서브필드를 추가했다. STA는 무지향성 수신 모드로 비콘 프레임을 수신하고 자신의 RX 섹터 트레이닝을 위해 지향성 수신 모드로 바꾼다. 즉 STA는 RX 섹터를 바꿔가면서 TRN-R 서브필드 수신 및 품질 측정을 수행함으로써 자신의 최적 RX 섹터를 찾을 수 있다. 안테나의 쌍대성(Reciprocal)에 의해 STA는 최적 RX 섹터를 AP에 대응하는 최적 TX 섹터와 동일하다고 간주할 수 있다. 그림 1에서 STA는 AP가 TX 섹터 1을 사용할 때 최고 품질의 비콘 프레임을 수신했고, 그때 STA의 최적 RX 섹터는 2인 것을 볼 수 있다.

Fig. 1.

Example of BFT for asymmetric links in [6]

두 번째로 AP의 무지향성 수신 모드 사용을 막기 위해 DTI에 BFTA라는 새로운 종류의 allocation을 추가했다. BFTA 정보는 BTI 구간에서 비콘 프레임을 통해 전달되며 AP 섹터 수만큼 DTI에 할당된다. AP는 BFTA 구간 동안 RX 추가 이득(extra-gain)을 위해 지향성 수신 모드로 바꾸고, 각 BFTA에 대해 서로 다른 RX 섹터를 사용한다. BFTA 구간 동안 AP는 STS 수만큼 대기하며, 각 BFTA의 STS 수는 비콘 프레임 전송 시 함께 전달된다. 즉, AP는 각 BFTA에 대해 다른 수의 STS를 설정할 수 있다.

STA는 BTI에서 알아낸 AP의 최적 TX 섹터로 AP가 수신 대기 중인 BFTA에서 임의의 STS를 선택하여 SSW 프레임를 전송한다. 이때 STA는 BTI에서 알아낸 자신의 최적 TX 섹터로 SSW 프레임을 전송한다. SSW 프레임 전송 후 STA는 Sector Acknowledgment(ACK)를 수신하기 위해 지향성 수신 모드로 바꾸고 수신 섹터는 자신의 최적 RX 섹터로 설정한다. BFTA에서 STS 이후 AP는 도착한 SSW 프레임을 보낸 STA의 정보를 담은 Sector ACK 프레임을 지향성 송신 모드로 전송한다. STA이 자신의 정보를 Sector ACK 프레임에서 찾을 수 있으면 해당 STA의 BFT은 완료된다. 자신의 정보를 찾지 못한 STA는 다음 BI에서 BFT를 재시도 하게 된다. 그림 1에서 STA는 AP가 TX 섹터 1을 사용할 때 가장 좋은 품질의 비콘을 수신했기 때문에, AP가 RX 섹터 1로 대기 중인 첫 번째 BFTA에서 임의로 첫 번째 STS를 선택 후, TX 섹터 2를 사용하여 SSW 프레임을 보내는 것을 볼 수 있다.

두 개 이상의 STA이 동일한 STS를 선택해 프레임을 전송 할 경우 충돌이 발생한다. STA이 많은 밀집 환경에서는 다수의 STA이 같은 BFTA의 같은 STS를 선택할 확률이 높아질 것이다. 이는 프레임 충돌 확률을 증가시켜 STA의 BFT 실패율도 증가시킨다. SSW 프레임 충돌 확률은 STS 수에 의해 결정됨에도 불구하고 STS의 조절 방법에 대해서는 아직 IEEE 802.11ay 드래프트 문서에 제시 되지 않았다[6]. 충돌 확률을 줄이기 위해 논문 [11]에서 각 BFTA의 충돌 상황을 관찰하여 BFTA별로 STS를 조절해주는 기법을 제안하였다. 각 BFTA의 idle STS 수를 기반으로 BFT 실패한 STA 수를 예측하고, 다음 BI에서 이러한 STA의 BFT 성공 확률을 높이기 위한 STS 값을 예측하여 적용하였다. 그러나 STA의 STS 랜덤 선택으로 보다 많은 STA이 같은 STS에서 경쟁할 수 있기 때문에 BFT 실패한 STA 예측값이 실제값보다 낮을 수 있다. 이로 인해 BFT 시간 증가뿐만 아니라 불필요하게 BFTA를 할당해 DTI 데이터 전송에 영향을 끼칠 수 있다. 따라서 본 논문에서는 BFT 시간뿐만 아니라 DTI를 차지하는 BFTA 시간도 줄이기 위해 Q-learning [10] 기반의 STS 조절 기법(Q-STS)을 제안한다.

Ⅲ. Q-learning 기반의 STS 조절

Q-learning은 대표적인 강화 학습(Reinforcement learning) 알고리즘 중 하나로써 현재 시간 t의 상태(state, s)에서 행동(action, a)을 취하면 그에 따르는 보상(reward, r)을 받으며, 행동 후에는 상태가 바뀌게 된다[10]. 현재 상태 s_t에서 임의의 행동 a_t를 수행하였을 때 받는 보상값에 대한 결과를 Q(s_t,a_t)에 저장하고 다음 상태 s_t+1에 대해 최대의 Q(s_t+1,a_t+1) 값을 가지는 행동 a_t+1을 선택하여 식 (1)과 같이 현재 상태의 Q(s_t,a_t) 값을 업데이트한다.

α∈[0,1]는 학습속도를 결정하는 학습률(Learning rate)을 의미하며, γ∈[0,1)는 미래 행위에 대한 보상의 할인 계수(Discount factor)를 의미한다. Q-learning은 각 행동에서 각 상태가 가지는 Q(s,a) 값을 모두 가지고 있는 Q-table을 유지한다.

본 장에서는 IEEE 802.11ay의 비대칭 링크를 위한 BFT 수행 시, 네트워크 상황에 맞게 BFTA 별로 STS 수를 조절해주기 위해 Q-learning 기반 STS 조절 기법(Q-STS)을 제안한다. Q-STS는 이전 BI의 각 BFTA에서 획득한 정보를 기반으로 상태를 정하고 Q-table 탐색을 통해 그에 상응하는 행동을 찾아 다음 BI의 STS 값 설정에 사용한다. 첫 번째 BI의 경우 이전 BI에 대한 정보가 없기 때문에 임의의 STS 값을 설정해줘야 한다. 그러나 첫 번째 BI의 STS 값을 크게 설정할 경우 BFT 시간은 줄지만 DTI 차지율은 커지고, STS 값을 낮게 설정할 경우 DTI 차지율은 줄지만 BFT 시간이 증가한다[11]. 또한 AP 위치에 따라 STA이 존재하지 않은 방향으로 STS 값을 크게 설정하여 DTI 시간을 낭비할 수도 있다. 이에 Q-STS는 첫 번째 BI만을 위한 Q-table 1과 그 외 BI를 위한 Q-table 2를 따로 유지한다.

앞서 서술한 바와 같이 AP는 BFTA마다 서로 다른 RX 섹터 ID를 사용한다. 따라서 Q-table 1의 상태는 섹터 ID로 정의하고, AP의 섹터 수만큼 상태를 나타낼 수 있다. 상태에 대응하는 행동은 STS 값으로 정의하고, 32개의 행동을 취할 수 있다[6]. 보상은 섹터 ID(상태)를 사용하는 BFTA에 STS 값(행동)을 할당했을 때의 STS 이용률(STS utilization)로 전체 STS 수 대비 busy STS 수의 비율로 계산한다. 즉 Q-table 1은 AP 주변 환경을 파악해 STA 밀집도에 따라 STS 수를 조절하는데 사용된다.

Q-table 2는 혼잡 정도에 따라 STS을 할당하는데 사용된다. Q-table 2의 상태는 충돌이 발생한 STS에서의 신호 대 간섭 잡음비(Signal to interference noise Ratio, SINR)을 기반으로 정의한다. 먼저 AP는 각 BFTA에서 충돌이 발생한 STS에 도착한 SSW 프레임의 가중치를 표 1을 기반으로 모두 합한다. 주변 STA들의 간섭으로 인해 SSW 프레임이 도착하지 않은 경우의 가중치는 7로 계산한다. 총 가중치 값과 현재 STS 값을 기반으로 표 2와 같이 32개의 상태를 정의한다. 상태에 대응하는 행동은 STS를 사용하고 보상은 STS 이용률을 사용한다.

Table 1.

Weight table based on SINR of collision STS

Table 2.

State table of Q-table 2 considering the total weight and the number of STSs

Q-STS는 AP에서 동작하며, 초기화 단계에서 Q-table 1와 Q-table 2는 0으로 초기화된다. 첫 번째 BI가 시작될 때 AP는 ε-greedy 정책에 따라 각 BFTA에 할당할 STS 값을 선택한다. 즉 (1-ε)의 확률로 max_aQ(s,a)를 만족하는 행동(STS)을 Q-table 1에서 선택하고, ε의 확률로 1-32 사이의 랜덤값을 선택한다. 첫 번째 BI가 끝나면, AP는 상태에 따라 보상을 계산하고 Q-table 1을 업데이트 한다. 두 번째 BI부터는 DTI에 할당할 STS를 ε-greedy 정책에 따라 Q-table 2에서 선택한다. BI가 끝나면 AP는 표 1과 표 2를 기반으로 BFTA별 상태를 찾아 보상을 계산하고 Q-table 2를 업데이트 한다.

Ⅳ. 성능 검증

4.1 시뮬레이션 환경

본 논문에서 제안한 Q-STS의 성능 검증을 위해 ns-3를 이용하여 시뮬레이션을 수행하였다[12]. 현재 IEEE 802.11ay를 지원하는 시뮬레이터가 없기 때문에 IEEE 802.11ad 모델 [13]을 기반으로 비대칭 링크를 위한 BFT에 필요한 기능과 Q-STS를 추가로 구현하였다. 제안한 기법의 정확한 성능 검증을 위해 모든 BI의 모든 BFTA에 대해 임의의 STS 값을 할당하는 기법(R-STS)과 논문 [11]처럼 BFTA의 충돌 상황 기반으로 STS를 조절하지만 첫 번째 BI는 임의의 STS 수를 선택하는 기법(A-STS)도 추가로 구현하였다.

Q-learning의 학습률 α는 값이 1에 가까울수록 학습 속도가 올라간다. AP 주변 STA 밀집 정도를 보다 빠르게 파악하기 위해 Q-table 1의 α는 0.1로 설정하고 Q-table 2의 α는 학습 속도는 느리지만 정확한 네트워크 환경 파악을 위해 0.01로 설정하였다. 가까운 값의 가중치를 올리기 위해 γ는 0.1로 설정하고 ε 초기값은 0.9로 설정하였다.

그림 2는 시뮬레이션 시나리오를 보여주며, AP와 STA은 각 16개, 4개의 섹터를 가지고 있다. 비대칭 링크를 위한 BFT 수행을 위해 AP를 중심으로 5m 떨어진 위치에 200개의 STA을 골고루 분포시켰다. 시뮬레이션 결과는 1000번 수행한 결과를 보여준다.

Fig. 2.

Simulation scenario

4.2 시뮬레이션 결과

그림 3은 시뮬레이션 진행에 따른 STA BFT 시간의 평균값을 보여준다. STA BFT 시간은 STA이 BFT을 완료하는데 걸린 시간으로, 시뮬레이션 시작 시점부터 STA이 자신의 정보가 담긴 Sector ACK를 받기까지의 시간이다. 먼저 R-STS와 A-STS는 Q-learning 기반이 아니기 때문에 시뮬레이션이 진행될수록 평균값을 찾아가는 것을 볼 수 있다. R-STS와 달리 A-STS은 충돌 상황을 파악하고 BFT 성공 확률을 높이기 위해 STS 값을 조절함으로써 R-STS 보다 낮은 BFT 시간을 보여준다. 본 논문에서 제안한 Q-learning 기반의 Q-STS는 시뮬레이션이 진행될수록 R-STS와 A-STS 기법들보다 BFT 시간이 점차 짧아지는 것을 볼 수 있다. 시뮬레이션 초반에는 R-STS 보다 높은 BFT 시간을 보여주었지만 점차 Q-table 업데이트를 통해 최적의 정책을 찾아가면서 시뮬레이션 횟수 70번 이후에는 A-STS 보다 낮아지는 것을 볼 수 있다. 이는 Q-table 1을 통해 STA이 많은 곳에는 첫 번째 BI부터 많은 수의 STS를 할당하고, Q-table 2를 통해 충돌이 많이 발생한 곳에는 STS 수를 크게 설정해줌으로써 빠른 시간 내에 BFT를 완료할 수 있었기 때문이다.

Fig. 3.

STA BFT time

그림 4는 시뮬레이션 진행에 따른 BFTA 시간의 평균값을 보여준다. BFTA 시간은 모든 STA이 BFT을 완료할 때까지 AP가 DTI에 할당한 총 BFTA의 시간이다. 그림 3의 결과와 비슷하게 R-STS와 A-STS는 시뮬레이션이 진행될수록 평균값을 찾아가고 A-STS의 BFT 시간이 R-STS 보다 짧은 것을 볼 수 있다. A-STS는 R-STS처럼 첫 번째 BI에서는 임의의 STS 수를 선택해 할당하였지만 그 이후부터는 네트워크 혼잡 상황에 맞게 STS를 조절하였기 때문에 더 적은 수의 BFTA을 할당한 것을 볼 수 있다. 본 논문에서 제안한 Q-STS는 STA BFT 시간 결과와 동일하게 BFTA 시간에서도 가장 좋은 성능을 보여준 것을 볼 수 있다. 이는 Q-table 1을 통해 AP 주변 STA의 밀집 정도를 빠르게 파악하여 첫 번째 BI부터 BFTA에 할당되는 STS 수를 줄일 수 있었고, Q-table 2를 통해 혼잡 상황에 따른 최적의 STS 수를 선택 해 BFT 성공 확률을 높임으로써 불필요한 BFTA 할당을 막았기 때문이다.

Fig. 4.

BFTA time

Ⅴ. 결 론

본 논문에서는 적절한 STS 할당을 통해 BFT 시간뿐만 아니라 DTI를 차지하는 BFTA 시간도 줄이기 위해 Q-learning 기반의 STS 조절 기법을 제안하였다. 제안하는 기법은 AP 주변의 STA 밀집도를 빠르게 파악하고 혼잡 상황에 따른 최적의 STS 수를 선택하기 위해 Q-table을 두 개 활용하였다. 성능 검증을 위해 기존 연구와의 비교 실험을 수행하였으며, Q-STS가 R-STS와 A-STS 보다 STA BFT 시간 결과에서는 37.17%와 21.31% 성능 향상을 보여줬으며, BFTA 시간 결과에서는 92.85%와 22.56% 성능 향상을 보여주었다.

References

• A. N. Uwaechia and N. M. Mahyuddin, "A Comprehensive Survey on Millimeter Wave Communications for Fifth-Generation Wireless Networks: Feasibility and Challenges", IEEE Access, Vol. 8, pp. 62367-62414, Mar. 2020. [https://doi.org/10.1109/ACCESS.2020.2984204]
• K. Hassan, M. Masarra, M. Zwingelstein, and I. Dayoub, "Channel Estimation Techniques for Millimeter-Wave Communication Systems: Achievements and Challenges", IEEE Open Journal of the Communications Society, Vol. 1, pp. 1336-1363, Aug. 2020. [https://doi.org/10.1109/OJCOMS.2020.3015394]
• S. Payami et al., "Developing the First mmWave Fully-Connected Hybrid Beamformer With a Large Antenna Array", IEEE Access, Vol. 8, pp. 141282-141291, Jul. 2020. [https://doi.org/10.1109/ACCESS.2020.3013539]
• S. Tomasin, C. Mazzucco, D. De Donno, and F. Cappellaro, "Beam-Sweeping Design Based on Nearest Users Position and Beam in 5G mmWave Networks", IEEE Access, Vol. 8, pp. 124402-124413, Jun. 2020. [https://doi.org/10.1109/ACCESS.2020.3006015]
• "Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) Specifications. Amendment 3: Enhancements for Very High Throughput in the 60 GHz Band", IEEE Standard 802.11ad, 2012.
• "IEEE Draft Standard for Information Technology - Telecommunications and Information Exchange - Between Systems - Local and Metropolitan Area Networks - Specific Requirements - Part 11: Wireless 14 LAN Medium Access Control (MAC) and Physical Layer (PHY) Specifications - Amendment 2: Enhanced throughput for operation in license exempt bands above 45 GHz", IEEE Standard 802.11ay/D4.0, pp. 1–791, June 2019.
• W. Wu, N. Cheng, N. Zhang, P. Yang, K. Aldubaikhy, and X. Shen, "Performance Analysis and Enhancement of Beamforming Training in 802.11ad", IEEE Transactions on Vehicular Technology, Vol. 69, No. 5, pp. 5293-5306, May 2020. [https://doi.org/10.1109/TVT.2020.2982178]
• A. Maltsev, A. Pudeyev, I. Bolotin, and O. Bolkhovskaya, "Asymmetric Links Beamforming for mmWave Overlay in LTE-Based Heterogeneous Network", in Proc. IEEE Vehicular Technology Conference (VTC-Fall), 2017. [https://doi.org/10.1109/VTCFall.2017.8288418]
• A. Maltsev, I. Bolotin, A. Pudeyev, A. Lomayev, C. Cordeiro, S. Training, and C. Chen, "Enhanced SLS BF Flow for Efficient AP-STA Access in Dense Environment", IEEE doc. 802.11-17/0067r1, Jan. 2017.
• C. J. C. H. Watkins and P. Dayan, "Q-Learning", Machine Learning, Vol. 8, pp. 279-292, Jan. 1992. [https://doi.org/10.1023/A:1022676722315]
• Y. Kim, S. Lee, and T. Ropitault, "STS Adaptation for Beamforming Training of Asymmetric Links in IEEE 802.11ay-based Dense Networks", in Proc. Vehicular Technology Conference (VTC-Spring), 2020. [https://doi.org/10.1109/VTC2020-Spring48590.2020.9129137]
• ns-3 Network Simulator, "The Network Simulator, NS-3", Available: http://www.nsnam.org/, .
• H. Assasa, J. Widmer, T. Ropitault, and N. Golmie, "Enhancing the ns-3 IEEE 802.11ad Model Fidelity: Beam Codebooks, Multi-Antenna Beamforming Training, and Quasi-Deterministic mmWave Channel", in Proc. WNS3, June 2019. [https://doi.org/10.1145/3321349.3321354]