導(dǎo)讀

芬蘭奧盧大學(xué)6G旗艦計(jì)劃專家組編寫了一部白皮書,，介紹了機(jī)器學(xué)習(xí)（Machine Learning，ML）在6G無線通信網(wǎng)絡(luò)中的應(yīng)用[1],。白皮書首先概括性地介紹了在無線通信網(wǎng)絡(luò)中具有極大應(yīng)用潛力的ML方法,，然后討論了在通信網(wǎng)絡(luò)各層中（包括物理層、MAC層和應(yīng)用層等）應(yīng)用ML可以解決的問題,，并指導(dǎo)性地給出了未來有希望的研究方向,。

6G中的ML方法

（1）深度學(xué)習(xí)（Deep Learning，DL）

得益于計(jì)算能力的提升,，基于人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network,，ANN）的DL方法日益興起。DL針對不同的任務(wù)有不同的體系結(jié)構(gòu),。常用的基本模型為多層感知機(jī)（Multi-Layer Perceptron,，MLP）；使用卷積操作提取特征的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,，CNN）常用于圖像識別,、分類；對于時序的學(xué)習(xí)任務(wù),，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,，RNN）是最合適的選擇。此外,，還有一些DL方法可用于優(yōu)化操作，如基于自動編碼器（Auto-Encoder,，AE）的DL模型用于降維,，生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）用于生成相似的數(shù)據(jù)集以實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)等,。

在無線通信領(lǐng)域,，用于訓(xùn)練的數(shù)據(jù)量難以媲美計(jì)算機(jī)視覺和語音識別等領(lǐng)域，獲得顯著的性能提升較為困難[2],。另一方面,，不同的運(yùn)營商間存在網(wǎng)絡(luò)管理的差異性,，且以業(yè)務(wù)為導(dǎo)向的運(yùn)營商更注重?cái)?shù)據(jù)的保密性，故DL本身不是6G網(wǎng)絡(luò)內(nèi)所有數(shù)據(jù)分析任務(wù)的最佳解決方案,。

（2）概率方法

近來,，概率ML及貝葉斯推論在6G無線網(wǎng)絡(luò)的潛在應(yīng)用方面取得了許多新進(jìn)展[3]，基于概率論的基本框架,，概率方法在處理先驗(yàn)知識和量化不確定性上更有優(yōu)勢,，對于海量數(shù)據(jù)的6G應(yīng)用和服務(wù)而言不可或缺。此外,，非參數(shù)貝葉斯方法能夠靈活地處理數(shù)據(jù),，在復(fù)雜時空和高維感知預(yù)測問題的建模方面頗具潛力。盡管無線通信系統(tǒng)中非參數(shù)模型復(fù)合性和復(fù)雜性高,，但采用變分貝葉斯（Variational Bayes,，VB）和期望傳播（Expectation Propagation，EP）等新提出的近似方法,，能夠應(yīng)對分布式的大數(shù)據(jù)處理問題,。

（3）再生核希爾伯特空間（Reproducing Kernel Hilbert Space，RKHS）

6G中大量多徑連接帶來的強(qiáng)干擾限制了通信系統(tǒng)的性能,。同時,，6G希望實(shí)現(xiàn)較5G高10-100倍的數(shù)據(jù)速率。在這種情況下,，基于RKHS的解決方案尤為適用,。與當(dāng)下流行的多項(xiàng)式過濾方法相比，RKHS計(jì)算簡單,、易于擴(kuò)展,，在6G可能遇到的強(qiáng)干擾非高斯環(huán)境中能顯著降低逼近誤差。學(xué)界已經(jīng)提出了基于RKHS的方法來解決檢測,、跟蹤和定位等問題[4-5].

（4）聯(lián)邦學(xué)習(xí)（Federated Learning,，FL）

傳統(tǒng)的集中式ML算法要求移動設(shè)備將收集到的數(shù)據(jù)傳輸?shù)綌?shù)據(jù)中心進(jìn)行訓(xùn)練[6]。對于無線通信系統(tǒng)而言,，涉及到隱私及安全問題,，所有的移動設(shè)備都傳輸本地?cái)?shù)據(jù)來訓(xùn)練模型是不切實(shí)際的。FL是一種分布式ML算法,，它使得移動設(shè)備能夠協(xié)作學(xué)習(xí)并共享模型而不需要進(jìn)行數(shù)據(jù)交換,，其體系結(jié)構(gòu)如圖1所示。FL的訓(xùn)練過程中,，移動設(shè)備必須通過無線鏈路傳輸訓(xùn)練參數(shù),，因此，動態(tài)信道及有限的帶寬資源對FL的性能有很大的影響?，F(xiàn)有的研究包括優(yōu)化無線網(wǎng)絡(luò)以應(yīng)用FL[7-8],、基于FL的入侵檢測,、定向和移動預(yù)測技術(shù)[9]等。

圖1  FL的體系架構(gòu)

（5）強(qiáng)化學(xué)習(xí)（Reinforcement Learning,，RL）

RL又稱為“試錯”學(xué)習(xí),，是指智能體與環(huán)境進(jìn)行交互以執(zhí)行動作并獲得獎勵，學(xué)習(xí)目標(biāo)是使累計(jì)獎勵最大化,。許多無線問題可以表述為RL問題,，如資源分配等問題。此外,，神經(jīng)網(wǎng)絡(luò)能夠應(yīng)用到RL上,，形成深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning，DRL）,，可以解決無線通信中電源控制,、波束成型、調(diào)制和編碼方案選擇等問題,。針對極端網(wǎng)絡(luò)情況的適應(yīng)性,，相關(guān)研究工作已經(jīng)陸續(xù)展開[10]，并提出了一種經(jīng)驗(yàn)DRL框架來保證端到端通信的高可靠和低時延,。

物理層ML

將ML集成到6G物理層分為幾個方面,。第一，直接使用ML來替換一些不完善的功能,，如頻分雙工中的干擾檢測和抑制等,。第二，優(yōu)化現(xiàn)有的獨(dú)立模塊,，傳統(tǒng)上每個模塊的設(shè)計(jì)都是基于線性模型的,，一旦遭遇強(qiáng)非線性因素，系統(tǒng)的性能就會急劇下降,。第三,，聯(lián)合優(yōu)化物理層模塊，在傳統(tǒng)設(shè)計(jì)中,，解碼,、調(diào)制以及波形設(shè)計(jì)是相互獨(dú)立的，采用ML可以自動學(xué)習(xí)最優(yōu)的端到端模式,。

物理層應(yīng)用ML有如下幾個研究領(lǐng)域：

（1）信道編碼

將ML應(yīng)用于信道編碼和譯碼,，可以降低時間復(fù)雜度，實(shí)現(xiàn)低時延服務(wù),。文獻(xiàn)[11]提出了一種DL方法對線性碼進(jìn)行快速譯碼。

（2）同步

通過基于深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network,，DNN）的AE對通信系統(tǒng)進(jìn)行端到端的學(xué)習(xí)是解決同步問題的潛在方案,。此外,，在基于前向糾錯的同步[12]和基于分類的同步[13]中應(yīng)用DL方面，需要有更加深入的研究,。

（3）定位

目前,，應(yīng)用ML的定位技術(shù)存在仿真和實(shí)際環(huán)境的差異，需要開展更多的研究工作提高定位精度,，如自適應(yīng)信號處理技術(shù)結(jié)合DNN,、離線學(xué)習(xí)結(jié)合在線學(xué)習(xí)（Online Learning，OL）等,。

（4）信道估計(jì)

通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練,，可以優(yōu)化基于DL的信道估計(jì)。已有相關(guān)研究將DNN應(yīng)用于均衡技術(shù)中[14],。未來研究側(cè)重于在線訓(xùn)練,、構(gòu)建與實(shí)際環(huán)境匹配的訓(xùn)練數(shù)據(jù)等方面，以改善基于ML的信道估計(jì)的模型性能,。

MAC層ML

無線通信系統(tǒng)中,，MAC層執(zhí)行用戶配對、資源分配,、調(diào)制編碼方案選擇,、隨機(jī)接入切換控制等任務(wù)。目前已經(jīng)有基于啟發(fā)式算法的方案來解決上述問題,。為了更好地適應(yīng)實(shí)際環(huán)境,，需要使用ML來增強(qiáng)MAC層中這些任務(wù)的性能，如引入RL框架來使網(wǎng)絡(luò)適應(yīng)不同的信道條件并學(xué)習(xí)最佳的策略,。

在MAC層中應(yīng)用ML的示例如下：

（1）移動預(yù)測

應(yīng)用回聲狀態(tài)網(wǎng)絡(luò)（Echo State Network,，ESN）能夠主動預(yù)測無線VR網(wǎng)絡(luò)中用戶的方向和移動性[15]?；鹃g互相傳輸ESN的參數(shù),，通過FL訓(xùn)練來優(yōu)化模型，提高VR體驗(yàn)質(zhì)量,。

（2）資源分配

應(yīng)用ML能夠識別物聯(lián)網(wǎng)中設(shè)備流量的模式,，進(jìn)行預(yù)測資源分配，減少網(wǎng)絡(luò)的延遲,，解決機(jī)器類通信（Machine-Type Communication,，MTC）的隨機(jī)訪問問題[16-18]。需要有更多的研究工作在MTC流量預(yù)測和大規(guī)模MIMO的資源分配等方面展開,。

（3）電源管理

能耗是無線網(wǎng)絡(luò)設(shè)計(jì)的關(guān)鍵因素之一,。使用ML技術(shù)預(yù)測流量，并根據(jù)優(yōu)先級分離數(shù)據(jù)包,，可以提高自適應(yīng)節(jié)電機(jī)制的性能,。此外,，根據(jù)實(shí)際網(wǎng)絡(luò)條件預(yù)測發(fā)射功率，可以提高整個系統(tǒng)的能量和頻譜效率,。RL技術(shù)最適合電源控制問題,，因此結(jié)合ML進(jìn)行電源管理有非常廣闊的應(yīng)用前景。

應(yīng)用層ML

在應(yīng)用層嵌入ML技術(shù),，將改善無線通信網(wǎng)絡(luò)的遠(yuǎn)程控制能力,，增強(qiáng)無縫連接性，提高服務(wù)質(zhì)量,。

應(yīng)用層的ML研究領(lǐng)域如下：

（1）網(wǎng)絡(luò)性能管理

采用ML和軟件定義網(wǎng)絡(luò)可以實(shí)現(xiàn)更加智能的網(wǎng)絡(luò)功能,，對6G關(guān)鍵性能指標(biāo)進(jìn)行實(shí)時檢測和預(yù)測[19]。此外,，將ML嵌入基帶進(jìn)程,、使用基于容器的虛擬化接入網(wǎng)計(jì)算體系結(jié)構(gòu)都是很好的示范方法。

（2）無人機(jī)（Unmanned Aerial Vehicles,，UAV）控制

基于ML的UAV應(yīng)用能夠完成例如部署救災(zāi)通信網(wǎng)絡(luò)的高難度緊急任務(wù)[20],。考慮大量自主UAV的調(diào)度場景,，應(yīng)用多智能體RL與神經(jīng)網(wǎng)絡(luò),，每個自主UAV由一對ANN來控制。這樣能夠獲取其他UAV狀態(tài)的平均場的近似值,，以便計(jì)算UAV的最佳動作,。這種方法降低了UAV之間的碰撞風(fēng)險(xiǎn)，減少了傳輸功率的損耗[21-22],。

（3）車聯(lián)網(wǎng)（Internet of Vehicles,，IoV）的機(jī)會數(shù)據(jù)傳輸

IoV與ML結(jié)合，能夠解決車載通信系統(tǒng)中的鏈路丟失,、數(shù)據(jù)包錯誤等問題,。在不拓展網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)的條件下，采用基于上下文感知的網(wǎng)絡(luò)優(yōu)化技術(shù)（如機(jī)會數(shù)據(jù)傳輸）是很好的方案,，能夠?qū)崿F(xiàn)智能的數(shù)據(jù)傳輸調(diào)度,，減少帶寬消耗。

總結(jié)

該白皮書給出了無線通信系統(tǒng)中最具潛力的ML方法,，討論了在無線通信網(wǎng)絡(luò)各層應(yīng)用ML的案例,。結(jié)合相關(guān)文獻(xiàn)，可以將6G網(wǎng)絡(luò)中的ML應(yīng)用總結(jié)如下,。

6G將為人類,、機(jī)器提供更加實(shí)時可靠的無線連接，實(shí)現(xiàn)海量數(shù)據(jù)交換，特別地,，6G將支持無處不在的人工智能,，ML與無線通信的結(jié)合能提供更加優(yōu)質(zhì)的通信和人工智能服務(wù)，成為社會數(shù)字化轉(zhuǎn)型的支柱,。

參考文獻(xiàn)：

[1] W. Saad et al., “6G white paper on machine learning in wireless communication networks,” arXiv preprint arXiv:2004.13875, 2020.

[2] A. Zappone, M. D. Renzo, and M. Debbah, “Wireless networks design in the era of deep learning: Model-based, AI-based, or both?” IEEE Communications Magazine, Oct. 2019.

[3] Z. Ghahramani, “Probabilistic machine learning and artificial intelligence,” Nature, vol. 521, no. 7553, pp.452-459, May 2015.

[4] R. Mitra, F. Miramirkhani, V. Bhatia,and M. Uysal, “Mixture-kernel based post-distortion in RKHS for time-varying VLC channels,” IEEE Transactions on Vehicular Technology, vol. 68, no. 2, pp. 1564-1577, Feb. 2019.

[5] R. Mitra, S. Jain, and V. Bhatia, “Least minimum symbol error rate based post-distortion for VLC using random fourier features,” IEEE Communications Letters, vol. 24, no. 4, pp. 830-834, Apr. 2020.

[6] M. Chen, U. Challita, W. Saad, C. Yin, and M. Debbah, “Artificial neural networks-based machine learning for wireless networks: A tutorial,” IEEE Communications Surveys and Tutorials, vol. 21, no. 4, pp. 3039-3071, Jul. 2019.

[7] M. Chen, Z. Yang, W. Saad, C. Yin, H.V. Poor, and S. Cui, “A joint learning and communications framework for federated learning over wireless networks,” arXiv preprint arXiv:1909.07972, 2019.

[8] M. Chen, H. V. Poor, W. Saad, and S.Cui, “Convergence time optimization for federated learning over wireless networks,” arXiv preprint arXiv:2001.07845, 2020.

[9] A. Ferdowsi and W. Saad, “Generative adversarial networks for distributed intrusion detection in the Internet of Things,” arXiv preprint arXiv:1906.00567, 2019.

[10] A. Taleb Zadeh Kasgari, W. Saad, M.Mozaffari, and H. V. Poor, “Experienced deep reinforcement learning with generative adversarial networks (GANs) for model-free ultra reliable low latency communication,” arXiv preprint arXiv:1911.03264, 2019.

[11] E. Nachmani, Y. Be’ery, and D.Burshtein, “Learning to decode linear codes using deep learning,” in Proc. 2016 54th Annual Allerton Conference on Communication, Control, and Computing (Allerton), Sep. 2016, pp. 341-346.

[12] T. A. Chadov, S. D. Erokhin, and A. I.Tikhonyuk, “Machine learning approach on synchronization for FEC enabled channels,” in Proc. Systems of Signal Synchronization, Generating and Processing in Telecommunications (SYNCHROINFO), Jul. 2018, pp. 1-4.

[13] A. Li, Y. Ma, S. Xue, N. Yi, R.Tafazolli, and T. E. Dodgson, “Unsupervised deep learning for blind multiuser frequency synchronization in OFDMA uplink,” in Proc. IEEE International Conference on Communications (ICC), May 2019, pp. 1-6.

[14] H. Ye, G. Y. Li, and B. Juang, “Power of deep learning for channel estimation and signal detection in OFDM systems,” IEEE Wireless Communications Letters, vol. 7, no. 1, pp. 114-117, Feb. 2018.

[15] M. Chen, O. Semiari, W. Saad, X. Liu,and C. Yin, “Federated echo state learning for minimizing breaks in presence in wireless virtual reality networks,” IEEE Transactions on Wireless Communications, vol. 19, no. 1, pp. 177-191, Jan. 2020.

[16] C. Hoymann, D. Astely, M. Stattin, G.Wikstrom, J.-F. Cheng, A. Hoglund, M. Frenne, R. Blasco, J. Huschke, and F.Gunnarsson, “LTE release 14 outlook,” IEEE Communications Magazine, vol. 54, no. 6, pp. 44-49, Jun. 2016.

[17] S. Ali, N. Rajatheva, and W. Saad, “Fast uplink grant for machine type communications: Challenges and opportunities,” IEEE Communications Magazine, vol. 57, no. 3, pp. 97-103, Mar. 2019.

[18] S. Ali, A. Ferdowsi, W. Saad, and N.Rajatheva, “Sleeping multi-armed bandits for fast uplink grant allocation inmachine type communications,” in Proc. IEEE Global Communications Conference (GLOBECOM), Workshop on Ultra-High Speed, Low Latency and Massive Connectivity Communication for 5G/B5G, Abu Dhabi, UAE, Dec. 2018, pp. 1-6.

[19] J. Lam and R. Abbas, “Machine learning based anomaly detection for 5G networks,” arXiv preprint arXiv:2003.03474, 2020.

[20] M. Mozaffari, W. Saad, M. Bennis, and M. Debbah, “Efficient deployment of multiple unmanned aerial vehicles for optimal wireless coverage,” IEEE Communications Letters, vol. 20, no. 8, pp. 1647-1650, Aug. 2016.

[21] H. Shiri, J. Park, and M. Bennis,“Massive autonomous UAV path planning: A neural network based meanfield game theoretic approach,” in Proc. 2019 IEEE Global Communications Conference (GLOBECOM), Dec. 2019, pp. 1-6.

[22] H. Shiri, J. Park, and M. Bennis, “Communication-efficient massive UAV online path control: Federated learning meets mean-field game theory,” arXiv preprint arXiv:2003.04451, 2020.