摘要：

  態(tài)勢(shì)理解(SU)需要同時(shí)擁有洞察力(準(zhǔn)確感知現(xiàn)有情況的能力)和預(yù)見力(預(yù)測現(xiàn)有情況在未來如何發(fā)展的能力),。SU涉及到信息融合以及模型表示和推理。通常,，在信息融合的過程中必須利用異構(gòu)數(shù)據(jù)源：包括硬數(shù)據(jù)和軟數(shù)據(jù),。在聯(lián)合的情況下，還要分配數(shù)據(jù)和處理資源,，并對(duì)信息共享加以限制,。在SU過程中，經(jīng)常需要人參與到循環(huán)的過程中,，提供關(guān)鍵的輸入和指導(dǎo),，并以一種適當(dāng)透明的方式來解釋輸出：系統(tǒng)不應(yīng)該是“黑匣子”。在本文中,，我們從融合,、時(shí)間、分布和人員需求等方面描述了聯(lián)合態(tài)勢(shì)理解(CSU)問題,。目前,，人們對(duì)處理硬數(shù)據(jù)和軟數(shù)據(jù)的深度學(xué)習(xí)(DL)方法非常感興趣。我們分析了與CSU的這些要求相關(guān)的DL的最新技術(shù),，并分析了目前存在相當(dāng)大的潛力和關(guān)鍵性差距的領(lǐng)域,。

一、介  紹

在復(fù)雜的多元領(lǐng)域（例如空中交通管制,，船舶導(dǎo)航,，緊急響應(yīng)，軍事指揮與控制等）中進(jìn)行決策,，通常在很大程度上取決于決策者的態(tài)勢(shì)理解,。通常，這種理解概念被定義為“對(duì)單位的態(tài)勢(shì)進(jìn)行分析和判斷,，確定所存在的因素之間的關(guān)系，并對(duì)任務(wù)完成的威脅，任務(wù)完成的機(jī)會(huì)和雙方存在的差距進(jìn)行分析而得出結(jié)論”[1],。這與Endsley廣泛使用的模型中的二級(jí)態(tài)勢(shì)感知(SA)相對(duì)應(yīng),，如圖1所示。事實(shí)上,，Endsley 模型為我們提供了一個(gè)操作性定義的理解——對(duì)時(shí)空環(huán)境下元素的感知(1級(jí)),，其次是在特定上下文中進(jìn)行理解(2級(jí))，最后為通過時(shí)間或者其他事件的變化來預(yù)測未來事件的能力(3級(jí)),。

在文本工作中,，我們探討了在特定的軍事聯(lián)合背景下實(shí)現(xiàn)態(tài)勢(shì)理解所需的功能模塊，這個(gè)聯(lián)合背景的特點(diǎn)是所有的智能體組成聯(lián)盟為實(shí)現(xiàn)共同的任務(wù)目標(biāo)而協(xié)同工作,。這些智能體同時(shí)也是獨(dú)立管理區(qū)域的一部分,，不同的管理區(qū)域確定了其本地?cái)?shù)據(jù)收集和數(shù)據(jù)共享策略。

受到深度學(xué)習(xí)技術(shù)在醫(yī)療保健,，刑事司法系統(tǒng),，財(cái)務(wù)以及軍事決策等領(lǐng)域的廣泛使用的啟發(fā)，我們首先通過圖1所示的操作定義開始,，即在態(tài)勢(shì)理解的不同階段之間進(jìn)行映射并使用分布式學(xué)習(xí)框架的組件進(jìn)行態(tài)勢(shì)的理解（由Endsley模型提供）,。首先，為了獲得對(duì)環(huán)境的感知,，應(yīng)該訓(xùn)練分布式模型以識(shí)別在不同時(shí)空粒度級(jí)別上發(fā)生的事件,，這些事件共同記錄在各種智能體收集的時(shí)間序列數(shù)據(jù)中，智能體可以通過聯(lián)合上下文進(jìn)一步引入局部約束,，以調(diào)節(jié)智能體之間的信息流,，從而增加額外的復(fù)雜性和復(fù)雜性。其次,，為了幫助理解,，該模型不可以是黑匣子，而必須是可解釋的,，并且其輸出可以使用人類能理解的語言來解釋,。最后，模型本身應(yīng)該具有生成能力,，能夠準(zhǔn)確地預(yù)測到將來的狀態(tài),。 

聯(lián)合態(tài)勢(shì)理解（CSU）：基于以上的描述，聯(lián)合態(tài)勢(shì)理解可以分解為以下幾個(gè)部分：

（1）分布式學(xué)習(xí)算法：聯(lián)合網(wǎng)絡(luò)的存在是建立在整體大于部分之和的前提下的,。在環(huán)境的共享模型中,，學(xué)習(xí)使用來自所有智能體的組合信息比單個(gè)信息更重要?？偠灾?，為了訓(xùn)練共享模型并實(shí)現(xiàn)上述目標(biāo)，所使用的學(xué)習(xí)算法應(yīng)該：1）能夠根據(jù)連接各個(gè)智能體的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的可變性進(jìn)行調(diào)整,；2）對(duì)智能體提供的訓(xùn)練數(shù)據(jù)的可靠性具有敏感性,；3.）解釋智能體所提供信息的不同粒度(例如原始數(shù)據(jù)或模型參數(shù))；4）滿足智能體的隱私要求,。

（2）多時(shí)間尺度的學(xué)習(xí)：通常情況下,，聯(lián)合網(wǎng)絡(luò)會(huì)用來監(jiān)視特定地理區(qū)域中感興趣的事件。但是,，被監(jiān)測事件的周期可能不同,。共享模型應(yīng)該能夠使用來自智能體的集體信息來學(xué)習(xí)在不同時(shí)間尺度上準(zhǔn)確表達(dá)自己的事件。例如,，在一個(gè)特定的路段上,，工作日的交通量(或擁堵程度)可能完全取決于當(dāng)天的時(shí)間。不過,，周末的擁堵程度可能取決于附近一場體育賽事的日程安排,。因此，阻塞應(yīng)是在不同的時(shí)間尺度上發(fā)生的兩個(gè)不同事件的預(yù)測結(jié)果,。

（3）模型的可解釋性和可說明性：這些屬性指的是模型與人類之間的雙向信息流,。雖然基于深度學(xué)習(xí)的模型是由神經(jīng)科學(xué)對(duì)人類大腦工作的理解所推動(dòng)的，但兩者之間的關(guān)鍵區(qū)別是人類的“思考能力”,。通俗的說,，正是這種思考能力使人類不僅可以做出預(yù)測，而且可以通過一系列邏輯上一致且易于理解的選擇進(jìn)行預(yù)測,，從而使預(yù)測合理化,。反過來，這種能力又使決策者可以隱含或顯式地將置信度與預(yù)測結(jié)果相關(guān)聯(lián),，并用來決定下一步的舉措,。深度學(xué)習(xí)模型中與人類思維過程相對(duì)應(yīng)的部分通常稱為可解釋性，這種解釋預(yù)測的能力可以使有意義的信息從模型流向人類,。

我們把從人類到模型的信息流稱為可說明性,。與我們希望模型從訓(xùn)練集中的樣本中去學(xué)習(xí)其對(duì)應(yīng)類別的特征相反，可說明性意味著將不屬于訓(xùn)練數(shù)據(jù)的一部分的先驗(yàn)信息添加到模型中,?？烧f明的信息通?；谌说南闰?yàn)知識(shí)，而不僅僅局限于訓(xùn)練數(shù)據(jù),。

我們的貢獻(xiàn)：在本文中,，我們做了兩個(gè)貢獻(xiàn)。第一,，我們將聯(lián)合態(tài)勢(shì)理解問題轉(zhuǎn)化為一個(gè)學(xué)習(xí)框架，其中我們將Endsley模型的操作定義映射到學(xué)習(xí)框架的不同組件,，然后我們對(duì)每一個(gè)組件都提供了最先進(jìn)技術(shù)的總結(jié)和分析,。第二，我們使用了一些技術(shù),，旨在彌補(bǔ)每個(gè)組件的差距來更好的進(jìn)行態(tài)勢(shì)的理解,，并提供了初步結(jié)果，列出了一些需要解決的問題,。

二,、分布式模型學(xué)習(xí)

我們大致將設(shè)計(jì)一個(gè)有效的分布式學(xué)習(xí)算法所涉及的挑戰(zhàn)分為兩類：（1）任何學(xué)習(xí)策略都要考慮影響數(shù)據(jù)(或參數(shù))共享通信成本的智能體網(wǎng)絡(luò)拓?fù)渲械漠愘|(zhì)性，并對(duì)不可靠的訓(xùn)練數(shù)據(jù)進(jìn)行適當(dāng)?shù)恼{(diào)整,。（2）在具有對(duì)抗性的環(huán)境下,，學(xué)習(xí)算法應(yīng)該具有彈性，以應(yīng)對(duì)為了破壞模型的學(xué)習(xí)而篡改訓(xùn)練數(shù)據(jù)的行為,，同時(shí)能夠保護(hù)共享本地?cái)?shù)據(jù)的智能體的隱私,。

A. 學(xué)習(xí)策略的比較

我們對(duì)不同的分布式學(xué)習(xí)策略進(jìn)行了初步的分析，并對(duì)它們的通信效率進(jìn)行了比較,。我們特別關(guān)注(1)聯(lián)合的,，(2)增量的，(3)擴(kuò)散的這些策略在基于模型訓(xùn)練的消耗之后所具有最高的通信效率,。一旦學(xué)習(xí)算法完成模型訓(xùn)練之后,，所有的智能體都應(yīng)該具有相同的共享模型。

聯(lián)合學(xué)習(xí)是一種集中式學(xué)習(xí)策略,。通過所有智能體的聯(lián)合來完成學(xué)習(xí),，智能體的聯(lián)合由中央服務(wù)器協(xié)調(diào)。在每次迭代中,，智能體從中央服務(wù)器提取全局模型,，并在其本地?cái)?shù)據(jù)集上分別訓(xùn)練模型。在訓(xùn)練了幾個(gè)時(shí)期之后,，中央服務(wù)器匯總來自所有智能體的參數(shù)更新,。 將其參數(shù)取平均值，并用于更新全局模型參數(shù),。

增量學(xué)習(xí)策略通過循環(huán)路徑連接智能體來傳播模型更新,。分布網(wǎng)絡(luò)由一個(gè)圖表示,，其中智能體對(duì)應(yīng)于圖中的節(jié)點(diǎn)。如果兩個(gè)節(jié)點(diǎn)之間有一條直接的通信線路,，表示它們是一定距離內(nèi)的鄰居,，則在它們之間放置一條邊。雖然,，找到這樣一個(gè)循環(huán)（也被稱為哈密頓循環(huán)）通常是一個(gè)NP完全問題,，但之前的工作已經(jīng)證明，我們大概率可以從我們實(shí)驗(yàn)中使用的隨機(jī)幾何圖形中找到它,。在訓(xùn)練期間,，每個(gè)智能體將模型參數(shù)傳遞給循環(huán)中的下一個(gè)智能體。因此,，在任何迭代中,，只有一個(gè)智能體在活動(dòng)。

擴(kuò)散學(xué)習(xí)策略也利用了上述的哈密頓循環(huán),。但是,，在這種策略中，所有的智能體都使用它們的本地?cái)?shù)據(jù)集并行地執(zhí)行模型訓(xùn)練,。一旦訓(xùn)練完成,，模型參數(shù)將與相鄰節(jié)點(diǎn)共享。這樣可以更快地傳播模型參數(shù),，并且也符合異步學(xué)習(xí),，在異步學(xué)習(xí)中，不同的智能體在每次迭代中都會(huì)使用不同參數(shù)的模型進(jìn)行學(xué)習(xí),。

實(shí)驗(yàn)設(shè)置：我們使用n個(gè)均勻分布在單位平方區(qū)域[0,1]的節(jié)點(diǎn)作為我們的模擬網(wǎng)絡(luò),。每個(gè)節(jié)點(diǎn)維護(hù)自己的私有數(shù)據(jù)集，這些數(shù)據(jù)集可用于培訓(xùn)共享模型,。在該網(wǎng)絡(luò)中,，分布式學(xué)習(xí)策略實(shí)現(xiàn)如下：

在聯(lián)合學(xué)習(xí)的情況下，我們利用分布區(qū)域的對(duì)稱性,，計(jì)算出中心服務(wù)器的最優(yōu)位置為正方形的中心坐標(biāo)[0.5,0.5],。因此，每個(gè)代理的平均通信成本是一個(gè)常數(shù),，等于1/6,，總通信成本約為，與網(wǎng)絡(luò)中的智能體數(shù)量成正比,。

在增量學(xué)習(xí)和擴(kuò)散學(xué)習(xí)策略的情況下,，通信成本取決于形成漢密爾頓循環(huán)的邊緣。由于該圖是基于通信約束構(gòu)造的,，即兩個(gè)節(jié)點(diǎn)之間的邊緣僅在其距離小于特定半徑時(shí)才存在,。將此半徑設(shè)置為R,，可確保哈密頓環(huán)的概率很高，其平均通信成本不超過T,。表II-A顯示了這三種策略中每種策略的總通信成本的比較,。

我們使用具有128個(gè)神經(jīng)元的單隱層的多層感知器（MLP）網(wǎng)絡(luò)作為共享模型，并使用MNIST數(shù)據(jù)集對(duì)其進(jìn)行訓(xùn)練,。數(shù)據(jù)在十個(gè)智能體之間隨機(jī)分配,。在每次迭代中，智能體使用本地?cái)?shù)據(jù)集和100個(gè)數(shù)據(jù)樣本的批處理量訓(xùn)練自己的模型,，共迭代20個(gè)輪次,。使用的優(yōu)化算法是隨機(jī)梯度下降。每次迭代后,，我們使用測試數(shù)據(jù)集評(píng)估每個(gè)智能體的性能，并根據(jù)學(xué)習(xí)策略與其他智能體進(jìn)行模型交流,。

通信成本分析：我們使用兩個(gè)不同的指標(biāo)來分析通信成本,。第一個(gè)是錯(cuò)誤率，我們將其定義為：ER=1-P          

總通信成本是不同客戶端之間所有成對(duì)通信成本的總和,。

圖3顯示了不同學(xué)習(xí)策略的錯(cuò)誤率變化情況,。對(duì)于增量學(xué)習(xí)策略，曲線表示模型在網(wǎng)絡(luò)中傳播的性能,。對(duì)于聯(lián)合學(xué)習(xí)和擴(kuò)散學(xué)習(xí),，過渡曲線表示為網(wǎng)絡(luò)中所有智能體的測試錯(cuò)誤率的平均值。圖3（a）顯示了三種不同策略的錯(cuò)誤率曲線隨迭代次數(shù)的變化,，圖3（b）顯示了錯(cuò)誤率隨著通信成本的變化,。

從我們的初步分析可以看出，聯(lián)合學(xué)習(xí)消耗的能量最大,。這是因?yàn)槲覀兗俣ㄋ兄悄荏w都能夠與中央服務(wù)器通信,，這要求它們具有足夠的無線電功率。除此之外,，我們所建立的用于存儲(chǔ)和更新參數(shù)的中央服務(wù)器也是資源密集型的,。相比之下，對(duì)于增量和擴(kuò)散策略,，平均通信距離可以使用哈密頓循環(huán)進(jìn)行優(yōu)化,，這也為每個(gè)客戶端提供了一個(gè)無線電范圍的上限。 

B. 之前的隱私意識(shí)(privacy-aware)分布式學(xué)習(xí)法：

我們先來總結(jié)一下之前在隱私意識(shí)和對(duì)抗學(xué)習(xí)策略領(lǐng)域所做的工作,。

Shokri等人的工作[10]考慮了一種設(shè)置,，將數(shù)據(jù)分布在不同的智能體之間，每個(gè)智能體都希望保持自己的數(shù)據(jù)私有,，目標(biāo)是學(xué)習(xí)組合數(shù)據(jù)上的模型,。作者提出了一種局部訓(xùn)練模型的方法,，即只共享模型參數(shù)，而不共享原始數(shù)據(jù),。實(shí)際上,，為了保證模型的隱私性，在共享之前使用差分私有噪聲對(duì)模型參數(shù)進(jìn)行擾動(dòng),，對(duì)共享參數(shù)求平均值,，并將其傳遞回實(shí)體以供下一次迭代使用。模型反轉(zhuǎn)攻擊在[11]中得到了證明,，作者表明,，共享模型很容易泄露信息，即使面對(duì)“黑匣子”對(duì)手（僅通過輸入和輸出與模型進(jìn)行交互）也很脆弱,。最近,，阿巴迪等[12]演示了一個(gè)大型差分私有神經(jīng)網(wǎng)絡(luò)和隱私預(yù)算的訓(xùn)練，他們證明了他們的模型可以抵抗更強(qiáng)大的對(duì)手的模型反轉(zhuǎn)攻擊,，其對(duì)手同樣具有訓(xùn)練算法和模型參數(shù)的知識(shí),。

生成對(duì)抗網(wǎng)絡(luò)（GAN）是一種無監(jiān)督的框架，用于在對(duì)抗環(huán)境中訓(xùn)練生成模型,。GAN同時(shí)訓(xùn)練了兩個(gè)模型：一個(gè)捕獲數(shù)據(jù)分布的生成模型G,，以及一個(gè)判別模型D，模型D用來估計(jì)樣本來自訓(xùn)練數(shù)據(jù)而不是G的概率,。其目的是訓(xùn)練生成器G,，使判別器的錯(cuò)誤率接近50％，這意味著D無法區(qū)分訓(xùn)練樣本和假樣本,。判別器可以訪問訓(xùn)練樣本而生成器測不能,。生成器的權(quán)重是根據(jù)判別器的輸出進(jìn)行調(diào)整的。在分布式學(xué)習(xí)設(shè)置中,，每個(gè)智能體訓(xùn)練一個(gè)判別器模型（可以訪問本地訓(xùn)練數(shù)據(jù)）,，基于從不同智能體的鑒別器模型接收的反饋來訓(xùn)練共享的生成器模型。有時(shí),，訓(xùn)練數(shù)據(jù)會(huì)注入惡意樣本,，使攻擊者可以在不了解模型參數(shù)的情況下使模型產(chǎn)生漏洞并發(fā)動(dòng)黑匣子攻擊。對(duì)抗訓(xùn)練是一種在對(duì)抗示例上顯示的訓(xùn)練模型以使其對(duì)攻擊產(chǎn)生魯棒性的技術(shù),。在[14]中已經(jīng)提出將對(duì)抗訓(xùn)練擴(kuò)展到更大的數(shù)據(jù)集,。

C.聯(lián)合背景下的未解決問題

在聯(lián)合環(huán)境下的分布式學(xué)習(xí)，在網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和共享數(shù)據(jù)形式上,，都受到了智能體數(shù)據(jù)隱私和異構(gòu)性的困擾,。此外，對(duì)于大型模型，參數(shù)共享在內(nèi)存和帶寬消耗方面也非常昂貴,，特別是對(duì)于資源受限的智能體[15],。

未來，我們計(jì)劃將我們的研究擴(kuò)展到更準(zhǔn)確地模擬網(wǎng)絡(luò)效應(yīng),，包括帶寬約束,，讓我們更好地研究網(wǎng)絡(luò)對(duì)學(xué)習(xí)算法的影響。此外,，我們還將引入適當(dāng)?shù)膽土P函數(shù)來處理訓(xùn)練數(shù)據(jù)的可靠性,，并研究它們對(duì)錯(cuò)誤率的影響。

三,、多尺度時(shí)間學(xué)習(xí)

聯(lián)合環(huán)境下的態(tài)勢(shì)理解是一項(xiàng)復(fù)雜的任務(wù),，需要融合來自不同來源的信息以做出準(zhǔn)確的決策。其中一個(gè)主要的挑戰(zhàn)是如何處理數(shù)據(jù)源之間在時(shí)間尺度方面的異質(zhì)性,。這可能是由于收集數(shù)據(jù)的采樣率不同,，或是由于數(shù)據(jù)中記錄的圖案的周期性不同引起的。我們將在下面詳細(xì)解釋這些問題：

多時(shí)間尺度的數(shù)據(jù)源：如果不同的數(shù)據(jù)源以不同的頻率收集數(shù)據(jù),，那么在嘗試從這些數(shù)據(jù)源學(xué)習(xí)模型時(shí)就會(huì)遇到一些問題,。例如，如果GPS傳感器以每分鐘一個(gè)樣本的速率(0.01667Hz)收集數(shù)據(jù),，而麥克風(fēng)則以明顯更高的速率(16000 Hz)收集數(shù)據(jù)。將這兩個(gè)數(shù)據(jù)源融合在一起顯然很有挑戰(zhàn)性,，因?yàn)樗鼈兊臄?shù)據(jù)速率差別很大,。

多時(shí)間尺度的數(shù)據(jù)模式：即使使用來自單一數(shù)據(jù)源的數(shù)據(jù)，多時(shí)間尺度的模式學(xué)習(xí)也是一個(gè)具有挑戰(zhàn)性的問題,。數(shù)據(jù)中可能存在不同尺度的模式,，需要使用尺度不變學(xué)習(xí)算法。例如,，考慮建模道路交通量以預(yù)測未來擁堵水平的任務(wù),。顯然，交通擁堵模式存在于多個(gè)時(shí)間尺度上：一天中的特定時(shí)刻,，或一周中的特定天,，甚至一年中的特定季節(jié)。另一個(gè)例子是用于文本理解的語言建模,。在這種情況下,，模式存在于字符級(jí)、單詞級(jí)和句子級(jí),。一個(gè)有效的模型應(yīng)該能夠同時(shí)學(xué)習(xí)和利用所有這些模式,，而不是只建模單個(gè)的模式。

A.以前的多時(shí)間尺度學(xué)習(xí)方法

遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)無論其規(guī)模大小，理論上都具有學(xué)習(xí)長期時(shí)間依賴關(guān)系的能力,。然而,，在實(shí)際應(yīng)用中，由于長期的內(nèi)存需求,，這是很難實(shí)現(xiàn)的,，而且RNN存在消失梯度問題[16]。在進(jìn)行序列預(yù)測和分類時(shí),，時(shí)間序列數(shù)據(jù)的多尺度模式導(dǎo)致了這些實(shí)際困難,，于是便有了ClockWork RNN (CW-RNN)模型體系結(jié)構(gòu)[17]的產(chǎn)生。CW-RNN是標(biāo)準(zhǔn)RNN體系結(jié)構(gòu)的一個(gè)強(qiáng)大的修正,，其中隱含層單元被劃分成單獨(dú)的模塊,。每個(gè)模塊可以以自己的時(shí)間速率處理輸入。每個(gè)模塊中的單元彼此完全連接,，而只有速度更快的模塊中的單元(具有較小的時(shí)鐘周期)才連接到其他速度較慢的模塊中的單元(具有較大的時(shí)鐘周期),。在[17]的序列生成和序列分類任務(wù)上對(duì)CW-RNN的評(píng)價(jià)結(jié)果表明，與標(biāo)準(zhǔn)RNNs和LSTM (Long Short-Term Memory, LSTM)網(wǎng)絡(luò)[18]相比,，CW-RNN都能獲得更好的結(jié)果,。此外，CW-RNNs的計(jì)算效率也比具有相同數(shù)量隱藏神經(jīng)元的等效RNN或LSTM要高,，因?yàn)殡[藏神經(jīng)元只按指定的時(shí)間頻率更新,。然而，CW-RNN需要手動(dòng)設(shè)置每組隱藏神經(jīng)元的時(shí)間速率,，而有效的多尺度學(xué)習(xí)算法應(yīng)該能夠從數(shù)據(jù)中自動(dòng)學(xué)習(xí)這些速率,。

作者最近在[19]中提出了一種通過發(fā)現(xiàn)序列的潛在層次結(jié)構(gòu)來學(xué)習(xí)多尺度時(shí)間模式的方法。該模型稱為分層多尺度遞歸神經(jīng)網(wǎng)絡(luò)（HMRNN）,，不需要分配固定的時(shí)間速率或明確的邊界信息,。該模型能夠自適應(yīng)地找到序列中不同尺度的模式之間的正確關(guān)系。

當(dāng)尺度變化存在于除時(shí)間以外的維度上時(shí),，例如在對(duì)象以不同尺度出現(xiàn)的圖像中,，多尺度學(xué)習(xí)也是一個(gè)具有挑戰(zhàn)性的問題。盡管目標(biāo)識(shí)別的最新技術(shù)——卷積神經(jīng)網(wǎng)絡(luò)（CNN）[20],，可以使用卷積和池化層來滿足平移和尺度不變性的要求,，以檢測圖像中的模式，但是尺度不變性仍然是一個(gè)挑戰(zhàn),，因?yàn)?/span>CNN準(zhǔn)確性可能會(huì)由于測試圖像中對(duì)象比例的變化而顯著下降,。 [21]也證明了這一點(diǎn)，其證明了CNN在CIFAR-10 [22]數(shù)據(jù)集的縮放版本上的性能下降了其在標(biāo)準(zhǔn)CIFAR-10上的性能的43.22％,。為了應(yīng)對(duì)這種挑戰(zhàn),，已經(jīng)提出了CNN的變體,，例如尺度不變性卷積神經(jīng)網(wǎng)絡(luò)，它可以檢測物體并具有對(duì)尺度變化的適應(yīng)性,。

B.利用ECG數(shù)據(jù)進(jìn)行多時(shí)間尺度模式學(xué)習(xí)

我們通過訓(xùn)練一個(gè)深度遞歸神經(jīng)網(wǎng)絡(luò)來識(shí)別心電圖信號(hào)中的模式,，用來研究了多尺度模式學(xué)習(xí)問題。心電信號(hào)有多個(gè)由波組成的重復(fù)模式,，通常由字母P,、Q、R,、S,、T和u來標(biāo)識(shí)。為了成功地學(xué)習(xí)這些模式并合成心電信號(hào),，每一波之間的間隔以及它們的周期性必須得到保留,。此外，信號(hào)的高采樣率意味著信號(hào)的當(dāng)前值可以依賴于數(shù)百個(gè)時(shí)間步長之前的先驗(yàn)值——長期依賴,。因此,，為了對(duì)這些長期依賴關(guān)系進(jìn)行建模，模型必須具有出長期的儲(chǔ)存記憶能力,。

我們使用在[23]中提出的分層遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的變體來進(jìn)行我們的實(shí)驗(yàn),。圖4顯示了2000個(gè)真實(shí)心電信號(hào)和我們模型合成的信號(hào)。結(jié)果表明,，該模型能夠成功地生成與實(shí)際信號(hào)匹配的輸出信號(hào),。

C.聯(lián)合背景下的未解決問題

在聯(lián)合環(huán)境中，多尺度學(xué)習(xí)是一個(gè)固有的問題,，因?yàn)椴煌闹悄荏w在不同的時(shí)間尺度上收集數(shù)據(jù),。此外，在涉及監(jiān)視的聯(lián)合場景中,，通常需要學(xué)習(xí)到非常長期的依賴關(guān)系(預(yù)測或分類結(jié)果可能嚴(yán)重依賴于長時(shí)間內(nèi)的數(shù)據(jù)信息),。對(duì)于標(biāo)準(zhǔn)的RNN和LSTM網(wǎng)絡(luò)來說,，學(xué)習(xí)非常長期的依賴關(guān)系是一個(gè)問題,，而像CW-RNN和HM-RNN這樣的多尺度學(xué)習(xí)算法在這個(gè)問題上有更好的效果。在未來,，我們還希望將這些模型與情景描述技術(shù)相結(jié)合,，以改善[24]的結(jié)果。

四,、模型的可解釋性和可說明性

這兩個(gè)屬性表示人員對(duì)CSU問題的了解程度,。如第一部分所述和圖2所示，人類用戶通常在設(shè)置需求和偏好方面與數(shù)據(jù)模型具有的許多交互點(diǎn),。這些交互必須是雙向的——一方面,，模型的預(yù)測是可以解釋的，另一方面，人類可以將先驗(yàn)知識(shí)注入模型訓(xùn)練過程中,。具體來說,，當(dāng)人向系統(tǒng)提供的輸入改變了相應(yīng)模型的表示和推理時(shí)（例如，通過提供CSU系統(tǒng)目前未知的關(guān)鍵信息）,，我們將模型表示為人類可以說出的,。我們認(rèn)為，分析模型的可解釋性也將有助于找到可以將先驗(yàn)知識(shí)注入模型的方法,，從而使它們易于理解,。因此，在其余部分中,，我們將主要關(guān)注模型的可解釋性,。

人們可能會(huì)誤以為，可解釋性只是以人類可理解的方式解釋學(xué)習(xí)模型（圖2中的第2層）本身的工作的能力,。 實(shí)際上,，即使仔細(xì)研究人類的思維過程，也發(fā)現(xiàn)我們實(shí)際上并未根據(jù)模型的低級(jí)參數(shù)來解釋模型（在我們的大腦中）的工作原理,。我們確實(shí)做出了預(yù)測,，但沒有根據(jù)大腦使用的學(xué)習(xí)算法或它選擇在模型中表示信息（模型參數(shù)）的方式來證明我們的預(yù)測是正確的。取而代之的是,，我們選擇根據(jù)與模型響應(yīng)和物理觀察相關(guān)的先驗(yàn)信息,，提供更多的理由，而不是在事后分析中,。這意味著人們可以在多個(gè)不同級(jí)別上定義可解釋性：就底層模型參數(shù)和用于訓(xùn)練模型的學(xué)習(xí)算法而言,，或者就模型的功能而言，甚至是兩者的結(jié)合而言,。

實(shí)際上,，正如在[5]中觀察到的，可解釋性的概念甚至不是一個(gè)整體的概念,，而是劃分為幾個(gè)不同的維度,，這些維度總結(jié)如下：

模型透明度：這是通過三個(gè)參數(shù)來定義的：（i）可模擬性–人類是否可以將輸入數(shù)據(jù)與模型一起使用來再現(xiàn)進(jìn)行預(yù)測所需的每個(gè)計(jì)算步驟。這使人們可以理解由輸入如何引起的模型參數(shù)的變化以及訓(xùn)練數(shù)據(jù)對(duì)模型參數(shù)的影響,；（ii）可分解性–是否對(duì)模型所有參數(shù)都有直觀的解釋,；最后（iii）算法透明性–解釋學(xué)習(xí)算法工作原理的能力。例如,，是選擇線性回歸模型還是深層非線性神經(jīng)網(wǎng)絡(luò),。

模型功能：(i)使用文本描述來解釋預(yù)測。要做到這一點(diǎn),，可以使用一個(gè)模型進(jìn)行預(yù)測,，然后使用另一個(gè)模型進(jìn)行解釋,；(ii)可視化-解釋模型工作的另一種常見方法是通過參數(shù)的可視化。一種流行的可視化高維分布式表示的方法是t-SNE機(jī)制[25],；最后(iii)局部解釋——這里不解釋模型的整個(gè)映射,，而是計(jì)算由給定輸出類的特定輸入向量引入的局部變化。輸出的梯度用來識(shí)別特定的權(quán)值和受輸入向量影響的局部變化,。

請(qǐng)注意,，上面的一些維度雖然可以更好地解釋模型，但是也會(huì)導(dǎo)致模型效率的損失,。例如,，一個(gè)使用簡單特征的線性模型，即使有大量的訓(xùn)練數(shù)據(jù),，也無法與神經(jīng)網(wǎng)絡(luò)對(duì)高維非線性數(shù)據(jù)的預(yù)測能力相比,。

我們現(xiàn)在根據(jù)上述可解釋性的維度來總結(jié)之前的工作。然后,，我們分析確定CSU目前面臨的挑戰(zhàn),。 

A.   之前解決模型可解釋性問題的方法

我們根據(jù)以上討論的維度對(duì)現(xiàn)有技術(shù)方法進(jìn)行分類。

深度學(xué)習(xí)網(wǎng)絡(luò)是由可區(qū)分的各個(gè)單元組成的,。這使得基于梯度下降的學(xué)習(xí)算法可以反向傳播并調(diào)整這些單元的權(quán)值以最小化誤差函數(shù),。最近，人們提出了一種分層相關(guān)傳播算法[26],，[27](LRP),，它利用各個(gè)單元可區(qū)分的這一特性，將深度神經(jīng)網(wǎng)絡(luò)的輸出分解為輸入變量,，并研究了數(shù)據(jù)的哪些特征對(duì)模型的輸出產(chǎn)生影響,。這是一種與泰勒分解密切相關(guān)的原理性方法，適用于任意深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),。

LRP技術(shù)已經(jīng)在[28]中應(yīng)用于腦電信號(hào)分析,。每個(gè)輸入數(shù)據(jù)點(diǎn)的相關(guān)性分?jǐn)?shù)在最終決策時(shí)可以計(jì)算出來，然后被可視化為一個(gè)熱圖,，提高模型的可解釋性,。

我們對(duì)文字解釋的熟悉程度使之成為向人類解釋模型的有效方法。現(xiàn)在,，該領(lǐng)域的最新工作集中于如何學(xué)習(xí)文本解釋,。[29]中的作者結(jié)合了兩個(gè)模塊化組件–生成器和編碼器–一起操作并學(xué)習(xí)預(yù)測的候選原理,。其基本原理只是輸入文本中滿足兩個(gè)關(guān)鍵屬性的單詞的子集,。首先，所選擇的單詞代表簡短而連貫的文本（例如短語）,，其次,，所選擇的單詞必須能單獨(dú)提供預(yù)測才能替代原始文本,。對(duì)于給定的輸入文本，生成器指定了可能的基本原理的分布,。然后,，編碼器將基本原理映射到任務(wù)特定的值。然后,，將使正則化編碼器損失函數(shù)最小化的分布當(dāng)作模型預(yù)測的基本原理,。

同樣，單詞向量化模型可用于捕獲單詞的語義上下文,，并解釋對(duì)向量的運(yùn)算結(jié)果[30],。在[31]作者中已經(jīng)提出了用于理解遞歸神經(jīng)網(wǎng)絡(luò)工作原理的模型可視化技術(shù)。上述技術(shù)均可對(duì)神經(jīng)網(wǎng)絡(luò)模型功能進(jìn)行深入的了解,。

B.聯(lián)合背景下的未解決問題

我們考慮在聯(lián)合環(huán)境下的模型可解釋性問題,。使用通用模型做出的任何決定都必須有充分的理由才能被所有的智能體所接受。而這種證明只能通過擁有可解釋性的模型生成,。此外,，智能體的策略約束可能要求它不能與其他智能體共享原始數(shù)據(jù)。在這種情況下,，成員可以訓(xùn)練本地模型并共享模型的預(yù)測結(jié)果(而不是原始數(shù)據(jù)),。對(duì)于其他智能體來說，這個(gè)預(yù)測結(jié)果不僅應(yīng)該與一個(gè)置信度評(píng)分相關(guān)聯(lián),，而且應(yīng)該基于一個(gè)可解釋的模型為預(yù)測提供一個(gè)充分的理由,。

聯(lián)合環(huán)境下還有一些獨(dú)特的挑戰(zhàn)，可能會(huì)影響可解釋模型的設(shè)計(jì)：每個(gè)智能體的本地模型在體系結(jié)構(gòu)方面可能是不均勻的,，這使得很難使用諸如分層相關(guān)傳播（LRP）之類的技術(shù),。同樣，由于信息共享不完整,，基于策略的約束可能使學(xué)習(xí)正確的可解釋性模型變得更加困難,。

五、方法概述和未解決的問題

在前面的部分中,，我們根據(jù)分布式深度學(xué)習(xí)框架的操作組件定義了聯(lián)合態(tài)勢(shì)理解問題,。我們還確定了當(dāng)前體系結(jié)構(gòu)中的一些不足，例如：（1）在異構(gòu)的,，可能是對(duì)抗的環(huán)境中進(jìn)行分布式模型學(xué)習(xí),；（2）從時(shí)間序列數(shù)據(jù)進(jìn)行多尺度模式學(xué)習(xí)；（3）通過可解釋性,、可說明行模型進(jìn)行的人在模型中的循環(huán),。這我們需要彌補(bǔ)這些不足，以使這樣的框架能夠在整體范圍內(nèi)發(fā)揮作用,。另外,，模型學(xué)習(xí)也是數(shù)據(jù)和計(jì)算密集的過程,，盡管我們可以通過集中更多資源來滿足對(duì)計(jì)算能力的需求，但獲取所需數(shù)量的訓(xùn)練數(shù)據(jù)可能并不總是可行的,，尤其是在臨時(shí)聯(lián)合的背景下,。最后，深度學(xué)習(xí)模型不能很好地表示不確定性,，不確定性是人機(jī)交互循環(huán)中的關(guān)鍵因素,。不確定性的量化還與模型的可解釋性方面有關(guān)，因?yàn)樗鼤?huì)影響人類對(duì)機(jī)器輸出的信任度[32],。

相比之下,，貝葉斯推理為模型的建立、推理,、預(yù)測和決策提供了一個(gè)統(tǒng)一的框架,，對(duì)結(jié)果的不確定性和可變性都有明確的解釋，而且該框架對(duì)模型過擬合也具有魯棒性,，貝葉斯規(guī)則提供了一種自動(dòng)的“奧卡姆剃刀”效應(yīng),，懲罰了不必要的復(fù)雜模型[33]、[34],。然而,，由于推理的計(jì)算可處理性，貝葉斯推理主要局限于共軛和線性模型,。

由此我們可以觀察到貝葉斯推理和深度學(xué)習(xí)框架中存在互補(bǔ)的元素,。這一發(fā)現(xiàn)已經(jīng)在最近的概率論機(jī)器學(xué)習(xí)(見[35]和其中的參考文獻(xiàn))和貝葉斯深度學(xué)習(xí)(BDL)(特別是[36])的工作中得到了應(yīng)用。簡而言之,，BDL的目標(biāo)是在統(tǒng)一的概率框架內(nèi)集成深度學(xué)習(xí)和貝葉斯模型,。在BDL的上述進(jìn)展的激勵(lì)下，我們草擬了一個(gè)初始架構(gòu)來解決下面的聯(lián)合態(tài)勢(shì)理解問題,。

圖5展示了我們處理CSU問題的方法,，其重點(diǎn)在于人在循環(huán)中的維度，可以參考之前在第一節(jié)(圖2)中描述的“水平”平面的“垂直”視圖,。我們觀察可解釋的深度學(xué)習(xí)網(wǎng)絡(luò),，處理時(shí)間序列數(shù)據(jù)并行的在多個(gè)時(shí)間尺度上提取模式，并將它們的輸出(例如,，下一個(gè)預(yù)測狀態(tài))輸入貝葉斯網(wǎng)絡(luò),。我們已經(jīng)建立了深度學(xué)習(xí)模型，它在目標(biāo)識(shí)別,、語音識(shí)別,、文本建模等感知任務(wù)中表現(xiàn)非常出色。貝葉斯網(wǎng)絡(luò)將各個(gè)模型的輸出連接到一個(gè)推理網(wǎng)絡(luò)中，然后用這個(gè)推理網(wǎng)絡(luò)進(jìn)行推理,，最終得到CSU。這樣的推理網(wǎng)絡(luò)也可以接受以先驗(yàn)知識(shí)形式存在的用戶輸入,，這方面已經(jīng)有了一些初步的工作,，稱為協(xié)同深度學(xué)習(xí)[37]。這種在貝葉斯網(wǎng)絡(luò)上分配先驗(yàn)的能力可以減少模型訓(xùn)練所需的訓(xùn)練數(shù)據(jù)量,。此外,，自動(dòng)關(guān)聯(lián)判定(ARD)的概念也在[38]的貝葉斯網(wǎng)絡(luò)中得到了研究，這與深度學(xué)習(xí)中應(yīng)用的分層關(guān)聯(lián)傳播技術(shù)非常相似——允許模型的解釋,。因此,，上述架構(gòu)不僅可以在統(tǒng)一的概率模型中進(jìn)行訓(xùn)練，還可以解決實(shí)現(xiàn)CSU現(xiàn)有的困難,。

我們?cè)O(shè)想,，用戶將通過允許雙向消息交換的元信息層與系統(tǒng)交互。一方面,，人類可以使用這一層來提供先驗(yàn)——這些先驗(yàn)可以是深度學(xué)習(xí)模型的隱藏單元,、定義神經(jīng)網(wǎng)絡(luò)的參數(shù)或指定因果推理的模型參數(shù)(在圖中表示為貝葉斯網(wǎng)絡(luò))。如前所述,，這些先驗(yàn)有助于避免過擬合,，特別是在沒有足夠的訓(xùn)練數(shù)據(jù)[36]時(shí)。另一方面,，該層將模型輸出轉(zhuǎn)換為人類可理解的形式(例如,，語義上有意義的句子)。隨著技術(shù)的發(fā)展,，智能體(人和機(jī)器)都可以提供額外的元信息來更好地描述問題上下文,、額外的數(shù)據(jù)源和/或服務(wù)。

目前,，實(shí)現(xiàn)圖5所示的體系結(jié)構(gòu)的工作正在進(jìn)行中,，其中包括一些試點(diǎn)應(yīng)用程序，這些應(yīng)用程序混合了前面幾節(jié)中所調(diào)研的DL技術(shù)和其他信號(hào)處理技術(shù),，目的是解決上面提到的目前的不足之處,。

六、結(jié)論以及未來的工作

在這篇論文中,，我們已經(jīng)確定,，為了有效地解決聯(lián)合環(huán)境下的SU問題，基于DL的方法必須能夠結(jié)合：

1)多模式數(shù)據(jù),；2)時(shí)間序列數(shù)據(jù),；3)具有信息流約束的分布式學(xué)習(xí)；4)分類與建模(低層與高層融合),；5)人為因素(可解釋性和可說明性),。

這些特征可能出現(xiàn)在非聯(lián)合的SU環(huán)境中,，但是所有這些特征都會(huì)始終出現(xiàn)在聯(lián)合環(huán)境中。

除了描述聯(lián)合環(huán)境下的SU問題之外,，本文的主要貢獻(xiàn)還包括兩個(gè)方面：（1）針對(duì)上述每個(gè)需求分析DL中的最新技術(shù),，并找出差距的不足；（2）提出了概念性的系統(tǒng)架構(gòu)來支持正在解決這些不足的研究工作

我們的近期研究議程包括初步實(shí)現(xiàn)一系列已經(jīng)擬定的體系結(jié)構(gòu),，以結(jié)合上述要求來解決一些挑戰(zhàn)性的問題,。展望未來，我們將致力于將數(shù)據(jù)集和代碼公開,，以促進(jìn)這個(gè)宏大領(lǐng)域的協(xié)作和發(fā)展,。

致謝

該研究由美國陸軍研究實(shí)驗(yàn)室和英國國防部贊助。