Esther｜ 撰文

今后,，AI也可以像人類一樣解釋自己做決定的推理過程了。近日外媒報道,，MIT林肯實驗室的智能與決策技術(shù)研究小組在今年夏天的CVPR上展示過一篇論文,，論文中科研人員闡釋了一款能夠“像人類一樣”經(jīng)過推理回答問題（一些識別圖片內(nèi)容的問題）的神經(jīng)網(wǎng)絡系統(tǒng)，顛覆了人們對神經(jīng)網(wǎng)絡推理過程的理解,。

據(jù)青亭網(wǎng)了解,，MIT開發(fā)的這款神經(jīng)網(wǎng)絡系統(tǒng)名為Transparency by Design Network（有意透明化的網(wǎng)絡/TbD-net），TbD-net會通過熱網(wǎng)來進行視覺分析,。當TbD-net分析照片時,，會使用明亮且容易識別的顏色標志關鍵的物品（按論文中的說法叫做關注蒙版）代表模塊化網(wǎng)絡的輸出值，或者用于完成專門任務的小型神經(jīng)網(wǎng)絡,。

MIT News網(wǎng)站上寫道，模塊化網(wǎng)絡是一款適合完成視覺推理任務的框架,，但是在遇到復雜視覺推理問題時,，效果就沒那么好了，即使是市面上最優(yōu)秀的神經(jīng)網(wǎng)絡也缺乏可以讓人類理解推理過程的機制,。

而TbD-net中的每個模塊的工作機制就像是流水線上的工人一樣,，一個接一個在前一個模塊產(chǎn)出的結(jié)果基礎上處理問題，最后得出一個最終的正確答案,，整個TbD-net使用了同一款AI技術(shù)去分析人類問的問題,，方法是先將問題分成多個子任務，再使用多種計算機視覺AI技術(shù)來解釋圖中的內(nèi)容,。

用一個簡單的例子來解釋,，就好比是給孩子看一副畫滿各種形狀的圖，讓她找到其中的大紅圓,，她會先找到圖片中體積大的圖形,，接著找出紅色的圖形,，最后選出紅色的大圓。

那么Tbd-net是怎么回答“大金屬立方體的顏色是什么”這種問題呢,？它會一邊解答問題,，一邊通過視覺視覺來渲染它的想法。

首先,，會有一個模塊將大體積的物體分辨出來,，然后第二個模塊會識別這些物體中有哪些是金屬做的，第三個模塊會尋找符合上述兩個條件的立方體,，第四個模塊會識別被選中物體的顏色,。

理解神經(jīng)網(wǎng)絡做決定的理由一直是AI科研人員面臨的挑戰(zhàn),，所謂神經(jīng)網(wǎng)絡,，就是受到人腦啟發(fā)的AI系統(tǒng)，目的是模仿人類學習的方式,。

神經(jīng)網(wǎng)絡中存在輸入層和輸出層,，但是在這兩個關鍵層之間還有將輸入信息轉(zhuǎn)化為正確輸出信息的多個層面。有些深度神經(jīng)網(wǎng)絡非常復雜,，人們基本無法理解它的想法,，因此人們稱這些無法理解的區(qū)域為黑盒子系統(tǒng)，里面的信息即使是其創(chuàng)造者也無法了解,。

林肯實驗室的科研人員開發(fā)的TbD-net網(wǎng)絡,，既讓人容易理解，也沒有犧牲性能,。在一次使用了8.5萬張訓練圖片和85萬個問題的測試中,，TbD-net的答案準確率為98.7%，勝過了其他的神經(jīng)模塊網(wǎng)絡,。使用CLEVR數(shù)據(jù)集（專門用于分析現(xiàn)代視覺推理系統(tǒng)）對這款神經(jīng)網(wǎng)絡進行測試后,，準確率曾提高到99.1%，得到這一結(jié)果的部分原因是,，科研人員可以使用網(wǎng)絡在每次測試中生成的熱圖來進一步對后續(xù)的測試精調(diào),。

此外，這款神經(jīng)網(wǎng)絡模型還能夠?qū)W習比較概括的問題,，即使只給模型提供少量關于物體的特殊性質(zhì)信息,，其也一樣可以處理。

論文的作者們認為,，這樣能夠展示推理過程的神經(jīng)網(wǎng)路對于建立用戶信任來說有很大幫助。比如,，無人駕駛汽車的神經(jīng)網(wǎng)絡區(qū)分行人和停車標志的標準,、它推理問題的過程,，都是很值得了解的課題。了解了AI的想法后,，科研人員就能夠修改神經(jīng)網(wǎng)絡的一些不正確認知,。

近年來，一些其他企業(yè),、政府機構(gòu)和獨立科研人員都曾經(jīng)試過破解所謂的AI黑盒子,，比如IBM科研人員就曾提倡為AI提供“說明書”，解釋AI模型的弱點,、偏見,、面對對手攻擊的敏感性等特征，讓用戶更好地了解AI,。

在2017年，美國國防部先進研究項目局（DARPA）推出了一項名為DARPA XAI（可解釋的人工智能）的項目,，目的是將AI的黑盒子變成透明的“玻璃盒子”模型,，可在不犧牲性能的情況下讓人更容易理解。此外,，微軟,、IBM、Facebook以及埃森哲分析公司都在開發(fā)自動化工具,，來檢測和減少AI算法偏見,。

IBM研究院AI基金會主任兼社會公益AI科學項目主任Aleksandra Mojsilovic表示：“AI系統(tǒng)有很大潛力，將會改變?nèi)藗兩詈凸ぷ鞯姆绞?，但是AI如果想取得人類的信任,，必須解決透明性的問題?！比绻軌驒z查AI的推理過程,，人們就能更好了解它做出正確的預測/錯誤的預測的原因了。