本文由科技導(dǎo)報(bào)（STReview）授權(quán)轉(zhuǎn)載

作者：劉勇,，廖依伊，浙江大學(xué)智能系統(tǒng)與控制研究所

        2015年12月,，來自紐約大學(xué),、多倫多大學(xué)以及麻省理工學(xué)院的3位學(xué)者在《Science》上發(fā)表《Human- level concept learning through probabilistic programinduction》的封面文章（圖1），引起了機(jī)器學(xué)習(xí)領(lǐng)域的廣泛關(guān)注,。該文構(gòu)造了一個基于貝葉斯理論的概率模型,，在累積足夠先驗(yàn)知識的基礎(chǔ)上，可以識別只見過一次的字符,，也可以依照該字符結(jié)構(gòu)寫出新的字符,，充分體現(xiàn)了其類人概念學(xué)習(xí)的思路。具體來講,，文章主要有以下兩個亮點(diǎn)：1）在oneshot learning 分類實(shí)驗(yàn)中（即各類別只給定一個訓(xùn)練樣本并要求分類測試樣本）,，該方法達(dá)到了人類認(rèn)知水平并且超越了近年來在機(jī)器學(xué)習(xí)各個問題中引領(lǐng)鰲頭的深度學(xué)習(xí)算法；2）基于該方法采樣生成的字符并通過了圖靈測試,，僅有25%的人可以成功分辨給定字符是由計(jì)算機(jī)生成還是由人類手寫得到,。圖2給出了兩組圖靈測試的示例,，1和2所示的分別是人類和計(jì)算機(jī)仿照示例字符寫出的,，能分辨出哪組是計(jì)算機(jī)寫的么,？

圖1  當(dāng)期《Science》封面

圖2  圖靈測試示例，左側(cè)第1 組為計(jì)算機(jī)生成,，右側(cè)第2 組為計(jì)算機(jī)生成,，其余為人類書寫（圖片來源：《Science》）

        該文提出的方法稱為貝葉斯程序?qū)W習(xí)（bayesian program learning），其目的是基于先驗(yàn)知識實(shí)現(xiàn)極少量樣本下的感知學(xué)習(xí),，文章的出發(fā)點(diǎn)是模仿人類的環(huán)境感知能力,，構(gòu)造類人概念學(xué)習(xí)模型。例如對于圖3的A和B,，人類均可以在只給定一個樣本的情況下找出同類樣本（i）,；其次,，人們可以創(chuàng)造出相近物體（ii），也可以感知物體的結(jié)構(gòu)與關(guān)系（iii）,；最后,，人類還可以根據(jù)已有知識創(chuàng)造出新的類別（iv）。為使計(jì)算機(jī)實(shí)現(xiàn)類似感知性能,，作者基于貝葉斯概率模型,，在圖3中B所示的手寫字符集上實(shí)現(xiàn)了具有以下3個特性的Bayesian Program Learning方法：

        1）組合性（compositionality），將任務(wù)進(jìn)行拆分,，從筆畫,、邏輯關(guān)系等學(xué)習(xí)字符的構(gòu)造。

        2）因果性（causality）,，學(xué)習(xí)字符生成時的抽象因果結(jié)構(gòu)。

        3）自主學(xué)習(xí)（learns to learn）,，利用層次化先驗(yàn)知識降低新學(xué)習(xí)任務(wù)難度,。

圖3  人類可從少量樣本中獲取大量知識（圖片來源：《Science》）

        《Human- level concept learning through probabilistic programinduction》一文的發(fā)表引發(fā)了業(yè)界對于深度學(xué)習(xí)算法與非深度學(xué)習(xí)算法之間優(yōu)劣對比的新一輪討論。深度學(xué)習(xí)奠基人之一——Geoffrey Hinton 在接受《麻省理工學(xué)院科技評論》采訪時指出,，該文的工作是令人印象深刻的,，他認(rèn)為該文中從少量樣本進(jìn)行學(xué)習(xí)的思路可與深度學(xué)習(xí)和睦相處，并期望可以對兩者的優(yōu)點(diǎn)進(jìn)行結(jié)合,。該文作者與Hinton的觀點(diǎn)一致,，認(rèn)為通過分析任務(wù)特性，可結(jié)合深度學(xué)習(xí)與此文提供的貝葉斯方法實(shí)現(xiàn)更高效率且高精度的感知學(xué)習(xí),。

        機(jī)器學(xué)習(xí)的任務(wù)可看作是對于高階復(fù)雜函數(shù)的擬合過程,，并且這個高階復(fù)雜函數(shù)往往沒有對應(yīng)解析形式，而函數(shù)擬合過程中有兩個因素會對其產(chǎn)生重要影響：一是待擬合函數(shù)本身在高維空間中分布的平滑性,，二是觀測樣本的數(shù)量,。

        對于分類問題而言，函數(shù)的平滑性實(shí)際上反應(yīng)了同類樣本之間的方差,，方差越小的情況下則分布更平滑,。對于《Human-level concept learning through probabilistic program induction》一文中給出的手寫字符，本文認(rèn)為這是一個數(shù)據(jù)分布平滑但觀測樣本少的例子,，因?yàn)橥悩颖局g筆畫是相同的,，只是在書寫時會有一定差異，因此,，文章可通過貝葉斯網(wǎng)絡(luò)表征先驗(yàn)的結(jié)構(gòu)化知識,，建模方差較小的數(shù)據(jù)之間的內(nèi)聯(lián)關(guān)系，從而實(shí)現(xiàn)極少樣本下的函數(shù)擬合,。

        然而,，在函數(shù)不平滑時,，建模人類的先驗(yàn)知識可能需要耗費(fèi)巨大精力且?guī)缀蹼y以覆蓋全部樣本空間，而深度學(xué)習(xí)的優(yōu)勢就是在觀測樣本數(shù)量足夠多時可以很好地逼近目標(biāo)函數(shù),。最近以4∶1 戰(zhàn)勝李世乭并獲得舉世矚目的AlphaGo 就是對深度學(xué)習(xí)這一能力的最佳體現(xiàn),，由于圍棋中一顆棋子的位置也許也會造成輸贏的變化，所以圍棋的盤面在高維空間中并非平滑分布,，可見深度學(xué)習(xí)有能力通過大量樣本擬合非平滑的函數(shù),。對于許多圖像、視頻等從真實(shí)世界中獲取的觀測數(shù)據(jù)來說,，其光滑性也難以保證,，所以深度學(xué)習(xí)目前也在這些領(lǐng)域占據(jù)著最優(yōu)的表現(xiàn)。

        結(jié)合以上的分析,，也有理由相信平衡考慮樣本的平滑性及其觀測數(shù)量是結(jié)合貝葉斯程序?qū)W習(xí)與深度學(xué)習(xí)方法優(yōu)勢的關(guān)鍵,。以圖3為例，B中給出的手寫字符一例中,，字符的各個子成分可以直接通過樣條插值獲得,，然而A中真實(shí)世界圖像的成分則無法基于這些人工參數(shù)得到。因此,，也許可以采用深度學(xué)習(xí)方法對A中各個零件進(jìn)行特征表示,，然后在其基礎(chǔ)上基于文中的方法實(shí)現(xiàn)特征之間的組合。由于零件的差異性遠(yuǎn)小于其組建的物體整體的差異性,，因此可以在利用人類的先驗(yàn)知識的建模部分平滑性結(jié)構(gòu)的基礎(chǔ)上降低對于觀測數(shù)量的要求,。

        機(jī)器學(xué)習(xí)的難點(diǎn)在于使用盡可能少的標(biāo)注數(shù)據(jù)擬合復(fù)雜度高的不平滑函數(shù)?！?/span>Human-level concept learning through probabilistic program induction》一文通過在函數(shù)平滑性較好的示例展示了一個基于先驗(yàn)知識和少量樣本進(jìn)行學(xué)習(xí)和認(rèn)知啟發(fā)性思路,，期待后續(xù)這一思路可以進(jìn)一步被擴(kuò)展到更復(fù)雜的問題中。同時預(yù)測未來研究的主流可能包含以下幾個方向：

        1）先驗(yàn)知識與深度學(xué)習(xí)相結(jié)合,。將先驗(yàn)知識建模在深度學(xué)習(xí)中,，基于先驗(yàn)知識獲取部分?jǐn)?shù)據(jù)內(nèi)聯(lián)關(guān)系，從而減小深度學(xué)習(xí)所要求的訓(xùn)練樣本數(shù)量,。

        2）標(biāo)注數(shù)據(jù)與非標(biāo)注數(shù)據(jù)相結(jié)合,。當(dāng)先驗(yàn)知識難以建模的時候，基于大量觀測數(shù)據(jù)的學(xué)習(xí)方法依然占據(jù)著目前學(xué)習(xí)的主流,，而數(shù)據(jù)獲取的昂貴性主要體現(xiàn)在其標(biāo)注的獲取,，非標(biāo)注數(shù)據(jù)的獲取是廉價(jià)且方便的，若能借助非標(biāo)注數(shù)據(jù)實(shí)現(xiàn)對于高維復(fù)雜函數(shù)的部分?jǐn)M合,，則可緩解深度學(xué)習(xí)對于標(biāo)注數(shù)據(jù)數(shù)量的要求,。

        3）感知任務(wù)與操作任務(wù)相結(jié)合。人類的感知工作的一個目的是為操作任務(wù)而服務(wù)，而人類在執(zhí)行操作任務(wù)的時候有時只需要對環(huán)境有大概認(rèn)知即可,。以視覺感知為例,，感知任務(wù)樣本之間差異性巨大，因此需要大量標(biāo)注樣本,，相比而言,，操作任務(wù)真值的復(fù)雜度則小許多，例如不管在什么環(huán)境中,，人類的行走方式是大致不變的,。若能直接從輸入出發(fā)，在獲得一定程度的感知技能的基礎(chǔ)上直接擬合操作任務(wù)的函數(shù),，則有可能降低對于感知任務(wù)數(shù)據(jù)的需求,。

（責(zé)任編輯  劉志遠(yuǎn)）