人工智能論壇如今浩如煙海,，有硬貨,、有干貨的講座卻百里挑一,。“AI未來說·青年學(xué)術(shù)論壇”系列講座由中國科學(xué)院大學(xué)主辦,，百度全力支持,，讀芯術(shù)作為合作自媒體。承辦單位為中國科學(xué)院大學(xué)學(xué)生會(huì),，協(xié)辦單位為中國科學(xué)院計(jì)算所研究生會(huì),、網(wǎng)絡(luò)中心研究生會(huì)、人工智能學(xué)院學(xué)生會(huì),、化學(xué)工程學(xué)院學(xué)生會(huì),、公共政策與管理學(xué)院學(xué)生會(huì)、微電子學(xué)院學(xué)生會(huì),?！癆I未來說·青年學(xué)術(shù)論壇”第六期“機(jī)器學(xué)習(xí)”專場已于2019年6月23日下午在中科院舉行。中科院莊福振副研究員為大家?guī)韴?bào)告《基于知識(shí)共享的機(jī)器學(xué)習(xí)算法研究及應(yīng)用》,。 莊福振,，副研究員、碩士生導(dǎo)師,，中國人工智能學(xué)會(huì)機(jī)器學(xué)習(xí)專委會(huì)委員,，中國計(jì)算機(jī)學(xué)會(huì)模式識(shí)別與人工智能專委會(huì)委員。2011年7月在中國科學(xué)院計(jì)算技術(shù)研究所獲得博士學(xué)位,，2013年9月被聘為副研究員,。主要從事機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域的相關(guān)研究工作，包括遷移學(xué)習(xí),、多任務(wù)學(xué)習(xí),、推薦系統(tǒng)等，相關(guān)研究成果已經(jīng)在本領(lǐng)域頂級(jí),、重要國際期刊和國際會(huì)議上發(fā)表錄用論文80余篇,，其中SCI(或SCI源)30篇，CCF B類以上60多篇,，獲SDM2010和CIKM2010最佳論文提名,。Google Scholar總引用1600多次，h-index 20,。申請(qǐng)專利10項(xiàng),，其中授權(quán)5項(xiàng)，另獲軟件著作權(quán)10項(xiàng),。承擔(dān)和參與多項(xiàng)國家自然科學(xué)基金項(xiàng)目以及企業(yè)橫向項(xiàng)目,，入選2015年微軟亞洲研究院青年教師“鑄星計(jì)劃”，獲得2016、2019年度百度松果計(jì)劃支持,。2013年獲得中國人工智能學(xué)會(huì)優(yōu)秀博士學(xué)位論文獎(jiǎng),，入選2017年中國科學(xué)院青年創(chuàng)新促進(jìn)會(huì)。 報(bào)告內(nèi)容：在大數(shù)據(jù)時(shí)代,，數(shù)據(jù)量呈現(xiàn)爆炸性增長,，而且數(shù)據(jù)呈現(xiàn)出多源、異構(gòu),、多模態(tài),、高維等特點(diǎn)，這給傳統(tǒng)機(jī)器學(xué)習(xí)算法帶來了非常大的挑戰(zhàn),。為了保證訓(xùn)練得到的分類模型具有高準(zhǔn)確性和可靠性,，傳統(tǒng)機(jī)器學(xué)習(xí)假設(shè)用于學(xué)習(xí)的訓(xùn)練樣本與新的測試樣本滿足獨(dú)立同分布條件，且必須有足夠可利用的訓(xùn)練樣本才能學(xué)習(xí)得到一個(gè)好的分類模型,。而在大數(shù)據(jù)環(huán)境下,，標(biāo)記足夠多的訓(xùn)練樣本不僅費(fèi)時(shí)耗力而且變得不可能，另外測試數(shù)據(jù)往往來自其他領(lǐng)域且具有不同的數(shù)據(jù)分布,，這給傳統(tǒng)機(jī)器學(xué)習(xí)算法研究帶來了巨大的挑戰(zhàn),。本次報(bào)告致力于解決機(jī)器學(xué)習(xí)算法處理數(shù)據(jù)分布不一致、標(biāo)注數(shù)據(jù)稀少的分類問題,，對(duì)基于知識(shí)共享的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法展開研究,，旨在提高目標(biāo)任務(wù)上的分類準(zhǔn)確率。報(bào)告的主要內(nèi)容包括基于知識(shí)共享的模型介紹,、團(tuán)隊(duì)在基于知識(shí)共享的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法方面所做的研究工作及其未來方向三個(gè)部分,。 基于知識(shí)共享的機(jī)器學(xué)習(xí)算法研究及應(yīng)用 莊福振副研究員首先介紹了大數(shù)據(jù)的應(yīng)用場景，并以大數(shù)據(jù)分類為例講到了數(shù)據(jù)標(biāo)注這一應(yīng)用難點(diǎn),，引出了基于知識(shí)共享的四種模型,，進(jìn)而探討了基于知識(shí)共享模型的區(qū)別與聯(lián)系。大數(shù)據(jù)的應(yīng)用非常廣泛,，如：金融服務(wù)業(yè)的欺詐檢測,、用戶畫像，能源與公共事業(yè)的智能電表分析,，智慧醫(yī)療的病例分析,，數(shù)字媒體的實(shí)時(shí)廣告定位，以及運(yùn)輸業(yè),、快遞,、通訊行業(yè)、司法執(zhí)法,、零售業(yè)等行業(yè),。在上述應(yīng)用過程中,，往往存在著數(shù)據(jù)標(biāo)注的難點(diǎn)。以大數(shù)據(jù)分類為例,，需要對(duì)大量數(shù)據(jù)進(jìn)行人工標(biāo)記，往往費(fèi)時(shí)費(fèi)力,，由此想到可以通過有標(biāo)記的訓(xùn)練樣本來共享知識(shí),，從而訓(xùn)練得到一個(gè)好的模型，即基于知識(shí)共享的模型,。 基于知識(shí)共享的模型可以分為四種基本類型：遷移學(xué)習(xí),、多任務(wù)學(xué)習(xí)、多視圖學(xué)習(xí)和模型融合,。其區(qū)別是：遷移學(xué)習(xí)就是遷移知識(shí)的過程,，旨在通過共享知識(shí)提升目標(biāo)領(lǐng)域上的性能；多任務(wù)學(xué)習(xí)旨在通過共享知識(shí)提升所有任務(wù)上的總體性能,；多視圖學(xué)習(xí)旨在充分利用數(shù)據(jù)多個(gè)視圖信息,，在有限標(biāo)記數(shù)據(jù)情況下，提升目標(biāo)數(shù)據(jù)上的性能,；模型融合是通過共享多個(gè)來自單個(gè)或多個(gè)領(lǐng)域的模型的知識(shí),，提升目標(biāo)數(shù)據(jù)上的性能。其聯(lián)系是：遷移學(xué)習(xí),、多任務(wù)學(xué)習(xí)可用于多視圖學(xué)習(xí),；且模型融合技術(shù)可以用于遷移學(xué)習(xí)、多任務(wù)學(xué)習(xí),、多視圖學(xué)習(xí),。 接著，分別對(duì)遷移學(xué)習(xí),、多任務(wù)學(xué)習(xí),、多視圖學(xué)習(xí)的實(shí)現(xiàn)過程、應(yīng)用場景以及他們團(tuán)隊(duì)所做的工作進(jìn)行了詳細(xì)介紹,。 對(duì)于遷移學(xué)習(xí),，其產(chǎn)生的原因是由于源領(lǐng)域和目標(biāo)領(lǐng)域數(shù)據(jù)的分布不一致性。傳統(tǒng)監(jiān)督機(jī)器學(xué)習(xí)的兩大假設(shè)是數(shù)據(jù)同源,、獨(dú)立同分布和有足夠多的帶標(biāo)注的訓(xùn)練樣本,，比如利用蘋果和香蕉的大量圖片數(shù)據(jù)進(jìn)行訓(xùn)練，對(duì)蘋果和香蕉的圖片進(jìn)行測試,，可能得到很高的準(zhǔn)確率,。但上述假設(shè)在實(shí)際應(yīng)用場景中通常不能得到滿足，不同領(lǐng)域數(shù)據(jù)之間通常是不同源,、分布不一致,，且人工標(biāo)記訓(xùn)練樣本費(fèi)時(shí)耗力,。因此，需要一種運(yùn)用已有的知識(shí)對(duì)不同但相關(guān)領(lǐng)域問題進(jìn)行求解的一種新的機(jī)器學(xué)習(xí)方法,，比如遷移學(xué)習(xí),，它放寬了傳統(tǒng)監(jiān)督機(jī)器學(xué)習(xí)中兩個(gè)基本假設(shè)，只需相關(guān)但不必同分布,，且不需要很多的帶標(biāo)注訓(xùn)練樣本,。 遷移學(xué)習(xí)場景無處不在，比如：異構(gòu)特征空間的遷移學(xué)習(xí),，假設(shè)只有蘋果和香蕉的文本描述信息,，如何對(duì)蘋果和香蕉圖片數(shù)據(jù)進(jìn)行分類的問題；產(chǎn)品評(píng)論信息的預(yù)測,，用與電子產(chǎn)品不用領(lǐng)域的DVD產(chǎn)品評(píng)論信息來預(yù)測電子產(chǎn)品評(píng)論信息時(shí),，準(zhǔn)確率大大降低的問題等。標(biāo)注所有領(lǐng)域樣本是不切實(shí)際的,，因此需要遷移學(xué)習(xí),。由此，莊福振副研究員引出了他們團(tuán)隊(duì)所做的三大方面的工作：基于概念學(xué)習(xí)的遷移學(xué)習(xí)算法,，對(duì)網(wǎng)頁進(jìn)行分類,；基于多模型融合的遷移學(xué)習(xí)算法，包括一致性監(jiān)督損失,、錨點(diǎn)適配器集成,、概率嵌入模型和基于局部嵌入模型；基于深度學(xué)習(xí)的遷移學(xué)習(xí)算法,，包括一致性正則化自動(dòng)編碼機(jī),、雙層（表示層+標(biāo)記層）自動(dòng)編碼機(jī)。 多任務(wù)學(xué)習(xí)是通過對(duì)多個(gè)單任務(wù)共同學(xué)習(xí),，不同的任務(wù)互相共享知識(shí),，來提高學(xué)習(xí)效果。通常多任務(wù)學(xué)習(xí)是單視圖的,，在多任務(wù)基礎(chǔ)上結(jié)合多視圖學(xué)習(xí),，則可產(chǎn)生多任務(wù)多視圖學(xué)習(xí)，更進(jìn)一步有不同類別空間的多任務(wù)多視圖學(xué)習(xí),。其學(xué)習(xí)場景有很多,，比如：網(wǎng)頁分類，多任務(wù)可代表對(duì)Yahoo網(wǎng)站的網(wǎng)頁和對(duì)DMOZ網(wǎng)站的網(wǎng)頁進(jìn)行同時(shí)分類,，多視圖有網(wǎng)頁的內(nèi)容和網(wǎng)頁之間的鏈接信息,；音樂分類，多任務(wù)可代表對(duì)中文歌曲進(jìn)行分類和對(duì)英文歌曲進(jìn)行分類,，多視圖有特定視圖中文歌曲歌詞和英文歌曲歌詞以及共同視圖音頻特征等,。然后介紹了他們團(tuán)隊(duì)所做的一些工作：多任務(wù)學(xué)習(xí)算法方面,，包括自動(dòng)編碼機(jī)+共享參數(shù)、語義學(xué)習(xí)+異構(gòu)特征空間,、基于層次結(jié)構(gòu)的知識(shí)圖譜嵌入和標(biāo)簽敏感的多任務(wù)學(xué)習(xí),；多視圖學(xué)習(xí)算法方面，包括語義多視圖學(xué)習(xí),、共享結(jié)構(gòu)多視圖學(xué)習(xí)和在線貝葉斯大間隔子空間多視圖學(xué)習(xí)等,。 在實(shí)例方面，介紹了兩個(gè)例子：一個(gè)是IJCAI 2015數(shù)據(jù)挖掘競賽任務(wù),，另一個(gè)是他們團(tuán)隊(duì)與微軟合作，利用跨領(lǐng)域推薦算法對(duì)用戶行為序列進(jìn)行預(yù)測,。 最后,，莊福振副研究員探討了基于知識(shí)共享的機(jī)器學(xué)習(xí)算法研究的未來方向，包括理論分析支持,、應(yīng)用場景,、隱私等。 |
|
|
