作者 | 叢 末

編輯 | 蔣寶尚

人工智能研究到最后，都會(huì)面臨一個(gè)問(wèn)題,，那就是模型是否能擴(kuò)展到其此前從未見(jiàn)過(guò)的領(lǐng)域,，即像人一樣擁有“舉一反三”的能力，而這就是遷移學(xué)習(xí)有可能實(shí)現(xiàn)的,。

——楊強(qiáng)

遷移學(xué)習(xí),，從最初一個(gè)默默無(wú)聞的人工智能分支，如今已成為AI 領(lǐng)域炙手可熱的研究領(lǐng)域,。

2019年底,，世界公認(rèn)的技術(shù)風(fēng)向標(biāo)Gartner 曲線曾將遷移學(xué)習(xí)列為新興技術(shù)之一，這也預(yù)示著遷移學(xué)習(xí)的技術(shù)已經(jīng)從學(xué)術(shù)研究正式步入了產(chǎn)業(yè)應(yīng)用階段,。

但,，站在2020年這個(gè)時(shí)間點(diǎn)，遷移學(xué)習(xí)研究/應(yīng)用的未來(lái)在哪里,？

這是一個(gè)問(wèn)題,。而最能夠回答這個(gè)問(wèn)題的，莫過(guò)于遷移學(xué)習(xí)的領(lǐng)軍人物——香港科技大學(xué)教授,、微眾銀行首席人工智能官楊強(qiáng),。

AI 科技評(píng)論就此采訪了楊強(qiáng)教授，就遷移學(xué)習(xí)“從0到1”的歷史發(fā)展,、對(duì)于整個(gè)人工智能領(lǐng)域發(fā)展的意義以及未來(lái)走向做了詳細(xì)探究,，成就此文。

1

遷移學(xué)習(xí),，核心在于以“不變”應(yīng)“萬(wàn)變”

遷移學(xué)習(xí),，放到日常語(yǔ)境中,，我們其實(shí)并不陌生，“舉一反三”,、“照貓畫(huà)虎”等成語(yǔ)都是它的近義詞,。

在機(jī)器學(xué)習(xí)中，遷移學(xué)習(xí)就是讓機(jī)器將在已知情況中學(xué)到的知識(shí)和積累的經(jīng)驗(yàn),，遷移到其他不同但相關(guān)的此前沒(méi)有遇到過(guò)的情況中解決新的問(wèn)題,。

它的核心在于，找到兩種情況之間的相似性,，即不變量,，以“不變”應(yīng)“萬(wàn)變”。

以楊強(qiáng)教授最常用的一個(gè)例子來(lái)進(jìn)一步說(shuō)明,，在中國(guó)大陸,，駕駛員的座位在左邊，靠馬路右側(cè)行駛,，而在中國(guó)香港,、英國(guó)等地區(qū)開(kāi)車(chē)時(shí)，駕駛員的座位在右邊,，靠馬路左側(cè)行駛,。快速在這兩種駕駛方式中轉(zhuǎn)變的訣竅,，在于找到不變量,，進(jìn)而把舊的知識(shí)適配到新的環(huán)境，而這里不變量便是：無(wú)論在哪個(gè)國(guó)家和地區(qū),，駕駛員都靠馬路中間開(kāi)車(chē),。

發(fā)展至今，遷移學(xué)習(xí)現(xiàn)已形成了一個(gè)系統(tǒng)性的學(xué)科,，各大流派互為表里,，并行發(fā)展。

大體上,，遷移學(xué)習(xí)的分類(lèi)可以按照特征空間和/或標(biāo)簽空間是否同構(gòu),、按目標(biāo)域有無(wú)標(biāo)簽數(shù)據(jù)以及遷移學(xué)習(xí)采用的方法進(jìn)行分類(lèi)：

• 基于特征空間和/或標(biāo)簽空間是否同構(gòu)，可將遷移學(xué)習(xí)分為同構(gòu)遷移學(xué)習(xí)和異構(gòu)遷移學(xué)習(xí),。

• 基于目標(biāo)域中是否有標(biāo)簽數(shù)據(jù),，可將遷移學(xué)習(xí)分為有監(jiān)督遷移學(xué)習(xí)、半監(jiān)督遷移學(xué)習(xí),、無(wú)監(jiān)督遷移學(xué)習(xí),。

• 基于遷移學(xué)習(xí)采用的方法，即“如何遷移”，可以將遷移學(xué)習(xí)分為：1）基于實(shí)例的算法,，其中遷移的知識(shí)對(duì)應(yīng)于源實(shí)例中的權(quán)重,；２）基于特征的算法，其中遷移的知識(shí)對(duì)應(yīng)于源域和目標(biāo)域中特征所共享的子空間,；３）基于模型的算法（基于參數(shù)的遷移學(xué)習(xí)）,，其中遷移的知識(shí)嵌入源域模型的一部分中；４）基于關(guān)系的算法,其中遷移的知識(shí)對(duì)應(yīng)于源域中實(shí)體之間特定的規(guī)則,。

2

由來(lái)已久的歷史淵源及早期發(fā)展背景

早在2005年美國(guó)國(guó)防部高級(jí)研究計(jì)劃局DARPA 正式提出“Transfer Learning”這一術(shù)語(yǔ)之前,，遷移學(xué)習(xí)這一概念便以各種不同的名稱(chēng)出現(xiàn)在人工智能領(lǐng)域的各種探索中，包括類(lèi)比學(xué)習(xí),、基于案例的推理,、知識(shí)重用和重建、終身機(jī)器學(xué)習(xí),、永無(wú)止境的學(xué)習(xí)和領(lǐng)域自適應(yīng)等等,。

在人工智能以外，包括教育學(xué),、心理學(xué),、醫(yī)學(xué)、哲學(xué)等多個(gè)學(xué)科,，都以不同的形式研究遷移學(xué)習(xí)這一概念,，其中以教育學(xué)為例，教育工作者研究有效學(xué)習(xí)和教學(xué)建模的一個(gè)重要課題便是學(xué)習(xí)的遷移（Transfer of Learning）,，即研究人如何讓學(xué)生學(xué)會(huì)“如何學(xué)習(xí)”,，并善于使用所學(xué)的知識(shí)來(lái)應(yīng)對(duì)未來(lái)未知的情況。

當(dāng)時(shí),，教育學(xué),、心理學(xué)等領(lǐng)域尚不知道有人工智能這個(gè)領(lǐng)域，而人工智能領(lǐng)域也不知道這些領(lǐng)域也在研究這個(gè)主題,，各個(gè)學(xué)科之間平行地發(fā)展著遷移學(xué)習(xí)這一概念,，直到多年以后才逐漸走到一個(gè)匯聚點(diǎn)上。楊強(qiáng)教授在九十年代就涉足的一個(gè)AI分支叫做“基于例證的推理”（case-based reasoning）, 其主旨就是通過(guò)對(duì)一個(gè)或少數(shù)案例的分析得出通用的知識(shí),，并適配到新的場(chǎng)景。這個(gè)技術(shù)在智能規(guī)劃領(lǐng)域尤為有效,，但其缺點(diǎn)是需要很多專(zhuān)家知識(shí)的輸入,。

據(jù)楊強(qiáng)教授回憶，在2000年初,，遷移學(xué)習(xí)這一研究方向被提出時(shí),，機(jī)器學(xué)習(xí)領(lǐng)域的熱門(mén)方向是核函數(shù)——因?yàn)楫?dāng)時(shí)有一個(gè)很火的概念叫做支持向量機(jī)（Support Vector Machines），大部分人工智能研究者都在做這個(gè)方向。

當(dāng)時(shí)毅然決然選擇這一研究方向的他們,，在這一研究領(lǐng)域顯得有點(diǎn)孤獨(dú),。

這種孤獨(dú)不僅體現(xiàn)在他們當(dāng)時(shí)難以找到志同道合的研究者，也體現(xiàn)在他們需要為這個(gè)領(lǐng)域從頭開(kāi)始收集數(shù)據(jù)集,。

當(dāng)時(shí)遷移學(xué)習(xí)領(lǐng)域沒(méi)有一個(gè)公認(rèn)的數(shù)據(jù)集,，楊強(qiáng)教授便帶著學(xué)生們?cè)趯W(xué)校用WI-FI 做實(shí)時(shí)定位收集數(shù)據(jù)集。Wi-Fi定位數(shù)據(jù)集為遷移學(xué)習(xí)提供了一個(gè)很好的實(shí)驗(yàn)場(chǎng)景,，因?yàn)檫@些數(shù)據(jù)會(huì)隨時(shí)間,、空間以及環(huán)境的變化發(fā)生很大的變化，比如白天收集的收據(jù),，等到晚上再訓(xùn)練這些數(shù)據(jù),，這些數(shù)據(jù)便基本用不了了。這是因?yàn)閿?shù)據(jù)在不同的時(shí)間,、空間都會(huì)引起分布的變化,。比如，當(dāng)學(xué)生下課出教室時(shí),，就會(huì)給信號(hào)造成很大的干擾,，之前訓(xùn)練出來(lái)的模型也需要遷移了才能用；又如,，在三樓收集的數(shù)據(jù),，到五樓可能也不能用了，這是因?yàn)閃i-Fi信號(hào)在空間發(fā)生了變化,。這些數(shù)據(jù)的收集非常緩慢,，所以，為了保證這些數(shù)據(jù)的有效性,，他們常常沒(méi)日沒(méi)夜地在教學(xué)樓里收集數(shù)據(jù)集,。

最后，他們還用這個(gè)數(shù)據(jù)集在數(shù)據(jù)挖掘?qū)W術(shù)會(huì)議IEEE ICDM 2007上舉辦了首個(gè)挑戰(zhàn)賽,，該數(shù)據(jù)集也因此變成了世界公認(rèn)的數(shù)據(jù)集,。

而“Transfer Learning”的中文名“遷移學(xué)習(xí)”的正式誕生，則還要將時(shí)間線拉后到2007年,。

2007年,，楊強(qiáng)教授受CCF“龍星計(jì)劃”邀請(qǐng)做了一場(chǎng)關(guān)于“遷移學(xué)習(xí)”的報(bào)告，當(dāng)時(shí)“Transfer Learning”還沒(méi)有統(tǒng)一的中文譯名,，他便在講座上讓大家進(jìn)行了一次投票,，雖然獲得最高投票的并非“遷移學(xué)習(xí)”這一名詞，但是經(jīng)過(guò)他的多方考量,，還是決定采用“遷移學(xué)習(xí)”的中文譯名,。

3

深度學(xué)習(xí)的興起,，給遷移學(xué)習(xí)帶來(lái)了“春天”

時(shí)至今日，遷移學(xué)習(xí)在楊強(qiáng)教授等人的澆灌和培育下,，已成為了一個(gè)系統(tǒng)性的學(xué)科以及人工智能領(lǐng)域炙手可熱的研究方向之一,。

而實(shí)際上，遷移學(xué)習(xí)能有如今的發(fā)展,，離不開(kāi)深度學(xué)習(xí)這“一把火”,。

一方面，深度學(xué)習(xí)興起以后,，大家意識(shí)到有必要把深度學(xué)習(xí)模型適配到新的任務(wù)和場(chǎng)景中,，尤其是在視覺(jué)領(lǐng)域，當(dāng)時(shí)加州伯克利大學(xué)有一群學(xué)者提出做視覺(jué)領(lǐng)域的遷移學(xué)習(xí),，其中國(guó)內(nèi)有一位來(lái)自清華的博士后龍明勝恰好就在伯克利訪問(wèn),，開(kāi)始結(jié)合研究深度學(xué)習(xí)和遷移學(xué)習(xí)，引起了很多研究者的追隨,。比如自然語(yǔ)言處理領(lǐng)域,，就出現(xiàn)一個(gè)遷移學(xué)習(xí)的新方向——深度遷移學(xué)習(xí)。

2009年,，自然語(yǔ)言處理領(lǐng)域的國(guó)際學(xué)術(shù)頂會(huì) ACL 請(qǐng)楊強(qiáng)教授去做了一個(gè)遷移學(xué)習(xí)的主題演講,，同一年，IJCAI也邀請(qǐng)楊強(qiáng)教授去做了遷移學(xué)習(xí)的特邀演講,。

遷移學(xué)習(xí)在各大學(xué)術(shù)會(huì)議上成為一大“重頭戲”,，也暗示著學(xué)術(shù)界各個(gè)領(lǐng)域的研究者在本領(lǐng)域把“金子”淘完以后，開(kāi)始自然地往遷移學(xué)習(xí)這一研究方向靠攏,。

另一方面,，隨著深度學(xué)習(xí)的瓶頸越來(lái)越明顯，預(yù)訓(xùn)練成為領(lǐng)域的一大研究重點(diǎn),，而預(yù)訓(xùn)練和模型的自適應(yīng)密切相關(guān),，比如2018年谷歌提出了BERT 模型——如果有足夠大的源領(lǐng)域數(shù)據(jù)，就很容易遷移到其他任意的新領(lǐng)域,，而且新的領(lǐng)域還不需要標(biāo)注那么多數(shù)據(jù),。同一年Facebook 發(fā)現(xiàn)，遷移學(xué)習(xí)在視覺(jué)領(lǐng)域也能實(shí)現(xiàn)同樣的效果,。

由此一來(lái),，工業(yè)界也逐漸發(fā)現(xiàn)遷移學(xué)習(xí)是非常有應(yīng)用前景的方向，即將技術(shù)變成一種技術(shù)的解決方案,，從而自動(dòng)延伸出一個(gè)商業(yè)模式,，比如說(shuō)一個(gè)云計(jì)算公司可以做出一個(gè)預(yù)訓(xùn)練模型，然后應(yīng)用者就可以用這個(gè)現(xiàn)成的預(yù)訓(xùn)練模型做遷移,，無(wú)論是商業(yè)模式還是收費(fèi)模式都非常清楚,。

現(xiàn)在，國(guó)內(nèi)包括阿里,、騰訊等云計(jì)算公司都在往這個(gè)方向探索,。

4

人工智能通用化，遷移學(xué)習(xí)不可或缺

隨著深度學(xué)習(xí)的發(fā)展日益進(jìn)入白熱化,，局限性也日益暴露出來(lái),，不少研究者也發(fā)出“深度學(xué)習(xí)即將步入寒冬”的質(zhì)疑，接下來(lái)人工智能該朝什么方向發(fā)展,，也成為該領(lǐng)域研究者亟待思考的問(wèn)題,。

遷移學(xué)習(xí)，便是其中一個(gè)方向,。

“人工智能研究到最后,，都會(huì)面臨一個(gè)問(wèn)題，那就是模型是否能擴(kuò)展到其此前從未見(jiàn)過(guò)的領(lǐng)域,，即像人一樣擁有‘舉一反三’的能力,，而這就是遷移學(xué)習(xí)有可能實(shí)現(xiàn)的?！?/p>

楊強(qiáng)教授提到,，這便是他和他的學(xué)生們當(dāng)初選定遷移學(xué)習(xí)并堅(jiān)信這個(gè)方向一定會(huì)成功的原因。

總而言之,，遷移學(xué)習(xí)對(duì)于機(jī)器學(xué)習(xí)技術(shù)未來(lái)的發(fā)展,，確實(shí)不可或缺，具體而言主要存在以下幾個(gè)必要性：

第一,，人類(lèi)智能的一項(xiàng)強(qiáng)大的特殊能力是能夠從小數(shù)據(jù)中學(xué)習(xí)知識(shí),，以此利用和調(diào)整已有的“模型”，從而適配到新的場(chǎng)景,，也就是所謂的遷移學(xué)習(xí)能力,。例如，孩子可以?xún)H從關(guān)于貓的很少的動(dòng)畫(huà)中學(xué)習(xí)到貓的概念,并能快速而有效地將例子歸納成知識(shí),，去認(rèn)識(shí)真實(shí)的貓,。人工智能也應(yīng)該被賦予這樣的遷移學(xué)習(xí)能力。

第二,，當(dāng)前機(jī)器學(xué)習(xí)的成功應(yīng)用依賴(lài)于大量有標(biāo)簽數(shù)據(jù)的可用性,，然而現(xiàn)實(shí)生活中往往缺少高質(zhì)量、有標(biāo)簽的數(shù)據(jù),，如何讓模型在小數(shù)據(jù)上也能起到作用,，這是機(jī)器走向真正智能的必經(jīng)之路。

第三,，真正的智能系統(tǒng)不僅能夠在某個(gè)特定領(lǐng)域起到作用,，還能夠?qū)⑵淠芰Ψ夯狡渌I(lǐng)域中,，這樣的系統(tǒng)才是可靠、可信賴(lài)的,，這就要求智能系統(tǒng)能夠擁有舉一反三,、融會(huì)貫通的能力。

第四,，隨著智能的發(fā)展,，個(gè)性化需求也會(huì)與日俱增，這就需要解決人如何把個(gè)人化的小數(shù)據(jù)加入到通用系統(tǒng)中,，以應(yīng)用到個(gè)人化的場(chǎng)景中,，實(shí)現(xiàn)智能的個(gè)性化應(yīng)用，而遷移學(xué)習(xí)將是其中一個(gè)必不可少的工具,。

作為一種新的機(jī)器學(xué)習(xí)范式,，遷移學(xué)習(xí)算法在AI 朝著可擴(kuò)展性、可靠性,、通用化發(fā)展的道路上,，將能夠承擔(dān)起非常關(guān)鍵和重要的角色，尤其是在目前面臨計(jì)算能力,、數(shù)據(jù)和硬件等資源相對(duì)匱乏的現(xiàn)實(shí)條件下,，遷移學(xué)習(xí)的作用不容忽視。

而現(xiàn)實(shí)應(yīng)用方面,，在包括但不限于計(jì)算機(jī)視覺(jué),、文本分類(lèi)、行為識(shí)別,、自然語(yǔ)言處理,、室內(nèi)定位、視頻監(jiān)控,、輿情分析,、人機(jī)交互等領(lǐng)域，遷移學(xué)習(xí)都起到了非常重要的作用,。

早在2016年,，楊強(qiáng)教授便指出，遷移學(xué)習(xí)會(huì)是深度學(xué)習(xí)后的下一個(gè)“熱點(diǎn)”,。

他的這一觀點(diǎn)也得到了吳恩達(dá)等人的響應(yīng)：在同年NIPS的一場(chǎng)Tutorial 上,，吳恩達(dá)也表達(dá)了同樣的觀點(diǎn)：遷移學(xué)習(xí)將引領(lǐng)下一波機(jī)器學(xué)習(xí)技術(shù)。

如今,，遷移學(xué)習(xí)的發(fā)展勢(shì)頭,，也正在印證著他們?cè)趲啄昵暗倪@一預(yù)測(cè)。

5

通用化和自動(dòng)化,，是遷移學(xué)習(xí)尚未解決的兩大難題

每一個(gè)研究領(lǐng)域從萌芽到成熟,，勢(shì)必都會(huì)經(jīng)歷“過(guò)關(guān)斬將”的艱苦階段,。遷移學(xué)習(xí)一路走來(lái)，自然也不例外,。

2000年前后,，當(dāng)時(shí)遷移學(xué)習(xí)是一個(gè)小眾的研究方向，基本假設(shè),、測(cè)試標(biāo)準(zhǔn)、算法設(shè)計(jì)甚至名稱(chēng)也各家各異,。這就導(dǎo)致不同的算法和系統(tǒng)無(wú)法在同一個(gè)數(shù)學(xué)框架下進(jìn)行比較,。

對(duì)此，楊強(qiáng)教授等人花了十幾年的時(shí)間建立了遷移學(xué)習(xí)的統(tǒng)一數(shù)學(xué)框架,，并且推動(dòng)形成了大多數(shù)當(dāng)前公認(rèn)的遷移學(xué)習(xí)分類(lèi)和比較測(cè)試的方法,，從而讓該領(lǐng)域的研究者有據(jù)可循，并提出大量的遷移學(xué)習(xí)算法,。

這其中,，楊強(qiáng)教授的研究團(tuán)隊(duì)包括了這部書(shū)的幾個(gè)主要作者。其中,，戴文淵（現(xiàn)為第四范式公司總裁）在訪問(wèn)香港科技大學(xué)楊強(qiáng)教授實(shí)驗(yàn)室時(shí),，就開(kāi)始了遷移學(xué)習(xí)的研究歷程，在此期間,，設(shè)計(jì)出了“基于樣本的遷移”算法TradaBoost,，并于近期在港科大完成了遷移學(xué)習(xí)研究的博士學(xué)位，是谷歌學(xué)術(shù)搜索上遷移學(xué)習(xí)領(lǐng)域的最高引作者之一,。 潘嘉林（現(xiàn)為南洋理工大學(xué)副教授）在香港科技大學(xué)為博士生時(shí)因發(fā)明了“遷移因子分析”算法而名聲在外,，同時(shí)也是遷移學(xué)習(xí)方向的高引作者。張宇（現(xiàn)為南方科技大學(xué)副教授）是多任務(wù)學(xué)習(xí)的專(zhuān)家,，他的一篇關(guān)于多任務(wù)學(xué)習(xí)的概述也得到了學(xué)術(shù)界很高的引用,。他們的遷移學(xué)習(xí)的工作，從不同角度奠定了這個(gè)研究方向的理論和算法基礎(chǔ),。

同時(shí),，楊強(qiáng)的另一位學(xué)生沈抖，現(xiàn)任百度集團(tuán)執(zhí)行副總裁并負(fù)責(zé)移動(dòng)生態(tài)事業(yè)群組,，也是遷移學(xué)習(xí)在搜索業(yè)務(wù)上的推動(dòng)者,，大力推動(dòng)了從通用搜索領(lǐng)域到特殊搜索領(lǐng)域的知識(shí)遷移，填補(bǔ)了多項(xiàng)工業(yè)工程上的空白,。

隨著遷移學(xué)習(xí)的研究工作日益增多,，一些具體的挑戰(zhàn)也日益凸顯出來(lái)。

其中一個(gè)難題便是遷移學(xué)習(xí)在數(shù)學(xué)上的一個(gè)根本問(wèn)題：如何衡量?jī)蓚€(gè)領(lǐng)域不同數(shù)據(jù)集間的距離,。而這個(gè)距離根本上是在衡量?jī)蓚€(gè)不同概率分布的距離,，而不是簡(jiǎn)單的歐式距離,。

針對(duì)這一問(wèn)題，潘嘉林和楊強(qiáng)教授的研究團(tuán)隊(duì)提出了利用核函數(shù)空間的度量來(lái)加以解決,。值得一提的是,，這一解決方法也為后來(lái)很多更為先進(jìn)的遷移學(xué)習(xí)算法提供了理論基礎(chǔ)，比如說(shuō),，深度學(xué)習(xí)根據(jù)這一思路,，可以按照兩個(gè)分布間的距離來(lái)決定在兩個(gè)神經(jīng)網(wǎng)絡(luò)間如何遷移、遷移哪部分,、遷移多少知識(shí)以及遷移的時(shí)間節(jié)奏等,。這使得遷移學(xué)習(xí)從一個(gè)試探性的學(xué)科走向科學(xué)化，系統(tǒng)化,。

另一個(gè)難題是“負(fù)遷移”問(wèn)題,，即在實(shí)時(shí)遷移學(xué)習(xí)時(shí)，實(shí)現(xiàn)的效果可能會(huì)受到源領(lǐng)域的錯(cuò)誤影響而下降,。隨著近幾年人工智能的發(fā)展,，也為該問(wèn)題的解決帶來(lái)了方向。一般來(lái)說(shuō),，當(dāng)源領(lǐng)域的數(shù)據(jù)逐漸加多的時(shí)候,，遷移學(xué)習(xí)在目標(biāo)領(lǐng)域的效果會(huì)大幅增強(qiáng)，而這一增強(qiáng)也能夠通過(guò)無(wú)監(jiān)督或自監(jiān)督學(xué)習(xí)的方法來(lái)實(shí)現(xiàn),，即不需要同時(shí)增加人工來(lái)處理數(shù)據(jù),，以此大幅減少“負(fù)遷移”問(wèn)題。

然而,，現(xiàn)在也還有一些研究者尚且無(wú)法找到突破點(diǎn)的挑戰(zhàn)和問(wèn)題,，包括現(xiàn)在還沒(méi)有一個(gè)通用的遷移學(xué)習(xí)算法能夠指導(dǎo)輸出一個(gè)自帶遷移性能的模型；還無(wú)法做到自動(dòng)化遷移學(xué)習(xí),，即每遇到一個(gè)新領(lǐng)域,，如何選擇源領(lǐng)域、遷移學(xué)習(xí)算法以及遷移策略等等,，又會(huì)成為新一輪問(wèn)題,。

針對(duì)前者，楊強(qiáng)教授表示,，這一難題的答案可能在于元學(xué)習(xí),，即在多個(gè)領(lǐng)域中學(xué)出一個(gè)通用的模型部分，使得它具有很強(qiáng)的遷移適配能力,。值得一提的是,，基于深度學(xué)習(xí)的、可遷移的元學(xué)習(xí)理論也是BENGIO（圖靈獎(jiǎng)?wù)撸┊?dāng)下最感興趣的問(wèn)題。隨著相關(guān)研究的開(kāi)展,，找到解決方案或許也只是時(shí)間的問(wèn)題了,。

而后者的探索同樣意義巨大，如果能夠開(kāi)發(fā)出一個(gè)自動(dòng)化的遷移學(xué)習(xí)算法,，將會(huì)大大減少對(duì)專(zhuān)家的依賴(lài),，對(duì)于實(shí)現(xiàn)人工智能的通用化也將有巨大的促進(jìn)作用。戴文淵所領(lǐng)導(dǎo)的第四范式公司也在AutoML這一方向上持續(xù)領(lǐng)先,，并會(huì)將其擴(kuò)展到遷移學(xué)習(xí)的領(lǐng)域,。

6

業(yè)已成熟化的遷移學(xué)習(xí)，還有哪些值得關(guān)注的研究趨勢(shì)

隨著遷移學(xué)習(xí)登上Gartner 曲線,，標(biāo)志著該研究由學(xué)術(shù)研究正式進(jìn)入了產(chǎn)業(yè)應(yīng)用,。而就遷移學(xué)習(xí)本身的學(xué)術(shù)研究而言，下一步還有哪些有前景的研究方法,，同樣也備受關(guān)注。

就楊強(qiáng)教授等人看來(lái),，未來(lái)主要有以下五大研究趨勢(shì)：

第一,，現(xiàn)在遷移學(xué)習(xí)的衡量標(biāo)準(zhǔn)還需要在全球范圍推廣起來(lái)。過(guò)去,，大家在衡量機(jī)器學(xué)習(xí)時(shí)還是簡(jiǎn)單使用準(zhǔn)確性或錯(cuò)誤率來(lái)衡量,，然而傳統(tǒng)機(jī)器學(xué)習(xí)算法的遷移能力普遍比較缺乏，所以在衡量標(biāo)準(zhǔn)上是否能以可靠性和魯棒性這樣的衡量標(biāo)準(zhǔn)來(lái)替代以前的標(biāo)準(zhǔn)呢,？針對(duì)這一點(diǎn),，世界范圍內(nèi)還達(dá)到統(tǒng)一的共識(shí)，因而是可以努力的方向,。

第二,，需要找到一個(gè)像人的大腦一樣的能夠?qū)W習(xí)和遷移的通用模型。人類(lèi)在學(xué)習(xí)一個(gè)新的技能時(shí),，往往能夠無(wú)意識(shí)地想起以往的經(jīng)驗(yàn),，看到一幅畫(huà)能聯(lián)想到一首詩(shī)，這些能力都是機(jī)器學(xué)習(xí)還不具備的,，對(duì)此,，現(xiàn)在有一個(gè)叫做終身學(xué)習(xí)的新研究領(lǐng)域，嘗試?yán)眠w移學(xué)習(xí)讓模型不斷學(xué)習(xí),、不斷優(yōu)化,，這也是一個(gè)非常好的研究方向。

第三,，如何把邏輯知識(shí)和統(tǒng)計(jì)知識(shí)完美地結(jié)合起來(lái),，也是未來(lái)值得關(guān)注的一個(gè)方向。因?yàn)槿祟?lèi)的遷移能力不僅僅依賴(lài)統(tǒng)計(jì)知識(shí)，很大程度上也依賴(lài)邏輯知識(shí),，比如說(shuō)一些定理規(guī)律是能夠反過(guò)來(lái)增強(qiáng)遷移能力的,，如果能實(shí)現(xiàn)邏輯知識(shí)和統(tǒng)計(jì)知識(shí)的有機(jī)結(jié)合，將會(huì)給遷移學(xué)習(xí)帶來(lái)很大的進(jìn)展,。

第四,，現(xiàn)在的深度學(xué)習(xí)模型的魯棒性不高，樣本稍作改變預(yù)測(cè)結(jié)果就有可能發(fā)生很大變化,。構(gòu)建于深度學(xué)習(xí)之上的遷移學(xué)習(xí)也有類(lèi)似的問(wèn)題,，因而提高遷移學(xué)習(xí)的魯棒性會(huì)是未來(lái)的一個(gè)研究方向。

第五,，隨著數(shù)據(jù)監(jiān)管力度的加大,，數(shù)據(jù)的隱私性也會(huì)是一個(gè)重要問(wèn)題，其中對(duì)于金融,、醫(yī)療等行業(yè)尤為重要,。這一點(diǎn)對(duì)遷移學(xué)習(xí)本身也有很大影響，如何在保證數(shù)據(jù)隱私性的情況下利用遷移學(xué)習(xí)來(lái)提高性能很值得關(guān)注的,。目前已經(jīng)有一些工作來(lái)研究這一問(wèn)題,，例如聯(lián)邦遷移學(xué)習(xí)，就是聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)的有效結(jié)合,，其通過(guò)在數(shù)據(jù)各方傳遞模型參數(shù)來(lái)確保數(shù)據(jù)的隱私性,。

【廣而告知】

據(jù)了解，楊強(qiáng)教授領(lǐng)銜編著的全球首本遷移學(xué)習(xí)教材《Transfer Learning》已上市,，而中文版也剛剛出版,。這無(wú)疑是遷移學(xué)習(xí)領(lǐng)域標(biāo)志性的事件。

注：封面圖片《遷移時(shí)空之優(yōu)山美地》: 出自潘軍鋒博士（Junfeng Pan）的人工智能畫(huà)作，是基于宋代畫(huà)家王希孟的唯一傳世之作《千里江山圖》,，用遷移學(xué)習(xí)的“風(fēng)格遷移”,，到美國(guó)優(yōu)山美地國(guó)家公園的照片而成。這幅畫(huà)將中國(guó)畫(huà)風(fēng)格遷移到西方名勝景點(diǎn),，寓意中國(guó)元素走向全世界,。

《遷移學(xué)習(xí)》這本書(shū)匯集了楊強(qiáng)、戴文淵,、張宇,、潘嘉林等近三十位研究者的心血，對(duì)遷移學(xué)習(xí)的基本原理,、研究流派,、方法、應(yīng)用都做了全面而深入的詮釋。

南京大學(xué)人工智能學(xué)院院長(zhǎng)周志華、創(chuàng)新工場(chǎng)董事長(zhǎng)兼CEO 李開(kāi)復(fù),、中國(guó)工程院院士高文,、加拿大院士鄧力等人工智能頂級(jí)專(zhuān)家，都紛紛為這本教材打Call——

無(wú)論對(duì)于學(xué)術(shù)界的學(xué)生及入門(mén)研究者系統(tǒng)學(xué)習(xí)、深入理解遷移學(xué)習(xí)這門(mén)學(xué)科,，還是對(duì)于工業(yè)界研究者應(yīng)用遷移學(xué)習(xí)這一工具而言,，這本教材都具有非常重要的參考價(jià)值。

圖書(shū)章節(jié)的思維導(dǎo)圖

文章最后，AI 科技評(píng)論也為大家附上以楊強(qiáng)教授位為首的近三十位研究者對(duì)《遷移學(xué)習(xí)》一書(shū)的期許：

希望通過(guò)這本書(shū)給讀者們帶來(lái)對(duì)遷移學(xué)習(xí)最新最全的介紹,，給學(xué)生們帶來(lái)對(duì)遷移學(xué)習(xí)的全方面了解,，方便他們了解、學(xué)習(xí)以及使用遷移學(xué)習(xí)技術(shù),，從而可以啟迪他們用遷移學(xué)習(xí)的方式來(lái)解決面臨的學(xué)術(shù)或?qū)嶋H問(wèn)題,。也希望本書(shū)能方便研究者們?nèi)媪私膺w移學(xué)習(xí),，以便啟迪他們更好地研究遷移學(xué)習(xí),，以及應(yīng)用遷移學(xué)習(xí)來(lái)解決更多的應(yīng)用問(wèn)題。

中國(guó)科學(xué)院計(jì)算技術(shù)研究所博士生王晉東也一直做遷移學(xué)習(xí)的探索,，他在2018年還撰寫(xiě)過(guò)一份《遷移學(xué)習(xí)簡(jiǎn)明手冊(cè)》,，深入淺出地回顧了遷移學(xué)習(xí)的發(fā)展歷史并介紹了當(dāng)時(shí)遷移學(xué)習(xí)的最新進(jìn)展，廣受關(guān)注,。本次,，他也從學(xué)生的學(xué)習(xí)和入門(mén)的角度，分享了《遷移學(xué)習(xí)》教材出版的意義：

學(xué)生在學(xué)習(xí)過(guò)程中,，最重要的是“理解”和“應(yīng)用”,。

首先是對(duì)知識(shí)的深入理解，這包括問(wèn)題定義,、研究動(dòng)機(jī),、數(shù)學(xué)形式化、模型構(gòu)建,、實(shí)驗(yàn)驗(yàn)證等基本過(guò)程,。楊強(qiáng)教授的《遷移學(xué)習(xí)》教材以嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)語(yǔ)言和深入淺出的講解模式，圍繞遷移學(xué)習(xí)的基本問(wèn)題、方法和研究方向娓娓道來(lái),，使得我們的學(xué)習(xí)過(guò)程有條不紊,、目標(biāo)明確。

然后是對(duì)知識(shí)的靈活應(yīng)用,?！哆w移學(xué)習(xí)》除了包含大量的學(xué)術(shù)研究?jī)?nèi)容之外，也從推薦系統(tǒng),、行為識(shí)別,、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等重要的AI應(yīng)用方向,，為遷移學(xué)習(xí)的實(shí)際應(yīng)用指明了方向,。

因此，從學(xué)生的角度,，如果你立志追求更深層次的學(xué)術(shù)研究,，那么《遷移學(xué)習(xí)》是你遇到問(wèn)題和挑戰(zhàn)時(shí)可以尋求幫助的對(duì)象；如果你期望能用自己所學(xué)知識(shí)來(lái)改變世界,，那么《遷移學(xué)習(xí)》則可以在應(yīng)用和落地方面,，指導(dǎo)我們?nèi)绾螒?yīng)用遷移學(xué)習(xí)技術(shù)來(lái)解決實(shí)際問(wèn)題。

參考資料：

1,、《Transfer Learning》,， Qiang Yang , Yu Zhang ， Wenyuan Dai ,， Sinno Jialin Pan ,，Cambridge University Press

2、《A Survey on Transfer Learning》,，Sinno Jialin Pan,，Qiang Yang，https://www.cse./~qyang/Docs/2009/tkde_transfer_learning.pdf

3,、《遷移學(xué)習(xí)簡(jiǎn)明手冊(cè)》,，王晉東，http:///assets/files/transfer_learning_tutorial_wjd.pdf