|
大數(shù)據(jù)文摘作品 編譯：馮琛、Aileen 在剛過去的ICLR會議中,，谷歌人工智能研究員Ali Rahimi批評了整個機(jī)器學(xué)習(xí)行業(yè)對經(jīng)驗(yàn)法則,、試錯法和迷信的過分依賴。 去年12月,，谷歌公司的人工智能（AI）研究員Ali Rahimi在NIPS大會的演講中批判了自己的研究領(lǐng)域,，他說,，計(jì)算機(jī)通過嘗試和錯誤進(jìn)行學(xué)習(xí)的機(jī)器學(xué)習(xí)算法已經(jīng)成為“煉金術(shù)”的一種。 研究人員其實(shí)并不知道為什么某些算法行之有效,，而其他算法徒勞無益,，他們也沒有嚴(yán)格的標(biāo)準(zhǔn)來界定AI架構(gòu)的選擇。因此,，他獲得了現(xiàn)場觀眾長達(dá)40秒的歡呼。 4月30日,，Rahimi在加拿大溫哥華召開的國際學(xué)習(xí)表征會議（ICLR）上再次強(qiáng)調(diào)了他的觀點(diǎn),。在他和同事發(fā)表了名為《贏家詛咒？關(guān)于速度,、進(jìn)步與經(jīng)驗(yàn)主義）Winner's Curse? On Pace, Progress, and Empirical Rigor》的論文中,，他們記錄了“機(jī)器學(xué)習(xí)煉金術(shù)化”的相關(guān)案例，并提供了加強(qiáng)AI嚴(yán)謹(jǐn)性問題的解決方案,。 這篇論文被選進(jìn)今年ICLR的workshop 公眾號后臺對話框內(nèi)回復(fù)“煉金術(shù)”即可下載這篇論文~ Rahimi說：“人工智能領(lǐng)域存在一種‘痛苦’,。我們中有很多人都感覺自己使用的是外星技術(shù)?！?/strong> 現(xiàn)代科學(xué)中,，煉金術(shù)常被用來比喻缺乏科學(xué)嚴(yán)謹(jǐn)性，沒有明確理論基礎(chǔ)支持,，知其然而不知其所以然的研究工作,。
“煉金術(shù)問題”和“AI的可重復(fù)性問題”不同：可重復(fù)性問題是指研究人員因?yàn)閷?shí)驗(yàn)的不連續(xù)性和研究過程公開實(shí)踐不一致性,，導(dǎo)致無法重復(fù)彼此的研究結(jié)果。 “煉金術(shù)問題”和機(jī)器學(xué)習(xí)中的“黑箱問題”及“可解釋性”問題也有區(qū)別：后者是指,，難以解釋特定的AI如何得到其結(jié)論,。 就像Rahimi所指出的，是“某個機(jī)器學(xué)習(xí)系統(tǒng)是一個黑箱”和“整個領(lǐng)域都變成了黑箱”的區(qū)別,。 如果沒有深入理解構(gòu)建和訓(xùn)練新算法所需的基本工具,，創(chuàng)造AI的研究人員就會像中世紀(jì)的煉金術(shù)士那樣訴諸傳聞。Fran?ois Chollet是一位來自加州山景城的谷歌計(jì)算機(jī)科學(xué)家,，他補(bǔ)充道：“人們崇拜草包族科學(xué),，依靠民間傳說和魔法,。”（文摘菌：有關(guān)草包族科學(xué),，可以看看《別鬧了,！費(fèi)曼先生》） 例如，采用一些小算法來調(diào)整他們的AI的“學(xué)習(xí)率“——算法在每次錯誤后可以自行糾正——而不理解為什么一個結(jié)果比其他的好,。在其他情況下,，AI研究人員對算法的訓(xùn)練更像只是在黑暗中蹣跚而行。 例如,，實(shí)現(xiàn)了所謂的“隨機(jī)梯度下降”,，以優(yōu)化算法的參數(shù)以盡可能降低故障率。然而,，目前盡管有成千上萬的學(xué)術(shù)論文和數(shù)不清的方法應(yīng)用,，整個研究過程還是依賴于嘗試和錯誤。 梯度下降依靠嘗試和錯誤來優(yōu)化算法,，圖為在3D景觀中尋找最小值,。 Rahimi的論文強(qiáng)調(diào)了那些可能出現(xiàn)的精力浪費(fèi)和次優(yōu)表現(xiàn)。例如,，論文指出,，當(dāng)其他研究人員對一個最先進(jìn)的語言翻譯算法進(jìn)行大量訓(xùn)練后，簡化后的算法其實(shí)更好,，它能更高效地將英語翻譯成德語或法語,，這表明算法的原來創(chuàng)作者并不了解那些可以被簡化掉的額外部分到底有什么用。 不過,，在倫敦的推特機(jī)器學(xué)習(xí)研究人員Ferenc Huszár說,，有時(shí)候算法里花里胡哨的東西才是唯一好的部分。在某些情況下,，一個算法的核心在技術(shù)上存在缺陷,，這意味著，這算法能有還不錯的結(jié)果完全歸功于其他應(yīng)用在表面上的技巧,。 Rahimi提供了一些關(guān)于了解哪種算法效果最好以及什么時(shí)候效果最好的建議,。他認(rèn)為，對于初學(xué)者來說,，研究人員應(yīng)該像研究翻譯算法一樣進(jìn)行“排除法研究”：每次刪除一部分算法,，以查看每個部分的功能。 他呼吁進(jìn)行“切片分析”,，其中詳細(xì)分析了算法的性能,，以了解某些部分的改進(jìn)可能會在其他地方付出代價(jià)。 “研究人員應(yīng)該用許多不同的條件和設(shè)置來測試他們的算法，并且應(yīng)該匯報(bào)算法在所有情況下的表現(xiàn),?！?/span> 加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)家Ben Recht是Rahimi的煉金術(shù)主題演講的合著者，他認(rèn)為人工智能需要借鑒物理學(xué),，在物理學(xué)領(lǐng)域,，研究人員經(jīng)常將問題縮小到一個更小的“玩具問題”。“物理學(xué)家擅長以簡單的實(shí)驗(yàn)設(shè)計(jì)從根源上詮釋現(xiàn)象,?！?/span> 一些人工智能研究人員已經(jīng)開始采用這種方法，為了更好地理解算法的內(nèi)部機(jī)制,，在處理大量彩色照片之前,，先在小的黑白手寫字符上測試圖像識別算法。 倫敦DeepMind的計(jì)算機(jī)科學(xué)家CsabaSzepesvári認(rèn)為,，機(jī)器學(xué)習(xí)領(lǐng)域也需要淡化對競爭性測試的重視。目前,，如果一篇論文中報(bào)告的算法優(yōu)于某些基準(zhǔn),，那這篇論文會比其他深度揭示軟件內(nèi)部運(yùn)行原理的論文更容易發(fā)表。 這就是花式翻譯算法如何通過同行評審的原因,。他還表示,，“科學(xué)的目的是產(chǎn)生知識，科學(xué)家應(yīng)該制造一些其他人可以采用和作為他人研究基石的東西,?！?/span> 當(dāng)然，并非每個人都同意這種批判,。 Facebook的首席人工智能科學(xué)家Yann LeCun擔(dān)心將過多的精力從前沿技術(shù)轉(zhuǎn)移到核心理解上,，可能會減緩創(chuàng)新速度并阻礙人工智能的實(shí)際應(yīng)用。他表示,，“這不是煉金術(shù),，而是工程學(xué)，工程學(xué)本就很混亂,?！?/span> Yann LeCun回應(yīng)說，在科學(xué)技術(shù)史上,，工程學(xué)上的進(jìn)步幾乎總是先于理論認(rèn)識：望遠(yuǎn)鏡誕生先于光學(xué)理論,，蒸汽機(jī)先于熱力學(xué)，飛機(jī)先于空氣動力學(xué),，無線電和數(shù)據(jù)通信先于信息論,，計(jì)算機(jī)先于計(jì)算機(jī)科學(xué)。 Ali Rahimi也回應(yīng)了Yann LeCun對他的批評,，感興趣的話可以看看Reddit上關(guān)于煉金術(shù)問題的爭論（鏈接內(nèi)含Ali Rahimi在2017 NIPS上的演講視頻）： https://www./r/MachineLearning/comments/7hys85/n_ali_rahimis_talk_at_nipsnips_2017_testoftime/ Recht卻認(rèn)為在研究中“有條不紊”和“冒險(xiǎn)精神”的可以達(dá)到平衡：“我們兩個都需要,。我們需要了解哪些地方出現(xiàn)了失敗,，以便我們能夠建立可靠的系統(tǒng)，并且我們必須推進(jìn)前沿工作,，以便我們可以做出更厲害的系統(tǒng),。” |
|
|
