|
近年來,，隨著 AI 的崛起,，神經(jīng)網(wǎng)絡(luò)一詞也不斷出現(xiàn)在人們的視線中。事實(shí)上,，神經(jīng)網(wǎng)絡(luò)并不是什么新興詞匯,。
早在 70 多年前，神經(jīng)網(wǎng)絡(luò)就被 AI 前沿的工作人員用來探索人類大腦的運(yùn)作模式—— 人類大腦里有著數(shù)十億的神經(jīng)元相互連接,，形成錯綜復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)，負(fù)責(zé)處理各種感官數(shù)據(jù)，并作出相應(yīng)的應(yīng)激反應(yīng),，使我們從不斷嘗試的反饋中總結(jié)經(jīng)驗(yàn),，收獲新知。同樣,，AI 中的“神經(jīng)網(wǎng)絡(luò)”也是通過相互連接的不同層面過濾處理大量的數(shù)據(jù),，通過自我學(xué)習(xí)，做出相應(yīng)的預(yù)測或模式識別,。
由于神經(jīng)網(wǎng)絡(luò)在 AI 中的決定性地位,，以及它面臨各種棘手的問題時表現(xiàn)出的強(qiáng)大到幾乎無所不能的潛力，神經(jīng)網(wǎng)絡(luò)被推崇成“無所不能”的存在,。
其中,，最具有代表性的問題就是模式識別（pattern recognition）問題?；蛟S你沒聽說過這個專業(yè)術(shù)語,，但你一定熟悉通過模式識別衍生出許許多多功能強(qiáng)大的應(yīng)用：比如，如何讓 AI 給出地道而不是呆板的翻譯,，如何讓手機(jī)相冊自動識別并標(biāo)記照片中反復(fù)出現(xiàn)的面孔,，甚至包括讓 AI 學(xué)習(xí)下圍棋并戰(zhàn)勝世界冠軍等等，這些都離不開模式識別技術(shù)的強(qiáng)大助推,。
模式識別,，通過計算機(jī)技術(shù)自動地或半自動（人機(jī)交互）地實(shí)現(xiàn)人類的識別過程。這里,，模式是這樣定義的：為了能讓機(jī)器執(zhí)行識別任務(wù),，必須先將識別對象的有用信息輸入計算機(jī)。為此,，必須對識別對象進(jìn)行抽象,，建立其數(shù)學(xué)模型，用以描述和代替識別對象,。
而模式識別是指對表征事物或現(xiàn)象的各種形式的(數(shù)值的,、文字的和邏輯關(guān)系的)信息進(jìn)行處理和分析，以對事物或現(xiàn)象進(jìn)行描述,、辨認(rèn),、分類和解釋的過程，是信息科學(xué)和人工智能的重要組成部分,。
模式識別主要包括兩種方法：
1.數(shù)理統(tǒng)計方法,。 統(tǒng)計方法是發(fā)展較早的方法，也是應(yīng)用最廣發(fā)的一種方法,。是將被處理對象進(jìn)行數(shù)字化,，通過轉(zhuǎn)化成計算機(jī)可以分析識別的數(shù)字信息，對樣本進(jìn)行特征值的抽取，將輸入模式從對象空間映射到特征空間,。這樣一來,，模式便可用特征空間中的一個點(diǎn)或者一個特征矢量表示。
2.句法方法,。其基本思想是把一個模式描述為較簡單的子模式的組合,，子模式又可描述為更簡單的子模式的組合，最終得到一個樹形的結(jié)構(gòu)描述,，在底層的最簡單的子模式稱為模式基元,。其基本思想是把一個模式描述為較簡單的子模式的組合，子模式又可描述為更簡單的子模式的組合,，最終得到一個樹形的結(jié)構(gòu)描述,，在底層的最簡單的子模式稱為模式基元。
然而,，看似功能強(qiáng)大,、覆蓋面廣的模式識別在面對高數(shù)里復(fù)雜的數(shù)學(xué)符號時，比如微積分里的積分或常微分方程計算,，卻望而卻步,。
通過分析上述的模式識別的方法，我們可以簡單推出,，神經(jīng)網(wǎng)絡(luò)之所以在解決數(shù)學(xué)問題方面止步不前,，主要障礙來源于數(shù)學(xué)問題的本質(zhì)—— 數(shù)學(xué)需要的是精確的答案，而神經(jīng)網(wǎng)絡(luò)對信息的處理方面更擅長的是概率,。
他們往往在給定的大量數(shù)據(jù)下進(jìn)行模式識別——比如說在翻譯時,，在給定的多種的可能的翻譯結(jié)果中，辨別哪種翻譯的更接地氣,；或者在給定的不同的照片中,，標(biāo)記出人臉，對比相似度,，圈出出現(xiàn)概率高的面孔——并根據(jù)這些高概率出現(xiàn)的結(jié)果,，匯總出最有可能出現(xiàn)的模式，并將這種模式定義為新的模式,。以其高概率出現(xiàn)的可能性,，來進(jìn)行對未來事件的可能預(yù)測。
解決數(shù)學(xué)問題的新途徑——語言翻譯
當(dāng)然,，快速發(fā)展,、不斷完善的神經(jīng)網(wǎng)絡(luò)并不容許它在數(shù)學(xué)問題上存在持續(xù)的缺陷。去年年底,，兩位 Facebook 人工智能研究小組的計算機(jī)科學(xué)家——Guillaume Lample 和 Francois Charton,，成功地探索出了用神經(jīng)網(wǎng)絡(luò)解決符號數(shù)學(xué)問題的一種方法,。
這個開發(fā)出的強(qiáng)大的新程序充分利用了神經(jīng)網(wǎng)絡(luò)的一個主要優(yōu)勢：它可以完善自己的隱式規(guī)則。
斯坦福大學(xué)(Stanford University)的心理學(xué)家杰伊·麥克萊倫德(Jay McClelland)曾說,，“規(guī)則和例外之間沒有區(qū)別”,。在不斷嘗試“例外”的過程中，人們可以學(xué)習(xí)并總結(jié)出解決相似問題的通理通法,，而將這種通法視為“規(guī)則”，并運(yùn)用“規(guī)則”去解決更多的“例外”,。在不斷解決“例外”的過程中,，“規(guī)則”也會隨之完善。
而程序所構(gòu)建的神經(jīng)網(wǎng)絡(luò),，只是模擬了人們在學(xué)習(xí)數(shù)學(xué)時在“規(guī)則”和“例外”之間不斷轉(zhuǎn)化的模式,。這意味著程序在解決問題時，并不會遇到最難的積分,，而是在不斷解決常規(guī)問題時,，總結(jié)出一套“規(guī)則”，從而在面對更難的題目時派上用場,。
從理論上講,，神經(jīng)網(wǎng)絡(luò)或許可以推導(dǎo)出不同于數(shù)學(xué)家們的“規(guī)則”。這就好比那個跟自己下了三天三夜圍棋就秒殺人類圍棋高手的 AlphaGo Zero,，它的棋法完全悖于傳統(tǒng),，超乎了傳統(tǒng)的認(rèn)知。
值得一提的是,，他們的方法并不涉及數(shù)字運(yùn)算或數(shù)值近似,。相反，他們將復(fù)雜的數(shù)學(xué)運(yùn)算問題重新編排,，變成了神經(jīng)網(wǎng)絡(luò)的拿手好戲: 語言翻譯,。
傳統(tǒng)的計算機(jī)是非常善于處理數(shù)字的。計算機(jī)的代數(shù)系統(tǒng),，就是將數(shù)十種或數(shù)百種算法與預(yù)置指令生硬地捆綁在一起,，而計算機(jī)則是按部就班地按照指令進(jìn)行運(yùn)算，執(zhí)行預(yù)設(shè)好的特定操作,。一旦出現(xiàn)背離程序的操作,，計算機(jī)就只能繳械投降。但對于許多符號問題,，它們產(chǎn)生的數(shù)值解與工程和物理的實(shí)際應(yīng)用非常接近,。
而神經(jīng)網(wǎng)絡(luò)則截然不同，他們沒有固定的規(guī)則,。相反,，他們可以訓(xùn)練大規(guī)模的數(shù)據(jù)集——越大越好——并利用訓(xùn)練得到的統(tǒng)計數(shù)據(jù),，對數(shù)值解進(jìn)行很好的近似。在這個過程中,，他們學(xué)習(xí)的是什么方法,，什么模式能產(chǎn)生最完美的結(jié)果。
這在語言翻譯方面表現(xiàn)的尤為出色：在訓(xùn)練過后,，他們并不再是逐字逐句地翻譯,，而是能夠協(xié)調(diào)地翻譯文本中的短語。Facebook 的研究人員認(rèn)為神經(jīng)網(wǎng)絡(luò)這種特性是解決象征性數(shù)學(xué)問題的一個優(yōu)勢,，而并不是障礙,。它賦予了程序一種解決問題的自由，不同于傳統(tǒng)計算機(jī)的刻板,。
而這種自由對于某些開放性的問題特別有用,，比如積分問題。數(shù)學(xué)家中有句老話：“微分是門技術(shù),，而積分是門藝術(shù)”,。換句話說，求函數(shù)的導(dǎo)數(shù)只需遵循一些定義明確的步驟,；但是求積分通常需要一些別的東西，在判斷積分方法以及尋找積分項(xiàng)時,，它更需要一些接近人的直覺而不僅僅是計算的東西,。
Facebook 的研究小組認(rèn)為，這種直覺可以通過 AI 的模式識別模擬,?！胺e分是數(shù)學(xué)中最類似于模式識別的問題之一，”Charton 表示,。因此,，即使神經(jīng)網(wǎng)絡(luò)可能不知道函數(shù)是什么或變量是什么意思，它們也會根據(jù)大量數(shù)據(jù)訓(xùn)練發(fā)展出一種本能,，即神經(jīng)網(wǎng)絡(luò)也會開始感覺怎么樣計算可以得到答案,。
為了讓神經(jīng)網(wǎng)絡(luò)像數(shù)學(xué)家一樣處理數(shù)學(xué)符號，Charton 和 Lample 首先將數(shù)學(xué)表達(dá)式翻譯成更有用的形式,。通過“翻譯”,， 他們將復(fù)雜的數(shù)學(xué)表達(dá)式最終翻譯成神經(jīng)網(wǎng)絡(luò)可以識別的有效的簡化形式——樹狀圖，來總括表達(dá)式里的運(yùn)算符號和數(shù)字,。
其中,，運(yùn)算符號例如加減乘除成為了樹狀圖的枝，而表達(dá)式里的參數(shù)(變量和數(shù)字) 則變成了葉子,。通過轉(zhuǎn)化成樹狀圖,， 這能讓復(fù)雜的數(shù)學(xué)表達(dá)式轉(zhuǎn)化成樹狀圖層層嵌套的簡單運(yùn)算中,，從而可以讓神經(jīng)網(wǎng)絡(luò)識別和運(yùn)算想應(yīng)的簡化式子，并得到最終的精確結(jié)果,。
Lample 表示,，這個過程與人們解決積分問題，甚至是所有數(shù)學(xué)問題的過程大體類似,。都是通過在復(fù)雜數(shù)學(xué)表達(dá)式中,，根據(jù)經(jīng)驗(yàn)將他們簡化為神經(jīng)網(wǎng)絡(luò)以前解決過的子問題。
在構(gòu)建好這個結(jié)構(gòu)以后,，研究人員使用一組初等函數(shù)生成了幾個訓(xùn)練數(shù)據(jù)集,，總計約 2 億(樹形)方程和解。然后他們將訓(xùn)練數(shù)據(jù)給神經(jīng)網(wǎng)絡(luò),，讓神經(jīng)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)集中對這樣樹狀圖的方程解法有一個初步的認(rèn)知。
訓(xùn)練結(jié)束后,，該看看神經(jīng)網(wǎng)絡(luò)現(xiàn)在可以做什么了,。
計算機(jī)科學(xué)家給了它一個包含 5000 個方程的測試集，這個測試數(shù)據(jù)是沒有答案的,。令人驚訝的是,，神經(jīng)網(wǎng)絡(luò)成功地通過了測試：它成功地為絕大多數(shù)問題找到了正確的解決方案，并且方程解具有很高的精度,。它尤其擅長于積分,，解決了幾乎 100% 的測試問題。但是,，在解決常微分方程時,，神經(jīng)網(wǎng)絡(luò)表現(xiàn)欠佳。
對于幾乎所有的問題,，實(shí)驗(yàn)構(gòu)造的程序都可以在不到1秒的時間內(nèi)生成正確的解決方案,。尤其是在積分問題上，它在速度和精度上都優(yōu)于目前流行的軟件 Mathematica 和 Matlab 中的一些內(nèi)置包,。Facebook 團(tuán)隊(duì)報告說,，就連證兩個軟件無法解決的一些數(shù)學(xué)問題，神經(jīng)網(wǎng)絡(luò)都可以給出答案,。
當(dāng)然,，這也只是一個對未來的展望而已。但毋庸置疑,，這個團(tuán)隊(duì)回答了一個存在了幾十年的問題——人工智能能做符號數(shù)學(xué)嗎? 而答案是肯定的,。他們在 AI 探索符號數(shù)學(xué)的道路上邁出了顯著的一步。麥克萊倫德說:“他們確實(shí)成功地構(gòu)建了神經(jīng)網(wǎng)絡(luò),，并且可以解決超出機(jī)器系統(tǒng)規(guī)則范圍的問題,?！?/span>
新型模式初探的局限性和展望
盡管得出了這些結(jié)果，Mathematica 開發(fā)公司 Wolfram 的負(fù)責(zé)人,，數(shù)學(xué)家羅杰·格蒙森(Roger Germundsson)還是提出了異議,，他表示，實(shí)驗(yàn)中只是拿了 Mathematica 的部分功能和神經(jīng)網(wǎng)絡(luò)作了簡單粗暴的比較,。這種比較局限于 Mathematica 特定的指令,，比如“integrate”指令被用于求取積分，“DSolve”指令被用于解決微分方程——但事實(shí)上,，Mathematica 用戶還可以使用其他上百種的方法和指令去解決一個較為復(fù)雜的方程,。
Germundsson 還注意到，盡管實(shí)驗(yàn)中所給的訓(xùn)練數(shù)據(jù)集非常龐大,，但是所包含的方程都只有一個單一的變量,，并且只是設(shè)計初等函數(shù)的運(yùn)算?！斑@種方程在可能涉及到的方程運(yùn)算中只能占到極小的部分,，”他說。這個神經(jīng)網(wǎng)絡(luò)沒有測試物理和金融中經(jīng)常使用的更復(fù)雜的函數(shù),，比如誤差函數(shù)或貝塞爾函數(shù),。(對此，F(xiàn)acebook 團(tuán)隊(duì)表示,，在之后的測試中,，可能只需要在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，給訓(xùn)練集做幾次非常簡單的修改,。)
加州大學(xué)圣巴巴拉分校(University of California, Santa Barbara)的數(shù)學(xué)家弗雷德里克·吉布(Frederic Gibou)研究過用神經(jīng)網(wǎng)絡(luò)求解偏微分方程的方法,，他并不認(rèn)為 Facebook 小組的神經(jīng)網(wǎng)絡(luò)是絕對可靠的。“研究人員需要有信心,，如果神經(jīng)網(wǎng)絡(luò)可靠,，它就可以解決任何形式的方程?！?/strong>
也有其他批評者指出,，Facebook 小組的神經(jīng)網(wǎng)絡(luò)并沒有真正理解數(shù)學(xué)，這更像是一種特別的猜想,，而非實(shí)際的解決方法,。
盡管如此，反對者還是承認(rèn)新方法是有用的,。Germundsson 和 Gibou 相信神經(jīng)網(wǎng)絡(luò)將在下一代符號數(shù)學(xué)求解工具中占有一席之地——但它也可能只是一席之地而已,。“我認(rèn)為它將只是眾多工具中的一個,，”Germundsson 表示,。
另一個尚未解決的問題是：沒有人真正了解它們是如何工作的,，這也是神經(jīng)網(wǎng)絡(luò)發(fā)展最令人不安的一方面。
在模式識別中,，我們只需要將訓(xùn)練數(shù)據(jù)集在一段輸入,，相應(yīng)的預(yù)測數(shù)據(jù)集就會在另一端輸出，但是并沒有人知道這中間發(fā)生了什么,，讓神經(jīng)網(wǎng)絡(luò)成為了一個完美的學(xué)習(xí)者,。它理解輸入的公式和算法嗎？還是只是按部就班的按照指令處理數(shù)字,？
對此,，Charton 表示：“我們知道數(shù)學(xué)是如何工作的，通過使用特定的數(shù)學(xué)問題作為測試,，看看神經(jīng)網(wǎng)絡(luò)在哪里成功,，在哪里失敗，我們就可以了解神經(jīng)網(wǎng)絡(luò)是如何工作的,?！?br>
他和 Lample 計劃將數(shù)學(xué)表達(dá)式輸入到他們的神經(jīng)網(wǎng)絡(luò)中，并跟蹤程序?qū)Ρ磉_(dá)式中的微小變化的響應(yīng)方式,。映射輸入中的變化如何觸發(fā)輸出中的變化，可能有助于揭示神經(jīng)網(wǎng)絡(luò)的操作方式,。
Zaremba 認(rèn)為這是在測試和確定神經(jīng)網(wǎng)絡(luò)是否具有理性,，以及是否真正理解它們所回答的問題上的積極探索?！皵?shù)學(xué)問題中很容易變換參數(shù)或者其它部分——我們可以通過觀察神經(jīng)網(wǎng)絡(luò)在面對改動后的方程后作出的反應(yīng)來窺測它的運(yùn)行方式,。我們可能會真正了解其中的原因，而不僅僅只是方程的解,?！?br>
神經(jīng)網(wǎng)絡(luò)探索的另一個可能的方向，是自動定理生成器的開發(fā),。數(shù)學(xué)家們正越來越多地研究使用人工智能來生成新的定理和證明的方法,，盡管“這種技術(shù)還沒有取得很大進(jìn)展，”Lample 說,，“這是我們正在研究的東西,。”
Charton 描述了他們的方法至少有兩種方法可以推動人工智能定理的發(fā)現(xiàn),。首先,，它可以作為一種數(shù)學(xué)家的助手，通過識別已知猜想的模式來幫助解決存在的問題,；其次,，這臺機(jī)器可能會生成一個列表,，列出數(shù)學(xué)家們漏掉的可能可證明的結(jié)果?！拔覀兿嘈?，如果你能做集成，你就應(yīng)該能做證明,?！彼f。
參考資料：
Ornes, S. (n.d.). Symbolic Mathematics Finally Yields to Neural Networks. Quanta Magazine. Retrieved May 27, 2020, from https://www./symbolic-mathematics-finally-yields-to-neural-networks-20200520/
模式識別. (n.d.). 邊肇祺,、張學(xué)工編著. 模式識別(第二版). 清華大學(xué)出版社, 2004. Retrieved May 27, 2020, from http://www./ai/pr.html 
|
