2016-07-20 11:07:041深度學習的起源[1]人工智能（Artificial Intelligence）就像長生不老和星際漫游一樣，是人類最美好的夢想之一,。雖然計算機技術已經取得了長足的進步,，但是到目前為止，還沒有一臺電腦能產生“自我”的意識,。計算機能夠具有人的意識起源于圖靈測試（Turing Testing）問題的產生,，由“計算機科學之父”及“人工智能之父”英國數學家阿蘭·圖靈在1950年的一篇著名論文《機器會思考嗎,？》里提出圖靈測試的設想： 把一個人和一臺計算機分別隔離在兩間屋子，然后讓屋外的一個提問者對兩者進行問答測試,。如果提問者無法判斷哪邊是人,，哪邊是機器，那就證明計算機已具備人的智能,。 但是半個世紀過去了,，人工智能的進展，遠遠沒有達到圖靈試驗的標準,。這不僅讓多年翹首以待的人們心灰意冷,，認為人工智能是忽悠，相關領域是“偽科學”,。直到深度學習（Deep Learning）的出現,，讓人們看到了一絲曙光。至少,，圖靈測試已不再是那么遙不可及了,。2013年4月，《麻省理工學院技術評論》雜志將深度學習列為2013年十大突破性技術之首,。 了解深度學習的起源,，首先讓我們先來了解一下人類的大腦是如何工作的。1981年的諾貝爾醫(yī)學獎,，分發(fā)給了David Hubel,、Torsten Wiesel和Roger Sperry。前兩位的主要貢獻是,，發(fā)現了人的視覺系統(tǒng)的信息處理是分級,。如圖1所示，從視網膜（Retina）出發(fā),，經過低級的V1區(qū)提取邊緣特征,，到V2區(qū)的基本形狀或目標的局部，再到高層V4的整個目標（如判定為一張人臉）,，以及到更高層的PFC（前額葉皮層）進行分類判斷等,。也就是說高層的特征是低層特征的組合，從低層到高層的特征表達越來越抽象和概念化,。 圖1 人的視覺處理系統(tǒng) 這個發(fā)現激發(fā)了人們對于神經系統(tǒng)的進一步思考,。大腦的工作過程，是一個對接收信號不斷迭代,、不斷抽象概念化的過程,，如圖2所示。例如，從原始信號攝入開始（瞳孔攝入像素）,，接著做初步處理（大腦皮層某些細胞發(fā)現邊緣和方向）,，然后抽象（大腦判定眼前物體的形狀，比如是橢圓形的）,，然后進一步抽象（大腦進一步判定該物體是張人臉）,，最后識別人臉。這個過程其實和我們的常識是相吻合的,，因為復雜的圖形,，往往就是由一些基本結構組合而成的。同時我們還可以看出：大腦是一個深度架構,，認知過程也是深度的,。
圖2 視覺系統(tǒng)分層處理結構 而深度學習，恰恰就是通過組合低層特征形成更加抽象的高層特征（或屬性類別）,。例如,，在計算機視覺領域，深度學習算法從原始圖像去學習得到一個低層次表達,，例如邊緣檢測器、小波濾波器等,，然后在這些低層次表達的基礎上,，通過線性或者非線性組合，來獲得一個高層次的表達,。此外,，不僅圖像存在這個規(guī)律，聲音也是類似的,。 2深度學習的發(fā)展2.1從感知機到神經網絡2.1.1 最簡單的神經網絡結構—感知機1943年,，心理學家Warren Mcculloch和數理邏輯學家Walter Pitts在合作的論文[7]中提出并給出了人工神經網絡的概念及人工神神經元的數學模型，從而開創(chuàng)了人類神經網絡研究的時代,。 1949年,，心理學家Donald Hebb在論文[8]中提出了神經心理學理論，Hebb認為神經網絡的學習過程最終是發(fā)生在神經元之間的突觸部位,，突觸的聯結強度隨著突觸前后神經元的活動而變化,，變化的量與兩個神經元的活性之和成正比。 1956年,，心理學家Frank Rosenblatt受到這種思想的啟發(fā),，認為這個簡單想法足以創(chuàng)造一個可以學習識別物體的機器，并設計了算法和硬件（如圖3所示）,。直到1957年,，Frank Rosenblatt在《New York Times》上發(fā)表文章《Electronic ‘Brain’ Teaches Itself》，首次提出了可以模型人類感知能力的機器，并稱之為感知機（Perceptron）[2],。
圖3 Frank Rosenblatt和感知機的提出 感知機是有單層計算單元的神經網絡,，由線性元件及閾值元件組成。感知機的邏輯圖如圖4所示,。 圖4 感知機模型 Frank Rosenblatt對Hebb的理論猜想提出了數學論證方法： 感知機的數學模型（ 是閾值）： 其中,，f[.]是階躍函數，并且有： 感知器的做大作用就是對輸入的樣本分類,，故它可以作為分類器,，感知器對輸入信號的分類如下（A類，B類）： 當感知器的輸出為1時,，輸入樣本為A類,；輸出為-1時，輸入樣本為B類,。由此可知感知器的分類邊界是：
在輸入樣本只有兩個分量x1和x2時,，則分類邊界條件：
即： 從坐標軸上表示如圖5所示： 圖5 感知機的二元線性分類 2.1.2感知機算法感知機的學習算法：目的在于計算出恰當的權系數（w1,w2,…,wn），使系統(tǒng)對一個特定的樣本（x1,x2,…,xn）能產生期望值d,。 感知機學習算法步驟如下： 1) 對權系數設置初值,； 2) 輸入一個樣本（x1,x2,…,xn）以及它的期望輸出d； 3) 計算實際輸出值：
4) 根據實際輸出求誤差e： e=d-Y 5) 用誤差e去修改權系數：
6) 轉到第2步,，一直執(zhí)行到一切樣本均穩(wěn)定為止,。 感知機是整個神經網絡的基礎，神經元通過激勵函數確定輸出,，神經元之間通過權值進行傳遞能量,，權重的確定根據誤差來進行調節(jié)，這個方法的前景是整個網絡是收斂的,。這個問題,，Frank Rosenblatt在1957年證明了這個結論。 有關感知機的成果,，由Frank Rosenblatt在1958年發(fā)表在文章[9]里,。1962年，他又出版了[10]一書,，向大眾深入解釋感知機的理論知識及背景假設,。此書介紹了一些重要的概念及定理證明，例如感知機收斂定理,。 2.1.3 單層感知機的局限性單層感知機僅對線性問題具有分類能力,，即僅用一條直線可分的圖形，如圖6所示,。還有邏輯“與”或邏輯“或”,，采用一條直線分割0和1，如圖7所示。
圖6 線性可分問題
（a）邏輯“與”的真值表和二維樣本圖
（b）邏輯“或”的真值表和二維樣本圖
圖7邏輯“與”和“或”的線性劃分 但是,，如果讓感知機解決非線性問題,，單層感知機就無能為力了，如圖8所示,。例如,，“異或”就是非線性運算，無法用一條直線分割開來,，如圖9所示,。 圖8 非線性不可分問題 圖9 邏輯“異或”的非線性不可分 2.1.4 多層感知機的瓶頸[3]雖然，感知機最初被認為有著良好的發(fā)展?jié)撃?，但是感知機最終被證明不能處理諸多的模式識別問題,。1969年，Marvin Minsky和Seymour Papery在[11]中,，仔細分析了以感知機為代表的單層感知機在計算能力上的局限性,，證明感知機不能解決簡單的異或（XOR）等線性不可分問題，但Rosenblatt和Minsky及Papery等人在當時已經了解到多層神經網絡能夠解決線性不可分的問題,。 既然一條直線無法解決分類問題,，當然就會有人想到用彎曲的折線來分類樣本，因此在單層感知機的輸入層和輸出層之間加入隱藏層,，就構成了多層感知機,，目的是通過凸域能夠正確分類樣本。多層感知機結構如圖10所示,。
圖10 多層感知機
對單層感知機和多層感知機的分類能力進行比較，如表1所示：
由表1可知,，隨著隱藏層的層數增多,，凸域將可以形成任意的形狀，因此可以解決任何復雜的分類問題,。雖然多層感知機缺失是非常理想的分類器,，但是問題也隨之而來：隱藏層的權值怎么訓練？對于各隱層的節(jié)點來說,，它們并不存在期望輸出,，所以也無法通過感知機的學習規(guī)則來訓練多層感知機。因此,，多層感知機的訓練也遇到了瓶頸,，人工神經網絡的發(fā)展進入了低潮期。 通過圖11可見人工神經網絡最初的發(fā)展史,。1969年Marvin Minsky和Seymour Papery在[11]一書中提出了上述的感知機的研究瓶頸,，指出理論上還不能證明將感知機模型擴展到多層網絡是有意義的。這在人工神經網絡的歷史上書寫了及其灰暗的一章。對于ANN的研究,，始于1890年開始于美國心理學家W.James對于人腦結構與功能的研究,，半個世紀后W.S.McCulloch和W.A.Pitts提出了M-P模型，之后的1958年Frank Rosenblatt在這個基礎上又提出了感知機,，此時對ANN的演技正處在升溫階段,，[11]這本書的出現（1988有所更正并更名為[12]）為這剛剛燃起的人工神經網絡之火潑了一大盆冷水。一時間人們仿佛感覺以感知機為基礎的ANN的研究突然走到盡頭,。于是,，幾乎所有為ANN提供的研究基金都枯竭了，很多領域的專家紛紛放棄了這方面課題的研究,。
圖11 ANN簡史 2.1.5神經網絡的崛起真理的果實總是垂青于能夠堅持研究的科學家,。盡管ANN的研究陷入了前所未有的低谷，但仍有為數不多的學者致力于ANN的研究,。直到1982年美國加州理工學院的物理學家John J.Hopfield博士提出的Hopfield網絡和David E.Rumelhart以及James L.McCelland研究小組發(fā)表的《并行分布處理》,。這兩個成果重新激起了人們對ANN的研究興趣，使人們對模仿腦信息處理的智能計 算機的研究重新充滿了希望,。 前者暫不討論,，后者對具有非線性連續(xù)變換函數的多層感知器的誤差反向傳播(Error Back Propagation)算法進行了詳盡的分析，實現了 Minsky 關于多層網絡的設想,。誤差反向傳播即反向傳播算法（Backpropagation algorithm,，BP）[13]。 前面我們說到,，多層感知器在如何獲取隱層的權值的問題上遇到了瓶頸,。既然我們無法直接得到隱層的權值，能否先通過輸出層得到輸出結果和期望輸出的誤差來間接調整隱層的權值呢,？BP算法就是采用這樣的思想設計出來的算法,，它的基本思想：學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。如圖12所示,。
圖12 反向傳播的基本思想
1) 正向傳播時,，輸入樣本從輸入層傳入,經各隱層逐層處理后,傳向輸出層。若輸出層的實際輸出與期望的輸出不符,則轉入誤差的反向傳播階段,。 2) 反向傳播時,，將輸出以某種形式通過隱層向輸入層逐層反傳,并將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號,此誤差信號即作為修正各單元權值的依據,。 結合了BP算法的神經網絡稱為BP神經網絡,，BP神經網路模型中采用反向傳播算法所帶來的問題是：基于局部梯度下降對權值進行調整容易出現梯度彌散（Gradient Diffusion）現象，根源在于非凸目標代價函數導致求解陷入局部最優(yōu),，而不是全局最優(yōu),。而且,，隨著網絡層數的增多，這種情況會越來越嚴重,。這一問題的產生制約了神經網絡的發(fā)展,。 2.2 神經網絡之后的又一突破—深度學習直至2006年，加拿大多倫多大學教授Geoffrey Hinton對深度學習的提出以及模型訓練方法的改進打破了BP神經網絡發(fā)展的瓶頸,。Hinton在世界頂級學術期刊《科學》上的一篇論文[1]中提出了兩個觀點：（1）多層人工神經網絡模型有很強的特征學習能力,，深度學習模型學習得到的特征數據對原始數據有更本質的代表性，這將大大便于分類和可視化問題,；（2）對于深度神經網絡很難訓練達到最優(yōu)的問題,，可以采用逐層訓練方法解決。將上層訓練好的結果作為下層訓練過程中的初始化參數,。在這一文獻中深度模型的訓練過程中逐層初始化采用無監(jiān)督學習方式,。 值得一提的是，從感知機誕生到神經網絡的發(fā)展,，再到深度學習的萌芽,，深度學習的發(fā)展并非一帆風順。直到2006年,，Geoffrey Hinton提出深度置信網（Deep Belief Net：DBN）[2],，其由一系列受限波爾茲曼機（Restricted Boltzmann Machine：RBM）[3]組成，提出非監(jiān)督貪心逐層訓練（Layerwise Pre-Training）算法,，應用效果才取得突破性進展,，其與之后Ruslan Salakhutdinov提出的深度波爾茲曼機（Deep Boltzmann Machine：DBM）[4]重新點燃了人工智能領域對于神經網絡（Neural Network）和波爾茲曼機（Boltzmann Machine）[5]的熱情，才由此掀起了深度學習的浪潮,。從目前的最新研究進展來看,，只要數據足夠大、隱藏層足夠深,，即便不加“Pre-Training”預處理,，深度學習也可以取得很好的結果，反映了大數據和深度學習相輔相成的內在聯系,。此外，雖說非監(jiān)督（如DBM方法）是深度學習的一個優(yōu)勢,，深度學習當然也可用于帶監(jiān)督的情況（也即給予了用戶手動標注的機會）,，實際上帶監(jiān)督的卷積神經網絡（Convolutional Neural Network：CNN）[6]方法目前就應用得越來越多，乃至正在超越DBM,。 深度學習是一列在信息處理階段利用非監(jiān)督特征學習和模型分析分類功能的,，具有多層分層體系結構的機器學習技術。深度學習的本質是對觀察數據進行分層特征表示,，實現將低級特征進一步抽象成高級特征表示,。 深度學習可以分為三類：（1）生成型深度結構：生成型深度結構旨在模式分析過程中描述觀察到的課件數據的高階相關屬性,，或者描述課件數據和其相關類別的聯合概率分布。由于不關心數據的標簽,，人們經常使用非監(jiān)督特征學習,。當應用生成模型結構到模式識別中時，一個重要的任務就是預訓練,。但是當訓練數據有限時,，學習較低層的網絡是困難的。因此,，一般采用先學習每一個較低層,，然后在學習較高層的方式，通過貪婪地逐層訓練,，實現從底向上分層學習,。屬于生成型深度結構的深度學習模型有：自編碼器、受限玻爾茲曼機,、深度置信網絡等,。（2）判別型深度結構：判別型深度結構的目的是通過描述可見數據的類別的后驗概率分布為模式分類提供辨別力。屬于判別型深度結構的深度學習模型主要有卷積神經網絡和深凸網絡等,。（3）混合型深度結構：混合型深度結構的目的是對數據進行判別,，是一種包含了生成和判別兩部分結構的模型。在應用生成型深度結構解決分類問題時,，因為現有的生成型結構大多數都是用于對數據的判別,，可以結合判別型模型在預訓練階段對網絡的所有權值進行優(yōu)化。例如通過深度置信網絡進行預訓練后的深度神經網絡,。 3 什么是深度學習深度學習作為機器學習算法研究中的一個新的技術,，其動機在于建立、模擬人腦進行分析學習的神經網絡,。深度學習是相對于簡單學習而言的,，目前多數分類、回歸等學習算法都屬于簡單學習或者淺層結構,，淺層結構通常只包含1層或2層的非線性特征轉換層,，典型的淺層結構有高斯混合模型(GMM)、隱馬爾科夫模型(HMM),、條件隨機域(CRF),、最大熵模型(MEM)、邏輯回歸(LR),、支持向量機(SVM)和多層感知器(MLP),。（其中，最成功的分類模型是SVM,，SVM使用一個淺層線性模式分離模型,，當不同類別的數據向量在低維空間無法劃分時,，SVM會將它們通過核函數映射到高維空間中并尋找分類最優(yōu)超平面。）淺層結構學習模型的相同點是采用一層簡單結構將原始輸入信號或特征轉換到特定問題的特征空間中,。淺層模型的局限性對復雜函數的表示能力有限,，針對復雜分類問題其泛化能力受到一定的制約，比較難解決一些更加復雜的自然信號處理問題,，例如人類語音和自然圖像等,。而深度學習可通過學習一種深層非線性網絡結構，表征輸入數據,，實現復雜函數逼近,，并展現了強大的從少數樣本集中學習數據集本質特征的能力。 深度學習可以簡單理解為傳統(tǒng)神經網絡的拓展,。如圖13所示,，深度學習與傳統(tǒng)的神經網絡之間有相同的地方，二者的相同之處在于,，深度學習采用了與神經網絡相似的分層結構：系統(tǒng)是一個包括輸入層,、隱層（可單層、可多層）,、輸出層的多層網絡,，只有相鄰層的節(jié)點之間有連接，而同一層以及跨層節(jié)點之間相互無連接,。
圖13 傳統(tǒng)的神經網絡和深度神經網絡
深度學習框架將特征和分類器結合到一個框架中,，用數據去學習特征，在使用中減少了手工設計特征的巨大工作量,?？此囊粋€別名：無監(jiān)督特征學習（Unsupervised Feature Learning），就可以顧名思義了,。無監(jiān)督（Unsupervised）學習的意思就是不需要通過人工方式進行樣本類別的標注來完成學習,。因此，深度學習是一種可以自動地學習特征的方法,。（準確地說,，深度學習首先利用無監(jiān)督學習對每一層進行逐層預訓練（Layerwise Pre-Training）去學習特征；每次單獨訓練一層,，并將訓練結果作為更高一層的輸入,；然后到最上層改用監(jiān)督學習從上到下進行微調（Fine-Tune）去學習模型。） 深度學習通過學習一種深層非線性網絡結構,，只需簡單的網絡結構即可實現復雜函數的逼近，并展現了強大的從大量無標注樣本集中學習數據集本質特征的能力,。深度學習能夠獲得可更好地表示數據的特征,，同時由于模型的層次深（通常有5層,、6層，甚至10多層的隱藏層節(jié)點）,、表達能力強,，因此有能力表示大規(guī)模數據。對于圖像,、語音這種特征不明顯（需要手工設計且很多沒有直觀的物理含義）的問題,，深度模型能夠在大規(guī)模訓練數據上取得更好的效果。相比于傳統(tǒng)的神經網絡,，深度神經網絡作出了重大的改進,，在訓練上的難度（如梯度彌散問題）可以通過“逐層預訓練”來有效降低。 值的注意的是,，深度學習不是萬能的,，像很多其他方法一樣，它需要結合特定領域的先驗知識,，需要和其他模型結合才能得到最好的結果,。此外，類似于神經網絡,，深度學習的另一局限性是可解釋性不強,，像個“黑箱子”一樣不知為什么能取得好的效果，以及不知如何有針對性地去具體改進,，而這有可能成為產品升級過程中的阻礙,。 近年來，深度學習的發(fā)展逐漸成熟,。2012年6月,，《紐約時報》披露了Google Brain項目，吸引了公眾的廣泛關注,。這個項目是由著名的斯坦福大學的機器學習教授Andrew Ng和在大規(guī)模計算機系統(tǒng)方面的世界頂尖專家Jeff Dean共同主導,，用16,000個CPU Core的并行計算平臺去訓練含有10億個節(jié)點的深度神經網絡（Deep Neural Networks，DNN）,，使其能夠自我訓練,，對2萬個不同物體的1,400萬張圖片進行辨識。在開始分析數據前,，并不需要向系統(tǒng)手工輸入任何諸如“臉,、肢體、貓的長相是什么樣子”這類特征,。Jeff Dean說：“我們在訓練的時候從來不會告訴機器：‘這是一只貓’（即無標注樣本）,。系統(tǒng)其實是自己發(fā)明或領悟了‘貓’的概念。 2014年3月,，同樣也是基于深度學習方法,，Facebook的DeepFace項目使得人臉識別技術的識別率已經達到了97.25%,，只比人類識別97.5%的正確率略低那么一點點，準確率幾乎可媲美人類,。該項目利用了9層的神經網絡來獲得臉部表征,，神經網絡處理的參數高達1.2億。 以及2016年3月人工智能圍棋比賽,，由位于英國倫敦的谷歌（Google）旗下DeepMind公司的戴維·西爾弗,、艾佳·黃和戴密斯·哈薩比斯與他們的團隊開發(fā)的AlphaGo戰(zhàn)勝了世界圍棋冠軍、職業(yè)九段選手李世石,，并以4:1的總比分獲勝,。AlphaGo的主要工作原理就是深度學習，通過兩個不同神經網絡“大腦”合作來改進下棋：第一大腦：落子選擇器 （Move Picker）和第二大腦：棋局評估器 （Position Evaluator）,。這些大腦是多層神經網絡跟那些Google圖片搜索引擎識別圖片在結構上是相似的,。它們從多層啟發(fā)式二維過濾器開始，去處理圍棋棋盤的定位,，就像圖片分類器網絡處理圖片一樣,。經過過濾，13個完全連接的神經網絡層產生對它們看到的局面判斷,。這些層能夠做分類和邏輯推理,。 4深度學習的研究現狀深度學習極大地促進了機器學習的發(fā)展，收到世界各國相關領域研究人員和高科技公司的重視,，語音,、圖像和自然語言處理是深度學習算法應用最廣泛的三個主要研究領域： 4.1深度學習在語音識別領域研究現狀長期以來，語音識別系統(tǒng)大多是采用高斯混合模型（GMM）來描述每個建模單元的概率模型,。由于這種模型估計簡單,，方便使用大規(guī)模數據對其訓練，該模型有較好的區(qū)分度訓練算法,，保證了該模型能夠很好的訓練,。在很長時間內占據了語音識別應用領域主導性地位。但是GMM實質上一種淺層學習網絡模型,，特征的狀態(tài)空間分布不能夠被充分描述,。而且，使用GMM建模數據的特征為數通常只有幾十維,，這使得特征之間的相關性不能被充分描述,。最后GMM建模實質上是一種似然概率建模方式，即使一些模式分類之間的區(qū)分性能夠通過區(qū)分度訓練模擬得到,，但是效果有限,。 從2009年開始，微軟亞洲研究院的語音識別專家們和深度學習領軍人物Hinton合作。2011年微軟公司推出基于深度神經網絡的語音識別系統(tǒng),，這一成果將語音識別領域已有的技術框架完全改變,。采用深度神經網絡后，樣本數據特征間相關性信息得以充分表示,，將連續(xù)的特征信息結合構成高維特征，通過高維特征樣本對深度神經網絡模型進行訓練,。由于深度神經網絡采用了模擬人腦神經架構,，通過逐層的進行數據特征提取，最終得到適合進行模式分類處理的理想特征,。 4.2深度學習在圖像識別領域研究現狀對于圖像的處理是深度學習算法最早嘗試應用的領域,。早在1989年，加拿大多倫多大學教授Yann LeCun就和他的同事提出了卷積神經網絡（Convolutional Neural Networks, CNN）它是一種包含卷積層的深度神經網絡模型,。通常一個卷機神經網絡架構包含兩個可以通過訓練產生的非線性卷積層,，兩個固定的子采樣層和一個全連接層，隱藏層的數量一般至少在5個以上,。CNN的架構設計是受到生物學家Hube和Wiesel的動物視覺模型啟發(fā)而發(fā)明的,，尤其是模擬動物視覺皮層的V1層和V2層中簡單細胞和復雜細胞在視覺系統(tǒng)的功能。起初卷積神經網絡在小規(guī)模的問題上取得了當時世界最好成果,。但是在很長一段時間里一直沒有取得重大突破,。主要原因是卷積神經網絡應用在大尺寸圖像上一直不能取得理想結果，比如對于像素數很大的自然圖像內容的理解,，這使得它沒有引起計算機視覺研究領域足夠的重視,。2012年10月，Hinton教授以及他的學生采用更深的卷神經網絡模型在著名的ImageNet問題上取得了世界最好結果,，使得對于圖像識別的領域研究更進一步,。 自卷積神經網絡提出以來，在圖像識別問題上并沒有取得質的提升和突破,，直到2012年Hinton構建深度神經網絡才去的驚人的成果,。這主要是因為對算法的改進，在網絡的訓練中引入了權重衰減的概念,，有效的減小權重幅度,，防止網絡過擬合。更關鍵的是計算機計算能力的提升,，GPU加速技術的發(fā)展,，使得在訓練過程中可以產生更多的訓練數據，使網絡能夠更好的擬合訓練數據,。2012年國內互聯網巨頭百度公司將相關最新技術成功應用到人臉識別和自然圖像識別問題,，并推出相應的產品。現在的深度學習網絡模型已經能夠理解和識別一般的自然圖像。深度學習模型不僅大幅提高了圖像識別的精度,，同時也避免了需要消耗大量時間進行人工特征的提取,，使得在線運行效率大大提升。 4.3深度學習在自然語言處理領域研究現狀自然語言處理問題是深度學習在除了語音和圖像處理之外的另一個重要的應用領域,。數十年以來,，自然語言處理的主流方法是基于統(tǒng)計的模型，人工神經網絡也是基于統(tǒng)計方法模型之一,，但在自然語言處理領域卻一直沒有被重視,。語言建模時最早采用神經網絡進行自然語言處理的問題。美國NEC研究院最早將深度學習引入到自然語言處理研究中,，其研究院從2008年起采用將詞匯映射到一維矢量空間和多層一維卷積結構去解決詞性標注,、分詞、命名實體識別和語義角色標注四個典型的自然語言處理問題,。他們構建了一個網絡模型用于解決四個不同問題,，都取得了相當精確的結果?？傮w而言,，深度學習在自然語言處理上取得的成果和在圖像語音識別方面相差甚遠，仍有待深入研究,。 參考文獻[1] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527-1554. [2] Mohamed A, Dahl G, Hinton G. Deep belief networks for phone recognition[C]//Nips workshop on deep learning for speech recognition and related applications. 2009, 1(9): 39. [3] Salakhutdinov R, Mnih A, Hinton G. Restricted Boltzmann machines for collaborative filtering[C]//Proceedings of the 24th international conference on Machine learning. ACM, 2007: 791-798. [4] Salakhutdinov R, Hinton G E. Deep Boltzmann Machines[C]//AISTATS. 2009, 1: 3. [5] Ackley D H, Hinton G E, Sejnowski T J. A learning algorithm for Boltzmann machines[J]. Cognitive science, 1985, 9(1): 147-169. [6] LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324. [7] McCulloch W S, Pitts W. A logical calculus of the ideas immanent in nervous activity[J]. The bulletin of mathematical biophysics, 1943, 5(4): 115-133. [8] Hebb D. 0.(1949) The organization of behavior[J]. 1968. [9] Rosenblatt F. The perceptron: a probabilistic model for information storage and organization in the brain[J]. Psychological review, 1958, 65(6): 386. [10] Orbach J. Principles of Neurodynamics. Perceptrons and the Theory of Brain Mechanisms[J]. Archives of General Psychiatry, 1962, 7(3): 218-219. [11] Minsky M, Papert S. Perceptrons[J]. 1969. [12] Minsky M L, Papert S A. Perceptrons (expanded edition) MIT Press[J]. Cam-bridge, Mass, 1988. [13] Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Cognitive modeling, 1988, 5(3): 1. 參考網頁[1] http://blog.csdn.net/tiandijun/article/details/25184947 |
|
|
