遠(yuǎn)在古希臘時(shí)期，發(fā)明家就夢(mèng)想著創(chuàng)造能自主思考的機(jī)器,。神話人物皮格馬利翁(Pygmalion),、代達(dá)羅斯(Daedalus)和赫淮斯托斯(Hephaestus)可以被看作傳說(shuō)中的發(fā)明家，而加拉蒂亞(Galatea),、塔洛斯(Talos)和潘多拉(Pandora)則可以被視為人...… 繼續(xù)閱讀

線性代數(shù)作為數(shù)學(xué)的一個(gè)分支,，廣泛用于科學(xué)和工程中。然而,，因?yàn)榫€性代數(shù)主要是面向連續(xù)數(shù)學(xué),，而非離散數(shù)學(xué)，所以很多計(jì)算機(jī)科學(xué)家很少接觸它,。掌握好線性代數(shù)對(duì)于理解和從事機(jī)器學(xué)習(xí)算法相關(guān)工作是很有必要的,，尤其對(duì)于深度學(xué)習(xí)算法而言。因此,，在我們開(kāi)始介紹深度學(xué)習(xí)之前,，我們集中探討一些必...… 繼續(xù)閱讀

本章我們討論概率論和信息論。概率論是用于表示不確定性聲明的數(shù)學(xué)框架,。它不僅提供了量化不確定性的方法,，也提供了用于導(dǎo)出新的不確定性聲明的公理。在人工智能領(lǐng)域,，概率論主要有兩種用途,。首先，概率法則告訴我們~AI~系統(tǒng)如何推理,，據(jù)此我們?cè)O(shè)計(jì)一些算法來(lái)計(jì)算或者估算由概率論導(dǎo)出的表達(dá)...… 繼續(xù)閱讀

機(jī)器學(xué)習(xí)算法通常需要大量的數(shù)值計(jì)算,。這通常是指通過(guò)迭代過(guò)程更新解的估計(jì)值來(lái)解決數(shù)學(xué)問(wèn)題的算法，而不是通過(guò)解析過(guò)程推導(dǎo)出公式來(lái)提供正確解的方法,。常見(jiàn)的操作包括優(yōu)化（找到最小化或最大化函數(shù)值的參數(shù)）和線性方程組的求解,。對(duì)數(shù)字計(jì)算機(jī)來(lái)說(shuō)實(shí)數(shù)無(wú)法在有限內(nèi)存下精確表示，因此僅僅是計(jì)算...… 繼續(xù)閱讀

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)特定分支,。我們要想充分理解深度學(xué)習(xí),，必須對(duì)機(jī)器學(xué)習(xí)的基本原理有深刻的理解。本章將探討貫穿本書(shū)其余部分的一些機(jī)器學(xué)習(xí)重要原理,。我們建議新手讀者或是希望更全面了解的讀者參考一些更全面覆蓋基礎(chǔ)知識(shí)的機(jī)器學(xué)習(xí)參考書(shū),，例如~{MurphyBook2012}或者...… 繼續(xù)閱讀

深度前饋網(wǎng)絡(luò)，也叫作前饋神經(jīng)網(wǎng)絡(luò)或者多層感知機(jī),，是典型的深度學(xué)習(xí)模型,。前饋網(wǎng)絡(luò)的目標(biāo)是近似某個(gè)函數(shù)$f^$,。例如，對(duì)于分類(lèi)器,，$y = f^(\Vx)$將輸入$\Vx$映射到一個(gè)類(lèi)別$y$,。前饋網(wǎng)絡(luò)定義了一個(gè)映射$\Vy = f(\Vx; \Vtheta)$，并且學(xué)習(xí)參數(shù)$...… 繼續(xù)閱讀

機(jī)器學(xué)習(xí)中的一個(gè)核心問(wèn)題是設(shè)計(jì)不僅在訓(xùn)練數(shù)據(jù)上表現(xiàn)好,，并且能在新輸入上泛化好的算法,。在機(jī)器學(xué)習(xí)中，許多策略顯式地被設(shè)計(jì)來(lái)減少測(cè)試誤差（可能會(huì)以增大訓(xùn)練誤差為代價(jià)）,。這些策略被統(tǒng)稱為正則化,。我們將在后文看到，深度學(xué)習(xí)工作者可以使用許多不同形式的正則化策略,。事實(shí)上，開(kāi)發(fā)更有效的...… 繼續(xù)閱讀

深度學(xué)習(xí)算法在許多情況下都涉及到優(yōu)化,。例如,，模型中的進(jìn)行推斷（如\,PCA）涉及到求解優(yōu)化問(wèn)題。我們經(jīng)常使用解析優(yōu)化去證明或設(shè)計(jì)算法,。在深度學(xué)習(xí)涉及到的諸多優(yōu)化問(wèn)題中,，最難的是神經(jīng)網(wǎng)絡(luò)訓(xùn)練。甚至是用幾百臺(tái)機(jī)器投入幾天到幾個(gè)月來(lái)解決單個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練問(wèn)題,，也是很常見(jiàn)的,。因?yàn)檫@其...… 繼續(xù)閱讀

卷積網(wǎng)絡(luò){cite?}，也叫做卷積神經(jīng)網(wǎng)絡(luò),，是一種專門(mén)用來(lái)處理具有類(lèi)似網(wǎng)格結(jié)構(gòu)的數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò),。例如時(shí)間序列數(shù)據(jù)（可以認(rèn)為是在時(shí)間軸上有規(guī)律地采樣形成的一維網(wǎng)格）和圖像數(shù)據(jù)（可以看作是二維的像素網(wǎng)格）。卷積網(wǎng)絡(luò)在諸多應(yīng)用領(lǐng)域都表現(xiàn)優(yōu)異,?！熬矸e神經(jīng)網(wǎng)絡(luò)”一詞表明該網(wǎng)絡(luò)使用了卷...… 繼續(xù)閱讀

循環(huán)神經(jīng)網(wǎng)絡(luò)或~RNN~{cite?}是一類(lèi)用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。就像卷積網(wǎng)絡(luò)是專門(mén)用于處理網(wǎng)格化數(shù)據(jù)$\TSX$（如一個(gè)圖像）的神經(jīng)網(wǎng)絡(luò),，循環(huán)神經(jīng)網(wǎng)絡(luò)是專門(mén)用于處理序列$\Vx^{(1)}, \dots, \Vx^{(\tau)}$的神經(jīng)網(wǎng)絡(luò),。正如卷積網(wǎng)絡(luò)可以很容易...… 繼續(xù)閱讀

要成功地使用深度學(xué)習(xí)技術(shù)，僅僅知道存在哪些算法和解釋他們?yōu)楹斡行У脑硎遣粔虻?。一個(gè)優(yōu)秀的機(jī)器學(xué)習(xí)實(shí)踐者還需要知道如何針對(duì)具體應(yīng)用挑選一個(gè)合適的算法以及如何監(jiān)控,，并根據(jù)實(shí)驗(yàn)反饋改進(jìn)機(jī)器學(xué)習(xí)系統(tǒng)。在機(jī)器學(xué)習(xí)系統(tǒng)的日常開(kāi)發(fā)中,，實(shí)踐者需要決定是否收集更多的數(shù)據(jù),、增加或減少模型容量...… 繼續(xù)閱讀

在本章中，我們將介紹如何使用深度學(xué)習(xí)來(lái)解決計(jì)算機(jī)視覺(jué),、語(yǔ)音識(shí)別,、自然語(yǔ)言處理以及其他商業(yè)領(lǐng)域中的應(yīng)用,。首先我們將討論在許多最重要的~AI~應(yīng)用中所需的大規(guī)模神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)。接著,，我們將回顧深度學(xué)習(xí)已經(jīng)成功應(yīng)用的幾個(gè)特定領(lǐng)域,。盡管深度學(xué)習(xí)的一個(gè)目標(biāo)是設(shè)計(jì)能夠處理各種任務(wù)的算法...… 繼續(xù)閱讀

許多深度學(xué)習(xí)的研究前沿均涉及構(gòu)建輸入的概率模型$p_{\text{model}}(\Vx)$。原則上說(shuō),，給定任何其他變量的情況下,，這樣的模型可以使用概率推斷來(lái)預(yù)測(cè)其環(huán)境中的任何變量。許多這樣的模型還具有潛變量 $\Vh$,，其中$p_{\text{model}}(\Vx) =...… 繼續(xù)閱讀

自編碼器是神經(jīng)網(wǎng)絡(luò)的一種,，經(jīng)過(guò)訓(xùn)練后能?chē)L試將輸入復(fù)制到輸出。自編碼器內(nèi)部有一個(gè)隱藏層 $\Vh$,，可以產(chǎn)生編碼表示輸入,。該網(wǎng)絡(luò)可以看作由兩部分組成：一個(gè)由函數(shù)$ \Vh = f(\Vx)$表示的編碼器和一個(gè)生成重構(gòu)的解碼器 $\Vr=g(\Vh)$。\fig?展示了這種架構(gòu)...… 繼續(xù)閱讀

在本章中,，首先我們會(huì)討論學(xué)習(xí)表示是什么意思,，以及表示的概念如何有助于深度框架的設(shè)計(jì)。我們探討學(xué)習(xí)算法如何在不同任務(wù)中共享統(tǒng)計(jì)信息,，包括使用無(wú)監(jiān)督任務(wù)中的信息來(lái)完成監(jiān)督任務(wù),。共享表示有助于處理多模式或多領(lǐng)域，或是將已學(xué)到的知識(shí)遷移到樣本很少或沒(méi)有,、但任務(wù)表示依然存在的任務(wù)上,。...… 繼續(xù)閱讀

深度學(xué)習(xí)為研究者們提供了許多建模方式，用以設(shè)計(jì)以及描述算法,。其中一種形式是結(jié)構(gòu)化概率模型的思想,。我們?cè)?jīng)在\sec?中簡(jiǎn)要討論過(guò)結(jié)構(gòu)化概率模型。此前簡(jiǎn)要的介紹已經(jīng)足夠使我們充分了解如何使用結(jié)構(gòu)化概率模型作為描述第二部分中某些算法的語(yǔ)言?，F(xiàn)在在第三部分,，我們可以看到結(jié)構(gòu)化概率...… 繼續(xù)閱讀

隨機(jī)算法可以粗略地分為兩類(lèi)：Las Vegas\,算法和蒙特卡羅算法。Las Vegas\,算法總是精確地返回一個(gè)正確答案 （或者返回算法失敗了）,。 這類(lèi)方法通常需要占用隨機(jī)量的計(jì)算資源（一般指內(nèi)存或運(yùn)行時(shí)間）,。 與此相對(duì)的，蒙特卡羅方法返回的答案具有隨機(jī)大小的錯(cuò)誤,。 花...… 繼續(xù)閱讀

在\sec?中,，我們看到許多概率模型（通常是無(wú)向圖模型）由一個(gè)未歸一化的概率分布 $\tilde{p}(\RVx, \theta)$定義。我們必須通過(guò)除以配分函數(shù) $Z(\Vtheta)$來(lái)歸一化$\tilde{p}$,，以獲得一個(gè)有效的概率分布：\begin{equatio...… 繼續(xù)閱讀

許多概率模型很難訓(xùn)練的原因是很難進(jìn)行推斷,。在深度學(xué)習(xí)中，通常我們有一系列可見(jiàn)變量$\Vv$和一系列潛變量 $\Vh$。推斷困難通常是指難以計(jì)算$p(\Vh\mid\Vv)$或其期望,。而這樣的操作在一些諸如最大似然學(xué)習(xí)的任務(wù)中往往是必需的,。許多僅含一個(gè)隱藏層的簡(jiǎn)單圖模型會(huì)定義...… 繼續(xù)閱讀

在本章中，我們介紹幾種具體的生成模型,，這些模型可以使用\chap?至\chap?中出現(xiàn)的技術(shù)構(gòu)建和訓(xùn)練,。所有這些模型在某種程度上都代表了多個(gè)變量的概率分布。有些模型允許顯式地計(jì)算概率分布函數(shù),。其他模型則不允許直接評(píng)估概率分布函數(shù),，但支持隱式獲取分布知識(shí)的操作，如從分布中采樣...… 繼續(xù)閱讀