到目前為止,，我們已經(jīng)討論了 MLP、CNN 和 RNN 架構(gòu),。這些是判別模型,，即可以做出預(yù)測(cè)的模型。

前面,，我們連載了六次數(shù)學(xué)博士的深度學(xué)習(xí)方法（點(diǎn)擊直達(dá)）：

一個(gè)數(shù)學(xué)博士的深度學(xué)習(xí)方法（第 6 部分）：神經(jīng)網(wǎng)絡(luò)架構(gòu)RNN

一個(gè)數(shù)學(xué)博士的深度學(xué)習(xí)方法（第 5 部分）

一個(gè)數(shù)學(xué)博士的深度學(xué)習(xí)方法（第 4 部分）

一個(gè)數(shù)學(xué)博士的深度學(xué)習(xí)方法（第 3 部分）

一個(gè)數(shù)學(xué)博士的深度學(xué)習(xí)方法（第 2 部分）

一個(gè)數(shù)學(xué)博士的深度學(xué)習(xí)方法（第 1 部分）

博士的更多學(xué)習(xí)方法和算法可以直接打開(kāi)整個(gè)系列：「鏈接」

這次我們將討論生成模型,，例如自動(dòng)編碼器和 GAN，以及其他有趣的神經(jīng)網(wǎng)絡(luò)架構(gòu),。

判別模型本質(zhì)上是學(xué)習(xí)估計(jì)條件概率分布 p(?| x),；也就是說(shuō)，給定一個(gè)值,，他們嘗試根據(jù)他們對(duì) x 的概率分布的了解來(lái)預(yù)測(cè)結(jié)果,。生成模型是學(xué)習(xí)數(shù)據(jù)的概率分布并學(xué)習(xí)如何生成似乎來(lái)自該概率分布的數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。一個(gè)例子是一個(gè)用很多人的面孔訓(xùn)練的網(wǎng)絡(luò),，并學(xué)習(xí)如何生成不存在的人的面孔,，例如這個(gè)網(wǎng)站上的面孔：https://this-person-does-not-exist. com/en

創(chuàng)建合成數(shù)據(jù)是生成模型的一種用途，但不是唯一的用途,。

自動(dòng)編碼器 (AE)

為了更好地理解自動(dòng)編碼器的工作原理,，讓我們看一個(gè)自動(dòng)編碼器的一種簡(jiǎn)單表示,。

自動(dòng)編碼器的一個(gè)簡(jiǎn)單示例。

本質(zhì)上,，自動(dòng)編碼器是兩部分的組合：編碼器和解碼器,。編碼器獲取高維輸入數(shù)據(jù)并映射到低維空間（潛在空間），解碼器獲取潛在空間中的數(shù)據(jù)并嘗試在原始高維空間中重建這些數(shù)據(jù),。

這樣做的一個(gè)好處是自動(dòng)編碼器可以拍攝一張圖片并映射到潛在空間,，并且在這個(gè)過(guò)程中，只保留最重要的部分,，因此將消除噪聲并壓縮圖片,。

如果我們將編碼器表示為 z = f(x)，將解碼器表示為 x'=g(z),，則自動(dòng)編碼器為 x'=g(f(x)),，我們希望 x≈x'。權(quán)重不同但一起學(xué)習(xí),，通常使用 MSE 損失函數(shù)來(lái)衡量自編碼器的質(zhì)量,。用更數(shù)學(xué)的術(shù)語(yǔ)來(lái)說(shuō)，編碼器在點(diǎn)（輸入數(shù)據(jù)）所在的流形（高維表面）中學(xué)習(xí)向量場(chǎng),，并將向量場(chǎng)投影到低維空間“保留”向量場(chǎng),；而解碼器采用低維向量場(chǎng)并在高維空間中重建它們。

去噪自編碼器 (DAE)

它是自動(dòng)編碼器的一種變體,，因?yàn)樗鼘W(xué)習(xí)重建損壞或嘈雜的輸入,。本質(zhì)上，我們使用條件分布 C(x?|x) 從原始數(shù)據(jù)生成損壞的數(shù)據(jù),，并且使用損壞的數(shù)據(jù),，我們的自動(dòng)編碼器必須學(xué)習(xí)如何重建未損壞的數(shù)據(jù)。在這種情況下,，用于訓(xùn)練的數(shù)據(jù)將采用 (x, x?) 的形式,，其中 x 是原始數(shù)據(jù)，x? 是相應(yīng)的損壞數(shù)據(jù),。

變分自動(dòng)編碼器 (VAE)

這是另一種自動(dòng)編碼器的變體。在這種情況下,，VAE 不是學(xué)習(xí)函數(shù) f 和 g,，而是學(xué)習(xí)輸入數(shù)據(jù)的概率密度函數(shù)。如果先驗(yàn)概率密度函數(shù)是p(z)（假設(shè)的概率密度）,，似然p(x|z)（給定潛在空間的輸入分布）,，那么學(xué)到的概率密度函數(shù)就是后驗(yàn)概率密度p (z|x)，即 p(z|x) = p(z)p(x|z),。這就是貝葉斯推理的方法,。

這種方法更好,，因?yàn)檎鎸?shí)數(shù)據(jù)是嘈雜的。

在這種情況下,，當(dāng) VAE 試圖學(xué)習(xí)概率分布時(shí),，我們可以使用 Kullback-Liebler 散度作為損失函數(shù)。

生成對(duì)抗網(wǎng)絡(luò) (GAN)

這是一種受博弈論啟發(fā)的神經(jīng)網(wǎng)絡(luò)架構(gòu),；它由 Ian Goodfellow 于 2014年創(chuàng)建,。它由兩個(gè)網(wǎng)絡(luò)（一個(gè)生成器網(wǎng)絡(luò)和一個(gè)批評(píng)者網(wǎng)絡(luò)）組成，相互競(jìng)爭(zhēng),。從這里可以看出,，GAN 已經(jīng)取得了顯著的成果。

生成器網(wǎng)絡(luò)試圖通過(guò)生成看起來(lái)像真實(shí)數(shù)據(jù)的合成數(shù)據(jù)來(lái)欺騙評(píng)論家網(wǎng)絡(luò),，而評(píng)論家網(wǎng)絡(luò)試圖找出另一個(gè)網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)是否是假的,。

當(dāng)然，GAN 很難訓(xùn)練,，因?yàn)椴荒鼙ＷC兩個(gè)網(wǎng)絡(luò)會(huì)收斂,。一個(gè)網(wǎng)絡(luò)的梯度下降不會(huì)影響另一個(gè)網(wǎng)絡(luò)的梯度，并且兩者必須收斂在一起,，否則參數(shù)可能會(huì)振蕩和不穩(wěn)定,。

現(xiàn)在我們將討論其他類型的神經(jīng)網(wǎng)絡(luò)。

遷移學(xué)習(xí)

訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)不是一件容易的事,，它需要大量好的數(shù)據(jù),、計(jì)算能力和時(shí)間（你知道，時(shí)間就是金錢）,，所以遷移學(xué)習(xí)是一種嘗試使用經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)（即針對(duì)一項(xiàng)特定任務(wù)進(jìn)行訓(xùn)練,，例如識(shí)別貓品種）并將其適應(yīng)于另一但類似的任務(wù)（例如識(shí)別狗品種）。

考慮貓/狗的例子,，假設(shè)我們有一個(gè)訓(xùn)練有素的 CNN,，所以第一層可以檢測(cè)基本特征，最后一層可以檢測(cè)一些更高級(jí)的特征,，最后一層傳遞給三個(gè)全連接網(wǎng)絡(luò),。我們可以保留層，但只訓(xùn)練完全連接的部分,。當(dāng)然,，對(duì)于這項(xiàng)工作，我們需要貓和狗的圖像具有相同的大小,。這就是遷移學(xué)習(xí)背后的想法,。它節(jié)省了大量資源并允許一些非常酷的事情,，例如將斑馬條紋放在馬身上,，視頻請(qǐng)私信聯(lián)系,。

元學(xué)習(xí)

另一種更新的（和有前途的）技術(shù)是元學(xué)習(xí)。元學(xué)習(xí)是學(xué)習(xí)如何自己學(xué)習(xí)新任務(wù)的能力,，這是達(dá)到通用人工智能 (AGI) 的一項(xiàng)要求,。

人類可以通過(guò)幾個(gè)例子來(lái)了解貓和狗之間的區(qū)別，并且有一些技術(shù)可以嘗試用人工神經(jīng)網(wǎng)絡(luò)做同樣的事情,，這些被稱為小樣本學(xué)習(xí),。

與元學(xué)習(xí)相關(guān)的架構(gòu)有一些，例如記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò) (MANN),、神經(jīng)圖靈機(jī) (NTM),、元網(wǎng)絡(luò) (MetaNet)。

幾何深度學(xué)習(xí)

直到這里看到的所有架構(gòu)都有一個(gè)共同點(diǎn)：它們都是用表格數(shù)據(jù)訓(xùn)練的,。但并非現(xiàn)實(shí)世界中的所有數(shù)據(jù)都可以正確放入表格數(shù)據(jù)中,，例如來(lái)自社交網(wǎng)絡(luò)的數(shù)據(jù)。社交網(wǎng)絡(luò)可以更恰當(dāng)?shù)亟閳D,，只需將每個(gè)人視為一個(gè)節(jié)點(diǎn),，并且兩個(gè)人在社交網(wǎng)絡(luò)中相關(guān)，因此有一條連接兩個(gè)節(jié)點(diǎn)的邊,。

即使在鄰接矩陣中考慮,，如果我們想在邊上放置不同的權(quán)重并保留一些其他信息，表格數(shù)據(jù)也不是保存這種關(guān)系的好東西,。在這種情況下,，有一個(gè)更好的架構(gòu)：圖神經(jīng)網(wǎng)絡(luò)。

出現(xiàn)幾何深度學(xué)習(xí)這個(gè)術(shù)語(yǔ)是因?yàn)橐话銇?lái)說(shuō),，我們可以將數(shù)據(jù)視為某個(gè)流形（高維表面）中的點(diǎn),，如果這些點(diǎn)連接起來(lái)，我們就會(huì)在這個(gè)流形中獲得一個(gè)圖,。這樣,，如果方便的話，我們可以忘記流形并只使用圖形,。

這是所有的了,！

這是一系列關(guān)于深度學(xué)習(xí)數(shù)學(xué)的文章的結(jié)尾，共7個(gè)部分,。

關(guān)于它還有很多,，這是一個(gè)很大的研究領(lǐng)域，但一切都有盡頭,。然而，我的學(xué)習(xí)還沒(méi)有結(jié)束,！我希望盡快寫(xiě)一些有趣的話題,。

感謝您的陪伴,，很快再見(jiàn)！