|
《深度學(xué)習(xí)》,，又名“花書”。該書由三位大佬 Ian Goodfellow,、Yoshua Bengio 和 Aaron Courville 撰寫,，是深度學(xué)習(xí)領(lǐng)域奠基性的經(jīng)典教材，被譽為深度學(xué)習(xí)“圣經(jīng)”,。 花書怎么學(xué),？參考優(yōu)秀的筆記往往能幫助你事半功倍！今天給大家推薦一份不錯的花書學(xué)習(xí)筆記,，挺詳細的,。作者是來自于谷歌的軟件工程師—川陀學(xué)者。我們一起來看看,！ 為方便以后查閱,，把深度學(xué)習(xí)花書 Deep Learning 每一章的讀書筆記做個索引，完整的筆記也是根據(jù)書籍目錄來的,。 花書的目錄如下： 下面我們來詳細看一下完整筆記內(nèi)容,！ 第一部分 機器學(xué)習(xí)基礎(chǔ)第一章 前言 1. 前言（上） 花書可以大致分為三大部分：
完整版： https://zhuanlan.zhihu.com/p/37753117 2. 前言（下） 繼續(xù)總結(jié)深度學(xué)習(xí)花書第一章前言下半部分，主要內(nèi)容有：
完整版： https://zhuanlan.zhihu.com/p/37800558 第二章 線性代數(shù) 線性代數(shù)是機器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)之一，這里總結(jié)一下深度學(xué)習(xí)花書線性代數(shù)一章中機器學(xué)習(xí)主要用到的知識,，并不囊括所有線性代數(shù)知識,。 完整版： https://zhuanlan.zhihu.com/p/38197420 第三章 概率論 概率論是研究隨機性和不確定性的科學(xué)，在人工智能領(lǐng)域主要有兩大應(yīng)用：1. 概率論可以指導(dǎo)人工智能模型所需模擬或近似的概率分布,。2.概率與統(tǒng)計可以幫助我們分析模型的預(yù)測的準確性,。可以說,，線性代數(shù)和概率論是人工智能系統(tǒng)的兩大數(shù)學(xué)基石,，這一章對于理解很多機器學(xué)習(xí)模型的背后驅(qū)動力是關(guān)鍵的。 完整版： https://zhuanlan.zhihu.com/p/38424019 第四章 數(shù)值計算 第四章主要研究的是優(yōu)化問題,。我們機器學(xué)習(xí)的目標常常是使某個目標函數(shù)(objective function)或損失函數(shù)(cost function)盡量小,，即找到一個 x* = argminf(x). 對于有的問題我們可能可以得到解析解，但對于大多數(shù)問題,，我們可能無法得到解析解，這時候就需要一些數(shù)值計算的方法使我們逐漸逼近最優(yōu)解,，這一章里就主要講了利用一階導(dǎo)數(shù)的梯度下降算法和利用二階導(dǎo)數(shù)的牛頓方法,，另外還有研究在給定某些限制條件下的條件極值的解法，Ian在這一章有些解釋可能略過了,，在這里我加入了自己的理解使其更易懂,。 完整版： https://zhuanlan.zhihu.com/p/38644738 第五章 機器學(xué)習(xí)基礎(chǔ) 1. 機器學(xué)習(xí)問題定義與線性回歸 之前已經(jīng)總結(jié)了第二到四章數(shù)學(xué)基礎(chǔ)部分，第五章講的是機器學(xué)習(xí)基礎(chǔ),，內(nèi)容較多,，包括機器學(xué)習(xí)問題的定義，機器學(xué)習(xí)算法過擬合和驗證集的概念,，貝葉斯推斷,，經(jīng)典的監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)的算法等，而且Ian很多方面一筆帶過,，其實每個經(jīng)典的算法都可以單獨出來寫一篇文章詳述,，所以準備將第五章分幾部分總結(jié)，而且爭取把書中比較模糊的涉及到的概念也補充清楚,。 這篇先總結(jié)一下對于機器學(xué)習(xí)問題如何定義并以線性回歸來舉例說明,。 完整版： https://zhuanlan.zhihu.com/p/38790135 2. 欠擬合,、過擬合與正則化 繼續(xù)花書第五章總結(jié)，主要內(nèi)容是模型的泛化誤差,，過擬合與正則化方法,。 完整版： https://zhuanlan.zhihu.com/p/39035752 3. 最大似然法與最大后驗概率估計 繼續(xù)花書第五章總結(jié)，主要內(nèi)容有最大似然法(Maximum likelihood estimation),， 貝葉斯統(tǒng)計(Bayesian statistics)與最大后驗概率估計(Maximum A Posteriori estimation簡稱MAP estimation),。 完整版： https://zhuanlan.zhihu.com/p/39063974 4. 邏輯回歸 繼續(xù)花書第五章機器學(xué)習(xí)基礎(chǔ)部分總結(jié)，接下來是經(jīng)典監(jiān)督學(xué)習(xí)算法,，不過Ian對于邏輯回歸和支持向量機一筆帶過,，解釋的不是很詳細，我準備結(jié)合Andrew Ng的cs229內(nèi)容將邏輯回歸(logistic regression)與支持向量機(support vector machine)分兩篇詳細寫一下,。 完整版： https://zhuanlan.zhihu.com/p/39784376 5. 支持向量機 支持向量機(Support Vector Machine, 簡稱SVM)是傳統(tǒng)監(jiān)督學(xué)習(xí)中一個經(jīng)典的算法,，Ian在花書中講的比較簡略，這里我結(jié)合CS229的內(nèi)容進行補充,。 完整版： https://zhuanlan.zhihu.com/p/39815531 6. 主成分分析PCA 接下來總結(jié)經(jīng)典的無監(jiān)督學(xué)習(xí)模型主成分分析(Principal component analysis, 簡稱PCA),。Ian分別在第二章和第五章從不同角度討論了PCA算法，分別是在第二章線性代數(shù)中本征分解和奇異值分解SVD之后和第五章無監(jiān)督學(xué)習(xí)模型中,，這里總結(jié)在一起,。 完整版： https://zhuanlan.zhihu.com/p/39847860 第二部分 深度神經(jīng)網(wǎng)絡(luò)核心知識第六章 前饋神經(jīng)網(wǎng)絡(luò) 1. 前饋神經(jīng)網(wǎng)絡(luò)初探 前五章總結(jié)了深度學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)及經(jīng)典機器學(xué)習(xí)算法（深度學(xué)習(xí)花書讀書筆記目錄），第6到12章是花書的深度網(wǎng)絡(luò)核心部分,，包括如下內(nèi)容：前饋神經(jīng)網(wǎng)絡(luò),，深度學(xué)習(xí)的正則方法，訓(xùn)練深度學(xué)習(xí)模型的優(yōu)化方法,，卷積神經(jīng)網(wǎng)絡(luò),，循環(huán)及遞歸神經(jīng)網(wǎng)絡(luò)，關(guān)于模型訓(xùn)練的建議與方法以及深度學(xué)習(xí)的應(yīng)用,，這部分的技術(shù)已經(jīng)廣泛應(yīng)用到工業(yè)界,，對于想要用深度學(xué)習(xí)來解決實際工作中的問題的從業(yè)人員很有必要。 現(xiàn)在就開始第六章前饋神經(jīng)網(wǎng)絡(luò)的總結(jié),，準備分為三篇：1.初識前饋神經(jīng)網(wǎng)絡(luò) 2.前饋神經(jīng)網(wǎng)絡(luò)的基本組成與架構(gòu) 3.反向傳播算法?，F(xiàn)在開始第一篇總結(jié)。 完整版： https://zhuanlan.zhihu.com/p/40519236 2. 神經(jīng)網(wǎng)絡(luò)損失函數(shù),、輸出層,、隱藏層詳解 神經(jīng)網(wǎng)絡(luò)的設(shè)計主要包含兩方面：1）損失函數(shù)的選擇 2）模型的具體架構(gòu)。 完整版： https://zhuanlan.zhihu.com/p/41194849 3. 反向傳播算法 為了理解什么是反向傳播(backward propagation),，先要知道什么是正向傳播(forward propagation),。顧名思義，正向傳播就是對于前饋神經(jīng)網(wǎng)絡(luò)來說，信息從輸入到隱藏層再到輸出的正向流動過程,，最終會得到損失函數(shù)的值,。而反向傳播就是從損失函數(shù)反向流入網(wǎng)絡(luò)以計算梯度(gradient)的過程。 要注意,，有個普遍的誤解是反向傳播就是神經(jīng)網(wǎng)絡(luò)的全部學(xué)習(xí)算法,，實際上，反向傳播僅指計算梯度的過程,，實際上的學(xué)習(xí)過程是諸如隨機梯度下降(stochastic gradient descent,，SGD)更新網(wǎng)絡(luò)的算法。 完整版： https://zhuanlan.zhihu.com/p/41379139 第七章 正則化方法 繼續(xù)總結(jié)深度學(xué)習(xí)花書,，第七章主要講了深度學(xué)習(xí)中的各種正則化方法(regularization),即為了減小泛化誤差而對機器學(xué)習(xí)算法進行的修改,。關(guān)于泛化、欠擬合,、過擬合的基礎(chǔ)概念,，可參考之前的總結(jié)文章欠擬合、過擬合與正則化,。 總體來說,，一部分正則化方法使給模型施加額外的限制條件，例如限制參數(shù)值范圍,，有些會在目標函數(shù)中添加一些額外懲罰項,，本質(zhì)上也是希望限制參數(shù)值。有的時候,，這些限制條件或懲罰項代表了特定的先驗經(jīng)驗,，有的時候是希望避免模型過于復(fù)雜。正則化常常會增加一些bias但同時會減少variance,，好的正則化方法就是在能夠顯著減小variance的情況下又不顯著地增加bias,。 完整版： https://zhuanlan.zhihu.com/p/41462329 第八章 優(yōu)化方法 1. 深度學(xué)習(xí)優(yōu)化算法比較 繼續(xù)深度學(xué)習(xí)第八章總結(jié)，這章主要講了深度學(xué)習(xí)的優(yōu)化方法,，主要涉及的內(nèi)容有Stochastic Gradient Descent (SGD), Momentum, Adagrad, RMSProp, Adam，模型參數(shù)初始化和Batch Normalization,，第一部分先總結(jié)SGD及其各種改進算法,，由于這一部分內(nèi)容在斯坦福CS231n中的解釋更清晰，會結(jié)合起來一起總結(jié),。 完整版： https://zhuanlan.zhihu.com/p/42183379 2. Batch Normalization 前面一篇(深度學(xué)習(xí)優(yōu)化算法比較——深度學(xué)習(xí)第八章(一）)總結(jié)了常見的優(yōu)化算法SGD以及其改進方法Momentum,，Adagrad，Adam等,，這篇繼續(xù)總結(jié)最近優(yōu)化深度神經(jīng)網(wǎng)絡(luò)的一種高效的方法——Batch Normalization,，該方法有Ioffe和Szegedy在2015年提出（Accelerating Deep Network Training by Reducing Internal Covariate Shift）。 完整版： https://zhuanlan.zhihu.com/p/42982530 第九章 卷積神經(jīng)網(wǎng)絡(luò) 繼續(xù)深度學(xué)習(xí)花書的讀書筆記總結(jié)，這一章主要介紹了卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, 簡稱CNN), 它通常適用于具有網(wǎng)格狀結(jié)構(gòu)的數(shù)據(jù),，例如時序數(shù)據(jù)可看做是在特定時間間隔上的一維網(wǎng)格,，圖像可以看做是像素構(gòu)成的二維網(wǎng)格，醫(yī)學(xué)成像如CT等為三維網(wǎng)格數(shù)據(jù),。 卷積神經(jīng)網(wǎng)絡(luò),，顧名思義，利用了數(shù)學(xué)上的卷積操作(convolution),。和前面第六章總結(jié)的基本的前饋神經(jīng)網(wǎng)絡(luò)相比,，CNN只不過是將某層或某幾層中的矩陣乘法運算替換為卷積運算，其他的比如說最大似然法則,，反向傳播算法等等都保持不變,。 完整版： https://zhuanlan.zhihu.com/p/43143470 第十章 循環(huán)神經(jīng)網(wǎng)絡(luò) 繼續(xù)深度學(xué)習(xí)花書的讀書筆記總結(jié)。這一章主要介紹了循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network, 簡稱RNN),，主要用來處理序列數(shù)據(jù),，比如一些文字序列或時序數(shù)據(jù)。對于這類數(shù)據(jù),，基本的前饋神經(jīng)網(wǎng)絡(luò)會對每一個輸入的特征都訓(xùn)練一個單獨的參數(shù),，而不能很好的進行參數(shù)的共享，而RNN就可以通過對不同時間點的特征共享參數(shù)而更容易的進行訓(xùn)練,，泛化效果也更好,。上一章卷積神經(jīng)網(wǎng)絡(luò)——深度學(xué)習(xí)第九章總結(jié)過CNN也可以實現(xiàn)參數(shù)共享，RNN與其不同的地方在于其每一點的輸出還依賴于之前的結(jié)果,。 完整版： https://zhuanlan.zhihu.com/p/44145288 第十一章 實戰(zhàn)經(jīng)驗 前面幾章我們總結(jié)了機器學(xué)習(xí)以及深度學(xué)習(xí)中一些常用的模型以及訓(xùn)練方法,，實際應(yīng)用中，我們還要知道對于一些特定的情景選擇哪種模型,，以及如何通過收集模型的反饋結(jié)果來不斷改善模型,。有時候不一定需要采用最新最復(fù)雜的模型，而是需要深入的理解一些通用的模型,，并更好的應(yīng)用到我們所處理的具體問題中,。這一章會總結(jié)一下我們面對一個機器學(xué)習(xí)問題時的實戰(zhàn)步驟：確立性能指標；快速建立端到端的流程,；分析模型效果,，并不斷的對模型進行改進。下面詳細解釋一下每個步驟,。 完整版： https://zhuanlan.zhihu.com/p/44643887 第十二章 深度學(xué)習(xí)應(yīng)用 繼續(xù)《深度學(xué)習(xí)》花書筆記總結(jié),，這一章主要是結(jié)合前面幾章內(nèi)容簡要介紹了深度學(xué)習(xí)在圖像識別，自然語言處理及其他領(lǐng)域的應(yīng)用,。 完整版： https://zhuanlan.zhihu.com/p/45225601 第三部分 深度學(xué)習(xí)前沿研究第十三章 線性因子模型 繼續(xù)深度學(xué)習(xí)花書總結(jié),，從第十三章開始，主要是一些前沿研究領(lǐng)域。之前總結(jié)的方法大部分是在有大量數(shù)據(jù)情況下的監(jiān)督學(xué)習(xí)方法,，而假如我們想減小數(shù)據(jù)量的要求,，則需要一些無監(jiān)督學(xué)習(xí)及半監(jiān)督學(xué)習(xí)方法，雖然有很多無監(jiān)督學(xué)習(xí)方法,，但是目前還無法達到深度學(xué)習(xí)在監(jiān)督學(xué)習(xí)問題中所達到的精度,，這常常是由于我們需要解決的問題的維度過高或計算量過大造成的。 完整版： https://zhuanlan.zhihu.com/p/45898775 第十四章 自編碼器 自編碼器(Autoencoder)是一種特定的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),，其目的是為了將輸入信息映射到某個更低維度的空間,，生成包含重要特征的編碼code，這部分稱為Encoder,，可用函數(shù) h=f(x) 表示,，然后再利用Decoder將code重構(gòu)成為盡量能還原原輸入的結(jié)果，用函數(shù) r=g(h) ,。我們的目的就是盡量使 g(f(x))=x ,，當然如果只是簡單的將輸入復(fù)制到輸出是沒有任何意義的，我們需要加一定的限制條件,，使我們的模型學(xué)習(xí)到數(shù)據(jù)中更重要的特征,。 完整版： https://zhuanlan.zhihu.com/p/46067799 第十五章 表示學(xué)習(xí) 這一章聚焦表示學(xué)習(xí)(Representation Learning)及其應(yīng)用，主要內(nèi)容有無監(jiān)督及有監(jiān)督預(yù)訓(xùn)練的作用,，遷移學(xué)習(xí)及分布式表示,。在前言部分（機器學(xué)習(xí)的《易筋經(jīng)》：深度學(xué)習(xí)花書前言（上））提到過，機器學(xué)習(xí)的主要問題就是如何更合理高效的將特征表示出來,。那么,，我們怎么判定某種表示更好呢，這需要具體問題具體分析,，這通常依賴于后續(xù)的學(xué)習(xí)任務(wù)是否能夠得益于這種表示,。通常，我們是進行某些無監(jiān)督學(xué)習(xí)提取出特征,，而這些特征可用來我們更好的進行監(jiān)督學(xué)習(xí),，或者將這些特征遷移到其他相關(guān)任務(wù)中。我們也可以將監(jiān)督學(xué)習(xí)訓(xùn)練的前饋神經(jīng)網(wǎng)絡(luò)看做是一種表示學(xué)習(xí),，通常神經(jīng)網(wǎng)絡(luò)的最后一層是個分類器如softmax,，它之前的隱藏層可以看做是給這個分類器提供一個高效的表征。 完整版： https://zhuanlan.zhihu.com/p/46286036 第十六章 結(jié)構(gòu)化概率模型 繼續(xù)《深度學(xué)習(xí)》花書總結(jié),，從第16章開始直到第20章都是在討論概率模型,，其中第16到19章著重于概率模型基礎(chǔ)及一些近似方法,，第20章討論應(yīng)用這些方法的生成模型,。我們先來總結(jié)第16章概率圖的主要概念。 完整版： https://zhuanlan.zhihu.com/p/47892761 第十七章 蒙特卡洛方法 繼續(xù)《深度學(xué)習(xí)》花書總結(jié)，本章主要介紹采樣的蒙特卡洛方法,，準備結(jié)合斯坦福CS 228 - Probabilistic Graphical Models課程相關(guān)內(nèi)容一起總結(jié),。 完整版：https://zhuanlan.zhihu.com/p/48481980 第十八章 配分函數(shù) 繼續(xù)《深度學(xué)習(xí)》花書總結(jié)，本章主要介紹了各種求配分函數(shù)的方法,，準備結(jié)合斯坦福cs228Learning in undirected models 這部分內(nèi)容一起總結(jié),。 完整版： https://zhuanlan.zhihu.com/p/48552020 第十九章 近似推斷 繼續(xù)《深度學(xué)習(xí)》花書總結(jié)，本章介紹了各種近似推斷的方法,，有EM算法,，變分推斷等，重點是變分推斷,，這部分內(nèi)容個人感覺Variational Inference: A Review for Statisticians 這篇論文對變分推斷的解釋思路更清晰,，所以會主要根據(jù)這篇論文來進行總結(jié)。 完整版： https://zhuanlan.zhihu.com/p/49401976 第二十章 生成模型 1. 生成模型綜述 這是《深度學(xué)習(xí)》花書最后一章,，內(nèi)容也比較多,，所以準備分為四篇總結(jié)：1. 生成模型綜述，比較一下常見的幾種生成模型,。 2. 詳解玻爾茲曼機,，GSN以及Fully Visible Belief Network如PixelRNN/PixelCNN。3.詳解變分自編碼器Variational Autoencoder,。4.詳解生成對抗網(wǎng)絡(luò)Generative Adversarial Network,。另外，由于部分內(nèi)容其他資料會梳理的更清晰,，所以會結(jié)合Ian在2016 NIPS的GAN tutorial NIPS 2016 tutorial: Generative Adversarial Networks和斯坦福Syllabus | CS 231N中與Generative Model相關(guān)的內(nèi)容一起總結(jié),。 這一篇先來綜述一下什么是生成模型，我們?yōu)槭裁匆芯可赡Ｐ鸵约俺Ｒ娚赡Ｐ妥V系及比較,。 完整版： https://zhuanlan.zhihu.com/p/50278440 2. 玻爾茲曼機,、生成隨機網(wǎng)絡(luò)與自回歸網(wǎng)絡(luò) 繼續(xù)總結(jié)花書第20章，這一章花了很大的篇幅介紹玻爾茲曼機及其變種,，但實際應(yīng)用中主要用到的三種方法還是1.自回歸網(wǎng)絡(luò)Auto-Regressive Networks,，又叫做Fully-visible Bayes networks(FVBN)。2.變分自解碼器Variational Autoencoder (VAE),。3.生成對抗網(wǎng)路Generative Adversarial Networks(GAN),。所以這篇會簡要的總結(jié)一下玻爾茲曼機以及生成隨機網(wǎng)絡(luò)，然后著重總結(jié)一下自回歸網(wǎng)絡(luò),。 完整版： https://zhuanlan.zhihu.com/p/50745191 3. 變分自編碼器VAE 繼續(xù)總結(jié)花書第20章,，這一篇我們來看另一種常用的生成模型——變分自編碼器Variational Autoencoder，簡稱VAE,，主要會結(jié)合斯坦福Syllabus | CS 231N中與Generative Model相關(guān)的內(nèi)容來總結(jié),。 完整版： https://zhuanlan.zhihu.com/p/51355416 4. 生成模型中的左右互搏術(shù) 繼續(xù)總結(jié)花書第20章最后一部分生成對抗網(wǎng)絡(luò)Generative Adversarial Network,，簡稱GAN。主要結(jié)合斯坦福Syllabus | CS 231N中與Generative Model相關(guān)內(nèi)容以及NIPS 2016 tutorial: Generative Adversarial Networks來進行總結(jié),。 完整版： https://zhuanlan.zhihu.com/p/37846221 后記與延伸深度學(xué)習(xí)花書讀書筆記后記與延伸： https://zhuanlan.zhihu.com/p/51431332 花書完整筆記的目錄可以看這里： https://zhuanlan.zhihu.com/p/38431213 附加資源之前,，紅色石頭在網(wǎng)上發(fā)現(xiàn)了這份由 Cugtyt 整理的“花書”經(jīng)驗法則的中文版，經(jīng)過翻譯作者的允許,，特此將這份經(jīng)驗法則在公眾號分享出來,，方便大家嘗鮮！ 英文地址： https://jeffmacaluso./post/DeepLearningRulesOfThumb/ 最后,，希望這份資源對你有用,！也感謝原作者的辛勤整理！ |
|
|
