Hardware for deep learning

使用預(yù)訓(xùn)練網(wǎng)絡(luò)預(yù)測新的數(shù)據(jù)對于任何新款筆記本電腦或私人計算機來說都是力所能及的事情,。即使是對一個預(yù)訓(xùn)練網(wǎng)絡(luò)的一小部分進行再訓(xùn)練，以使其擬合到一個新的數(shù)據(jù)集上,，也不一定需要專門的硬件,。讀者完全可以在私人計算機或筆記本電腦上練習(xí)本書中的示例。不過我們預(yù)計,，對于一些更復(fù)雜的示例,，進行一次完整的訓(xùn)練可能會需要一個具有CUDA功能的圖形處理單元（GPU），例如一個具有8GB RAM的GPU（我們建議使用NVIDIA GTX 1070及以上級別的GPU）,。當然,，如果讀者的硬件中可用的RAM較少，也可以適當調(diào)整這些參數(shù),。

需要注意的是：如果讀者愿意花費時間等待程序運行的話可以不必在意硬件的配置,。但是在GPU上運行會將訓(xùn)練時間降低至少一個數(shù)量級（通常會快40到50倍）。以單步執(zhí)行來看,，計算參數(shù)更新所需的操作在現(xiàn)代硬件（如典型的筆記本電腦的CPU）上的執(zhí)行速度是很快的（幾毫秒到幾秒不等）,。問題是，訓(xùn)練過程中會多次循環(huán)往復(fù)地執(zhí)行這些操作,，逐步地更新網(wǎng)絡(luò)參數(shù),，從而將訓(xùn)練誤差降到最低（訓(xùn)練時候還用CPU就會非常慢啦）,。

適中規(guī)模的網(wǎng)絡(luò)在配備了良好GPU的工作站上從零開始訓(xùn)練大型的真實世界中的數(shù)據(jù)集，可能需要花費數(shù)小時乃至數(shù)天的時間,。在同一個機器上使用多個GPU,，或者更進一步使用配備了多個GPU的機器集群，能夠有效地降低訓(xùn)練時間,。

由于云計算服務(wù)商提供的服務(wù),，這些配置并非像聽上去那樣貴的難以承受。DAWNBench是斯坦福大學(xué)的一項有趣的計劃,，旨在為完成常見的深度學(xué)習(xí)任務(wù)提供一個關(guān)于模型訓(xùn)練時間和云計算成本的參考基準,，并且這些常見的深度學(xué)習(xí)任務(wù)所對應(yīng)的數(shù)據(jù)集也都是公開的。

如果讀者擁有GPU那就再好不過了,。否則的話,，我們建議查看各種云平臺的服務(wù)，其中許多服務(wù)都內(nèi)置了支持GPU且預(yù)安裝PyTorch的Jupyter notebooks,，并且這些服務(wù)通常都會有一定的免費額度,。

最后需要考慮的是：操作系統(tǒng)（OS）。PyTorch從第一個版本開始就支持Linux和macOS,，并于2018年期間增加了對Windows的支持,。由于目前的蘋果筆記本電腦不支持具有CUDA功能的GPU，所以macOS系統(tǒng)上的PyTorch預(yù)編譯包也僅支持CPU,。我們盡量避免假設(shè)讀者是在某個特定的操作系統(tǒng)上運行的情況,；腳本命令行應(yīng)該能很容易地轉(zhuǎn)換成Windows兼容的格式。為了方便起見,，只要有可能我們就把代碼列出來,，讀者可以把它當作是運行在Jupyter Notebook上（小糖豆注：重要的是代碼，是思想,，不必在意操作系統(tǒng)）,。

有關(guān)安裝的信息，請參閱官方網(wǎng)站上的入門指南,。我們建議Windows用戶使用Anaconda（預(yù)裝了很多Python包和conda管理工具）或Miniconda（Anaconda的mini版）進行安裝,。其他操作系統(tǒng)的用戶，如Linux用戶,，通常會有更多的可用選項,，其中Pip是最常見的安裝程序的工具之一。當然,，有經(jīng)驗的用戶可以選擇最熟悉的開發(fā)環(huán)境以及Python包的安裝方式,。

Using Jupyter Notebooks

我們假設(shè)讀者已經(jīng)安裝了PyTorch和其他依賴項，并且已經(jīng)驗證了它們安裝無誤,。我們將經(jīng)常使用Jupyter Notebooks,，例如展示代碼,。Jupyter Notebook在瀏覽器中以頁面的形式來展示，提供代碼交互式運行的體驗,。代碼由內(nèi)核計算,，該內(nèi)核是指一個運行在服務(wù)器上的進程，它隨時準備接收并執(zhí)行代碼,，之后返回結(jié)果并將它顯示在頁面上,。Notebook將持續(xù)維護內(nèi)存中的內(nèi)核狀態(tài)，如代碼求值期間定義的變量,，直到Notebook被終止或重新啟動,。讀者與Notebook進行交互的基本單元是一個單元格，即頁面上的一個編輯框,，讀者可以在其中鍵入代碼并讓內(nèi)核對其進行求值（通過在菜單項中選擇或按Shift+Enter鍵）,。讀者可以將多個單元格添加到Notebook中，新單元格會包含在先前單元格中創(chuàng)建的變量,。在代碼執(zhí)行后,，單元格最后一行返回的值將打印在單元格下方，即使返回的是繪圖也能如此,。將源代碼,、執(zhí)行結(jié)果和Markdown格式的文本單元格混合在一起，就可以生成美觀的交互式文檔,。讀者可以在項目網(wǎng)站(https://)上閱讀關(guān)于Jupyter Notebooks的所有內(nèi)容,。

現(xiàn)在,，讀者需要從GitHub上獲得代碼,，并在其根目錄啟動notebook服務(wù)器。服務(wù)器的啟動方式取決于操作系統(tǒng)以及Jupyter的安裝方式和位置,。如果讀者有任何問題,，可以在我們的論壇上提問(https://forums./forums/deep-learning-with-pytorch)。當notebook服務(wù)器啟動時,，會彈出默認瀏覽器,，顯示本地的notebook文件列表。

Jupyter Notebooks是借助代碼來表達和調(diào)研思路的強大工具,。盡管我們認為它們很適合我們所舉的案例,，但它們并不適合所有情況。我們認為,，本書中重要的是集中精力克服障礙并最大程度地降低認知負擔,，但這對每個人都是不同的。讀者在體驗PyTorch的時候完全可以選擇自己喜歡的方式,。

讀者可以在我們的GitHub倉庫(https://github.com/deep-learning-with-pytorch/dlwpt-code)中下載到本書中所有的代碼,。

Exercises

• 啟動Python來獲取交互式體驗：

• 讀者使用Python哪個版本,？2.x還是3.x？

• 讀者會導(dǎo)入torch包嗎,？配好的PyTorch的版本號是什么,？
  

• 執(zhí)行torch.cuda.is_available()的返回結(jié)果是什么？讀者可依據(jù)使用的硬件判斷它是否符合讀者的期望,。
  

• 啟動Jupyter Notebook服務(wù)器：

• Jupyter使用的Python版本號是什么,？

• Jupyter使用的torch庫的位置與讀者從交互式Python中導(dǎo)入的torch庫的位置相同嗎？

Summary

• 深度學(xué)習(xí)模型會自動地學(xué)習(xí)如何將示例中的輸入和期望的輸出建立聯(lián)系,。

• PyTorch等深度學(xué)習(xí)庫使讀者可以有效地構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型,。

• PyTorch在專注于靈活性和速度的同時最大程度地降低了認知負擔。它默認使用即時執(zhí)行模式,。

• TorchScript是一種可以在C++中調(diào)用的預(yù)編譯的延遲執(zhí)行模型,。

• 自2017年初PyTorch問世以來，深度學(xué)習(xí)工具的生態(tài)系統(tǒng)已顯著鞏固完善,。

• PyTorch提供了一些實用的功能庫來幫助深度學(xué)習(xí)項目開發(fā),。