不久前，OpenAI 宣布會在未來的項目中使用 PyTorch 機(jī)器學(xué)習(xí)框架,。OpenAI 是由馬斯克和其他人共同創(chuàng)辦的頂級 AI 研究公司,，曾開發(fā) AI 項目 5 次擊敗 Dota2 世界冠軍、利用機(jī)器人還原魔方等,。

選擇 Pytorch 作為深度學(xué)習(xí)框架

OpenAI 表示,，他們將深度學(xué)習(xí)框架 PyTorch 作為統(tǒng)一的標(biāo)準(zhǔn)，讓團(tuán)隊能夠更好創(chuàng)建和共享模型,。

OpenAl 選擇 PyTorch 的主要原因是為了提高 GPU 的大規(guī)模研究效率,，使用 PyTorch 也很容易執(zhí)行新的研究思路,，它可以將生成建模中的迭代時間從幾周縮短到幾天。而且 Pytorch 也有很多快速增長的開發(fā)者社區(qū),，很多大型研究機(jī)構(gòu) Facebook 等都在使用,，推動了技術(shù)發(fā)展。

OpenAI 目前已計劃將在 PyTorch 上提供開源的教育資源 Spinning Up in Deep RL,，這將更便于深度強(qiáng)化學(xué)習(xí),。該公司在一份聲明中說：「展望未來，我們將主要使用 PyTorch 作為我們的深度學(xué)習(xí)框架,，但有時在有特定技術(shù)原因時也會使用其他框架,。」

PyTorch 與 Tensorflow 的相愛相殺

近幾年來，PyTorch 與 Tensorflow 相愛相殺,，OpenAI 這一舉動無疑于將 Pytorch 推向了浪尖,。

在線搜索量

在谷歌搜索趨勢中，從 2017 年 2 月 4 日到 2020 年 2 月 4 日,，PyTorch 和 TensorFlow 在谷歌的搜索量逐漸逼近,，差距正在縮小。

Google 搜索興趣（藍(lán)色的是 PyTorch,，紅色的是 TensorFlow）

在線求職網(wǎng)站出現(xiàn)頻次

根據(jù)數(shù)據(jù)科學(xué)家 Jeff Hale 對兩個框架的調(diào)研,，截止 2020 年 1 月 26 日，在 LinkedIn 等求職網(wǎng)站上,，TensorFlow 的平均出現(xiàn)頻次是 PyTorch 的兩倍,，而在一年前，TensorFlow 出現(xiàn)的次數(shù)是 PyTorch 的三倍,。

TensorFlow 和 PyTorch 在求職網(wǎng)站上的平均出現(xiàn)頻次

兩個框架出現(xiàn)頻次的占百分比

頂會論文出現(xiàn)次數(shù)

從前 PyTorch 實習(xí)生 Horace He PyTorch 所做的調(diào)研發(fā)現(xiàn),，當(dāng)前 PyTorch 在各大頂會論文中出現(xiàn)的次數(shù)處于領(lǐng)先地位。如下圖所示,，從 2017 年至 2019 年,，在多個頂會論文中 PyTorch 出現(xiàn)次數(shù)在 TensorFlow/PyTorch 總出現(xiàn)次數(shù)的占比大于 50%，意味著 PyTorch 出現(xiàn)的次數(shù)多于 TensorFlow,。

PyTorch 出現(xiàn)次數(shù)在 TensorFlow/PyTorch 總出現(xiàn)次數(shù)的占比

為了更細(xì)節(jié)化比較,，下圖展示了 2016 年至 2019 年間，PyTorch 和 TensorFlow 在 NeurlPS 會議論文的趨勢,，實線表示 PyTorch,，虛線表示 TensorFlow。

PyTorch 和 TensorFlow 論文在 NeurlPS 會議的占比

從 2018 年到 2019 年,，PyTorch 的論文數(shù)量不斷逼近 TensorFlow 的論文數(shù)量,，從一倍的差距到相差甚少。在最近的 NeurlPS 會議上,，PyTorch 的論文數(shù)量為 166,，而 TensorFlow 的論文數(shù)量為 74,，前者是后者的兩倍?？梢?PyTorch 在學(xué)術(shù)界越來越受歡迎,。

TensorFlow 雖仍處于領(lǐng)先地位，但 PyTorch 正一步步取得進(jìn)展,，逐漸縮小差距,。在學(xué)術(shù)界，PyTorch 因其可快速實現(xiàn)和驗證想法的優(yōu)點,，已經(jīng)超越了 TensorFlow,。

PyTorch

PyTorch 于 2016 年 10 月在 Facebook 上公開發(fā)布，是一個基于 Torch 的開源機(jī)器學(xué)習(xí)庫,。PyTorch 使用 Python 作為開發(fā)語言,，友好直觀。PyTorch 作為深度學(xué)習(xí)模型的功能：

• 支持 Python,。PyTorch 與 python 數(shù)據(jù)科學(xué)相結(jié)合,，可以看作是加入 GPU 支持的 numpy，實現(xiàn)強(qiáng)大的 GPU 加速,。

• 執(zhí)行代碼高效,。用戶無需等待編寫完整的代碼即可檢查是否有效，因此可以高效運行部分代碼并進(jìn)行實時檢查,，可以輕松找到出錯代碼,，避免浪費太多時間。

• 動態(tài)計算圖,。PyTorch 提供了一個框架,，可以隨時構(gòu)建計算圖，甚至可以在運行時更改它們,，如果想要改變網(wǎng)絡(luò)結(jié)構(gòu),，通過一次反向求導(dǎo)技術(shù)，可以任意改變神經(jīng)網(wǎng)絡(luò)行為,，使得任何瘋狂想法獲得最高速度和最佳靈敏度。

TensorFlow

TensorFlow 是由 Google 開發(fā)的一個著名深度學(xué)習(xí)庫,，以計算圖的形式來表示整個計算過程,。它具有強(qiáng)大的可視化功能，也可用于高級模型的開發(fā),。TensorFlow 的功能：

• 簡單的內(nèi)置高級 API,。通過使用直觀的高級 API（如 Keras），該庫可以構(gòu)建和訓(xùn)練機(jī)器學(xué)習(xí)模型,，使得模型迭代更加快速,、易于調(diào)試,。

• 隨時隨地部署模型。無論使用哪種語言,，都可以在本地,、瀏覽器或移動設(shè)備中訓(xùn)練和部署模型。

PyTorch 與 TensorFlow 之間的區(qū)別

生產(chǎn)部署

工業(yè)界更注重生產(chǎn)部署,，這對于 TensorFlow 來說無疑是贏家,，我們可以使用 TensorFlow 框架直接在 TensorFlow 中部署模型，在現(xiàn)有的生態(tài)基礎(chǔ)上進(jìn)行算法組合和調(diào)優(yōu),，能更快速給出方案,、快速跑通程序來完成特定任務(wù)。而在 PyTorch 中,，與最新的穩(wěn)定版本 1.0 相比,，雖然這些生產(chǎn)部署更易于處理，但是它并沒有提供任何框架將模型直接部署到 web 上,，必須要使用 Flask 或 Django 作為后端服務(wù)器,。所以，對于目前的部署生態(tài),，TensorFlow 比 PyTorch 更加老練,。

計算圖構(gòu)造

TensorFlow 使用靜態(tài)圖，這意味著用戶首先需要定義模型的計算圖,，之后不斷運行機(jī)器學(xué)習(xí)模型,，需要圖經(jīng)過編譯然后在執(zhí)行引擎上執(zhí)行。然而 PyTorch 具有創(chuàng)建圖的動態(tài)特性,，每次都會重新構(gòu)建新的計算圖,，并且可在運行中操作圖，便于調(diào)試,。

PyTorch 與 TensorFlow 各有自己的特點,，功能各有千秋，接下來其他公司將作何選擇,，讓我們拭目以待,。

參考鏈接：

[1] https:///blog/openai-pytorch/

[2] https:///blog/pytorch-vs-tensorflow

[3]https:///is-pytorch-catching-tensorflow-ca88f9128304