|
【新智元導(dǎo)讀】在 PyTorch 開發(fā)者大會(huì)上,，F(xiàn)acebook 重磅發(fā)布了 PyTorch 1.3推出一系列新特性以及一大波工具和庫(kù),。2019年機(jī)器學(xué)習(xí)框架之戰(zhàn)，你站PyTorch還是TensorFlow,？來(lái)新智元 AI 朋友圈為你喜愛的機(jī)器學(xué)習(xí)框架投票吧～昨天,，F(xiàn)acebook 在 PyTorch 開發(fā)者大會(huì)上給出一個(gè)數(shù)據(jù)： 僅在 2019 年上半年，ArXiv 論文中 PyTorch 的引用量增長(zhǎng)了 194%,；PyTorch 平臺(tái)的貢獻(xiàn)者數(shù)量比去年增長(zhǎng)了 50% 以上,，達(dá)到近 1200 人。 PyTorch 正在快速增長(zhǎng),，尤其在學(xué)術(shù)圈中地位飆升,，大有取代 “老大哥” TensorFlow，成為機(jī)器學(xué)習(xí)框架 No. 1 的勢(shì)頭,。 不過(guò),，thegradient 利用多個(gè)數(shù)據(jù)來(lái)源，細(xì)致分析 2019 年機(jī)器學(xué)習(xí)框架現(xiàn)狀,，得出結(jié)論：PyTorch 主導(dǎo)了學(xué)術(shù)界,，TensorFlow 主導(dǎo)了工業(yè)界。 這一趨勢(shì)也可能變化,，因?yàn)榫驮谧蛱?，微軟、Uber 等宣布將使用 PyTorch 作為公司最重要的機(jī)器學(xué)習(xí)研究和產(chǎn)品工作負(fù)載的基礎(chǔ),。 在 PyTorch 開發(fā)者大會(huì)上,，Facebook 重磅發(fā)布了 PyTorch 1.3，推出一系列新特性,，如支持無(wú)縫模型部署到移動(dòng)設(shè)備,，模型量化以在推理時(shí)獲得更好的性能，以及前端改進(jìn),，如命名張量 (name tensors) 等,。此外，還推出了一大波工具和庫(kù),，增加 Cloud TPU 和阿里云支持等,。 接下來(lái),，我們先來(lái)看 PyTorch 1.3 的新特性和新工具，再對(duì)比 PyTorch 和 TensorFlow,。 來(lái)新智元AI朋友圈,，投票選出你最看好的機(jī)器學(xué)習(xí)框架吧！ 新智元 PyTorch 和 TensorFlow,，你選誰(shuí),？  小程序 PyTorch 1.3 帶來(lái)了一系列重要的新特性，包括對(duì)移動(dòng)設(shè)備部署的實(shí)驗(yàn)支持,、 8-bit 整數(shù)的 eager mode 量化,，以及 name tensors 等。 命名張量 (Named tensors) 康奈爾大學(xué)的 Sasha Rush 認(rèn)為,，盡管張量在深度學(xué)習(xí)中無(wú)處不在,，但是傳統(tǒng)的張量實(shí)現(xiàn)存在明顯的缺點(diǎn)，比如暴露私有維度,、基于絕對(duì)位置的 broadcasting 以及在文檔中保留類型信息,。他提出將 named tensors 作為替代方法。 通過(guò) named tensors,，我們可以命名和訪問(wèn)維度： 命名也使代碼更易于閱讀和維護(hù)： 
量化 (Quantization) 在開發(fā) ML 應(yīng)用程序時(shí),，有效地利用服務(wù)器端和設(shè)備上的計(jì)算資源非常重要。為了在服務(wù)器和邊緣設(shè)備上支持更高效的部署,，PyTorch 1.3 現(xiàn)在支持使用熟悉的 eager 模式 Python API 的 8-bit 模型量化,。 量化是指用于執(zhí)行精度較低的計(jì)算和存儲(chǔ)的技術(shù)，如 8-bit 整數(shù),。當(dāng)前的實(shí)驗(yàn)特性包括對(duì)訓(xùn)練后量化,、動(dòng)態(tài)量化和量化感知訓(xùn)練的支持,。 要了解更多關(guān)于設(shè)計(jì)和架構(gòu)的信息,，請(qǐng)查看: https://pytorch.org/docs/master/quantization.htmlPyTorch mobile 在邊緣設(shè)備上運(yùn)行 ML 變得越來(lái)越重要，因?yàn)閼?yīng)用程序需要更低的延遲,。它也是聯(lián)邦學(xué)習(xí)等隱私保護(hù)技術(shù)的基礎(chǔ)元素,。為了在設(shè)備上實(shí)現(xiàn)更高效的 ML, PyTorch 1.3 現(xiàn)在支持從 Python 到在 iOS 和 Android 上部署的端到端工作流。 了解更多：http://pytorch.org/mobile 用于模型可解釋性和隱私性的新工具 Captum 隨著模型變得越來(lái)越復(fù)雜,，開發(fā)用于模型可解釋性的新方法變得越來(lái)越重要,。為了幫助解決這個(gè)需求，我們推出了 Captum,，這是一個(gè)幫助 PyTorch 開發(fā)人員理解為什么他們的模型生成特定輸出的工具,。Captum 提供了最先進(jìn)的工具來(lái)了解特定神經(jīng)元和層的重要性，并影響模型的預(yù)測(cè),。Captum 的算法包括 integrated gradients,，conductance,， SmoothGrad 和 VarGrad，以及 DeepLift,。 下面的例子展示了如何將模型可解釋性算法應(yīng)用到一個(gè)預(yù)訓(xùn)練好的 ResNet 模型上,，然后將每個(gè)像素的屬性疊加在圖像上進(jìn)行可視化。 noise_tunnel = NoiseTunnel(integrated_gradients) attributions_ig_nt, delta = noise_tunnel.attribute(input, n_samples=10, nt_type=smoothgrad_sq, target=pred_label_idx)_ = viz.visualize_image_attr_multiple([original_image, heat_map], [all, positive], np.transpose(attributions_ig_nt.squeeze().cpu().detach().numpy(), (1,2,0)), np.transpose(transformed_img.squeeze().cpu().detach().numpy(), (1,2,0)), cmap=default_cmap, show_colorbar=True)
在該圖中,，使用 integrated gradients 計(jì)算特征屬性,，并顯示在右側(cè)的圖像中。(圖片由 Pixabay 提供,。) 了解更多：https://www./ CrypTen ML 通過(guò)基于云或機(jī)器學(xué)習(xí)即服務(wù) (MLaaS) 平臺(tái)的實(shí)際應(yīng)用對(duì)安全性和隱私提出了一系列挑戰(zhàn),。為了應(yīng)對(duì)這些挑戰(zhàn)，ML 社區(qū)正在探索各種技術(shù)方法,，包括同態(tài)加密,、安全多方計(jì)算、可信執(zhí)行環(huán)境,、設(shè)備上的計(jì)算和差異隱私,。 為了更好地理解如何應(yīng)用這些技術(shù)，我們發(fā)布了 CrypTen,，這是一個(gè)新的基于社區(qū)的研究平臺(tái),，用于推進(jìn)隱私保護(hù) ML 領(lǐng)域的發(fā)展。 了解更多：https://facebookresearch./CrypTen/ 用于多模態(tài) AI 系統(tǒng)的工具 數(shù)字內(nèi)容通常由幾種形式組成,，如文本,、圖像、音頻和視頻,。PyTorch 豐富的工具和庫(kù)提供了強(qiáng)大的方法來(lái)解決構(gòu)建多模式 ML 系統(tǒng)的挑戰(zhàn),。以下是最新推出的庫(kù)： Detectron2 這是一個(gè)在 PyTorch 中實(shí)現(xiàn)的對(duì)象檢測(cè)庫(kù)。Detectron2 提供對(duì)最新模型和任務(wù)的支持,，增強(qiáng)的靈活性以幫助進(jìn)行計(jì)算機(jī)視覺研究,，并改善了可維護(hù)性和可擴(kuò)展性以支持生產(chǎn)用例。 fairseq 的語(yǔ)音擴(kuò)展 語(yǔ)言翻譯和音頻處理是搜索,、翻譯,、語(yǔ)音和助手等系統(tǒng)和應(yīng)用程序中的關(guān)鍵組件。近年來(lái),，隨著 transformers 等新架構(gòu)的發(fā)展,，以及大規(guī)模的預(yù)訓(xùn)練方法，這些領(lǐng)域取得了巨大的進(jìn)步,。我們擴(kuò)展了 fairseq,，這是一個(gè)用于序列到序列應(yīng)用 (如語(yǔ)言翻譯) 的框架，包括對(duì)語(yǔ)音和音頻識(shí)別任務(wù)的端到端學(xué)習(xí)的支持。 云和硬件生態(tài)系統(tǒng)支持 AWS,、Microsoft Azure 和谷歌云等云提供商為任何希望在 PyTorch 上開發(fā) ML 并將其部署到生產(chǎn)環(huán)境中的人提供了廣泛的支持,。 現(xiàn)在，PyTorch 已經(jīng)廣泛支持谷歌云 TPU,，并與阿里云進(jìn)行了新的整合,。 2019年機(jī)器學(xué)習(xí)框架之戰(zhàn)，PyTorch還是TensorFlow,？自2012年深度學(xué)習(xí)重新獲得重視以來(lái),，許多機(jī)器學(xué)習(xí)框架便爭(zhēng)相成為研究人員和行業(yè)從業(yè)人員的新寵。從早期的學(xué)術(shù)成果Caffe和Theano到龐大的產(chǎn)業(yè)支持的PyTorch和TensorFlow,，在這么多選擇中,，到底最流行的是哪一個(gè)？如果你只瀏覽Reddit,，則可能會(huì)假設(shè)每個(gè)人都在用PyTorch,。若從Francois Chollet的Twitter來(lái)判斷，TensorFlow或Keras可能是主流,，而PyTorch卻停滯不前,。在2019年，機(jī)器學(xué)習(xí)框架之戰(zhàn)還有兩個(gè)主要競(jìng)爭(zhēng)者：PyTorch和TensorFlow,。分析表明,，研究人員正在放棄TensorFlow并大量涌向PyTorch。同時(shí),，在行業(yè)中,，Tensorflow當(dāng)前是首選平臺(tái)，但從長(zhǎng)遠(yuǎn)來(lái)看可能并非如此,。PyTorch在研究領(lǐng)域的主導(dǎo)地位不斷提升先來(lái)看看數(shù)據(jù),。下圖顯示了從2017~2019年，在主要機(jī)器學(xué)習(xí)頂會(huì)上,，僅提及PyTorch的論文和使用TensorFlow或PyTorch的論文之間的比例,。可以看出,，所有的線條都在向上傾斜,，并且在2019年的每個(gè)主要會(huì)議上,，大多數(shù)論文都在PyTorch中實(shí)現(xiàn),。詳見：https://chillee./pytorch-vs-tensorflow/如果你需要更多證據(jù)證明PyTorch在學(xué)術(shù)界的發(fā)展有多快，下面是PyTorch與TensorFlow被提及數(shù)量的對(duì)比圖,。PyTorch和TensorFlow被單獨(dú)提及的數(shù)量在2018年,，PyTorch還是少數(shù)。現(xiàn)在，PyTorch已是主流,，CVPR使用PyTorch的占 69％,，NAACL和ACL中占75％以上，而ICLR和ICML中占50％以上,。雖然PyTorch在視覺和語(yǔ)言會(huì)議上的統(tǒng)治地位最強(qiáng)（PyTorch與TensorFlow相比是2：1和3：1）,，但在ICLR和ICML等常規(guī)機(jī)器學(xué)習(xí)會(huì)議上，PyTorch也比TensorFlow受歡迎,。雖然有人認(rèn)為PyTorch仍然是一個(gè)新興的框架,，試圖在TensorFlow主導(dǎo)的世界中開拓一席之地，但數(shù)據(jù)顯示并非如此,。除了ICML之外,，在任何一次會(huì)議上，TensorFlow的增長(zhǎng)都與論文的總體增長(zhǎng)保持一致,。在NAACL,、ICLR和ACL，Tensorflow今年的論文數(shù)量實(shí)際上比去年少,。PyTorch不用擔(dān)心自己的未來(lái),，需要擔(dān)心的是TensorFlow。為什么研究人員喜歡PyTorch,？- 簡(jiǎn)單,。它類似于numpy，非常具有python風(fēng)格,，并且可以輕松地與Python生態(tài)系統(tǒng)的其余部分集成,。例如，只需在PyTorch模型中的任何地方插入一個(gè)pdb斷點(diǎn),，它就可以工作了,。在TensorFlow中，調(diào)試模型需要一個(gè)活動(dòng)會(huì)話（active session）,，并且最終變得更加棘手,。
- 很棒的API。與TensorFlow的API相比,，大多數(shù)研究人員更喜歡PyTorch的API,。一個(gè)原因是PyTorch的設(shè)計(jì)更好，另一個(gè)原因是TensorFlow通過(guò)多次切換API（例如‘layers’ -> ‘slim’ -> ‘estimators’ -> ‘tf.keras’）把自己搞殘了,。
- 性能,。盡管事實(shí)上PyTorch的動(dòng)態(tài)圖提供的優(yōu)化機(jī)會(huì)很少，但是有許多傳聞稱PyTorch的速度和TensorFlow一樣快,，甚至比TensorFlow還快,。目前尚不清楚這是否真的成立,，但至少，TensorFlow在這一領(lǐng)域還沒(méi)有獲得決定性的優(yōu)勢(shì),。
TensorFlow的研究前景如何,？即使TensorFlow在功能方面與PyTorch不相上下，但PyTorch已經(jīng)覆蓋了社區(qū)的大部分,。這意味著PyTorch將更容易找到,，作者將更有動(dòng)力在PyTorch中發(fā)布代碼（以便人們使用它），并且你的合作者很可能會(huì)更喜歡PyTorch,。因此,，如果真的發(fā)生的話，任何回到Tensorflow 2.0的遷移都可能很慢,。TensorFlow在Google / DeepMind中將始終擁有一定的受眾群體,，但不知道Google是否最終會(huì)放棄。即使是現(xiàn)在,，Google想要招募的許多研究人員已經(jīng)在不同層次上偏愛PyTorch,，而且還聽到有人抱怨說(shuō)Google內(nèi)部的許多研究人員都希望使用TensorFlow以外的框架。此外,，PyTorch的統(tǒng)治地位可能會(huì)開始將Google研究人員與其他研究群體隔離開來(lái),。他們不僅很難在外部研究的基礎(chǔ)上進(jìn)行構(gòu)建，而且外部研究人員也不太可能在Google發(fā)布的代碼基礎(chǔ)上進(jìn)行構(gòu)建,。PyTorch和TensorFlow用于生產(chǎn)盡管PyTorch現(xiàn)在在研究領(lǐng)域占據(jù)主導(dǎo)地位,，但縱觀業(yè)界，TensorFlow仍然是主導(dǎo)框架,。例如,，根據(jù)2018年至2019年的招聘網(wǎng)站數(shù)據(jù)，TensorFlow有1541個(gè)新職位,，PyTorch有1437個(gè)新職位,。TensorFlow的Medium文章有3230篇，PyTorch則有1200篇,；TensorFlow有13700顆GitHub新星,，PyTorch有7200顆，等等,。因此,，如果PyTorch在學(xué)界中如此流行，為什么它沒(méi)有在業(yè)界獲得同樣的成功呢,？一個(gè)顯而易見的第一個(gè)答案就是懶（inertia）,。Tensorflow比PyTorch早幾年問(wèn)世，業(yè)界采用新技術(shù)的速度比研究人員慢,。另一個(gè)原因是TensorFlow在生產(chǎn)方面比PyTorch更好,。但是，這是什么意思,？要回答這個(gè)問(wèn)題,，我們需要知道研究人員和行業(yè)的需求有何不同。研究人員在意他們能夠以多快的速度進(jìn)行研究,，該研究通常是在相對(duì)較小的數(shù)據(jù)集（可以放在一臺(tái)機(jī)器上的數(shù)據(jù)集）上運(yùn)行的,，并且運(yùn)行在<8個(gè)GPU上。通常,，研究人員考慮的是速度而非性能,，即哪個(gè)能讓他們快速實(shí)踐新想法。相反,，業(yè)界認(rèn)為性能是重中之重,。盡管將運(yùn)行速度提高10％對(duì)研究人員來(lái)說(shuō)毫無(wú)意義，但這可以直接為公司節(jié)省數(shù)百萬(wàn)美元的費(fèi)用,。另一個(gè)區(qū)別是部署,。研究人員將在自己的計(jì)算機(jī)或?qū)Ｓ糜谶\(yùn)行研究工作的服務(wù)器群集上進(jìn)行實(shí)驗(yàn)。相反,，業(yè)界有很多限制/要求：- 無(wú)Python,。一些公司會(huì)運(yùn)行服務(wù)器，而高昂的Python運(yùn)行開銷無(wú)法承受,。
- 移動(dòng),。無(wú)法在mobile binary中嵌入Python interpreter。
- 服務(wù),。一個(gè)全面的功能,，如不停機(jī)更新模型，無(wú)縫切換模型,，在預(yù)測(cè)時(shí)間批處理,，等等。
TensorFlow是專門針對(duì)這些需求而構(gòu)建的,，并為所有這些問(wèn)題提供了解決方案：圖形格式和執(zhí)行引擎本來(lái)就不需要Python,，TensorFlow Lite和TensorFlow Serving服務(wù)分別考慮了移動(dòng)和服務(wù)。從歷史上看,，PyTorch未能滿足這些考慮,，因此大多數(shù)公司目前在生產(chǎn)中使用TensorFlow。在 API 級(jí)別,，TensorFlow eager 模式與 PyTorch 的 eager 模式本質(zhì)上是相同的,。eager 模式為 TensorFlow 提供了 PyTorch 的大部分優(yōu)勢(shì) (易用性、可調(diào)試性等),。然而,，這也給了 TensorFlow 帶來(lái)了同樣的缺點(diǎn),。TensorFlow eager 模型不能導(dǎo)出到非 python 環(huán)境，不能進(jìn)行優(yōu)化,，不能在移動(dòng)設(shè)備上運(yùn)行,，等等。這將 TensorFlow 置于與 PyTorch 相同的位置,，它們以本質(zhì)上相同的方式進(jìn)行解析 —— 你可以跟蹤代碼 (tf.function) 或重新解釋 Python 代碼 (Autograph),。因此，TensorFlow 的 eager 模式并不能真正做到 “兩全其美”,。盡管可以使用 tf 將代碼轉(zhuǎn)換為靜態(tài)圖,，但這不是一個(gè)無(wú)縫的過(guò)程。跟蹤代碼會(huì)受到限制,，重新解釋 Python 代碼本質(zhì)上需要重寫大部分 Python 編譯器,。當(dāng)然，通過(guò)將范圍限制為用于深度學(xué)習(xí)的 Python 子集,，可以大大簡(jiǎn)化范圍,。PyTorch占領(lǐng)研究界，TensorFlow統(tǒng)治工業(yè)界至此,，我們得出了機(jī)器學(xué)習(xí)框架當(dāng)前的現(xiàn)狀：PyTorch 占領(lǐng)了研究界,，并試圖將其在研究領(lǐng)域的成功推廣到工業(yè)界。 TensorFlow 試圖在不犧牲太多生產(chǎn)能力的情況下,，遏制其在研究領(lǐng)域的損失,。
當(dāng)然，PyTorch 要在業(yè)界產(chǎn)生有意義的影響還需要很長(zhǎng)一段時(shí)間 ——TensorFlow 太根深蒂固了,，而行業(yè)變化緩慢,。不過(guò)，從 TensorFlow 1.0 過(guò)渡到 2.0 會(huì)是困難的,，這為公司考慮采用 PyTorch 提供了機(jī)會(huì),。未來(lái)將取決于誰(shuí)能更好地回答下列問(wèn)題。現(xiàn)在這批博士生即將畢業(yè),，他們將帶上 PyTorch 進(jìn)入業(yè)界。這種偏好是否足夠強(qiáng)大,，以至于公司會(huì)出于招聘目的選擇 PyTorch,？創(chuàng)業(yè)的畢業(yè)生會(huì)為自己的公司選擇 PyTorch 嗎 ?在線社區(qū)給我的印象是,，TensorFlow Eager 深受性能 / 內(nèi)存問(wèn)題的困擾,，而 Autograph 系列也有自己的問(wèn)題。谷歌將花費(fèi)大量的工程努力,，但 TensorFlow 卻受歷史包袱拖累,。PyTorch 仍有許多基本問(wèn)題問(wèn)題沒(méi)有解決 —— 沒(méi)有好的量化指標(biāo)、不支持移動(dòng)設(shè)備,、服務(wù)性等等,。在這些問(wèn)題解決之前，PyTorch 不會(huì)成為許多公司的選擇,。注：在本文發(fā)布的當(dāng)天,，PyTorch 就宣布了對(duì)量化和移動(dòng)的支持,。這兩種方法都還處于試驗(yàn)階段,，但是對(duì)于 PyTorch 來(lái)說(shuō)已經(jīng)取得了重大進(jìn)展。谷歌推動(dòng) TensorFlow 的主要原因之一是幫助其迅速發(fā)展的云服務(wù),。由于谷歌試圖擁有整個(gè) ML 垂直市場(chǎng)，這可能激勵(lì)競(jìng)爭(zhēng)的公司 (微軟,、亞馬遜,、英偉達(dá)等) 支持唯一的替代機(jī)器學(xué)習(xí)框架，即 PyTorch,。讀者朋友,，你正在用的是 PyTorch 還是 TensorFlow？歡迎來(lái)新智元AI朋友圈參與投票,，選出你最看好的機(jī)器學(xué)習(xí)框架~
https:///state-of-ml-frameworks-2019-pytorch-dominates-research-tensorflow-dominates-industry/https://ai./blog/pytorch-13-adds-mobile-privacy-quantization-and-named-tensors/
|
