深度學習(DL)和人工智能(AI)已經(jīng)不再是科幻小說中遙不可及的目標，目前已成為了互聯(lián)網(wǎng)和大數(shù)據(jù)等領(lǐng)域的前沿研究內(nèi)容,。

由于云計算提供強的計算能力,、提出的先進算法以及充裕的資金，這創(chuàng)造了五年前難以想象的新技術(shù),。此外,，層出不窮的豐富數(shù)據(jù)也使得深度學習成為了現(xiàn)實。

相關(guān)內(nèi)容分成四個部分,，主要深入探索深度學習,、數(shù)據(jù)庫的選擇以及相關(guān)實際商業(yè)應(yīng)用問題等。

• 在今天的第I部分內(nèi)容中,，主要是講解人工智能的歷史以及它現(xiàn)在高速發(fā)展的原因,；

• 在第II部分內(nèi)容中，將討論一下人工智能,、機器學習和深度學習之間的區(qū)別,；

• 在第III部分內(nèi)容中，將深入研究深度學習以及在為新項目選擇數(shù)據(jù)庫時需要評估的關(guān)鍵事項,；

• 在第IV部分內(nèi)容中,，將討論深度學習為何使用MongoDB，并提供相關(guān)使用實例,；

第I部分

人工智能的歷史

我們目前生活在人工智能開始嶄露頭角的時代,，人工智能不僅創(chuàng)造了擾亂工業(yè)和變革工作場所的可能性，而且還可以解決一些社會上的挑戰(zhàn),。比如自動駕駛可以挽救數(shù)萬人的生命,、增加老年人和殘疾人的流動性，精準醫(yī)學可以開展個體化治療以延長生命,，智能建筑有助于減少碳排放并節(jié)約能源等,，這些只是人工智能承諾的一些潛在的好處，并且大多已經(jīng)取得相關(guān)突破性的進展,。

到2018年,，Gartner公司估計機器將占全球所有業(yè)務(wù)內(nèi)容的20%,，并預計60億個聯(lián)網(wǎng)設(shè)備將產(chǎn)生大量的數(shù)據(jù)。人工智能對理解這一切顯得至關(guān)重要,，AI不再局限于科幻電影中，人工智能和機器學習正在被現(xiàn)實世界中的相關(guān)業(yè)務(wù)采用,。

自從艾倫·圖靈(Alan Turing)于1950年寫了篇論文《計算機器與智能》以來,，人工智能一直是人們的一個夢想,。在這篇論文中,，圖靈提出了一個根本性的問題——“機器能思考嗎?”，并考慮計算機是否能像人類那樣進行思考,。人工智能領(lǐng)域的研究真正誕生于1956年的夏天,，一組聚集在達特茅斯學院(Dartmouth College)的研究人員發(fā)起了一系列的研究項目，他們的目標是讓計算機做出像人類一樣行為,?！叭斯ぶ悄堋边@一詞也是第一次在這所學院被創(chuàng)造出來，該會議的概念形成了一個合法的跨學科交流的研究領(lǐng)域,。

在接下來的十年中,，隨著新技術(shù)的發(fā)展受到當代技術(shù)的限制，人工智能的發(fā)展經(jīng)歷了繁榮和蕭條周期,。在1968年,，科幻電影《2001：太空漫游》中的智能電腦——HAL9000說了一句著名的話，“對不起,，戴夫,，恐怕我不能那么做”，這幫助AI在主流意識中留下了不可磨滅的印象,。在20世紀70年代末,，電影《星球大戰(zhàn)》中智能機器人幫助拯救銀河的場景進一步鞏固了AI在主流文化中的地位。

但直到20世紀90年代末,，人工智能才開始從科幻傳說轉(zhuǎn)變?yōu)楝F(xiàn)實世界中的實際應(yīng)用,。1997年初，由IBM的深藍國際象棋程序擊敗了當時的世界冠軍Garry Kasparov,，人工智能在上世界90年代迎來了一個新的時代,，AI的研究進展也開始加速。研究人員變得開始關(guān)注人工智能的相關(guān)子問題,，并利用它來解決現(xiàn)實世界中的應(yīng)用任務(wù),，比如圖像和語音識別等。研究人員沒有試圖構(gòu)造由專家知識決定的邏輯規(guī)則,，而是開始研究如何通過算法學習邏輯規(guī)則本身,，這一趨勢有助于將研究重點轉(zhuǎn)移到人工神經(jīng)網(wǎng)絡(luò)(ANNs)中,。

在20世紀40年代，人工神經(jīng)網(wǎng)絡(luò)被發(fā)明成“松散地”模仿人腦的學習方式,。當反向傳播梯度下降算法得到改進時,，人工神經(jīng)網(wǎng)絡(luò)的研究于1986年開始變得流行起來，反向傳播算法減少了人工神經(jīng)網(wǎng)絡(luò)訓練時需要大量手工調(diào)參問題,，因此反向傳播算法(BP)也是一種有效的減少人工智能訓練時間的方法,。

即使在算法方面取得新的進展，但神經(jīng)網(wǎng)絡(luò)仍然受到技術(shù)上的限制,，這些限制也影響了ANNs在過去幾十年的應(yīng)用情況,。直到2000年中期，人工智能才重新掀起一次科技浪潮,。在2006年,，多倫多大學的Geoffrey Hinton提出對人工神經(jīng)網(wǎng)絡(luò)進行修改，并將其研究成果稱為“深度學習(Deep Neural Network)”,。Hinton對人工神經(jīng)網(wǎng)絡(luò)添加多個隱藏層并對每層進行數(shù)學優(yōu)化,，逐層學習使得模型訓練變得更快。在2012年,，斯坦福大學的Andrew Ng進一步推動了深度學習的發(fā)展,，他建造了一個簡陋的利用圖形處理單元(GPU)實現(xiàn)深度神經(jīng)網(wǎng)絡(luò)的模型，Andrew Ng發(fā)現(xiàn)集群GPU仿真訓練深度學習模型比通用的CPU訓練快得多,，對于同樣的任務(wù)而言,，GPU可能只需要一天的時間，而CPU需要幾周的時間才能產(chǎn)生相同的結(jié)果,，這是由于GPU是大規(guī)模并行架構(gòu),，而且能同時處理多個任務(wù)。

從本質(zhì)上講,，將軟件算法與高性能的硬件相結(jié)合已經(jīng)醞釀了幾十年,，這也將迎來AI正在經(jīng)歷的快速發(fā)展。

人工智能現(xiàn)在為什么高速發(fā)展?

目前有四個主要因素推動了人工智能的發(fā)展：

1.更豐富的數(shù)據(jù),。人工智能需要大量的數(shù)據(jù)來學習,，社交的數(shù)字化為其進步提供了可利用的原材料。諸如物聯(lián)網(wǎng)(傳感器等),、社交和移動計算,、科學和學術(shù)界、醫(yī)療保健以及許多新的應(yīng)用程序等來源的大數(shù)據(jù)可以用來訓練人工智能模型,。不出意料,，目前在人工智能領(lǐng)域投資較多的公司，比如亞馬遜,、蘋果,、百度,、谷歌、微軟等,，同時也是數(shù)據(jù)較多的公司,。

2.更便宜的計算成本。在過去,，即使人工智能相關(guān)算法得到改進,，硬件仍然是一個制約因素。由于硬件和新的計算模型取得新的突破,，尤其是GPU，加速了人工智能的發(fā)展過程,。GPU由于其自身的并行處理能力及高效的執(zhí)行矩陣乘法的方式使得其在人工智能社區(qū)得到普及應(yīng)用,，這也締造了英偉達這一優(yōu)秀公司的行業(yè)地位。 最近,，英特爾在Xeon和Xeon Phi處理器中增加了新的深度學習指令,，這允許其能更好地進行并行和高效的矩陣運算。隨著人工智能技術(shù)的應(yīng)用,，硬件廠商現(xiàn)在需要專門針對人工智能進行開發(fā),、設(shè)計和制造相關(guān)產(chǎn)品，這些進步將導致更好的硬件設(shè)計,、性能,、功耗以及配置文件。

3.更復雜的算法,。更高效的性能和更便宜的計算花費使得科研人員能夠開發(fā)和訓練更高級的算法,，這是因為他們不再受限于過去硬件約束的限制。因此,，深度學習現(xiàn)在正以驚人的精確度解決特定的問題(例如,，語音識別、圖像分類,、手寫識別,、欺詐檢測等)，更先進的算法繼續(xù)推動人工智能技術(shù)的發(fā)展,。

4.更廣泛的投資,。在過去的幾十年中，人工智能的研究和發(fā)展主要局限于大學和研究院等機構(gòu),。資金缺乏以及人工智能問題的困難性導致其發(fā)展甚微,。如今，人工智能投資不再局限于大學實驗室,，而是在許多領(lǐng)域都在進行發(fā)展——政府,、風險資本支持的初創(chuàng)公司,、互聯(lián)網(wǎng)巨頭和各行業(yè)的大型企業(yè)等。

第II部分

人工智能,、機器學習和深度學習之間的區(qū)別

在很多情況下,，人工智能、機器學習和深度學習可以互換使用,。但實際上,，機器學習和深度學習都是人工智能的子集。人工智能作為計算機科學研究領(lǐng)域中的一個分支,，其重點是建立能夠具有智能行為的機器,，而機器學習和深度學習則是利用算法篩選數(shù)據(jù)，并從數(shù)據(jù)中學習,、預測或采取自主行動的實踐,。因此，這些算法不需要根據(jù)特定的約束進行編程,，而是使用大量數(shù)據(jù)進行訓練,，使其能夠獨立學習、推理和執(zhí)行特定的任務(wù),。

那么,，機器學習和深度學習之間存在哪些區(qū)別呢?在定義深度學習之前，先深入地理解機器學習吧,。

機器學習：有監(jiān)督VS.無監(jiān)督

機器學習方法主要分成兩大類：有監(jiān)督學習和無監(jiān)督學習,。

有監(jiān)督學習：目前，有監(jiān)督學習是機器學習中最為常用的算法,。在有監(jiān)督學習的情況下,，相關(guān)算法的輸入是開發(fā)人員和分析人員手動標記的數(shù)據(jù)，即有標記的數(shù)據(jù),，這些標記就是數(shù)據(jù)的期望輸出值,，使用這些數(shù)據(jù)來訓練模型并生成預測。監(jiān)督學習任務(wù)又可以分為兩大類：回歸和分類問題,。

上圖演示了一個簡單的回歸問題,。從圖中可以看到，存在兩個輸入或特征(平方英尺和價格),，被用于生成擬合曲線,，并預測未來的房地產(chǎn)價格。這個模型相當簡單,，只考慮了房子的面積這一個特征對房價的影響,，在國內(nèi)的話，如果只考慮這房子面積這一個特征就去購買或投資房產(chǎn)的話,，將會鬧出笑話,。因此,，一般而言，考慮的特征越多,，模型會越復雜,，預測也會更加準確。

上圖演示了一個有監(jiān)督分類問題,。使用的數(shù)據(jù)集是有標記為良性腫瘤和惡性腫瘤的乳腺癌患者,。有監(jiān)督分類算法試圖通過將數(shù)據(jù)擬合成直線將腫瘤劃分為兩種不同的類別。當算法學習好后,，即劃分直線確定,，將來的數(shù)據(jù)可以之間通過這條劃分直線來確定患者的腫瘤是良性或惡性。分類問題導致離散輸出,，但不一定限制固定數(shù)據(jù)集的輸出數(shù)量,，上圖中只有兩個離散輸出，但可以有更多分類類別(1表示良性,，2表示惡性，3表示待定等),。

無監(jiān)督學習,。在有監(jiān)督學習的示例中，可以看到使用的數(shù)據(jù)集都具有標記(良性或惡性分類),，數(shù)據(jù)標記有助于算法確定正確的答案是什么,，進而調(diào)整模型參數(shù)以使得模型輸出盡可能與標記相近。而在無監(jiān)督學習中,，數(shù)據(jù)集是不具有標記的,，需要依賴于算法來發(fā)現(xiàn)數(shù)據(jù)中的結(jié)構(gòu)和模型。

從上圖中可以看到,，每個數(shù)據(jù)點代表的信息不明確,，因此要求算法在不受任何監(jiān)督的情況下查找數(shù)據(jù)中存在的結(jié)構(gòu)信息。圖中的無監(jiān)督學習算法可以確定兩個不同的集群,，并在集群之間進行直線分類,。無監(jiān)督學習廣泛應(yīng)用于新聞、社會網(wǎng)絡(luò)分析,、市場分割及銀河系周圍的天文分析等許多應(yīng)用案例中,。

第III部分

深度學習是什么?

深度學習是機器學習研究領(lǐng)域中的一個分支，近年來在圖像識別,、自然語言處理和圖像分類等領(lǐng)域應(yīng)用十分火熱,，受到世界范圍內(nèi)的廣泛關(guān)注。深度學習是人工神經(jīng)網(wǎng)絡(luò)(ANN)的一種改進,，正如人工神經(jīng)網(wǎng)絡(luò)一樣,，是模擬人類大腦學習和解決問題的一種方法,。

在深入了解深度學習的工作原理前，首先理解人工神經(jīng)網(wǎng)絡(luò)(ANN)是如何工作的,。人工神經(jīng)網(wǎng)絡(luò)是由一組互相連接的神經(jīng)元組成,，類似于人類大腦中的神經(jīng)元網(wǎng)絡(luò)。

上圖是一個簡化的神經(jīng)元連接示意圖,。神經(jīng)網(wǎng)絡(luò)中的每個神經(jīng)元接收與之連接的其它神經(jīng)元的輸入信息(Xi),，然后通過計算后輸出到網(wǎng)絡(luò)中的其它神經(jīng)元或節(jié)點。神經(jīng)元之間的連接參數(shù)用權(quán)重(Wj)表示,，權(quán)重的大小表示二者連接的強度,，權(quán)重的值可正可負。將所有的輸入信息都與對應(yīng)的連接權(quán)重相乘(X1W1,，X2W2等)并進行求和作為該節(jié)點的輸出,。最后一步是對神經(jīng)元執(zhí)行計算或激活函數(shù)處理。激活函數(shù)允許人工神經(jīng)網(wǎng)絡(luò)模擬簡單模式無法正確表示的復雜的非線性問題,，常用的激活函數(shù)是Sigmoid函數(shù),。

上圖表示一個三層的神經(jīng)網(wǎng)絡(luò)，從左往右第一層為輸入層,，輸入對應(yīng)的特征(X1,，X2，X3),，第二層被稱作隱藏層,，隱藏層可以有多層，第三層是輸出層,。對于一個層而言,，只要該層不是輸入層或輸出層，那么該層就可以稱作隱藏層,。

“深度”學習最初就是這樣產(chǎn)生的,，因為其含有多個隱藏層，通常包含多于3個的隱藏層,。在一些情況下,，隱藏層的個數(shù)高達1200多個。

多個隱藏層的好處是什么呢?在某些模式下,，可能需要更加深入的調(diào)查,，因此多個隱藏層可以進行額外的特征處理。深度學習在圖像分類領(lǐng)域中表現(xiàn)優(yōu)異,，甚至在某些特定任務(wù)上超過了人類的表現(xiàn)?，F(xiàn)在，通過一個額外隱藏層有助于面部識別的例子來說明這一點。

當一張圖片被輸入到一個深層次的學習網(wǎng)絡(luò)中時,，它首先被分解成圖像像素,。然后該算法將在圖像中的某些位置尋找特定形狀的圖案。第一個隱藏層可能試圖揭示特定的面部模式：眼睛,、嘴巴,、鼻子、耳朵等,。添加一個額外的隱藏層來解析更加細粒度的屬性,。例如，“嘴巴”可以進一步分解為“牙齒”,、“嘴唇”,、“牙齦”等。添加額外的隱藏層可以將這些模式更進一步抽象,。最終的結(jié)果是一個深層的學習網(wǎng)絡(luò)可以將一個非常復雜的問題分解成一系列簡單的問題,。隱藏層的本質(zhì)是一個層次化的特征學習，它們能夠更好地提取特征,。目前,，大多數(shù)深度學習算法都是有監(jiān)督學習，即對已知的標記數(shù)據(jù)進行深度學習,。

訓練是如何工作的?

訓練深度學習的最終目的是降低代價函數(shù),，即期望輸出與實際輸出之間的差異盡可能小。節(jié)點之間的連接將會有特定的權(quán)重,，不斷修改這些權(quán)重參數(shù)使得網(wǎng)絡(luò)的代價函數(shù)變小,。通過修改權(quán)重值,，可以將代價函數(shù)最小化到全局最小值,，這意味著模型的誤差降到最小值。深度學習之所以計算如此密集就是因為它需要找到合適的數(shù)以十億的連接權(quán)重值,，這需要通過不斷迭代訓練調(diào)整得到,，以找到使得代價函數(shù)全局最小值的權(quán)重集。

深度學習中最為常用的訓練方法是反向傳播梯度下降算法,。梯度下降算法是一種有效的數(shù)學優(yōu)化方法,，它能有效地處理大量的數(shù)據(jù)(特征)，而不必強力進行維度分析,。梯度下降算法根據(jù)權(quán)重函數(shù)的全局最小值來計算梯度(斜率),。

在訓練過程中，首先隨機分配權(quán)重并計算出一個誤差,。然后基于這個誤差,，通過使用梯度下降算法來修改權(quán)重，之后反向逐層調(diào)整每層的權(quán)重參數(shù)，當調(diào)整完每層參數(shù)后又正向進行傳播,，計算得到一個新的誤差,，之后基于新的誤差調(diào)整每層的參數(shù)，一直迭代到代價函數(shù)達到全局最小值為止,?？赡軙霈F(xiàn)一些例子，梯度下降算法是以局部最小值而不是全局最小值來計算的,，減輕這個問題的方法是使用凸的代價函數(shù)或?qū)?shù)產(chǎn)生更多的隨機性,。

深度學習中對數(shù)據(jù)庫的思考

非關(guān)系數(shù)據(jù)庫在促進機器學習和深度學習技術(shù)的最新進展中起著不可或缺的作用。收集和存儲大量結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)的能力為提升深度學習預測提供的必要的原材料,。在構(gòu)建深度學習應(yīng)用程序時,，選擇用于管理底層數(shù)據(jù)的數(shù)據(jù)庫時要牢記一些注意事項。

• 靈活的數(shù)據(jù)模型,。在深度學習中,，數(shù)據(jù)需要經(jīng)歷三個階段——輸入數(shù)據(jù)、訓練數(shù)據(jù)和結(jié)果數(shù)據(jù),。深度學習是一個動態(tài)的過程,，通常涉及大量的實驗，比如,，實驗過程中參數(shù)調(diào)整是很正常的事情,，加上非結(jié)構(gòu)化數(shù)據(jù)的輸入、輸出結(jié)果的修改是自然而然地發(fā)生,。隨著新的信息和見解被發(fā)現(xiàn),，重要的是在靈活數(shù)據(jù)模型上選擇一個合適的數(shù)據(jù)庫，避免在數(shù)據(jù)結(jié)構(gòu)需要改變時需要執(zhí)行昂貴的模式遷移,。

• 規(guī)模,。深度學習面臨的最大挑戰(zhàn)之一是模型訓練耗費的時間比較長，有些模型可能需要幾個星期的訓練時間,，這是由于梯度下降等算法需要通過多次迭代來調(diào)整模型的數(shù)十億個參數(shù),。為了減少訓練次數(shù)，深度學習框架嘗試并行運算,，將訓練負荷分布到多個高性能的服務(wù)器上,。

并行化訓練主要有兩種方式：數(shù)據(jù)并行性和模型并行性。

• 數(shù)據(jù)并行性,。通過分布式系統(tǒng)將數(shù)據(jù)分割成多個節(jié)點進行處理并存儲,，比如Apache Spark、MongoDB和Apache Hadoop,。

• 模型并行性,。通過相關(guān)軟件庫和框架在多個節(jié)點上分割模型及其相關(guān)層,，如TensorFlow、Caffe和Theano,。分裂提供并行性,，但是在協(xié)調(diào)不同節(jié)點之間的輸出時會產(chǎn)生性能代價。

除了模型訓練階段耗費時間長外,，深度學習的另一個大挑戰(zhàn)是輸入數(shù)據(jù)集不斷增長,，這增加了訓練參數(shù)的數(shù)量。這不僅意味著輸入數(shù)據(jù)集可能超過可用的服務(wù)器內(nèi)存,，而且還意味著涉及梯度下降的矩陣也能超過節(jié)點的內(nèi)存,。因此，縮放比擴展更加重要,，這使得工作負載和相關(guān)的數(shù)據(jù)集在多個節(jié)點上分布,，允許并行執(zhí)行計算。

• 容錯,。許多深度學習算法使用檢驗點作為故障發(fā)生時恢復訓練數(shù)據(jù)的一種方法,。然而，頻繁設(shè)置的檢查點需要大量的系統(tǒng)開銷,。另一種方法是利用駐留在分割節(jié)點上的多個數(shù)據(jù)副本,，這些副本提供冗余和數(shù)據(jù)可用性，而無需消耗系統(tǒng)主節(jié)點上的資源,。

• 一致性,。對于大多數(shù)深度學習算法而言，建議使用強數(shù)據(jù)一致性模型,，具有強一致性的分布式數(shù)據(jù)庫集群中每個節(jié)點都運行在最新的數(shù)據(jù)副本上,。雖然有些算法可以容忍一定程度的不一致性，比如隨機梯度下降算法(SGD),，但強一致性能夠提供最精確的結(jié)果,。然而，在某些情況下,，算法更加看重訓練時間而不是精度,，那么最終的一致性是可以接受的,。為了優(yōu)化精度和性能,，數(shù)據(jù)庫應(yīng)該提供可調(diào)的一致性。

第IV部分

為什么MongoDB適合深度學習?

如果你沒有閱讀第III部分的內(nèi)容,，強力推薦閱讀一下,，以更多地了解在做深度學習項目時選擇數(shù)據(jù)庫應(yīng)該考慮的關(guān)鍵因素有哪些。在以下的講解部分中,，開發(fā)者和數(shù)據(jù)科學家可以利用MongoDB作為一個靈活,、可擴展、高性能的分布式數(shù)據(jù)庫來滿足人工智能應(yīng)用開發(fā)的嚴峻考驗。

• 靈活的數(shù)據(jù)模型

MongoDB的文檔數(shù)據(jù)模型,，便于開發(fā)者和數(shù)據(jù)科學家存儲和結(jié)合其他任何數(shù)據(jù)庫的數(shù)據(jù),，且沒有放棄利用復雜的驗證規(guī)則來管理數(shù)據(jù)的質(zhì)量。該模式可以在不停用應(yīng)用程序或數(shù)據(jù)庫的情況下動態(tài)地修改數(shù)據(jù),，這是由關(guān)系數(shù)據(jù)庫系統(tǒng)的模式修改或重新設(shè)計的代價高所引起的,。

這種數(shù)據(jù)模型的靈活性對于深度學習是特別有價值的，這需要不斷的實驗來發(fā)現(xiàn)新的見解和預測：

• 輸入數(shù)據(jù)集可以包括快速變化的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),，這些數(shù)據(jù)集可以從點擊流,、日志文件、社交網(wǎng)絡(luò)和物聯(lián)網(wǎng)傳感器流,、CSV文件,、txt文本、圖像,、視頻等,，這些數(shù)據(jù)集很多都不能映射成關(guān)系數(shù)據(jù)庫固定的行和列格式。

• 深度學習的訓練過程中往往會增加新的隱藏層,、特征標簽,、參數(shù)以及輸入數(shù)據(jù)，這需要頻繁地修改底層數(shù)據(jù)模型,。

• 因此,，一個支持各種輸入數(shù)據(jù)集的數(shù)據(jù)庫能夠無縫地修改模型訓練的參數(shù)，這對于深度學習而言是不可多得的,。

• 豐富的編程和查詢模型

MongoDB為開發(fā)者和數(shù)據(jù)科學家提供本地驅(qū)動程序和認證連接來建立深度學習模型,，PyMongo驅(qū)動器是一個用于MongoDB的Python工具，也是一個被推薦的Python操作MongoDB數(shù)據(jù)庫的方式,。社區(qū)也開發(fā)了R語言的MongoDB客戶端,，這也可用于R語言程序員。

MongoDB的查詢語句和豐富的二級索引使得開發(fā)人員能夠開發(fā)應(yīng)用程序,，可以以多種方式查詢和數(shù)據(jù)分析,。數(shù)據(jù)可以在毫秒級的響應(yīng)時間內(nèi)通過單鍵、范圍,、文本搜索,、圖表和地理空間查詢到復雜的聚合和MapReduce任務(wù)。

為了在分布式數(shù)據(jù)庫集群上并行處理數(shù)據(jù),，MongoDB提供了聚合管道(aggregation pipeline)和MapReduce,。MongoDB聚合管道是仿照數(shù)據(jù)處理管道的基本原理設(shè)計，數(shù)據(jù)經(jīng)過一個一個的階段,，每階段將數(shù)據(jù)處理后的結(jié)果傳遞給下一個階段,，最終得到多重處理后的結(jié)果,。其中，最基本的管道階段提供像查詢等操作的過濾器及輸出文檔格式的轉(zhuǎn)換等功能,，其它管道操作提供按特定字段對文檔進行分組,、排序以及聚合數(shù)組中的內(nèi)容等功能。此外,，管道階段可以使用操作符進行相關(guān)計算,，比如計算跨文檔集合的平均值或標準差等。MongoDB同樣也提供了原生MapReduce操作,，使用JavaScript函數(shù)來執(zhí)行相關(guān)的map和reduce階段,。

除了原生的查詢框架外，MongoDB同樣也提供了針對Apache Spark的一種高性能連接器,，該連接器連接了Spark所有的庫,，包括Python、R,、Scala和Java,。對于機器學習、圖表以及SQL API等分析而言,，MongoDB數(shù)據(jù)可以作為其數(shù)據(jù)幀和數(shù)據(jù)集,。

針對于Apache Spark的MongoDB連接器可以利用好MongoDB的聚合管道以及提取、篩選和處理其所需數(shù)據(jù)范圍的二級索引,。比如,，分析特定地理位置的所有客戶這一任務(wù)，簡單的非關(guān)系數(shù)據(jù)存儲不支持二級或在數(shù)據(jù)庫中聚合,。而在這種情況下,，Spark需要基于簡單的主鍵提取所有數(shù)據(jù)，這意味著數(shù)據(jù)科學家和工程師們在進行該過程時需要更多的時間上和硬件上的開銷,。為了最大限度地提高性能,，對于分布式數(shù)據(jù)集而言，MongoDB連接器可以將彈性分布數(shù)據(jù)集(RDDs)和源MongoDB節(jié)點同地協(xié)作,，進而最小化跨集群之間的數(shù)據(jù)移動并減少延遲,。

• 可升縮性和冗余性

模型的訓練時間可以通過建立一個深度學習平臺以及可擴展數(shù)據(jù)庫層來減少，MongoDB提供了以下一些措施來盡可能地增大吞吐量以及盡可能地減少深度學習工作負載的延遲,。

WiredTiger是MongoDB的默認存儲引擎,，也是世界上部署最廣泛的嵌入式數(shù)據(jù)管理軟件，它是基于現(xiàn)代多核架構(gòu),，并使用了多種編程技術(shù),，如風險指針,、無鎖算法,、快速鎖定和消息傳遞等,。WiredTiger盡可能地增大每個CPU核和時鐘周期內(nèi)的計算工作量，此外,，WiredTiger使用緊湊的文件格式和壓縮存儲盡可能地減少磁盤開銷,。

對于大多數(shù)對延遲敏感的深度學習應(yīng)用而言，MongoDB可以配置存儲引擎,?；赪iredTiger這個存儲引擎，可以在不犧牲傳統(tǒng)數(shù)據(jù)庫提供的豐富靈活查詢,、實時分析和可升縮能力的情況下,，為用戶提供內(nèi)存計算的好處。

為了并行地進行模型訓練以及縮放輸入數(shù)據(jù)集,，MongoDB使用分片(sharding)技術(shù),。MongoDB分片是完全彈性地、自動地調(diào)整集群中的數(shù)據(jù)作為輸入數(shù)據(jù)集的增長,，或者是添加和刪除節(jié)點,。

在MongoDB集群中，每個分片數(shù)據(jù)自動分發(fā)到多個駐留在不同節(jié)點上的多個副本,，其副本集提供冗余性以在訓練數(shù)據(jù)發(fā)生故障時恢復數(shù)據(jù),，并減少檢查點的開銷。

• 可調(diào)一致性

在一般情況下,，MongoDB具有強一致性,。啟動深度學習應(yīng)用程序可用立體讀取已寫入的數(shù)據(jù)庫中的內(nèi)容，從而避免了最終一致性系統(tǒng)導致的開發(fā)人員復雜,。強一致性會為機器學習算法提供最準確的結(jié)果,，然而，在某些情況下,，如隨機梯度下降算法(SGD),，其結(jié)果不是很好但尚可接受。

MongoDB人工智能部署情況

基于MongoDB具備上述討論的性質(zhì),，MongoDB已經(jīng)作為許多人工智能和深度學習平臺的數(shù)據(jù)庫,，不同應(yīng)用程序和行業(yè)用戶的選擇如下：

• IBM Watson：分析與可視化

沃森分析是IBM的云托管服務(wù)，提供智能數(shù)據(jù)發(fā)現(xiàn)來指導數(shù)據(jù)探索,、自動預測分析和可視化輸出,。沃森分析應(yīng)用場景十分廣泛，比如銀行,、保險,、零售、電信,、石油和政府應(yīng)用等,。MongoDB被用來管理數(shù)據(jù)存儲,，提供所有源數(shù)據(jù)集的元數(shù)據(jù)和分析可視化，并存儲在豐富的JSON文檔結(jié)構(gòu)中,，可以支持數(shù)以萬計的用戶并發(fā)訪問服務(wù),。

• x.ai：個人助理

x.ai是智能驅(qū)動的個人助理，它能夠為用戶安排會議,。用戶將他們的日歷連接到x.ai上,，然后只要郵件抄送給[email protected]，該公司的虛擬私人助理Amy就能接手你的會議日常安排,。MongoDB作為x.ai的整個平臺記錄系統(tǒng),，支持所有的服務(wù)，包括自然語言處理,、有監(jiān)督學習,、分析和電子郵件通信等。MongoDB靈活的數(shù)據(jù)模型成為使得x.ai迅速適應(yīng)于訓練集和輸入數(shù)據(jù)集的關(guān)鍵,，同時也支持復雜的數(shù)據(jù)結(jié)構(gòu),。更多內(nèi)容可以看此案例了解。

• 汽車貿(mào)易商：預測價值

英國最大的汽車市場廣泛應(yīng)用機器學習,，使用的關(guān)于車的規(guī)格及細節(jié)數(shù)據(jù)都存儲在MongoDB中,。比如，先前車主的個數(shù),、顏色,、里程數(shù)、保險歷史等,。這些數(shù)據(jù)由汽車貿(mào)易商的數(shù)據(jù)科學團隊編寫的機器學習算法提取得到,，并建立模型以預測準確的價值，然后再寫入數(shù)據(jù)庫中,，選擇MongoDB由于其靈活的數(shù)據(jù)模型和分布式設(shè)計,。更多內(nèi)容可以看此案例了解。

• Mintigo：銷售和市場預測

Mintigo是一家以企業(yè)為重點的預測市場和銷售的平臺,。在B2B營銷領(lǐng)域,，Mintigo利用數(shù)據(jù)進行營銷分析和預測，識別最有可能購買其產(chǎn)品的潛在客戶,，幫助公司客戶提升銷量,。Mintigo運行在AWS上，是用Python編寫的機器學習算法,。MongoDB被用來存儲TB量級的數(shù)據(jù)集,，這是看中了其數(shù)據(jù)流采集和存儲的可擴展性和靈活性、高效的查詢框架和二級索引，而無需掃描數(shù)據(jù)庫中的所有記錄,。更多內(nèi)容可以看此案例了解,。

• 零售定位分析

一個美國的移動APP開發(fā)者在MongoDB上建立的智能引擎，實時處理和存儲數(shù)以百萬計顧客的豐富地理空間數(shù)據(jù)點,。該智能引擎使用可伸縮的機器學習和多維分析技術(shù)來展示行為模式,，允許零售商通過移動設(shè)備預測和定位目標客戶,。MongoDB支持具有復雜索引和查詢的空間數(shù)據(jù)結(jié)構(gòu),，為機器學習算法提供基礎(chǔ)。MongoDB的分片擴展設(shè)計使得公司可以容納10-100百萬的客戶數(shù)據(jù)點,。

• 自然語言處理(NLP)

一個北美的人工智能開發(fā)者已經(jīng)構(gòu)建了由主要消費電子產(chǎn)品嵌入到智能家居和移動設(shè)備中的自然語言處理軟件,。設(shè)備和用戶之間的所有交互都存儲在MongoDB中，然后反饋給學習算法,。選擇MongoDB的原因是其架構(gòu)的靈活性,，且支持快速變化的數(shù)據(jù)結(jié)構(gòu)。

• 將數(shù)據(jù)科學引入人才招聘

該公司與財富500強的人力資源部門合作,，利用數(shù)據(jù)科學和員工情況處理成堆的簡歷和候選者,。該公司通過將人工智能應(yīng)用于簡歷以外的數(shù)據(jù)數(shù)千個信息源，包括公共的和企業(yè)數(shù)據(jù),，為申請者提供實時分析和優(yōu)先次序,。通過人工智能算法產(chǎn)生的預測分析，招聘人員可以立即確定主動申請以及潛在的應(yīng)聘者中最佳的候選人,，加快整個招聘過程,、降低雇傭成本。選擇MongoDB作為底層數(shù)據(jù)庫是由于其數(shù)據(jù)模型的靈活性和可伸縮性,，此外,，大范圍的安全管理權(quán)保護了個人可識別信息(PII)。

人工智能是解鎖IoT潛力的鑰匙

海外華文客戶端 

德勤報告表示物聯(lián)網(wǎng)變得更加智能,。公司正在將人工智能(特別是機器學習)整合到他們的物聯(lián)網(wǎng)應(yīng)用程序中,，并觀察功能的增長，包括提高運營效率并幫助避免意外停機,。關(guān)鍵：洞察數(shù)據(jù),。

ITH是一波投資，一系列新產(chǎn)品和企業(yè)部署的崛起,，人工智能正在物聯(lián)網(wǎng)(IoT)中掀起一陣熱潮,。制定物聯(lián)網(wǎng)戰(zhàn)略，評估潛在的新物聯(lián)網(wǎng)項目或試圖從現(xiàn)有物聯(lián)網(wǎng)部署中獲得更多價值的公司可能需要探索人工智能的作用,。

信號

以人工智能為重點的物聯(lián)網(wǎng)創(chuàng)業(yè)公司的風險投資正在快速增長：2017年前8個月,，這個類別的初創(chuàng)公司籌集了7.05億美元

以人工智能為重點的物聯(lián)網(wǎng)創(chuàng)業(yè)公司并購數(shù)量增加：2017年前8個月為21個，2016年為24個,，高于2015年的11個

包括亞馬遜,，通用電氣,，IBM，微軟,，甲骨文,，PTC和Salesforce在內(nèi)的IoT平臺供應(yīng)商正在整合AI功能

跨行業(yè)的大型組織已經(jīng)在利用物聯(lián)網(wǎng)來借助或探索人工智能的力量，提供新產(chǎn)品并更高效地運營

Gartner預測,，到2022年,，超過80%的企業(yè)物聯(lián)網(wǎng)項目將包含一個AI組件，今天只有10%

AI是解鎖物聯(lián)網(wǎng)潛力的鑰匙

人工智能在物聯(lián)網(wǎng)應(yīng)用和部署中扮演著越來越重要的角色,，這一領(lǐng)域的公司行為顯然發(fā)生了變化,。使用AI的物聯(lián)網(wǎng)初創(chuàng)企業(yè)的風險投資大幅增加。在過去的兩年里,，公司已經(jīng)收購了數(shù)十家在人工智能和物聯(lián)網(wǎng)交叉點工作的公司,。物聯(lián)網(wǎng)平臺軟件的主要供應(yīng)商現(xiàn)在提供集成的AI功能，如基于機器學習的分析,。

人工智能在物聯(lián)網(wǎng)中扮演著主要角色,，因為它能夠快速從數(shù)據(jù)中獲取洞察力。機器學習是一項人工智能技術(shù),，它可以自動識別模式并檢測智能傳感器和設(shè)備生成的數(shù)據(jù)中的異常情況,，諸如溫度，壓力,，濕度,，空氣質(zhì)量，振動和聲音等信息,。各公司發(fā)現(xiàn)機器學習可以比傳統(tǒng)的商業(yè)智能工具在分析物聯(lián)網(wǎng)數(shù)據(jù)方面具有顯著優(yōu)勢,，包括能夠比基于閾值的監(jiān)控系統(tǒng)提前20倍和更高的準確度進行運營預測。而其他人工智能技術(shù),，如語音識別和計算機視覺可以幫助從過去需要人工評估的數(shù)據(jù)中獲得見解,。

AI和物聯(lián)網(wǎng)技術(shù)的強大組合幫助公司避免意外停機，提高運營效率,，啟用新產(chǎn)品和服務(wù),，并加強風險管理。

避免昂貴的非計劃停機時間

在一些行業(yè)中,，設(shè)備故障導致的意外停機可能造成嚴重損失,。例如，根據(jù)一項研究,，海上石油和天然氣經(jīng)營者每年平均損失3800萬美元,。另一個消息估計，對于工業(yè)制造業(yè)來說，意外停機時間每年花費500億美元,，設(shè)備故障導致42%的停機,。

使用預測性維護分析功能提前預測設(shè)備故障，以便安排有序的維護程序,，可以減少非計劃停機的破壞性經(jīng)濟性,。例如，在制造業(yè)中,，德勤發(fā)現(xiàn)預測性維護可以將維護計劃縮短20-50%,，將設(shè)備正常運行時間和可用性增加10-20%，并將整體維護成本降低5-10%,。

由于人工智能技術(shù),，特別是機器學習,，可以幫助識別模式和異常情況,，并基于大量數(shù)據(jù)進行預測，因此它們在實施預測性維護方面尤其有用,。例如,，領(lǐng)先的韓國煉油商SK Innovation通過使用機器學習預測連接的壓縮機預計故障可節(jié)省“數(shù)十億韓元”。同樣,，意大利列車運營商Trenitalia希望避免意外停機,，并節(jié)省8-10%的年度維護成本13億歐元。與此同時,，法國電力公司EDF集團已經(jīng)通過機器學習驅(qū)動的設(shè)備故障預警節(jié)省了超過100萬美元,。

提高運營效率

人工智能驅(qū)動的物聯(lián)網(wǎng)可以做的不僅僅是幫助避免意外停機。它還可以幫助提高運營效率,。這部分得益于機器學習的力量,，以產(chǎn)生快速、準確的預測和深刻見解,，以及AI技術(shù)能夠使越來越多的任務(wù)自動化完成,。

例如，對于Hershey來說,，在生產(chǎn)過程中管理其產(chǎn)品的重量至關(guān)重要：重量精度每提高1%,，就意味著可以為14,000加侖的Twizzlers等一批產(chǎn)品節(jié)省超過500,000美元的成本。該公司使用物聯(lián)網(wǎng)和機器學習來顯著是減少生產(chǎn)過程中的重量變化,。第二個數(shù)據(jù)被捕獲和分析,，重量變化可以通過機器學習模型進行預測，每天可以進行240個工藝調(diào)整,，而安裝ML驅(qū)動的IoT解決方案前每天僅有12個,。

基于人工智能的預測也有助于谷歌削減40%的數(shù)據(jù)中心冷卻成本。該解決方案通過對設(shè)施內(nèi)傳感器數(shù)據(jù)進行培訓，預測下一小時的溫度和壓力,，以指導限制功耗的操作,。

機器學習產(chǎn)生了深刻的見解，說服一家船隊運營商采取反直覺行動,，為他們節(jié)省了大筆資金,。從船載傳感器收集的數(shù)據(jù)被用來識別清洗船體的成本和燃油效率之間的相關(guān)性。分析表明,，通過每年清洗船體兩次而不是每兩年清潔船體(從而將清潔費用翻兩番),，由于燃油效率更高，最終可節(jié)省40萬美元,。

實現(xiàn)新的和改進的產(chǎn)品和服務(wù)

物聯(lián)網(wǎng)技術(shù)與人工智能相結(jié)合,，可以為改進并最終實現(xiàn)全新的產(chǎn)品和服務(wù)奠定基礎(chǔ)。例如,，對于通用電氣的無人機和基于機器人的工業(yè)檢測服務(wù),，公司希望AI能夠?qū)崿F(xiàn)檢測設(shè)備的導航自動化，并從他們捕獲的數(shù)據(jù)中識別缺陷,。這可能會導致更安全,，更精確，并且為客戶提供便宜高達25%的檢查,。在醫(yī)療保健方面,，費城托馬斯杰佛遜大學醫(yī)院試圖通過自然語言處理改善患者體驗，使患者能夠控制房間環(huán)境并通過語音命令請求各種信息,。

與此同時,，勞斯萊斯計劃盡快推出具有物聯(lián)網(wǎng)功能的飛機發(fā)動機維護服務(wù)新產(chǎn)品。該公司計劃使用機器學習來幫助其發(fā)現(xiàn)模式并確定將出售給航空公司的運營見解,。汽車制造商Navistar正在研究實時連接車輛數(shù)據(jù)的機器學習分析,，以實現(xiàn)車輛健康診斷和預測性維護服務(wù)的新收入流。根據(jù)Navistar技術(shù)合作伙伴Cloudera的說法,，這些服務(wù)幫助近30萬輛汽車減少了高達40%的停機時間,。

加強風險管理

將物聯(lián)網(wǎng)與AI結(jié)合在一起的許多應(yīng)用程序，正在幫助企業(yè)更好地理解和預測各種風險,，以及自動執(zhí)行快速響應(yīng),，使他們能夠更好地管理工作人員安全，財務(wù)損失和網(wǎng)絡(luò)威脅,。

例如,，富士通已經(jīng)在使用機器學習技術(shù)來分析連接可穿戴設(shè)備的數(shù)據(jù)，以評估其工廠工人可能會在一段時間內(nèi)積累的潛在熱應(yīng)力,。印度和北美的銀行已經(jīng)開始對ATM機中聯(lián)網(wǎng)監(jiān)控攝像頭的可疑活動進行實時識別,。汽車保險公司進步正利用機器學習對聯(lián)網(wǎng)汽車的數(shù)據(jù)進行分析,，從而準確地為其基于美國的保費定價，從而更好地管理承保風險,。拉斯維加斯已經(jīng)轉(zhuǎn)向了一種機器學習解決方案,，以確保其智能城市計劃的安全，旨在實時檢測和應(yīng)對威脅,。

對企業(yè)的影響

對于不同行業(yè)的企業(yè),，人工智能有望提升物聯(lián)網(wǎng)部署所創(chuàng)造的價值，從而實現(xiàn)更好的產(chǎn)品和運營,，從而在業(yè)務(wù)績效中發(fā)揮競爭優(yōu)勢,。

考慮新的基于物聯(lián)網(wǎng)項目的高管們應(yīng)該意識到，預測功能的機器學習現(xiàn)在已經(jīng)與大多數(shù)橫向和工業(yè)物聯(lián)網(wǎng)平臺集成在一起,，如微軟 Azure 物聯(lián)網(wǎng),，IBM 沃森物聯(lián)網(wǎng)T，亞馬遜AWS物聯(lián)網(wǎng),，通用電氣Predix和PTC ThingWorx,。

越來越多的交鑰匙，捆綁或垂直物聯(lián)網(wǎng)解決方案利用機器學習等AI技術(shù),。例如,，對于連接汽車的使用案例,，寶馬的CarData平臺可以訪問車主分享的數(shù)據(jù)以及IBM 沃森物聯(lián)網(wǎng)的AI功能,。在消費品和零售業(yè)中，一些補貨自動化和優(yōu)化解決方案使用機器學習來預測需求并優(yōu)化庫存水平,。汽車保險行業(yè)的遠程信息處理解決方案提供商正在整合機器學習,，以創(chuàng)建更準確的風險模型并預測索賠行為。

使用人工智能技術(shù)可能會從物聯(lián)網(wǎng)部署中獲得更多價值,，而這些部署并非是在設(shè)計時考慮到使用人工智能而設(shè)計的,。例如，一家匈牙利石油和天然氣公司將機器學習應(yīng)用于柴油生產(chǎn)過程中已經(jīng)收集到的傳感器數(shù)據(jù),。該分析使公司能夠更準確地預測燃料的硫含量,，并幫助識別過程改進，現(xiàn)在每年為該公司節(jié)省超過600,000美元,。主要的橫向和工業(yè)物聯(lián)網(wǎng)平臺 —— 企業(yè)可能已經(jīng)在使用 —— 正在提供新的基于人工智能的功能,，可能有助于提升現(xiàn)有部署的價值。

物聯(lián)網(wǎng)的未來就是AI

很快就很難找到一個不能使用AI的物聯(lián)網(wǎng)實現(xiàn),。國際數(shù)據(jù)公司IDC預測,，到2019年，AI將支持“所有有效的”物聯(lián)網(wǎng)工作,，如果沒有人工智能,，部署的數(shù)據(jù)將具有“有限的價值”,。越來越多的物聯(lián)網(wǎng)供應(yīng)商提供至少基本的AI支持。各行業(yè)的先鋒公司已經(jīng)在其物聯(lián)網(wǎng)部署中獲得了AI的好處,。如果你的公司有實施基于物聯(lián)網(wǎng)的解決方案的計劃,，那么這些計劃也應(yīng)該包括人工智能。

本文系“產(chǎn)業(yè)智能官”（公眾號ID：AI-CPS）收集整理,，轉(zhuǎn)載請注明出處,！

版權(quán)聲明：由產(chǎn)業(yè)智能官（公眾號ID：AI-CPS）推薦的文章，除非確實無法確認,，我們都會注明作者和來源,。部分文章推送時未能與原作者取得聯(lián)系。若涉及版權(quán)問題,，煩請原作者聯(lián)系我們,，與您共同協(xié)商解決。聯(lián)系,、投稿郵箱：[email protected]